Нагрудный знак "Заслуженный работник НКВД" был учрежден постановлением СНК СССР от 31 декабря 1940 года. Официальная формулировка гласила, что награждать нагрудным знаком следовало сотрудниови "за заслуги в деле руководства или непосредственное выполнение работы по охране государственной безопасности и за успешное выполнение специальных заданий правительства".

После начала Великой Отечественной войны знаком награждались сотрудники НКВД, участвовавшие в сражения на фронте, принимавшие участие в нейтрализации шпионов абвера, гестапо, а также в других ответственных мероприятиях.

Награждение производилось до 1946 года. В этот год комиссариаты были преобразованы. Новым органом, обеспечивающим государственную безопасность, стало Министерство государственной безопасности.