Постановлением Совнаркома СССР 19 апреля 1943 года Управление особых отделов и Морской отдел были изъяты из ведения НКВД. На их базе образовывались Главное управление контрразведки НКО «Смерш» и, несколько позднее, Управление контрразведки «Смерш» Наркомата ВМФ. Решение о создании Главного управления контрразведки «Смерш» вытекало из сложившейся к тому времени обстановки на советско-германском фронте.

В это время Московская битва сорвала план «молниеносной войны». Из рук противника под Сталинградом была вырвана стратегическая инициатива. Но при этом германским спецслужбам еще не был нанесен смертельный удар. Потому на решающем этапе войны было решено объединить руководство двумя важными сферами - обороной страны и безопасностью войск.

На органы «Смерша» в данной ситуации были возложены задачи по борьбе со шпионской, диверсионной, террористической деятельностью иностранных разведок, борьбе с предательством и изменой Родине в частях и учреждениях Красной Армии, дезертирством и членовредительством на фронтах. В военной контрразведке состояло несколько тысяч человек.

За годы войны членами «Смерш» было обезврежено более 30 тысяч шпионов, около трех с половиной тысяч диверсантов и свыше шести тысяч террористов. Военная контрразведка достойно выполнила все возложенные на нее задачи.

В некоторых современных источниках утверждается, что, кроме очевидных успехов в борьбе против немецкой разведки, «Смерш» приобрел в годы войны зловещую славу благодаря системе репрессий против мирного населения, которое находилось в оккупации на временно захваченной немецкими войсками территории СССР или на принудительных работах в Германии. Но репутация «Смерш» как репрессивного органа часто преувеличивается в современных источниках.

В мае 1946 года в результате реформы, проходившей в наркоматах госбезопасности и внутренних дел, органы контрразведки «Смерш» были реорганизованы в особые отделы и переданы в ведение новой структуры - Министерства государственной безопасности СССР.