Иван Серов родился 25 августа 1905 года в деревне Афимское, Вологодская область. Окончил начальную сельскую школу в городе Кадников. В 1923 году, там же окончил школу 2-й ступени и вступил в комсомол. В том же году, юноша вошел в состав волостного исполкома и одновременно являлся заведующим избой-читальней Кадниковского уездного политпросвета.

Позже, Серов занимал должность председателя Замошского сельсовета в Кадниковском уезде. В 1925 году, вступил в ряды Красной Армии. Позднее, в августе 1925 года поступил в Ленинградскую пехотную школу. В июне 1926 года, молодой человек вступил в ВКП(б). В период с 1928 по 1931 год, занимал должность командира артиллерийского взвода 66-го стрелкового полка, артиллерийского полка 22-й стрелковой дивизии в Северо-Кавказском военном округе. С 1931 года, Иван Серов являлся слушателем Артиллерийских курсов усовершенствования командного состава. С сентября 1931 по март 1934 года, служил командиром топографической батареи 9-го корпусного артиллерийского полка Северо-Кавказского военного округа.

В марте 1934 года, опытный командир назначен помощником начальника штаба. Исполнял обязанности начальника штаба артиллерийского полка 24-й стрелковой дивизии в Украинском военном округе. В январе 1935 года, Серов направлен на обучение в Военно-инженерную академию, а в мае 1936 года переведен в Военную академию РККА имени Фрунзе, которую военнослужащий окончил в январе 1939 года. По окончании академии, в феврале 1939 года, направлен на службу в центральные органы Наркомата внутренних дел СССР. С 9 февраля занимал должность заместителя начальника, а с 18 февраля 1939 года, являлся начальник Главного управления Рабоче-крестьянской милиции НКВД СССР. Впоследствии переведен на работу в органы госбезопасности.

Далее, с 29 июля 1939 года, Иван Александрович назначен начальником 2-го секретно-политического отдела - заместителем начальника Главного управления государственной безопасности НКВД СССР. Со 2 сентября 1939 года, служил в должности Наркома внутренних дел Украинской ССР. В период с февраля по июль 1941 года, замещал должность первого заместителя Народного комиссара госбезопасности СССР Всеволода Меркулова. С июля 1941 года, занимал пост заместителя Народного комиссара внутренних дел СССР. В годы Великой Отечественной войны одновременно занимал должности начальника охраны тыла Московской зоны, являлся членом комиссии ГКО СССР по организации обороны Северного Кавказа и одним из основных исполнителей решения о депортации народов Северного Кавказа.

Так же, являлся одним из организаторов партизанского движения и истребительных отрядов в СССР. Решением ГКО СССР от 8 октября 1941 года, Серов назначен руководителем «пятерки», созданной для минирования и уничтожения важных объектов Москвы в случае сдачи города. В период с апреля по май 1942 года, находился в командировке на Крымском фронте, принимал непосредственное участие в боевых действиях. В августе - декабре 1942 года участвовал в обороне Кавказских перевалов, где получил ранение и контузию.

Является непосредственным участником взятия города Берлин. Участник церемонии подписания капитуляции Германии 8 мая 1945 года. «За героическое и мужественное руководство наступательными операциями при взятии города Берлин» указом от 29 мая 1945 года Серов Иван Александрович удостоен звания Героя Советского Союза. С июня 1945 года, военачальник занимал ответственные посты на территории Германии, в том числе занимал пост заместителя Главноначальствующего Советской военной администрации Германии, по делам гражданской администрации и уполномоченный НКВД СССР по Группе советских оккупационных войск.

В 1946 году, вошел в состав Специального комитета по реактивной технике при Совете Министров СССР. Сыграл ключевую роль в розыске немецких специалистов по «ракетной программе» и восстановлении в Германии ракетного производства. Организовывал вывоз в СССР немецких ученых и инженеров для нужд оборонной промышленности в ноябре 1946 года. В период с февраля 1947 по март 1954 года, занимал должность первого заместителя Министра внутренних дел СССР. В начале марта 1953 года, после создания объединенного МВД СССР под руководством Берии, Серов переназначен первым заместителем министра.

С марта 1954 года, Иван Александрович назначен на должность первого Председателя Комитета Государственной Безопасности при Совете Министров СССР. Являлся одним из наиболее близких соратников Хрущева. Сыграл важную роль в удержании власти Никитой Хрущевым на июньском и октябрьском Пленумах ЦК КПСС 1957 года. Участвовал в подавлении Венгерского восстания, руководил арестами участников восстания и созданием новых органов безопасности Венгрии.

В декабре 1958 года, занял пост начальника Главного Разведывательного Управления - заместителя начальника Генерального штаба Вооруженных Сил СССР. Впоследствии, 2 февраля 1963 года, Серов снят с должности начальника ГРУ Генштаба в связи с разоблачением агента английской разведки – полковника ГРУ Олега Пеньковского. В феврале 1963 года, Иван Серов назначен помощником командующего войсками Туркестанского военного округа по военным учебным заведениям. В начале марта 1963 года, военачальника разжаловали в генерал-майоры, а 12 марта лишили звания Героя Советского Союза «за притупление политической бдительности».

Позднее, в августе 1963 года, Серов назначен помощником командующего войсками Приволжского военного округа по военным учебным заведениям. В апреле 1965 года, генерал исключен из КПСС за «нарушения социалистической законности и использование служебного положения в личных целях» и уволен в отставку.

Умер 1 июля 1990 года в Красногорском военном госпитале. Похоронен на кладбище села Ильинское Красногорского района Московской области.