Анатолий Перминов родился 16 июня 1945 года в деревне Дувалово, Кировской области. Окончил Пермское высшее военное командно-инженерное училище в 1967 году. Позже получил два дополнительных образования в Военной академии имени Ф.Э. Дзержинского и Военной академии Генерального штаба Вооружённых Сил имени К. Е. Ворошилова. Имеет ученую степень доктора технических наук.
После окончания обучения поступил на службу в Ракетные войска стратегического назначения. Находился в должностях старшего инженера по АСУ, инженера, старшего инженера и командира группы. С 1976 года являлся заместителем командира ракетного полка по боевому управлению. В 1979 году повышен в звании до командира ракетного полка.
Позже Анатолий Николаевич назначен командиром 14-й ракетной Киевско-Житомирской дивизии города Йошкар-Ола. С ноября 1987 по июнь 1989 года являлся первым заместителем командующего 33-й гвардейской ракетной Бериславско-Хинганской армией в городе Омск.
С 1991 года вступил в должность начальника Государственного научно-исследовательского испытательного полигона Министерства обороны, где прослужил два года. Под руководством Перминова осуществлено более ста запусков космических аппаратов и учебно-боевых пусков межконтинентальных баллистических ракет.
С августа 1993 года перешел в звание начальника Главного управления эксплуатации ракетного вооружения и военной техники Ракетных войск стратегического назначения. В ноябре 1994 года назначен первым заместителем начальника Главного штаба РВСН. В сентябре 1997 года повышен в должности до начальника Главного штаба, первого заместителя Главнокомандующего РВСН, где прослужил четыре года.
Указом Президента Российской Федерации в 1998 году Анатолию Николаевичу торжественно присвоено очередное воинское звание генерал-полковник.
В марте 2001 года Перминов назначен на должность командующего Космическими войсками, новым родом войск, выделенным из состава Ракетных войск стратегического назначения.
В 2004 году был назначен руководителем Федерального космического агентства, образованного вместо Российского авиационно-космического агентства. С 2008 года исполняет обязанности действительного государственного советника Российской Федерации 1 класса.
Распоряжением Правительства Российской Федерации от 29 апреля 2011 года Анатолий Николаевич освобождён от должности руководителя Федерального космического агентства «Роскосмос» в связи с достижением им предельного возраста пребывания на государственной гражданской службе. С 4 мая 2011 года вступил в должность заместителя генерального директора по работам в области прогнозного аэрокосмического мониторинга, генерального конструктора ОАО «Российские космические системы».
Перминов занимает пост заведующего кафедрой 610 Аэрокосмического факультета Московского Авиационного Института. Является профессором Академии военных наук.
Имеет различные государственные награды: орден «За заслуги перед Отечеством» III степени; орден «За заслуги перед Отечеством» IV степени; орден «За военные заслуги»; орден Трудового Красного Знамени; орден «За службу Родине в Вооружённых Силах СССР» III степени; орден Достык II степени. Является обладателем ряда почетных званий: Заслуженный машиностроитель Российкой Федерации; Офицер ордена Почётного легиона; Лауреат премии Правительства РФ за участие в создании ракеты-носителя «Днепр». За заслуги в развитии отечественной космонавтики и многолетнюю добросовестную работу удостоен благодарности Президента РФ.
Женат, воспитал сына.