Алексей Митюхин родился в 1945 году в селе Владимировка, Тульская область. Сначала окончил Омское танко-техническое училище, затем учился в Военной академии бронетанковых войск имени Маршала Советского Союза Малиновского. Позднее получил дополнительное образование в Военной академии Генерального штаба.
С 1991 года Митюхин являлся первым заместителем командующего Западной группой войск. В 1993 году полковник прибыл на Северный Кавказ и назначен командующим войсками Северо-Кавказского военного округа.
Совет Безопасности Российской Федерации 29 ноября 1994 года Совет Безопасности Российской Федерации принял решение о проведении военной операции в Чечне. Президент Борис Ельцин выдвинул ультиматум - либо прекращается кровопролитие, либо Россия будет вынуждена пойти на крайние меры.
Позднее, 11 декабря Ельцин подписал указ «О мерах по обеспечению законности, правопорядка и общественной деятельности на территории Чеченской Республики». В тот же день части войск министерства обороны и внутренние войска МВД России вошли на территорию Чечни. Войска продвигались с трех направлений: моздокского - с севера, через районы Чечни, контролируемые антидудаевской оппозицией, владикавказского - с запада из Северной Осетии через Ингушетию, и кизлярского - с территории Дагестана.
На фоне первых неудач в Чечне 15 декабря 1994 года министр обороны России Павел Грачев отстранил от управления войсками группу старших офицеров, отказавшихся вводить войска в Чечню. Руководство операцией возложено на генерал-полковника Алексея Митюхина.
Приказом министра обороны Российской Федерации 20 декабря 1994 года Алексей Николаевич Митюхин отстранен от командования Объединенной группировкой войск в Чеченской Республике.
Генерал-полковник Алексей Митюхин проживает в Москве.