Анатолий Сергеев родился 23 марта 1915 года в городе Астрахань. Окончил 4 класса. После окончания ФЗО работал слесарем на заводе имени Карла Маркса. Член ВКП(б) с 1943 года. В Красной Армии - с 1939 года. Участник Великой Отечественной войны с июня 1941 года. В боях трижды ранен. Принимал участие в обороне Москвы, сражался на Курской дуге, освобождал Белоруссию, Литву.

Анатолий Сергеев - командир батальона 77-го гвардейского стрелкового полка 26-й гвардейской стрелковой дивизии (11-я гвардейская армия, 3-й Белорусский фронт), гвардии майор. Награжден орденами Ленина, Красного Знамени, Александра Невского, 2 орденами Отечественной войны 1-й степени, орденом Красной Звезды, медалями.

В июне 1944 года войска Красной Армии, прорвав оборону противника, вышли к реке Неман у города Алитус (Литва). Батальон гвардии майора А.А. Сергеева форсировал реку Неман с помощью подручных средств и захватил плацдарм на противоположном берегу, отбросив врага на 5-6 километров. В ходе операции наши бойцы захватили штаб противника с важными оперативными документами. Успешные действия батальона обеспечили быстрое форсирование реки всей дивизией. Командир батальона был представлен к присвоению звания «Герой Советского Союза». Получить высшую награду не успел, звание было присвоено ему уже посмертно.

Указом Президиума Верховного Совета СССР от 24 марта 1945 года за мужество, отвагу и героизм, проявленные на фронте борьбы с фашистско-немецкими захватчиками гвардии майору Сергееву Анатолию Андреевичу присвоено звание Героя Советского Союза (посмертно).

Анатолий Сергеев скончался от ран в 394-ом медсанбате 6 февраля 1945 года. Похоронен в городе Капсукас, Литва.

Именем Героя Советского Союза названа улица Калининграде. В этом же городе его память увековечена в памятнике, который входит в мемориальный ансамбль «1200 гвардецев»