Андрей Карлов родился 4 февраля 1954 года в городе Москва. После школы, в 1976 году окончил факультет международных экономических отношений Московского государственного института международных отношений при Министерстве иностранных дел России. С того же года молодой человек находился на дипломатической службе в различных должностях Центрального аппарата МИДа. Позднее, получил второе высшее образование, окончив Дипломатическую академию МИД Российской Федерации. В совершенстве овладел корейским и английским языками.
С 9 июля 2001 по 20 декабря 2006 года Карлов являлся Чрезвычайным и полномочным послом Российской Федерации в Корейской Народно-Демократической Республике. Получил дипломатический ранг чрезвычайного и полномочного посла второго класса 15 января 2002 года. Через два года получил ранг первого класса.
Андрей Геннадьевич с 2007 по 2007 год занимал должность заместителя Директора Консульского департамента Министерства иностранных дел России. С 26 января 2009 по 12 июля 2013 года возглавлял Консульский департамент МИД Российской Федерации.
Дипломатический ранг чрезвычайного и полномочного посла получил 22 марта 2011 года. С 12 июля 2013 по 19 декабря 2016 года являлся чрезвычайным и полномочным послом Российской Федерации в Турецкой Республике.
Карлов Андрей Геннадьевич трагически погиб вечером 19 декабря 2016 года в результате покушения в Анкаре во время открытия в Центре современного искусства фотовыставки «Россия глазами путешественника: от Калининграда до Камчатки». Торжественное мероприятие, на котором посол выступал с приветственным словом, транслировалось в прямом эфире местным телевидением, и кадры убийства стали достоянием мировой общественности. Во время речи, стоявший за спиной посла охранник достал пистолет и многократно выстрелил в Карлова.
В результате действий местной полиции нападавший застрелен. Тяжелораненого российского посла доставили в госпиталь, однако через 40 минут врачи сообщили о его смерти. Террорист опознан как 22-летний Мевлют Мерт Алтынташ, полицейский, проработавший около двух с половиной лет в органах государственной безопасности Турции.
Указом Президента России Владимира Путина №694 от 20 декабря 2016 года за проявленные стойкость и мужество на посту Чрезвычайного и Полномочного Посла Российской Федерации в Турецкой Республике, большой вклад в реализацию внешнеполитического курса России Карлову Андрею Геннадьевичу присвоено звание Героя Российской Федерации (посмертно).
Отпевание погибшего дипломата прошло 22 декабря 2016 года в Храме Христа Спасителя. Богослужение провел Патриарх Московский и всея Руси Кирилл. В траурных мероприятиях принял участие Президент России Владимир Путин. В этот же день Карлов похоронен с воинскими почестями на Химкинском кладбище Москвы, рядом с могилой отца.
Герой Российской Федерации (посмертно, 20 декабря 2016 года) - за проявленные стойкость и мужество на посту Чрезвычайного и Полномочного Посла Российской Федерации в Турецкой Республике, большой вклад в реализацию внешнеполитического курса Российской Федерации;
Благодарность Президента Российской Федерации (19 февраля 2011 года) - за заслуги в подготовке и проведении XIV Петербургского международного экономического форума;
Орден преподобного Серафима Саровского III степени (РПЦ, 13 августа 2006).
Решением городского муниципалитета столицы Турции 9 января 2017 года улица в Анкаре, на которой находится посольство России, названа именем Андрея Карлова;
В декабре 2016 года мэрия Анкары приняла решение назвать выставочный зал в Центре современного искусства, в котором был застрелен Андрей Карлов, в его честь;
В декабре 2016 года ученый совет МГИМО учредил именные стипендии и премии имени Андрея Карлова для студентов и преподавателей университета, занимающихся восточной проблематикой. Кроме того, имя посла будет присвоено дипломатическому клубу МГИМО;
В феврале 2017 года в здании «Почты России» в Москве представлена почтовая марка, посвященная Андрею Карлову. На марке изображены портрет Карлова, медаль «Золотая Звезда», а также здание Министерства иностранных дел России. Марка выпущена тиражом 135 тысяч экземпляров в рамках продолжения серии «Герои Российской Федерации». Оттиск гашения первого дня марки поставили вдова посла Марина Карлова, гендиректор МИД России Сергей Вязалов и глава «Почты России» Дмитрий Страшнов. По словам Вязалова, «конверт с гашением этой марки останется в музее Министерства иностранных дел»;
В феврале 2017 года Московская школа ГБОУ «Школа № 648» переименована в «Школа № 648 имени Героя Российской Федерации Андрей Карлова»;
В феврале 2017 года имя Андрея Карлова присвоено улице на Дорогомиловской Заставе, у обелиска «Москва - город-герой», между Кутузовским проспектом и Большой Дорогомиловской улицей;
В апреле 2017 года на здании посольства России в КНДР в Пхеньяне открыта мемориальная доска с надписью «Здесь служил Родине Герой России Андрей Карлов» и барельефом;
В декабре 2017 года мемориальная доска работы народного художника РФ Александра Рукавишникова установлена в Москве на Петрозаводской улице, д. 24, к. 2, где Андрей Карлов жил с 2011 по 2016 годы;
В марте 2018 года именем Андрея Карлова названа улица в турецком городе Демре (Анталья), на улице установлен памятник;
В честь Карлова получил имя самолет VP-BLB - Royal Flight - Boeing 757.
Отец - Геннадий Карлов (ум. 1968), выпускник МГИМО, работал в Африке;
Мать - Мария Александровна;
Жена - Марина Михайловна. В Троицком храме 15 августа 2006 года в Пхеньяне обвенчаны митрополитом Смоленским и Калининградским Кириллом (Гундяевым). Свидетелем на венчании выступил советник-посланник Посольства России в КНДР Александр Мацегора. Работала преподавателем в МГИМО.
Сын - Геннадий Андреевич, закончил МГИМО, бакалавриат на факультете международных отношений, потом поступил в магистратуру на факультете международной журналистики. В настоящее время - секретарь консульского отдела посольства России в КНДР.