Виктор Гартман родился 5 мая (23 апреля по старому стилю) 1834 года в Петербурге в семье чиновника-француза, штаб-лекаря при Калинкинской больнице. При рождении ему было дано двойное имя Виктор-Эдуард, а позднее к имени прибавилось отчество Александрович.
Трехлетним остался без отца, через год умерла и мать. Осиротевшего племянника взяла в свою семью сестра матери Л. И. Гемилиан, жена архитектора А. П. Гемилиана. Тетка была любимой камер-фрау (придворная дама, заведовавшая женским гардеробом высочайших особ во дворце) при императрице Александре Фёдоровне. Благодаря этому удалось поместить мальчика в Горный корпус, хотя он не имел права на поступление в это учебное заведение, куда принимались исключительно дети тех, кто служил в горном ведомстве. Поступил он туда двенадцатилетним в 1846 г.; но в 1852-м руководство корпуса попросило родственников воспитанника забрать его оттуда, так как живой характер юноши не вполне соответствовал военному режиму корпуса.
Замеченные у племянника художественные способности побудили Л. И. Гемилиан определить его теперь в Академию художеств, куда Виктора тянуло уже давно. Здесь занятия Гартмана в качестве «вольноприходящего» ученика пошли успешно. Некоторое время он колебался в выборе между жанровой живописью и архитектурой, но остановился на последней. В 1856 г. за проект «биржи» получил малую серебряную медаль, в 1858 г. за «проект памятника архитектору» - большую серебряную медаль; в 1860 г. за проект «биржи, с пакгаузами, таможнею и проч., на Гутуевском острове, в Петербурге» - малую золотую медаль, а в 1861 г., за проект «публичной библиотеки», - большую золотую медаль с правом на «заграничную поездку на казенный счет». И тогда он уже отличался как прекрасный рисовальщик и акварелист.
Так как незадолго до того было заведено оставлять на некоторое время окончивших курс обучения молодых архитекторов в России «для практических занятий при известных архитекторах», Гартман два года провел в Петербурге, преимущественно при своём дяде А. П. Гемилиане, который был если и не выдающимся архитектором, то хорошим практиком, и как таковой принёс племяннику немало пользы.
За это время Гартман обработал архитектурную часть памятника «Тысячелетие России» скульптора М. О. Микешина в Новгороде, составил проект сельской церкви близ Луги, иконостас для создаваемого в Киеве Владимирского собора, надзор над строительством которого был поручен архитектору А. В. Беретти, и трудился в качестве старшего помощника при дяде в доме Мясниковых на ул. Знаменской в Санкт-Петербурге, где даже собственноручно оформил комнату в помпейском стиле. Работать собственноручно было вообще его манерой и впоследствии. Например, когда строилась типография А. И. Мамонтова в Москве, он не составлял даже предварительных проектов всех характерных украшений здания, а сам, забираясь на леса, выкладывал их своими руками. Кроме упомянутых работ, он в это же время много рисовал на дереве виньеток и иллюстраций для изданий Гогенфельдена.
Наконец, в январе 1864 г. он выехал за границу, уже женатым, и пробыл там до осени 1868 г., причём ненадолго посетил Италию, Швейцарию и Германию, а большую часть времени провёл во Франции. Во время путешествия он изучал не только художественную сторону архитектурных памятников, но и техническую часть; и совершил всю свою поездку не так, как его товарищи «пенсионеры», а как это делают уже сложившиеся иностранные архитекторы: он зарисовывал бегло всё обращавшее на себя его внимание, не исключая и жанровых сцен; всё же, что могла передать фотография, фотографировал небольшим имевшимся всегда при нём аппаратом. Так же он поступил и решив, по образцу других пенсионеров, исполнить реставрацию римского амфитеатра около Перигё. Результатом всего этого получилось огромное количество привезённых им в Россию талантливых рисунков и фотографий, но требуемых Академией тщательно отделанных рисунков и чертежей он так и не представил.
Вскоре по возвращении в Петербург Гартман в июле 1869 г. был приглашён в Комиссию для устройства Всероссийской мануфактурной выставки 1870 г. Перестройка по этому поводу Соляного городка дала возможность Гартману выказать во всем блеске его талант, - им сделано до шестисот рисунков, отличающихся изяществом и оригинальностью. За эти работы Академия возвела его в 1870 г. в звание академика. К этому же времени относится его проект городских ворот для Киева в память «события 4 апреля 1866 г.» (как тогда называли покушение на Александра II), проект здания для народных лекций в Соляном городке в Петербурге и рисунки декораций и костюмов для балета «Трильби» Ю. Г. Гербера в постановке Петипа (Большой театр, 1870) и опер «Руслан и Людмила» М. И. Глинки и «Вражья сила» А. Н. Серова (обе - в Мариинском театре, 1871), составленные по поручению дирекции Императорских театров.
Для Политехнической выставки в Москве 1872 г. Гартману было поручено устройство военного отдела - лучшего отдела этой выставки. Из-за этого он переселился в Москву, где и провёл остальную свою деятельность. В Москве Гартман активно сотрудничал с абрамцевским кружком и журналом-увражем «Мотивы русской архитектуры» (1874-1880), которые ознаменовали выход «русского стиля» на новый, более «демократический» или, по декоративно-пластическому характеру, фольклорно-«крестьянский» этап. Стал (наряду с И. П. Ропетом) одним из самых ярких и авторитетных представителей «неорусской» стилистики. Здесь он составил проект деревянного народного театра, построенного на Лубянской площади с большими отступлениями от первоначального проекта (Народный театр, возможно, стал первым в России зданием сборно-разборного типа), составил проекты построек Зоологического сада и музея и нескольких частных домов и дач (известнейшей его работой является «Студия» (мастерская) в Абрамцеве, 1872) и построил типографию А. И. Мамонтова и дачный дом для него же, в селе Киреево, где в возрасте 39 лет он скоропостижно скончался 4 августа (23 июля по старому стилю) 1873 года.
В том же году за театр на Лубянской площади, вместе с некоторыми другими работами, на Венской всемирной выставке 1873 г. ему присудили почётную золотую медаль.
Редкому архитектору так не везло в строительном деле, как Гартману. Из всех перечисленных его работ в настоящее время существует только типография Мамонтова (ныне № 5 по Леонтьевскому переулку в Москве), все же остальные или вовсе не были исполнены, или носили лишь временный характер, как выставочные павильоны (наиболее живописные его произведения), и по окончании их уничтожались. Органичней всего его идеи, развивающие характерные мотивы народных вышивок и резьбы по дереву, воплощались именно в таких временных деревянных постройках. Так что знакомиться с его талантом можно лишь по изданиям, таким как «Мотивы русской архитектуры» Рейнбота или изданный В. В. Стасовым альбом «Образцы русского орнамента» (1872).
В истории русской архитектуры Гартман является одним из главных представителей направления, стремившегося возродить допетровский русский стиль применением орнаментации, взятой с предметов прикладного искусства, к украшению архитектурных памятников.