Анатолий Горбунов родился 10 февраля 1942 года в деревне Пилда, Латвия. С 1959 года работал в совхозе «Никраце. В 1970 году окончил Рижский технический университет. Во время учебы являлся секретарем комитета комсомола университета. Затем стал первым секретарем Кировского горкома Ленинского коммунистического союза молодежи Латвии в Риге. Позднее получил дополнительное образование в Российской академии государственной службы.
С 1974 года Горбунов являлся заведующим отделом, а затем первым секретарем Кировского райкома Коммунистической партии Латвии в Риге. В 1982 году занял должность секретаря Рижского горкома Коммунистической партии. С 1984 года находился на посту заведующего отделом административных органов Центрального комитета партии. В 1985 году назначен секретарем по вопросам идеологии.
Анатолий Горбунов 6 октября 1988 года назначен Председателем Президиума Верховного Совета Латвийской ССР. Поддержал Народный фронт Латвии, позже выступивший за восстановление независимости республики. С момента провозглашения независимости Латвии в 1990 году и до избрания президентом Гунтиса Улманиса в 1993 году являлся номинальным главой государства как председатель парламента.
Затем Анатолий Валерианович стал одним из основателей партии «Латвийский путь». Избирался депутатом V и VII сеймов Латвии от этой партии. Являлся председателем Третьего Сейма. С 1996 по 2002 годы занимал пост министра среды и регионального развития в трех правительствах, министра сообщений в двух правительствах. Недолгое время находился в должности министра экономики. Возглавлял латвийскую делегацию в латвийско-российской межправительственной комиссии. В этот период выдвигался в президенты.
С 2003 года Анатолий Горбунов занимает должность председателя государственного акционерного общества «Латвийские государственные леса».
Женат, есть сын и внук.
Орден Трех звезд, 2005
Памятный знак участника баррикад 1991 года