Шандор Гарбаи родился 27 марта 1879 года в городе Кишкунхалаш, Венгрия. Трудовую деятельность начал в юношеские годы рабочим-каменщиком. Рано примкнул к рабочему движению. В возрасте восемнадцати лет перебрался в Будапешт, где получил известность как оратор на социал-демократических митингах.
С 1901 года Гарбаи являлся членом руководства Венгерской социал-демократической партии. Занимал пост председателя профсоюза строительных рабочих Венгрии и главы Национального фонда страхования рабочих. Поддержал слияние социал-демократов и коммунистов в единую Социалистическую партию, взявшую власть в Венгрии.
Шандор Гарбаи 21 марта 1919 года назначен премьер-министром Венгрии, сформировав правительство в альянсе с коммунистами, которые провозгласили создание Венгерской советской республики. Затем 1 августа получил пост министра народного образования, однако уже 6 августа правительство пало под натиском интервентов и контрреволюционеров.
Опасаясь расправы, Гарбаи сбежал из румынского плена в Коложваре и появился в Чехословакии, оставшись в окончательной эмиграции вначале в Братиславе, затем в Вене. Являлся лидером центристского течения в левой венгерской эмиграции. С семьей открыл ресторан, где принимал бывших коммунистических и других левых лидеров. Ресторан вскоре обанкротился, понес огромные финансовые убытки и с тех пор жил в нищете.
Покинув Австрию в 1934 году из-за победы ультраправого правительства над рабочим движением, Шандор Гарбаи поселился в Братиславе, а в 1938 году переехал в Париж. Во время немецкой оккупации Франции не участвовал в Движении Сопротивления, хотя подпольщики пытались его завербовать, и уцелел во время репрессий со стороны оккупантов. После освобождения Венгрии от гитлеровцев и салашистов собирался вернуться на родину, но ему помешали коммунисты и бывшие товарищи по партии.
Умер Шандор Гарбаи 7 ноября 1947 года в Париже.