Зельмар Багге родился 30 июня 1823 года в Кобурге. Его отец Иоганн Багге был ректором латинской школы. Окончил Пражскую консерваторию у Диониса Вебера (композиция) и Иоганна Баптиста Хюттнера (виолончель), в 1840-1842 годах первая виолончель в городском театре Лемберга. Затем учился в Вене у Симона Зехтера.
В 1851-1855 годах преподавал в Венской консерватории, затем работал в Вене как музыкальный критик, добившись значительного авторитета. С 1859 года редактировал «Немецкую музыкальную газету», в которой он один из первых в Вене продвигал музыку Шумана и Брамса. В 1863-1868 годах редактировал «Всеобщую музыкальную газету» в Лейпциге, был одним из первых рецензентов Роберта Шумана и Иоганнеса Брамса.
В 1868 году стал первым директором Всеобщей музыкальной школы в Базеле и занимал этот пост до конца жизни; с 1877 года преподавал также в Базельском университете, доктор философии honoris causa (1880).
Автор четырёх симфоний, двух месс и других хоровых сочинений, фортепианного концерта, камерной музыки, песен. Написал также книги о Роберте Шумане (1879) и Карле Марии фон Вебере (1884), несколько учебных и обзорных книг по истории музыки, одна из которых посвящена Йозефу Иоахиму.
Джордж Гроув в музыкальном словаре писал: «Багге - консерватор музыкальных идей и талантливый композитор. Бетховен и Шуман являются для него образцами в искусстве, и он не воспринимает тех, кто отличается от него … Его музыка хороша, но неудобна технически и мелодически.»