Большой зал Московской консерватории был торжественно открыт 20 апреля 1901 года. В честь открытия был дан концерт, первым номером которого была увертюра к опере «Руслан и Людмила» Глинки. Большой зал консерватории был построен вместе с новым зданием Московской консерватории в 1895-1901 годах по проекту архитектора Загорского. Соавторами архитектора стали художник Бондаревский и скульптор Аладьин.

Большой зал консерватории с самого начала задумывался как подлинный храм музыки. Его вестибюль выполнен в духе античного храма. У ворот храма посетителя встречают фигуры амазонок - копии греческих статуй Кресилая и Фидия, которые некогда украшали знаменитый храм Артемиды в Эфесе.

Концертный зал выдержан в светлых, теплых тонах и украшен белыми пилястрами. Лепной декор зала, изображающий эмблему музыки - лиру и скрещенные трубы, выполнил скульптор Аладьин. А в его стенах под громадными окнами размещены 14 овальных, обвитых декоративными лаврами портретов великих композиторов. Их выполнил живописец Бондаревский.

Главное достоинство зала - его превосходная акустика. На эстраде установлен один из крупнейших в мире органов, который специально заказал в Париже железнодорожный предприниматель фон Дервиз.

Уже в первые годы существования Большого зала в нем выступали замечательные русские музыканты и певцы - Рахманинов, Скрябин, Зилоти, Метнер, Игумнов, Гольденвейзер, Шаляпин, Нежданова, Собинов. Выступления прославленных музыкантов превратили его в международный центр высокого искусства.

В 2006 году решением Ученого совета корпусу Большого зала было присвоено имя основателя Московской консерватории Николая Рубинштейна.