В годы массовых политических репрессий в СССР именно в «здание на Лубянке» привозили подозреваемых в преступлениях против власти, поэтому с этим домом связано много мрачных легенд. Примечательно, что в XVIII веке как раз на этом участке находилась Тайная экспедиция Розыскных тайных дел, которая занималась расследованием преступлений против государства.

В 1894 году страховое общество «Россия» приобрело участки земли возле Лубянской площади с намерением возвести доходный дом. Архитекторами проекта стали Н.М.Проскурнин и А. В. Иванов (автор проекта здания «Националя»). Пятиэтажный дом со стороны Большой Лубянки был готов к 1898 году. Он был выполнен в стилистике североевропейского Возрождения. Крышу дома украшали башенки. Центральную башню с часами венчали стилизованные женские фигуры, символизирующие Справедливость и Утешение. Рядом, ближе к Мясницкой улице, был построен второй похожий дом, высотой в 4 этажа.

В 1920-1930 годы Большой дом на Лубянке подрос на два этажа. Еще через 20 лет здание было перестроено по проекту архитектора А.В. Щусева: он объединил 2 здания на Лубянке в одно. Правая часть фасада была перестроена и декорирована в духе архитектуры итальянского Возрождения: рустованный нижний этаж, классические карнизы, пояса, двухэтажные глубокие лоджии. Левая часть фасада стилистически была объединена с правой только в 1980-х годах. Обе части здания соединены цокольным этажом, облицованным серым гранитом.

В 1918 году имущество страховых обществ было национализировано, и в дом на Лубянке поселили работников НКВД РСФС. В 1919 году здание перешло в ведение Центрального аппарата ВЧК. С тех пор дом на Лубянке так и остался штабом органов госбезопасности: ОГПУ до 1934 года, затем НКВД и МВД, НКГБ и МГБ, с 1954 года КГБ СССР, с 1996 года ФСБ.

В 1990 году в сквере на Лубянской площади был установлен «Соловецкий камень» в память о жертвах сталинских репрессий.