Мечтой купца Арсения Мороза было построить «самый диковинный дом в столице», поэтому вместе с известным русским архитектором Виктором Мазыриным он решил отправиться в путешествие по Европе. Они смотрели разные по своему строению здания, но наибольшее впечатление на них произвел дворец Пена в португальском городе Синтре, выполненный в национальном стиле мануэлино. Он и стал прототипом нового особняка.
Грандиозное строительство завершилось в 1899 году. Общая композиция здания — с подчеркнутой асимметрией — соотносится с архитектурой модерна. В оформлении парадного входа и боковых башен проявился неомавританский стиль. Весь особняк пестрит элементами различных стилей: проем в форме подковы с витыми колонами по бокам, фигурки в виде ракушек, ажурные карниз и аттик, классические колонны... Интерьеры также были очень разнообразны: парадная столовая выполнена в стиле русской готики, главная гостиная — ампир, будуар — в барочном стиле, имелись и арабские и китайские комнаты. При входе в само здание гостей встречают статуи рыцарей, привезенных из Германии. В этом доме довольно часто проходили банкеты, которые собирали весь столичный бомонд.
После 1917 года в особняке Морозова находился первый рабочий театр, где играли и ставили произведения известные деятели искусства — Эйзенштейн и Мейерхольд. С 1928 года дом стал резиденцией для японского посла, а во время военных лет здесь располагалась редакция английской газеты «Британский союзник». В начала 60-х годов он превратился в Дом дружбы с народами зарубежных стран. Уже в 2000-х годах его стали использовать для приемов высокопоставленных гостей, особенно зарубежных политических деятелей. Многие залы были отреставрированы, частично был восстановлен былой интерьер комнат.