Под декором конца XIX века скрывается особняк XVIII века. Он тогда принадлежал статской советнице Анне Семеновне Олениной.
Коренным образом дом преобразился в конце XIX века, когда его купил Владимир Думнов - владелец известного издательства в Москве.
В 1894 году архитектор П.М. Самарин перестроил старый дом, купленный Думновым. После 1914 г. дом был переоборудован для издательства «Искусство».
В середине 1960-х в этом доме находилась резиденция посла Японии.
В 2013- 2014 годах прошла его реставрация.
В 2013 году Особняк И. Г. Наумова - А. С. Олениной стал лауреатом конкурса "Московская реставрация".
