История дома № 15 на Волжской набережной уходит корнями вглубь веков. От первоначального строения, которое датируется последней третью XVII века, сохранился лишь великолепный сводчатый подвал (подклет). В 1820-х годах дом был полностью перестроен. Изменились и внешний облик и планировка. Фасад здания, решенный в духе позднего классицизма, и сегодня является украшением Волжской набережной.
Строителем и первым домовладельцем был Дмитрий Сергеевич Рукавичников (Рукавишников), сын и продолжатель дела богатого ярославского кожевенника Сергея Андреева Рукавичника (Рукавичникова).
В 1799 году дом был описан за долги и передан в ведение городского магистрата "в ветхом состоянии". С 1802 по 1848 год дом был отдан под казенную квартиру ярославского полицмейстера.
В 1862 дом был сначала взят в аренду, а затем выкуплен ярославским купцом А. И. Труновым. В 1869 году он передал дом Ярославскому обществу врачей под устройство лечебницы для приходящих больных с родильным отделением. Это была вторая в России (после Санкт-Петербурга) лечебница, где больные и роженицы могли получить бесплатную помощь.
После революции, вплоть до 2001 года, дом находился в ведении областного отдела здравоохранения. Здесь находились сначала акушерская школа, а позднее - отделение Ярославского родильного дома № 1.
В 2014 году здание, которое более десяти лет не эксплуатировалось, было приобретено ОАО "Ярославский технический углерод". Здесь выполнен большой объем исследовательских и реставрационных работ, позволяющих наглядно проследить историю дома.
В настоящее время здесь расположился музей имени В.Ю. Орлова, в котором представлена частная коллекция фарфора, серебра и произведений чугунного художественного литья.