Первоначально дворец предназначался Екатериной II в дар своему фавориту графу Г.Орлову. Однако Г.Орлов умер до окончания строительства. После его смерти дворец служил резиденцией великих князей. Одним из последних его владельцев был великий князь Константин Константинович. На I этаже дворца, в бывших покоях великого князя, в подлинных интерьерах того времени располагается мемориальный музей Константина Романова - "К.Р.", признанного поэта Серебряного века.
С 2001 года в Мраморном дворце открыта постоянная экспозиция "Коллекция петербургских собирателей братьев Ржевских" - дар Я. и И. Ржевских Государственному Русскому музею. В 1994 году перед дворцом установлена конная статуя Александра III, созданная скульптором П.Трубецким.
В 1995 году в Мраморном дворце был открыт для посетителей "Музей Людвига в Русском музее". Его основу составили произведения современных художников Европы, России и Америки, подаренные Русскому музею известными немецкими коллекционерами Петером и Ирэной Людвиг. "Музей Людвига в Русском музее" является постоянной экспозицией искусства конца XX века, которая дает возможность проследить развитие русского искусства в контексте мировой художественной культуры.