Это первое в России здание, облицованное натуральным камнем. Для внешней и внутренней отделки использовали 32 сорта мрамора, доставляемого из Италии, Ладожского и Онежского озёр.
Существует легенда, что императрица Екатерина сама сделала набросок будущего строения и показала его архитектору Ринальди. Он похвалил работу и сразу же получил разрешение на строительство.
В 1856 году в стенах дворца состоялось первое в России выступление композитора Иоганна Штрауса.
На стене парадной лестницы можно увидеть единственный сохранившийся до наших дней портрет архитектора Антонио Ринальди.
В Мраморном дворце сохранилась квартира великого князя Константина Константиновича — поэта императорской крови.
По легенде, в фундаменте здания спрятан сундук с монетами.