Инициатором постройки дворца была сама императрица, которая таким широким жестом решила поощрить своего фаворита – графа Орлов. Роскошная резиденция, украшенная табличкой с именным посвящением, должна были стать благодарностью от Екатерины за труды Григория Григоровича на благо короны и лично императрицы.
По одной из легенд императрица сама сделала набросок будущего здания и показала его архитектору. Зная, что проект составила Екатерина, Ринальди высоко оценил эту работу и тут же получил разрешение на строительство. Здание заложено 10 октября 1769 года, в его фундамент замурован мраморный ящик с монетами. Строительными работами руководил полковник артиллерии М. И. Мордвинов. Архитектурный надзор осуществляли Антонио Ринальди и Пётр Егоров. На строительстве Мраморного дворца ежедневно трудились около 100 каменщиков и от 100 до 300 артиллерийских фузилеров из подразделения Мордвинова. Екатерина II периодически посещала строительную площадку и лично награждала особо отличившихся работников.
Огромные плиты мрамора и гранита доставляли по Неве. Их сюда начали завозить уже в 1768 году. Кирпичные своды и стены построили в 1769 году, после чего началась первичная обработка природного камня. Эта работа осуществлялась в 1770-1774 годах. В 1774 году приступили к отделке фасадов Мраморного дворца мрамором и гранитом, к отделке внутренних помещений.
Незадолго до завершения работ со строительных лесов упал и получил тяжёлые травмы Антонио Ринальди. Не дождавшись окончания возведения Мраморного дворца он уехал из России в Италию.
