Дворец строился с 1828 по 1848 годы как летняя резиденция видного государственного деятеля России, генерал-губернатора Новороссийского края графа М. С. Воронцова.
Дворец был построен по проекту английского архитектора Эдварда Блора. Архитектор в Алупку не приезжал, но он был хорошо осведомлен о рельефе местности. Кроме того, фундаменты и первая кладка глубокой портальной ниши центрального корпуса уже были готовы (начинал дворец строиться по другому проекту — архитекторов Франческо Боффо и Томаса Харрисона).
В строительстве дворца использовался в основном труд оброчных крепостных из Владимирской и Московской губерний. К постройке привлекались потомственные каменотесы и камнерезы, имевшие опыт строительства и рельефной отделки белокаменных соборов. Все работы производились вручную, примитивными инструментами.
Сооружение дворца началось со столового корпуса (1830—1834 годы). Центральный корпус возводился в 1831—1837 годах. В 1841—1842 годах к столовой была пристроена бильярдная. В 1838—1844 годах строились гостевой корпус, восточные флигели, все башни дворца, пятиугольник хозяйственных корпусов, оформлялся Парадный двор. Последним был построен библиотечный корпус (1842—1846 годы).
Самый большой объём земляных работ был осуществлен с 1840 по 1848 год с помощью солдат саперного батальона, которые соорудили террасы парка перед южным фасадом дворца.
Летом 1848 года на центральной лестнице, ведущей к главному входу, были установлены скульптурные фигуры львов, выполненные в мастерской итальянского скульптора Джовани Боннани. Львиная терраса завершила строительство и оформление дворцово-паркового ансамбля.
