Губернаторский дом построен по указу Александра I в 1821-1823 годах по проекту архитектора П. Я. Панькова как императорский путевой дворец и официальная резиденция ярославских губернаторов.

В стенах Губернаторского дома размещена экспозиция «Русское искусство XVIII – нач. XX веков». Здесь представлены образцы русского искусства XVIII-XX веков: картины Айвазовского, Левицкого, Брюллова, Репина, Саврасова, Шишкина, Левитана, Коровина, полотна мастеров русского авангарда, советское официальное и альтернативное искусство, а также произведения современных авторов.

Экспозицию продолжает Губернаторский сад, который открыт с мая по октябрь. В нем представлена пластика современных российских и зарубежных скульпторов. Проводятся музыкальные вечера и фестивали.