Манеж в 1804-1807 гг. построил Дж. Кваренги, лейб-гвардии Конногвардейского полка.

Главный фасад манежа обращен к Исаакиевскому собору. Здесь зодчий создал глубокий портик с гармонично расставленными колоннами.
По сторонам входа на высоких постаментах были установлены изваянные в Италии П. Трискорни (1817 г.) скульптуры героев греческого мифа братьев Диоскуров - Кастора и Полидевка. Кастор считался смелым укротителем коней и искусным наездником, а Полидевк - лучшим кулачным бойцом. Когда Кастор пал в поединке, он, как и все смертные, должен был отправиться в царство Аида, но обладавший бессмертием Полидевк умолил отца - Зевса не разлучать его с братом. Зевс разрешил им пребывать вместе, но один день на Олимпе, а другой день - в царстве мертвых. Преданность Кастора и Полидевка друг другу стала олицетворением мужской дружбы.
Статуи Диоскуров были установлены перед портиком манежа в 1817 году, но в 1840-х годах по требованию Синода, который счел неприличным соседство обнаженных Диоскуров с Исаакиевским собором, эти статуи были сняты с пьедесталов и водружены на пилоны ворот в Конногвардейском переулке. В 1954 году Кастор и Полидевк были возвращены на прежние пьедесталы.
Главный вход за колоннами декорирован барельефом, тематически связанным с первоначальным назначением здания: он изображает конные состязания.