Задача, вставшая перед Захаровым, была чрезвычайно сложна. Ему предстояло не только переделать фасады, но и произвести перепланировку сотни помещений. Дело в том, что сама верфь нуждалась в коренной реконструкции. А кроме того, требовались новые обширные помещения для только что учрежденного Министерства морских сил, в состав которого вошли и Адмирал-тейств-коллегия, и вновь созданный Адмиралтейский департамент. Адмиралтейство по-прежнему должно было оставаться не только резиденцией морского ведомства Lс его библиотекою, музеумом и прочими к нему принадлежностями│, но и производственным предприятием, о чем свидетельствует пункт 5 захаровского проекта:
"Весь нижний этаж под всем зданием и в некоторых местах в среднем этаже займут кладовыми, в нижнем 32
же этаже корпуса к монументу подле павильона сделана большая кузница".
Совмещение действующей верфи со зданием, играющим главную роль в архитектурном ансамбле, было задачей весьма необычной, почти не имевшей прецедентов в истории мировой архитектуры. Кроме того, Захаров был стеснен планом старого, коробовского Адмиралтейства, которое он изучил самым тщательным образом и которое решил по мере возможности не разрушать. Андреян Дмитриевич исключительно бережно отнесся к творению своего предшественника.
Вот характерные примеры.
Между башней и шестиколонным портиком Захаров спроектировал одиннадцать окон вместо двадцати одного, как это было у Коробова. Но он добился того, что оси его одиннадцати окон совпали с осями существовавших, а остальные были заделаны, так что не пришлось ломать стену.
Сама башня, по первоначальному варианту проекта, должна была приобрести раскреповки. Но затем по ширине зодчий оставил ее равной коробовской и как бы заключил в футляр. Внутри адмиралтейской башни и сегодня можно видеть старую деревянную конструкцию, выполненную Коробовым.
Захаров сам установил очередность предстоящих работ, разбив их на несколько этапов. Первый - сооружение корпуса перед Зимним дворцом; второй - сооружение крыла главного корпуса до башни; третий - башня и т, д.
Однако строительство продвигалось вперед медленнее, чем это предусматривалось планами и сметой. Заметим, кстати, что по смете, составленной Захаровым, стоимость строительства была определена в 654 232 рубля ("...если же сделать колонны, карнизы и прочие украшения из пудожского камня, то еще нужно прибавить 110 000 рублей"). А фактически было израсходовано 2,5 миллиона рублей.
Причин тому было несколько. Во-первых, иногда на стройке ощущалась нехватка рабочей силы. Во-вторых, тормозило дело и личное вмешательство царя, далеко не всегда разумное и своевременное.
Строительство первоочередного, восточного корпуса началось в 1806 году. К осени того же года была возведена часть стен. На следующий год здание подвели под крышу, а еще год спустя Александр I потребовал сократить его длину (чтобы корпус не подходил вплотную к Неве), в связи с чем пришлось сломать часть уже воздвигнутого здания, переделать проект и начать строительство сначала.
В 1811 году в основном завершились работы по отделке восточной части Адмиралтейства, включая и Невский павильон, но здание в целом было еще далеко не окончено.
Борьба за каждую деталь Адмиралтейства, борьба с бюрократической рутиной и сопротивлением чиновничьих Lмедных лбов│ бесконечно изматывала силы. Зодчий остро нуждался в хорошей мастерской, способной избавить его от черновой работы, в увеличении числа помощников. В одном из рапортов Захаров писал, что его сотрудники загружены не по силам и Lот непомерных трудов до того изнурены, что беспрестанно впадают в болезни очевидные│.
Прежде всего это относилось к самому Андреяну Дмитриевичу.
Захаров буквально сгорел на работе. Он умер 27 августа 1811 года, пятидесяти лет от роду, так и не успев завершить свое великое творение, которому суждено было стать выдающимся произведением не только в творчестве самого зодчего, но и во всей русской и мировой архитектуре.
"Академия в сем году лишилась сочлена своего, профессора архитектуры, статского советника Захарова, каковая потеря, по сведениям и дарованиям его, весьма для Академии чувствительна. Опыты талантов его и правильного вкуса в строении достаточно представить может и одно ныне строящееся здание Адмиралтейства, отличающееся великолепием и красотой".
Так откликнулась на смерть выдающегося архитектора Академия художеств. В скупых словах протокола заседания академии содержалось признание больших заслуг покойного зодчего.
К моменту кончины Захарова работы по перестройке Адмиралтейства были еще весьма далеки от окончания. В восточном павильоне только началось оштукатуривание фасадов, а в западном даже еще не началась кладка.
После смерти Захарова строительством руководили, последовательно сменяя друг друга, три бывших его помощника - академик А. Г. Бежанов (с 1811 по
1813 год), архитекторы Д. И. Калашников (с 1813 по 1816 год) и И. Г. Гомзин (с 1816 года), которые сотрудничали с Андреяном Дмитриевичем и хорошо знали его идеи. Им остались прекрасно разработанные исходные проектные документы, и, хотя ни один из архитекторов не проявлял такой кипучей энергии и настойчивости, какие были присущи А. Д. Захарову, они все же сумели успешно завершить замысел своего коллеги и учителя.
В связи с Отечественной войной 1812-1814 годов работы по перестройке Адмиралтейства были частично свернуты, - война отвлекала силы и средства. В результате реконструкция значительно затянулась.
В общей сложности основные строительные работы заняли тринадцать лет, еще четыре года ушло на отделку зданий. Лишь к 1823 году все было завершено.

П.А.Александров. Исаакиевский мост и новая церковь. Литография. 1825 г