Губернаторство Архаровых не ознаменовалось никакой административной деятельностью, по сути дела, они исполняли обер-полицейскую должность: поощряли доносы, организовали сеть политического и уголовного сыска, причем их надзор распространялся на всех, даже высших лиц государства.
Правда, в Москве сыск и шпионы Ивана Петровича действовали мягче, добродушнее, так сказать, по-домашнему. Дом Архарова на Пречистенке считался одним из самых приятных в Москве, он был открыт для всех знакомых, в обычные дни там обедало не менее сорока человек, по воскресеньям давались балы, на которые съезжалось столько гостей, что экипажи не умещались на обширном дворе и стояли на улице. Хозяин радушно встречал гостей, а наиболее любимых заключал в объятья со словами: "Чем угостить мне дорогого гостя? Прикажи только, и я зажарю для тебя любую дочь мою!"
Но когда с Иваном Петровичем его светские знакомые сталкивались не как с добродушным гостеприимным барином, не на балу, не за обеденным столом, а как с генерал-губернатором, находящимся на службе, то вмиг менялось и восприятие, и оценка его. В своих "Записках" княгиня Е.Р. Дашкова описывает слежку за собой, причем, как разъяснилось, агент "шпионил не по приказу императора, а по воле Архарова", и характеризует "господина Архарова-младшего" как человека, "которого император облек обязанностями и властью инквизитора, что вовсе не претило его грубой душе, лишенной человечности".
Карьера братьев Архаровых оборвалась неожиданно и анекдотично, и виною этому стало то, что Николай Петрович перемудрил в своем стремлении угодить и подслужиться к императору. Павел после коронации поехал осматривать литовские губернии, к его возвращению Архаров решил подготовить ему сюрприз. Приметив, как Павел радовался новой единообразной окраске всех шлагбаумов полосами черного, оранжевого и белого цветов, Архаров "волею монарха" приказал всем домовладельцам Петербурга немедленно окрасить ворота и заборы по образцу шлагбаумов. Поднялось недовольство, к тому же перекраска повлекла за собой большие расходы: маляры за срочность работы брали втридорога.
Павел вернулся из поездки, увидел повсюду одинаковые трехцветные заборы и спросил, что означает сия нелепая фантазия? Ему объяснили, что полиция, ссылаясь на монаршую волю, принудила обывателей к такой покраске.
- Так что же я дурак, что ли, чтобы отдавать такие повеления! - разгневался император и тотчас повелел братьям Архаровым выехать немедленно в свои тамбовские деревни и жить там безвыездно.
Александр I вернул Архаровых из ссылки, но ни на какие должности не назначил. Оба они поселились в Москве и пополнили собой то богатое неслужащее дворянство, с которого Грибоедов списывал портреты для "Горя от ума" и которые в истории так и остались с определением: "Грибоедовская Москва".
Молодой студент С.П. Жихарев в своем дневнике 1805 года среди множества персонажей этого общества пишет и об Архаровых. "Нигде не скучал, - записывает он, - но от Ивана Петровича Архарова и его семейства просто в восхищении. Пусть толкуют, что хотят, а без сердечной доброты невозможно так радушно и ласково принимать людей маловажных и ни на что не нужных". Иное впечатление произвел на Жихарева старший Архаров: "Николай Петрович Архаров, бывший некогда московским губернатором или обер-полицмейстером, - право, не знаю... - не похож на брата: тучный, серьезный и, кажется, холодный старик".
И если "Горе от ума" разлетелось по миру пословицами, то и Архаровы тоже пополнили число крылатых слов словцом, которое сейчас можно найти в любом современном толковом словаре: архаровец (разговорное, просторечное, бранное) - хулиган, озорник, отчаянный, беспутный человек.