Впервые упоминается в писцовой книге за 1646 год в составе села Иловна, владельцем которой был Яков Юрьевич Мусин-Пушкин. С 1710 года владельцем села Иловны стал Федор Петрович Мусин-Пушкин.

Во второй половине XVIII века владельцами усадьбы были Иван Яковлевич Мусин-Пушкин, а затем его сын Алексей Иванович. В состав ее входили: одноэтажный деревянный господский дом на каменном фундаменте, каменные кладовая и палатки, два регулярных сада с плодовыми деревьями. В 1765 году в селе на средства Ивана Яковлевича Мусина-Пушкина построена каменная церковь во имя Преображения Господня.

С конца XVIII века село Иловна, принадлежавшая графу А.И. Мусину-Пушкину, а затем его потомкам, становится одной из крупнейших усадеб края, приобретая характер своеобразного культурно-хозяйственного центра.

В последней четверти XVIII — первой половине XIX веков в усадьбе строится большое количество самых разнообразных усадебных построек, в том числе трехэтажный каменный дом (третий этаж бревенчатый с обеих сторон штукатурен), домовая каменная церковь во имя Алексия человека Божия (освящена в 1819 году), ветряная мельница с четырьмя поставами.

В Иловне в конце XVIII — первой половине XIX веков работала живописная мастерская. Известны имена занимавшихся живописью крепостных Мусиных-Пушкиных Ильи и Ивана Шляхтенковых, Федора Уханова, братьев Шустовых и др. Усадебная портретная галерея включала значительное количество работ «домашних мастеров», главным образом, безымянных

Вторая половина XIX — начало XX веков характеризуется не только усовершенствованиями усадебного комплекса, но и строительством и размещением на территории усадьбы или в непосредственной близости от нее объектов социально-культурного назначения, предназначенных для жителей близ расположенных селений.

В 1846 году открывается Иловенское народное училище, позднее преобразованное в одноклассное, а в 1908 году — в двухклассное училище министерства народного просвещения. Попечителем его были Мусины-Пушкины.

В это же время организуется работа фельдшерского пункта и аптеки, которые долгое время размещались непосредственно в главном здании усадьбы. В начале XX века в основном здании начинает работать и почтово-телеграфное отделение.

В 1917 году вводится в эксплуатацию больница, построенная на средства Мусиных-Пушкиных.

Известно, что с 1909 года архитектурный ансамбль усадьбы перестраивается А.И. Тамановым (Таманяном). Работы включали реставрацию церкви и постройку каменной набережной, украшенной статуями львов. Были выполнены также проекты парка и перестройки главного дома.

После национализации в 1918 году село Иловна продолжала оставаться важным хозяйственным и культурным центром уезда. В 1919-1920 годах на территории усадьбы размещался совхоз «Иловна». Позднее на базе совхоза организовали сельскохозяйственный техникум, а затем Иловенскую сельскохозяйственную школу.

В связи с созданием Рыбинского водохранилища все здания и сооружения усадьбы в 1937-1940 годах были разрушены, а территория усадьбы затоплена.