Grassalkovichovci vlastnili Ivanská panství až do roku 1841, kdy jeho mužská větev Antonem III. vymřela a jejich Ivanski majetek přišel na dražbu. Tehdy ho koupil Michal Obrenović, srbské kníže, který byl srbským panovníkem. V letech 1842 - 1858 žil v exilu v Rakousku a když Ivanski panství ztratilo majitele, koupil ho a zřídil si tu venkovské sídlo. V roce 1853 se oženil s uherskou šlechtičnou hraběnkou Julií Hunyadyovou. Jeho manželství s Julií bylo však z důvodu bezdětnosti po deseti letech rozvedené. V době, kdy Obrenović žil v exilu, spřátelil se s Ludvíkem Štúra a díky tomuto přátelství v létě 1848 přispěl značnou finanční částkou na výzbroj Slovenská dobrovolníků, kteří se organizovali ve Vídni. Na znak díků mu Ľ. Štúr věnoval svou knihu "O národních pověstech a písních plemen slovanských", vydanou v Praze r. 1853. Štúr, který žil pod policejním dozorem v Modre, koncem roku 1855 tajně navštívil Michala Obrenović na jeho panství v Ivance. Bohužel, bylo to jejich poslední setkání, protože krátce po něm Ľudovít Štúr tragicky zahynul.
Po velkém požáru, který v roce 1856 postihl Ivanku av značné míře poškodil i kostel, dal ho kníže Obrenović opravit a dal také udělat i jiné stavební úpravy - zvýšení stropu, nové pokrytí střechy kostela a vystavení nové věže. V té době dal upravit i zámeček. Jihozápadní část stávající budovy odstranil a na jejím místě dal vybudovat věž, která sloužila jako vodojem, velkou společenskou sál dal převýšit přes druhé patro a vyzdobit krásnými krby z bílého mramoru a benátským zrcadlem. Touto prací pověřil italských mistrů. Na jednom z krbů dodnes můžeme vidět srbský knížecí erb hned vedle erbu Hunyadyovcov.