Grassalkovichovci vlastnili ivanske panstvo až do roku 1841, keď jeho mužská vetva Antonom III. vymrela a ich ivanský majetok prišiel na dražbu. Vtedy ho kúpil Michal Obrenovič, srbské knieža, ktorý bol srbským panovníkom. V rokoch 1842 - 1858 žil v exile v Rakúsku a keď ivanské panstvo stratilo majiteľa, kúpil ho a zriadil si tu vidiecke sídlo. V roku 1853 sa oženil s uhorskou šľachtičnou grófkou Júliou Hunyadyovou. Jeho manželstvo s Júliou bolo však z dôvodu bezdetnosti po desiatich rokoch rozvedené. V čase, keď Obrenovič žil v exile, spriatelil sa s Ľudovítom Štúrom a vďaka tomuto priateľstvu v lete 1848 prispel značnou finančnou sumou na výzbroj slovenských dobrovoľníkov, ktorí sa organizovali vo Viedni. Na znak vďaky mu Ľ. Štúr venoval svoju knihu "O národných povestiach a piesňach plemien slovanských", vydanú v Prahe r. 1853. Štúr, ktorý žil pod policajným dozorom v Modre, koncom roku 1855 tajne navštívil Michala Obrenoviča na jeho panstve v Ivanke. Žiaľ, bolo to ich posledné stretnutie, pretože krátko po ňom Ľudovít Štúr tragicky zahynul.
Po veľkom požiari, ktorý v roku 1856 postihol Ivanku a v značnej miere poškodil aj kostol, dal ho knieža Obrenovič opraviť a dal tiež urobiť aj iné stavebné úpravy - zvýšenie stropu, nové pokrytie strechy kostola a vystavenie novej veže. V tom čase dal upraviť aj kaštieľ. Juhozápadnú časť existujúcej budovy odstránil a na jej mieste dal vybudovať vežu, ktorá slúžila ako vodojem, veľkú spoločenskú sálu dal prevýšiť cez druhé poschodie a vyzdobiť krásnymi krbmi z bieleho mramoru a benátskym zrkadlom. Touto prácou poveril talianskych majstrov. Na jednom z krbov dodnes môžeme vidieť srbský kniežací erb hneď vedľa erbu Hunyadyovcov.