Die Arbeiten an den Verteidigungsanlagen wurden im 16. Jahrhundert fortgesetzt, als am Eingang des Schlosses ein großer Trapezturm und ein zylindrischer Turm errichtet wurden. Erhöhte Roboter, Gebühren und Steuern führten 1610 zu einem Bauernaufstand von Untertanen, der die Herrschaft grausam unterdrückte. Während der Restaurierung der Burg, die nach dem Fall von Nové Zámky im Herbst 1663 von den Türken zerstört wurde, bauten sie auf der südlichen, am stärksten gefährdeten Seite eine neue Festung mit Kanonenbastionen. Gýmeš war eine der wenigen Burgen, in denen im 18. Jahrhundert Bauarbeiten stattfanden. Die Umwandlung des gotischen Palastes in die Ahnengruft der Familie Forgách mit einer Kapelle stammt aus dieser Zeit. Erst Mitte des 19. Jahrhunderts verließ das Herrenhaus die Burg endgültig und begann sich aufzulösen.
Zu Beginn des 18. Jahrhunderts, während des Aufstands von Rákoczi, war der Besitzer der Burg Gýmeš, Sigismund II. Forgáč wurde der Kommandeur von Rákoczis Armee, für die er ins Exil ging und die Burg Gýmeš Eigentum des Königs wurde. Kaiser Joseph I. verkaufte die Burg Gýmeš an den tschechischen Kanzler gr. Ján Vratislav. Das Schloss wurde ihm vom Bischof von Rošoň, Pavol Forgáč, gekauft, der es reparierte. Er ließ 4 Kapellen auf der Burg errichten, von denen eine erhalten geblieben ist - der heilige Ignatius. Er war der Schutzpatron des Schlosses und es gab festliche Feste mit einer großen Parade zum Jubiläum. Es wurden priesterliche Gewänder verwendet, die mit Frauenhaaren bestickt waren. Unterhalb dieser Kapelle befand sich das Familiengrab der Familie Forgáč mit einem großen Kreuz aus Alabaster. Bischof Pavol ließ 1720-22 im Dorf Gýmeš eine Kirche und eine Barockburg errichten. Der Umzug der Erben in das Herrenhaus war der Beginn des Endes der Burg Gýmeš.