V roce 1301 a 1340 se ve zdejším klášteře konala uherská provinciální kapitula. V letech 1308-1309 se zde zdržoval papežský legát, kardinál Gentile, ofm, který plnil v Uhersku své politické poslání. V roce 1327 byl klášter místem vyjednávání mezi Karlem Robertem z Anjou a českým králem Janem Lucemburským. Král Ludvík I. Velký dal v roce 1363 postavit nový gotický kostel a zároveň zvětšit klášter. V roce 1590 byl velmi poškozen zemětřesením. V časech Bocskayovho povstání byl kostel a klášter v letech 1605-1607 v moci Kalvínovi. V 17. století byl několikrát opravován. V roce 1666 a 1683 zcela vyhořel. Oheň zničil klenbu, hlavní oltář a 5 dalších bočních oltářů. Na popel se obrátila bohatá knihovna, darovaná kardinálem Pazman a archiv kláštera se všemi protokoly a listinami. Pomocí dobrodince se podařilo opravit nejprve kostel do roku 1712 a poté i klášter. Stavbu nového kostela podporoval ostřihomský arcibiskup Juraj Szelepcsényi av roce 1714 byl konsekrovaný. Ve vizitační zprávě z roku 1823 se píše, že kostel byl 1. září 1714 konsekrovaný, posviacal ho Lukáš Nataly, bělehradský biskup (čestný host u františkánů) a udělal to zdarma. Věž dokončili v roce 1717. Tuto podobu má kostel dodnes. Klášter je spojen s kostelem sv. Jakuba Staršího, apoštola (svátek patrona chrámu 25. července).