Po uklidnění poměrů zůstal hrad sídlem zvolenského župana. Spravoval ho Demeter synovec Donč, který se podílel na zavádění hospodářských a územních reforem. Území podléhající hradu se v 30. letech 14. století zmenšilo rozčleněním komitátu a vytvořením Zvolenské stolice. Novým sídlem panovníků při jejich pobytech ve Zvolenu se stal zámek (gotický kastel) vybudovaný v sousedství města. Starý hrad nadále sloužil úředníkem, vojákům i řemeslníkům.
Význam hradu znovu vzrostl v polovině 15. století. Zvolen s přilehlým regionem tehdy kontroloval český velitel Jan Jiskra, zastupující v Uhersku práva ovdovělé královny Alžběty. Během bojů mezi znepřátelenými stranami napadl Jiskra největší rival Ján Hunyadi (Huňady) i Zvolen. Na sídlo Jana Jiskry zaútočil v letech 1447 a 1451. Nevíme však, zda dobýval hrad nebo zámek. Vypálené bylo přitom snadněji přístupné město.