Po upokojení pomerov zostal hrad sídlom zvolenského župana. Spravoval ho Demeterov synovec Donč, ktorý sa podieľal na zavádzaní hospodárskych a územných reforiem. Územie podliehajúce hradu sa v 30. rokoch 14. storočia zmenšilo rozčlenením komitátu a utvorením Zvolenskej stolice. Novým sídlom panovníkov pri ich pobytoch vo Zvolene sa stal zámok (gotický kastel) vybudovaný v susedstve mesta. Starý hrad naďalej slúžil úradníkom, vojakom i remeselníkom.
Význam hradu opätovne vzrástol v polovici 15. storočia. Zvolen s priľahlým regiónom vtedy kontroloval český veliteľ Ján Jiskra, zastupujúci v Uhorsku práva ovdovenej kráľovnej Alžbety. Počas bojov medzi znepriatelenými stranami napadol Jiskrov najväčší rival Ján Hunyadi (Huňady) aj Zvolen. Na sídlo Jána Jiskru zaútočil v rokoch 1447 a 1451. Nevieme však, či dobýjal hrad, alebo zámok. Vypálené bolo pritom ľahšie prístupné mesto.