Bystrická měšťané, inspirováni vzorem městského hradu v Kremnici, opevnili v poslední třetině 15. století prostor okolo farního kostela a postavili zde další budovy patřící samosprávě báňských měst, městské správě a králi: gotický dům krále Matyáše (nazývaný také Matějův dům) vznikl v roce 1479 , radnice kolem roku 1500; krátce předtím, v roce 1492, dostavěli kostel sv. Kříže, nazývaný i slovenský kostel, protože sem chodili převážně slovenský obyvatelé, s bohatým vstupním pozdně portálem. Opevnění tvořil vysoký kamenný zeď a kruhové bašty. Nejdůležitější částí opevnění byla vstupní brána s Barbakan, dostavěna v roce 1512, do které se vstupovalo dvěma branami, pro povozy a pro pěší. V té době prošel farní kostel nákladnou stavební úpravou, kterou dodnes dokumentuje zachovány oratorium s gotickou křížovou klenbou, boční kaple sv. Barbory a pozdně křídlovým oltářem od Mistra Pavla z Levoče a pozdně bronzová křtitelnice od mistra Jodok. Typologickou zajímavostí jsou portréty svatých, kterými iluzívnu nahradily konzoly pod klenbou v presbytáři. Interiér kostela byl v těch dobách velmi hodnotný, hl. oltář vyhotovil Mistr Pavel z Levoče a údajně byl ještě monumentálnější jako levočský. Podlehl však ničivému požáru v roce 1761; v roce 1767 ho nahradily barokním oltářem s obrazy od významného rakouského malíře JL Kracker.