V roku 1397 sa ako vlastník hradu spomína Dezider Kapolay, člen rodu Ratoldovcov, dvorský rytier, nitriansky župan, sudca Kumánov kráľovnej. Z tejto rodiny pochádzal aj palatín Leustach z Jelšavy (palatínom bol v rokoch 1392 - 1396). Palatín Leustach padol v roku 1396 v bitke proti Turkom pri Nikopole do tureckého zajatia. Kráľ Žigmund neprejavil žiadnu snahu mu pomôcť (zbavil sa silného protivníka) a rodina nebola schopná ho zo zajatia vykúpiť. Po roku 1400 bývalí palatín zrejme zomrel v tureckom väzení. V súvislosti s úpadkom postavenia rodu, kráľ Žigmund odobral v roku 1397 hrad už spomenutému Deziderovi Kapolayovi. Daroval ho aj s príslušenstvom (okrem neho aj Lietavu, Starý hrad, Žilinu a Bystricu) významnému poľskému šľachticovi, ktorým Sedziwój Paluga zo Szubina (1328 - 1405/1406)ˇnesporne bol. Do Uhorska sa dostal so Žigmundom Luxemburským, ktorý sa pôvodne podľa plánu kráľa Ľudovíta I. Veľkého, mal stať spolu s jeho dcérou Máriou panovníkom v Poľsku. Navyše Sedziwój bol svokrom známeho Ctibora I. zo Ctiboríc (1347 - 1414), ktorý sa oženil s jeho dcérou Dobrochnou (1370 - 1422). Práve príbuzenský vzťah so Ctiborom, najbližším a najvernejším služobníkom kráľa Žigmunda, ktorý bol neskôr aj členom prestížneho Dračieho rádu založeného kráľom v roku 1408, pomohol k tomu, že Sedziwój dostal do vlastníctva skutočne rozsiahly majetok.