V roce 1397 se jako vlastník hradu vzpomíná Dezider Kapolay, člen rodu Ratoldovcov, dvorský rytíř, nitranský župan, soudce Kuman královny. Z této rodiny pocházel i palatín Leustach z Jelšavy (palatinem byl v letech 1392 - 1396). Palatín Leustach padl v roce 1396 v bitvě proti Turkům u Nikopolis do tureckého zajetí. Král Zikmund neprojevil žádnou snahu mu pomoci (zbavil se silného protivníka) a rodina nebyla schopna ho ze zajetí vykoupit. Po roce 1400 bývalí palatín zřejmě zemřel v tureckém vězení. V souvislosti s úpadkem postavení rodu, král Zikmund odebral v roce 1397 hrad již zmíněnému Dezider Kapolayovi. Daroval ho is příslušenstvím (kromě něj i Lietava, Starý hrad, Žilinu a Bystrici) významnému polskému šlechtici, kterým Sedziwój Paluga ze Szubin (1328 - 1405/1406) nesporně byl. Do Uher se dostal se Zikmundem Lucemburským, který se původně podle plánu krále Ludvíka I. Velkého, měl stát spolu s jeho dcerou Marií panovníkem v Polsku. Navíc Sedziwój byl tchánem známého Ctibora I. ze Ctiboríc (1347 - 1414), který se oženil s jeho dcerou Dobrochnou (1370 - 1422). Právě příbuzenský vztah se Ctiborem, nejbližším a nejvěrnějším služebníkem krále Zikmunda, který byl později i členem prestižního Dračího řádu založeného králem v roce 1408, pomohl k tomu, že Sedziwój dostal do vlastnictví skutečně rozsáhlý majetek.