V Nededzi bol postavený ešte za feudalizmu rozsiahly zámocky kaštieľ s menším kostolíkom vybaveným orgánom. Kaštieľ bol poschodovou budovou, opatrený vežou a ochradený kamenným múrom. Model kaštieľa je uložený v Historickom múzeu vo Viedni. Kaštieľ bol postavený v polovici 16. storočia a stál vedľa dnešného kultúrneho domu. Patril grófskej rodine Pongrácovej. Západná časť kaštieľa ešte dnes stojí, ale v značne poškodenom stave, no dáva tušiť jeho predošlú veľkosť. V tomto kaštieli žil v minulom storočí gróf Štefan Pongrác.