Grad Žovnek je zagotovo eden najstarejših gradov na Slovenskem. Kdo so bili graditelji prvotnega gradu ni znano. Prvi znan lastnik, ki ga literatura omenja v 12. stoletju, je bila družina Savinjski. Ta se je okoli leta 1150 preimenovala v Žovneške. Žovneški gospodje so že ob prvem omenjanju v pisnih virih poleg družinskega gradu posedovali še grad Ojstrico v občini Tabor, Šenek nad Polzelo ter Libenstein nad Preboldom. V kasnejših letih so Žovneški postopno večali svoje posesti, finančno in vojaško moč in svoj ugled. Leta 1333 so Žovneški po odkupu druge polovice mesta Celje svoje upravno središče in bivališče preselili v Celje. Cesar Ludvik Bavarski je 16. aprila leta 1341 Friderka I. s posebno listino povišal v grofovski stan. Leta 1436 pa so bili Celjski grofje povišani v kneze.