Das Weinsberger Kernerhaus und die Weibertreu stehen in engem Zusammenhang. Kurz nachdem Kerner sich als Oberamtsarzt in Weinsberg niedergelassen hatte, bemühte er sich um die Erhaltung der Burgruine. Er rief zu diesem Zweck 1823 den „Frauenverein zu Weinsberg“ ins Leben, dessen Hauptaufgabe war, die Burg vor weiterem Zerfall zu retten. 1824 belehnte König Wilhelm I. den Verein mit der Burgruine, die heute noch im Besitz des „Justinus Kerner- und Frauenvereins“ ist. Justinus Kerner hatte seine Freunde und Besucher oft auf die Burg geführt. In die Nischen des „Dicken Turmes“ hatte er Äolsharfen einbauen lassen. Theobald Kerner, sein Sohn, ließ gegen Ende des 19. Jahrhunderts in die Mauern der Ruine die Namen der Besucher, häufig mit dem Jahr ihres Besuches, und Verse mit Bezug auf die Burg eingravieren. Er hat damit ein einmaliges Gästebuch geschaffen, das „Steinerne Album“, als sinnige Ergänzung zu seinem Buch „Das Kernerhaus und seine Gäste“. Manche der Inschriften sind inzwischen schon stark verwittert, aber es lassen sich noch viele interessante und oft auch überraschende Entdeckungen machen in diesem plastischen Verzeichnis von Namen aus dem Freundes- und Bekanntenkreis von Justinus Kerner.