Die Karlsburg wurde 1563 von Markgraf Karl II von Baden von einer mittelalterlichen Tiefburg zu einem Schloss umgebaut.

Später diente das Schloss unter anderem als Kaserne.

Seit 1924 ist dort das Pfinzgaumuseum untergebracht. 1964 wurde ein Flügel abgerissen, um für die Schlossschule Durlach Platz zu schaffen. Das Schloss wurde von 1973 bis 1988 aufwändig renoviert. Heute beheimatet die Karlsburg unter anderem das Durlacher Standesamt, das Pfinzgaumuseum, das Karpatendeutsche Museum, Schulräume für die Volkshochschule und das Markgrafen-Gymnasium, den historischen Festsaal und die Durlacher Bibliothek.