Каменец-подольский нельзя представить без знаменитого старого замка - уникального оборонного сооружения XI-XVII веков, построенной на скалистом мысе возле узкого перешейка, через который вела давняя главная дорога к Старому городу. Каменные укрепления XI века, построенные на основе еще более ранних, мало чем напоминали современную могучую твердыню С11 башен, соединенных высокими стенами. Остатки древнерусских укреплений найдены в разных частях замка: в Дневной башне - фрагмент стены с бойницами, а остатки небольшой, овальной в плане башни - посреди замкового двора возле Ласко башни. 

Первая значительная перестройка замка произошла в течение конца XIV-середины XV века, ее начал краковский воевода Спитко Мельштинський, который владел Каменцем четыре года (1395-1399) и погиб в битве с татарами. В середине XV века замок был перепланирован. Старые башни модернизированы, заложено 10 новых (2 из них не сохранились). Вторая реконструкция произошла в середине XVI века под руководством военного инженера и архитектора Иова Претфеса, который построил две башни - Новую западную и Новую Восточную (над давним колодцем, сохранившимся доныне), а ткож Польна ворота с мостом, остатки которого недавно были найдены реставраторами. 

В начале XVII века, с появлением дальнобойных артиллерии, военный специалист Теофил Шомберг построил перед западным фасадом замка каменно-земляные бастионы укрепления, получившие название Новой крепости. 

Однако, несмотря на модернизацию, 1672 каменецкий замок захватили турецкие войска во главе с султаном Магометом IV. Причина поражения поляков была не в ненадежности укреплений, а в исторических условиях развития Речи Посполитой, которая в то время оказалась неподготовленной, чтобы противостоять многочисленной турецкой армии. 

В XVIII - XIX веке с севера и юга были пристроены два бастиона, во внутреннем дворе возведены корпуса казарм. Но несмотря на многочисленные реконструкции, замок представляет собой единый архитектурный ансамбль. 

С каменецким замком связано много исторических событий и известных имен. В 1711 году его посетил Петр I 

и дал высокую оценку фортификационным сооружениям. Легендами окружена знаменитая Папская башня, которую также называют Кармалюковой. 

В 1815 году в крепости находился во время военной службы российский поэт К.М. Батюшков, годом позже - поэт-декабрист В.Ф. Раевский. В 1831 году во время эпидемии холеры здесь работал военный врач, писатель, диалектолог В.И. Даль. Замок изображали в своих произведениях М.П. Старицкий, В.П. Беляев. 

В 1928 году по постановлению Совета Народных Комиссаров СССР замок в числе некоторых других сооружений Старого города был объявлен республиканским историко-культурным заповедником.