Um dos castelos mais interessantes da raia da Beira, em primeiro lugar pela sua geometria, mas também pela povoação ter permanecido até hoje. D.Manuel concedeu varios previlegios, para minimizar a desertificação da povoação. As reformas mais importantes foram no final do reinado de D.Manuel, na decada de 1520, convertendo este castelo numa estrutura fortificada renascentista. A sua forma algo racionalista, formando um quadrado em cuja diagonal se alinham a torre de menagem e a segunda torre, e a sua muralha é defendida nos seus angulos por 3 torreões redondos diminuindo angulos vulneráveis da muralha. Do castelo antecessor de origem Leonesa apenas se sabe que estaria no centro da vila, junto à igreja da Misericordia, e foi parcialmente demolido.

No século XVII na guerra da Restauração a vila foi rodeada por muralhas abaluartadas.  Alfaiates manteve a sua importancia na defesa da fronteira da Beira até aos finais do século XVIII, e considerado