A povoação foi fundada no período de Augusto (século I a.C.) e a fundação deste núcleo populacional teve para Roma uma importância extrema entre Guarda e Mérida. A ocupação romana desta zona está bem comprovada pela observação detalhada das muralhas edificadas entre os séculos III a IV, quando do início das Invasões Bárbaras. É possível identificar os inúmeros vestígios materiais de habitações e templos romanos existentes na povoação, com o reaproveitamento de pedra nas construções posteriores. De facto, esta muralha só cercava parte do que terá sido a magnífica cidade do Alto Império. Segundo algumas teorias, terá sido aqui que, em 305, terá nascido o Papa Dâmaso I. Os elementos romanos mais importantes foram destruídos no século V pelos Suevos, restando vestígios em condições muito diversas: a Ponte de Alcântara, que ligava Mérida a Astorga, o Forum, o Podium de Vénus (sobre o qual foi construída a Torre dos Templários), e as Termas, a sul do Forum. No concílio de Lugo, em 569, participou também Idanha, ainda não apelidada de velha. A prosperidade veio com a conquista visigótica, durante a qual foram construídos a Catedral, o Palácio dos Bispos, o Paço episcopal e a Ponte de São Dâmaso. Em 713, os mouros tomaram a cidade e destruíram-na. Reconquistada pelo Rei Afonso III de Leão, foi perdida novamente, só tendo sido definitivamente tomada por D. Sancho I. Em 1319, D. Dinis doou-a à Ordem de Cristo e o foral só foi renovado no tempo de D. Manuel I. Os seus marcos mais importantes são o Pelourinho, a Igreja Matriz, as Capelas de São Dâmaso, de São Sebastião e do Espírito Santo.
