O castelo e as muralhas que cercam o Centro Histórico ( com 15 torres e cubelos, entre os quais se abriam 4 portas e 3 postigos), são os mais importantes e mais antigos monumentos do concelho de Trancoso. A fortaleza é anterior à Nacionalidade, foi reforçado por D. Dinis com sete torres amuralhadas, quatro das quais vãs. As suas muralhas foram restauradas em 1173, 1282, 1530 e 1940.

A Torre de Menagem, que não ocupa o centro da cidadela, é de configuração rara, em forma de  pirâmide truncada, possui uma janela árabe, com arco de volta de ferradura. Esta torre, no  tempo de domínio árabe seria torre albarrã onde se guardaria o tesouro do califado e do resultado das pilhagens efectuadas. O castelo possui restos de uma torre, que foi capelada da cidadela sob invocação de St. Maria Madalena. Este castelo, que os templários tinham recebido por doação, e as muralhas que circundam a cidade estão classificadas como Monumento Nacional.