Construído em 1170, por ordem de D. Afonso Henriques, o castelo apresenta uma planta circular, pouco vulgar em Portugal. Três torreões tinham a missão de defender a fortaleza, coroada por uma central torre de menagem com varandim, à qual muito dificilmente o inimigo acedia.
O castelo está compartimentado em três pátios e tem duas portas de diferentes dimensões. A maior abre-se sobre um pátio com cisterna, dando acesso ao que poderá ser a alcaidaria e a outra é, claramente, uma porta secundária.
A cerca que protegia a vila, e da qual ainda subsistem alguns panos, foi construída em 1263 por D. Afonso III.