El primer recinto amurallado de este castillo fue mandado construir por Alfonso IX de León y Felipe IV fue el promotor de importantes reformas en las murallas.