Situado estratégicamente entre la ciudad y la gran vega regada por el Tajo, encima del puente de Alcántara, única salida hacia el sur peninsular, ejerció una función de control sobre esta entrada y salida de Toledo. Sus raíces son musulmanas, aunque sufrió unas cuantas ruinas y abandonos para revivir con otras tantas restauraciones.

Albergó una comunidad monástica cluniacense que lo abandonó ante los intentos almorávides de recuperar la capital. Es donde el Cid veló las armas antes de su reconciliación en Toledo con Alfonso VI. Defendido luego por la Orden de los Templarios perdió su carácter fronterizo y defensivo tras la batalla de las Navas de Tolosa en 1212 y cayó en el olvido. Volvió a ser utilizado con fines belicosos por ambos bandos fratricidas en la guerra entre Pedro I y su hermanastro Enrique de Trastámara, siendo reconstruido por el partidario de éste último, el arzobispo don Pedro Tenorio.

En el siglo XVI su estado volvió a ser ruinoso, hasta 1945, cuando se reedifica respetando su perímetro exterior y estilo medieval, para albergar el Colegio Menor de las Juventudes. Con la creación de la Universidad de Castilla La Mancha se convirtió temporalmente en Residencia de Estudiantes y ahora es Alberque Juvenil y centro de diversos encuentros culturales