Uno de los flancos de la Plaza del Ayuntamiento, en la que todos los edificios son sedes de distintos poderes, lo ocupa este imponente palacio que abarca toda una gran manzana con fachadas a tres calles y una estrecha escalinata. 

Los orígenes del Palacio Arzobispal se remontan a la donación por el rey Alfonso VIII de varias casas al arzobispo Jiménez de Rada, impulsor de la construcción de la Catedral. Unos trescientos años más tarde, el arzobispo Pedro Tavera encomienda a Alonso de Covarrubias la construcción del nuevo palacio. De su pasado mudéjar quedan sólo unos ornamentales arcos ciegos en el extremo derecho.

La severa fachada principal de mampostería y ladrillo abre sencillos huecos regulares de las ventanas en sus dos plantas. La portada es en piedra, similar en su estructura a la del Alcázar, con su arco de medio punto almohadillado adornado con “espejos”, huella personal de Covarrubias, enmarcada esta vez con cuatro columnas pareadas sobre altos pedestales, coronadas con sendas figuras femeninas que muestran repetido el escudo cardenalicio.

Las simbólicas columnas imperiales de Hércules con el lema Plus ultra enmarcan desde el siglo XVII un balcón, abierto por orden del siguiente arzobispo, el cardenal Martínez Silíceo. El original escudo pétreo quedó sustituido por otro más pequeño y férreo, cobijado por el clásico frontón triangular. El actual arco de unión entre la residencia episcopal y la Catedral sustituyó en el siglo XVII el original, levantado por el gran cardenal Mendoza.

El edificio, de estilo renacentista, es la sede actual del Arzobispo de Toledo.