El palacio consta de una serie de patios y edificios. El estilo oscila entre el arte gótico-morisco y el Renacimiento, con influencias locales en los ladrillos, tejas, azulejos, paredes encaladas y cerámica. Desde el siglo XV, el palacio ha pertenecido a una de las familias más importantes, la Casa Ducal de Alba. Desde el siglo XV, el palacio ha pertenecido a una de las familias más importantes, la Casa Ducal de Alba, y aún hoy sigue habitado por esta familia. El interior es un paseo por la historia familiar donde podemos contemplar el legado histórico-artístico de personajes como la emperatriz de Francia, Eugenia de Montijo. Entre los visitantes famosos del palacio se encuentran Jackie Kennedy, Grace Kelly y Eduardo VIII y Wallis Simpson.
