Se construyó según proyecto de Virgilio Rabaglio en 1752 y de la decoración exterior se encargo Pedro Sexmini, lo que convierte a este monumento en un centro de claras connotaciones italianas. Este palacio es austero, sobrio, alejado de las formas del Barroco.
Sin embargo en su interior nos encontramos con uno de los ejemplos más importantes de la arquitectura barroca de toda España, su escalera principal, que se compone a su vez de dos escaleras que arrancan de un vestíbulo en trayectorias opuestas, ofreciendo un precioso espectáculo.
Su decoración artística es desbordante: pinturas de los grandes maestros, como Velázquez, Rubens, Giusseppe Bonito, Toribio Alvarez ; tapicerías del siglo XVIII de la Real Fábrica de Santa Bárbara; esculturas, mobiliario y armas antiguas de incalculable valor histórico.
