Commissionato dal recanatese Cardinale Jacopo Antonio Venieri, appartenente alla nobile famiglia del secolo XIII, il palazzo fu disegnato dall’architetto Giuliano da Majano nel 1473. La comunità recanatese contribuì con 1500 ducati d’oro, assicurandosi in cambio l’ospitalità di illustri visitatori della città. La facciata e l’interno furono completamente trasformati nel 1729 dall’architetto Pietro Augustoni dopo l’acquisto del palazzo da parte della famiglia Carradori. Nell’800 furono decorate le stanze da Moretti Francesco Saverio. Il cortile interno conserva ancora il disegno originale, i capitelli delle colonne recano gli stemmi delle famiglie che possedettero il palazzo, un arco balcone, si affaccia sulla costa adriatica e quando il cielo è limpido si scorgono i monti della Dalmazia; sopra di esso spicca un orologio con la scritta “Volat irreparabile tempus”. Furono ospiti del palazzo Paolo III e Pio VII. I giardini di fronte, oggi pubblici ed inaugurati nel 1936, appartenevano al palazzo ed erano collegati da una galleria sotterranea. Attualmente di proprietà comunale, è sede del Liceo Classico “G.Leopardi” e di alcune Associazioni Culturali.