Il Palazzo in stile Barocco venne edificato su iniziativa di Giuseppe Antinori, per divenire dimora della nobile famiglia Antinori  di Perugia. Nel 1720 un giovanissimo Carlo Goldoni, residente in città a seguito del padre medico, eseguì qui – nelle adiacenze dell’odierna Sala Goldoniana – la sua prima recita[1]. La facciata, caratterizzata da blocchi di grandi finestre, cornicioni in mattoni e pilastri, venne realizzata da Pietro Carattoli tra il 1748 e il 1758, su progetto dell’architetto romano Francesco Bianchi.

Nel 1875 il Palazzo venne acquistato da Romeo Gallenga Stuart e assunse l’attuale nome. Nel 1926 il Conte Gallenga Stuart cedette il palazzo al Comune di Perugia, e dal 1927 il Palazzo divenne sede sede dell’Università per stranieri di Perugia. Nel 1931 un facoltoso studente statunitense, Frederick Thorne Rider, poi divenuto cittadino onorario di Perugia, elargì un ingente donazione all’Università, che consentì di realizzare la facciata posteriore e una nuova ala del palazzo.