Il Palazzo Altieri fu edificato nel corso degli anni 1578-1585 per volontà di Giorgio III Santa Croce. Furono tre le famiglie storicamente proprietarie del palazzo: i Santa Croce dalla fondazione 1578 al 1604, gli Orsini dal 1604 al 1671, gli Altieri dal 1671 al 1971.
Il Museo è articolato al suo interno in 14 sale, dalla Cappella S. Massimo opera degli Orsini, e dalla Galleria dei Papi.
In una dimora signorile non poteva mancare il giardino per conferirle la connotazione completa di villa patrizia di circa 8 ettari con la presenza di alberi secolari.