E' compreso tra via del Corso, piazza del Collegio Romano, via della Gatta e via del Plebiscito.
Il nucleo più antico, risalente alla metà del ‘400, fu completamente ricostruito tra il 1505 ed il 1507 dal cardinale Giovanni Fazio Santoro su progetto attribuito al Bramante.
Il cardinale dovette però ben presto cedere la sua proprietà a Francesco Maria Della Rovere, nipote di Giulio II.
Nel 1601, acquistato dal cardinale Pietro Aldobrandini, nipote di Clemente VIII, fu ampliato con i lavori di edificazione delle due ali del cortile maggiore.
Nel 1647 il palazzo, ancora in fase di costruzione, cambiò nuovamente padrone, passando ai Pamphili, quando Olimpia Aldobrandini lo portò in dote a Camillo Pamphilj, nipote di Innocenzo X. Questi nel 1659 affidò ad Antonio Del Grande, allievo del Borromini, la costruzione dei prospetti su Via Lata e Via della Gatta.
Il prospetto su via del Corso dovette aspettare il 1730 per essere definitivamente sistemato grazie all’intervento di Gabriele Valvassori, che, in poco meno di tre anni, dette vita alla movimenta facciata in stile rococò e alla monumentale Galleria.
A metà del Settecento, dopo il passaggio della proprietà alla discendenza Doria Pamphili, si ebbero altri interventi, proseguiti poi nell’Ottocento.
Si deve a Paolo Ameli l'intervento sull’ala di Via del Plebiscito tra il 1739 e il 1744 e la scala nobile del 1749.
Gli ultimi interventi risalenti alla seconda metà del XIX secolo, sotto la direzione dell'architetto Andrea Busiri Vici, portarono alla costruzione di nuovi prospetti su Via della Gatta e su Vicolo Doria.
La facciata su Via del Corso, capolavoro del Valvassori, è caratterizzata da una fitta successione di finestre. Dal portale si accede al bellissimo cortile quadrangolare.
La monumentale
Galleria opera di Gabriele Valvassori, disposta su quattro bracci, ospita le opere d’arte di grandi maestri italiani e stranieri, a iniziare dal nucleo originario della collezione comprendente, fra le altre, opere del Caravaggio, di cui si ricorda il celebre Riposo nella fuga in Egitto, e di artisti di scuola emiliana (Parmigianino, Correggio).
A questo primo nucleo si aggiunsero, attraverso il lascito di Olimpia Aldobrandini, numerosi capolavori di pittori di scuola veneta, fra cui Tiziano, Tintoretto, Bellini e Bassano, mentre al cardinale Benedetto Pamphili si deve il gruppo relativo ai maestri fiamminghi, cui si affiancarono, con l’avvento dei Doria, opere di Sebastiano del Piombo, del Bronzino, di Lorenzo Lotto e dei “primitivi”.