Die Galerie, die zu den berühmtesten und wertvollsten privaten Kunstsammlungen der Welt zählt, geht zurück auf die Sammeltätigkeit von Kardinal Scipione Borghese, der auch der Bauherr des Casinos war, in dem die Sammlung untergebracht ist. Im Casino befand sich ursprünglich nur die Antiken- und Skulpturensammlung des Kardinals, während die Gemälde größtenteils im Stadtpalast der Borghese in Rom hingen.

Die Sammlung blieb bis ins 19. Jahrhundert bis auf wenige Verluste ziemlich vollständig erhalten und erhielt zusätzlich wertvolle Zugänge. 1682 kam ein Teil des Erbes von Olimpia Aldobrandini, darunter Bilder aus der Sammlungen der Lucrezia d'Este, in das Museum. 1827 erwarb Camillo Borghese in Paris Corregios Danae. Anfang des 19. Jahrhunderts wurde der archäologische Bestand durch Funde aus den Ausgrabungen erweitert, die auf Veranlassung von Marcantonio Borghese auf den Besitzungen der Familie durchgeführt worden waren. Es wurde das so genannte Statuenkasino eingerichtet, das eine reiche Sammlung zum Teil bedeutender Antiken enthält, darunter die sitzende Statue Anakreons, ein Bacchus, eine Juno Pronuba, eine Tyrtäosstatue, ein sitzender Pluto und die Statue eines tanzenden Silen.

Zu gravierenden Verlusten kam es im Zuge der Eheschließung zwischen zwischen Camillo Borghese und Pauline Borghese, der Schwester Napoleons. Auf Druck Napoleons musste der Herzog eine Reihe von Kunstwerken verkaufen, von denen einige heute zu den Glanzstücken des Louvre gehören. Die Galerie verlor insgesamt 154 Statuen, 160 Büsten, 170 Reliefs, 30 Säulen und mehrere Vasen an Frankreich. Die Sammlung enthält unter anderen Werke von Antonello da Messina, Bronzino, Caravaggio, Leonardo da Vinci, Raffael, Guido Reni, Rubens, Tizian und Veronese sowie Skulpturen von Bernini und Canova.