Il Museo Giovanni Fattori trae le sue origini nel 1877 quando il Comune di Livorno istituì una Pinacoteca Civica destinata a custodire gli oggetti d'arte raccolti dall'Amministrazione e conservati in vari luoghi della città. Nel primitivo nucleo figuravano alcuni dipinti, sculture e frammentari reperti archeologici frutto di generose donazioni da parte di facoltosi concittadini.

Risale a questo periodo l'acquisizione della famosa tela di Giovanni Fattori "Assalto a Madonna della Scoperta" e la grande tela di Enrico Pollastrini "Esuli di Siena" andata distrutta durante la guerra. A Enrico Chiellini si deve, oltre alla donazione di importanti dipinti tra i quali "Volontari livornesi" di Cesare Bartolena, anche un’importante raccolta archeologica e numismatica che ancora oggi porta il suo nome.

Risale al 1877 anche il primo regolamento che constava di nove articoli di cui i primi quattro descrivevano la natura della raccolta e le finalità della pinacoteca ed i restanti cinque ne indicavano le modalità di gestione. Sul finire del secolo, la città di Livorno vive una delle stagioni più feconde dal punto di vista artistico, con una presenza assidua di produzioni di artisti livornesi presso le esposizioni nazionali del tempo.

Negli anni cinquanta, grazie alla generosità di alcune famiglie, il Museo acquisì opere di Plinio Nomellini, di Gugliemo Micheli, di Llewelyn Lloyd, di Dino Provenzal, di Michele Gordigiani, mentre deliberò l'acquisto di opere di Serafino De Tivoli, Oscar Ghiglia, Gabriele Gabrielli ed un cartone attribuito ad Amedeo Modigliani. Una grossa donazione degli anni settanta portò al Museo opere di Vincenzo Cabianca, Giovanni Boldini, Giovanni Bartolena, Benvenuto Benvenuti, Ulvi Liegi, Adolfo e Lodovico Tommasi, Raffaello Gambogi, Niccolò Cannicci, Eugenio Cecconi. Attualmente il Museo, che dal 1994 è stato collocato all'interno di Villa Mimbelli, si configura con un nucleo principale di arte prevalentemente toscana della seconda metà dell'Ottocento e del primo Novecento che è ciò che sostanzialmente viene esposto, ma si conserva anche una ricca collezione di icone di scuola ionica, cretese e russa, provenienti da chiese delle comunità greco-ortodosse presenti a Livorno (città notoriamente cosmopolita almeno fino all'Unità d'Italia), una tavola del Beato Angelico "Cristo coronato di spine" del 1450, qualche dipinto risalente ai secoli XVI e XVII e le già citate collezioni di Archeologia e di Numismatica, attualmente in fase di riordinamento e di catalogazione.

In deposito è presente anche un cospicuo gruppo di opere di arte contemporanea, provenienti dall'ex museo progressivo di Arte Contemporanea di Livorno.