Το όμορφο νεοκλασικό δίπλα στην Πλατεία Ηρώων ανεγέρθη το 1871 και αρχικά λειτούργησε ως δημοτικό σχολείο. Στη συνέχεια φιλοξένησε τα δημοτικά συμβούλια της πόλης πριν φτάσει να γίνει η έδρα της πινακοθήκης. Σήμερα φιλοξενεί φωτογραφικό υλικό από τον πρώτο έλληνα ολυμπιονίκη Σπύρο Λούη, καθώς και έργα 11 διάσημων ελλήνων ζωγράφων, όπως οι Ψυχοπαίδης, Φασιανός, Τσόκλης, οι οποίοι εμπνεύστηκαν από την ολυμπιακή ιδέα. Επιπρόσθετα, ο χώρος της πινακοθήκης περιλαμβάνει και 26 ψηφιδωτά, τα οποία φιλοτέχνησε η κύπρια ψηφιδοθέτρια Σούλα Χρίστου. Καθένα από αυτά εικονίζει την επίσημη αφίσα κάθε πόλης που οργάνωσε στους Ολυμπιακούς Αγώνες από το 1896 μέχρι το 2008. Αξιοσημείωτα είναι επίσης τα γλυπτά μοντέρνας τέχνης που βρίσκονται στον υπαίθριο χώρο και τα οποία αποτελούν δημιουργήματα καλλιτεχνών από κάθε ολυμπιακή πόλη.