El primitiu edifici era al dessota de l’actual placeta de Sant Antoni, enderrocat definitivament als anys setanta del segle XX. L’actual edifici es va aixecar l’any 1802 a la plaça del Pou, on hi havia hagut la bassa de l’època medieval. És un edifici rectangular, porticat amb arcs de mig punt i balcons. El 1999 va ser restaurat i s’hi va adjuntar l’antiga fàbrica de cintes que es trobava al darrere. En el seu interior s’hi poden veure diverses obres d’art: un capitell trepat del segle IV, la reproducció de l’estàtua d’Antonius i un mosaic; totes tres peces procedents de la Vil·la romana dels Munts. A més, hi ha exposada una bona col·lecció d’obres d’art, pictòriques principalment, una gran peça de ceràmica de Martí Royo o alguns documents curiosos procedents de l’Arxiu Municipal. La sala de comissions ha estat batejada amb el nom de "Pintor Josep Sala". L'espai està presidit per un quadre de grans dimensions de l'artista altafullenc, que porta per títol "Groc 2002".