Het Frans Hals Museum heeft twee schitterende locaties in het centrum van Haarlem: HOF en HAL. Ze liggen een kleine wandeling door historisch Haarlem uit elkaar.

Op locatie HOF (Groot Heiligland), waar nu kunstschatten onderdak hebben, woonden oorspronkelijk oude mannen. In de 17e eeuw genoten ze hier van hun gouden jaren. Maar sinds 1913 wordt rond het binnenhof aan het Groot Heiligland de kunstcollectie van de stad Haarlem tentoongesteld, met hoogtepunten uit diezelfde 17e eeuw.

In de jaren 30 werd achter het hoofdgebouw een nieuwe zaal bijgebouwd en eind jaren 50 een depot. In 1981 werd het museum verder uitgebreid met een afdeling voor moderne kunst, naar een ontwerp van stadsarchitect Wiek Röling. Nu zijn daar de introductievideo over Frans Hals te zien,  het museumcafé en de workshopruimte Studio H.

Voordat het oudemannenhuis een museum werd, was het een weeshuis. Vanaf 1810 vonden honderd jaar lang tal van weeskinderen hier een goed onderkomen. Daaronder bijvoorbeeld de schilder en schrijver Jacobus van Looy (1855-1930).

In 1908 kocht de gemeente de panden om er de kunstcollectie van de stad Haarlem te exposeren. Die hing in het stadhuis veel te krap. Grote delen van het oudemannenhuis werden gesloopt en opnieuw opgebouwd in vroeg 17de-eeuwse stijl, naar een ontwerp van stadsarchitect Lucas Christiaan Dumont. Vanaf 14 mei 1913 konden bezoekers komen genieten in het Frans Hals Museum.

Grote delen van het tegenwoordige interieur zijn niet origineel. Ze werden ingebouwd in 1913 of later en zijn onderdeel van de museumcollectie. Bijvoorbeeld zaal 15, oorspronkelijk de eetzaal van het oudemannenhuis: de kroonluchters komen uit de kerk van Spanbroek, de tegeltjes uit gesloopte oude gebouwen in de stad. De sierschouw is samengesteld uit onderdelen die oorspronkelijk helemaal niet bij elkaar hoorden.