Al rond 1250 stond hier een eerste vleeshuis, vlak bij het Steen. Het werd te klein. In 1500 kreeg de gilde van de beenhouwers van Filips de Schone het voorrecht om op dezelfde plek opnieuw te bouwen. Herman de Waghemakere begon in 1501, stierf in 1502, en wellicht werkte zijn zoon Domien het af. In 1504 stond het er.
Het was meteen een statement. De gilde liet een gotische hal optrekken met vier hoektorens, in baksteen met lagen witte zandsteen. Beneden stonden 62 slagersbanken, met aan de westkant een eigen kapel. Boven lagen de raadszaal en een ruimte om vet te smelten.
Daarna begon een lang leven als van alles. De Fransen hieven de gilden in 1795 op en verkochten het gebouw in 1799 als Nationaal Goed. Een groep van 29 beenhouwers kocht het terug en verkocht er opnieuw vlees. In de eerste helft van de 19de eeuw richtten schilders boven hun ateliers in, en vanaf 1841 lag het vol wijn: Jean Daniel Peyrot gebruikte het als opslag voor zijn wijnhandel.
In 1899 kocht de stad het voor 300.000 frank. Stadsbouwmeester Alexis Van Mechelen restaureerde het, en de huizen die tegen de westgevel aan leunden, gingen tegen de grond. In 1913 opende hier een museum. Op de oostgevel kwamen in 1912 twee beelden van Jules Weyns: een slager en een veekoopman. Sinds 2006 draait het hier om muziek, en in september 2024 ging het gebouw dicht voor een grondige restauratie. Van worst tot klavecimbel: een carrière die maar weinig gebouwen kunnen voorleggen.