La création du musée est liée à une décision de 1866 : le collectionneur Alphonse Assegond cède ses faïences à la ville et devient le premier conservateur. Les premières salles sont installées dans l'Hôtel de Ville. En 1891, le musée prend place dans l'ancien logis abbatial, situé dans l'ensemble de l'abbaye Notre-Dame.
Le bâtiment, édifié au début du XVIIe siècle, mêle brique et pierre calcaire. Son aménagement de la fin du XIXe siècle doit beaucoup à Pierre-Victorien Lottin de Laval, amateur d'archéologie et inventeur de la technique des « lottinoplasties », des moulages reproduisant des décors anciens. Le logis est inscrit au titre des Monuments historiques depuis 1965.
La proximité de l'abbatiale romane Notre-Dame, dont les origines remontent au début du XIe siècle, fait de la visite un ensemble cohérent : le musée montre les collections d'art et d'histoire, l'abbatiale renseigne sur le monument et sa place dans la ville. Mais leurs ouvertures respectives sont distinctes.