Jean-Jacques Quesnel-Morinière a légué en 1850 à la ville l'hôtel particulier des XVIIe et XVIIIe siècles et son parc, devenu le Jardin des Plantes. Le musée ouvre en 1874. Ce cadre historique explique la présence de salons et de décors anciens à côté des tableaux ; certaines salles conservent l'échelle d'une maison plutôt que celle d'un grand palais d'exposition.
Les collections se sont constituées à partir de dons de la société académique du Cotentin et de dépôts de l'État, puis d'apports privés successifs. Léon Quesnel, premier conservateur, a contribué à leur développement. Les dons d'objets, les peintures de la cathédrale et les céramiques régionales racontent comment les habitants et institutions ont progressivement choisi ce qui méritait conservation.
La diversité ne relève donc pas d'un simple empilement. Un objet religieux, une toile ancienne et une gravure de la ville documentent des usages différents du patrimoine local : la commande artistique, la mémoire d'un lieu et la représentation de son paysage.