Construite en 1505, la noblesse architecturale de «La Grande Maison» a au fil des siècles été mise à profit en devenant successivement accueil des moniales de l'ordre des Annonciades au XVIIème siècle, Hôtel des Finances ou Maison des douaniers du port de Fécamp.
A l'époque les douaniers surveillaient en effet depuis l'une de ses tourelles, à l'orée de prés salés où les flots s'échouaient en temps de grande marée, les voiles qui entraient et quittaient le hâvre Fécampois.
Mais le charme actuel de la maison résulte en grande partie de l'embellissement réalisé par l'un de ses anciens propriétaires au début du XXème siècle, célèbre armateur de l'époque.
Ayant acquis un magnifique yacht de Lord Anglais pour le transformer en Terre-Neuva, il choisit alors d'orner l'intérieur de sa maison des divers éléments de décoration habillant l'ancien bateau de croisière.
Le tout confère ainsi charme rare et atypique aux pièces de «La Grande Maison».