La maison Levanneur telle que nous la connaissons aujourd’hui est le vestige d’un ensemble de bâtiments beaucoup plus important.
Son histoire est complexe. Depuis la fin du 18ème siècle, les agrandissements, les démolitions et les rehaussements se sont succédés.
La première maison fut construite en 1775 sous l’impulsion du Seigneur de Bertin. Son premier occupant fut Pierre Etienne Levanneur. D’abord maison de pêcheur, Pierre Etienne était le plus important du village, elle sera occupée au fur et à mesure des extensions par des blanchisseurs, des cultivateurs, des maçons…

Vers 1830, une nouvelle activité voit le jour. Une partie de la maison est utilisée comme bar et pour la restauration. Sa situation à proximité de l’ancien pont (la chaussée du pont passait au niveau du premier étage) et la facilité pour obtenir l’autorisation de vendre du vin rendent cette activité rentable.
C’est à partir de 1855 qu’elle se développe après l’acquisition d’une partie des bâtiments par Marcault. Toute comme sa voisine, la célèbre maison Fournaise, la maison Levanneur dispose d’une terrasse et de chambres meublées, louées souvent par des artistes (Maupassant y aurait séjourné). Mais la fréquentation reste moins importante et la clientèle plus modeste que celle de la maison d’Alphonsine. Marcault laisse à sa fille, épouse Levanneur, la gestion du restaurant. C’est elle qui donnera son nom à la maison. Longtemps on lira sur la façade près du pont, « Restaurant Marcault, Successeurs Levanneur ».Mais lorsqu’elle décède en 1887, l’activité décline. Le canotage commence à passer de mode, son mari qui occupe toujours la maison se consacre à la pêche.