Issu d'une fratrie de 4 enfants, Pierre-Marie Le Goff, fils de marin, débute comme mousse dès l'âge de 10 ans à la petite pêche.
Devenu novice, il effectue alors des embarquements au cabotage puis au long cours depuis Nantes, Marseille et Bordeaux.
Embarqué à Bordeaux sur le trois-mâts Kerchalon le 18 octobre 1873, il déserte à Littletown en Nouvelle-Zélande le 28 avril 1874 pour une raison indéterminée.
Déclaré absent sans nouvelle par dépêche du 4 mars 1881, il n'est libéré de ses obligations militaires que le 1er novembre 1898.