Né le 7 mai 1871 à La Madeleine (Nord) dans une famille ouvrière, Alphonse Merrheim quitte l’école à dix ans. Après avoir occupé différents emplois, il devient chaudronnier en cuivre. En 1890, il adhère à la CGT et multiplie les efforts pour créer le syndicat dont il est le secrétaire à partir de 1893. En 1904, il est désigné pour remplacer le secrétaire général démissionnaire de la Fédération CGT du cuivre.
À ce titre, il couvre plusieurs grandes grèves, comme celles de Cluses (Haute-Savoie) en 1904, de Longwy et de Meurthe-et-Moselle en 1905, d’Hennebont (Morbihan) en 1906 ou du Nord en 1907. Il est la cheville ouvrière du processus d’unité syndicale qui conduit à la fusion des fédérations de métiers au sein de la Fédération de la métallurgie en mai 1909. Préoccupé par la formation des militants, il étudie l’économie et se penche sur les structures patronales, notamment celle du Comité des Forges. Le fruit de ses recherches est publié en 1913 sous le titre La Métallurgie, son origine et son développement. Les forces motrices.
Au déclenchement de la Première Guerre mondiale, en août 1914, il est l’un des rares à s’élever contre la politique d’union sacrée avec la bourgeoisie défendue par Léon Jouhaux. Il combat énergiquement le transfert de la direction confédérale à Bordeaux, et refuse de quitter Paris. Profondément pacifiste, il dirige la première manifestation publique d’opposition à la guerre à Lyon le 1er mai 1915. Au même moment, L’Union des Métaux, organe de la Fédération CGT de la métallurgie, publiait une déclaration réclamait la paix sans annexion. Il participe à la Conférence internationale de Zimmerwald (Suisse), les 5-8 septembre 1915. Les résolutions qui y furent adoptées eurent un retentissement considérable et furent notamment diffusées par L’Union des Métaux.
Partisan de la paix, il n’a pas soutenu la Révolution russe d’octobre 1917, craignant la subordination du syndicalisme par le politique et l’éventualité d’une scission au sein du mouvement ouvrier. Opposant virulent à Lénine, il se reconnaît davantage dans les démarches de paix du président américain W. Wilson. Son revirement progressif aboutit à son ralliement à Léon Jouhaux au congrès confédéral de juillet 1918.
Il est désormais la cible de la minorité révolutionnaire qui dénonce son attitude. La maladie l’écarte de la vie syndicale à partir de 1923 et il décède finalement le 23 octobre 1925.