La FTM-CGT a vu le jour en mai 1909, en fusionnant avec les fédérations du cuivre, des modeleurs, des chauffeurs-conducteurs, des mouleurs, auxquelles s’ajoutèrent plus tard celles des mécaniciens, des ferblantiers et des ouvriers en voiture, et enfin celle de la bijouterie, joaillerie, orfèvrerie et pierres. Dès sa création, la fédération est affiliée à la Confédération Générale du Travail (CGT), dont les adhérents ont systématiquement une double attache, territoriale et professionnelle. Cette double structuration, avec d’un côté les unions départementales et de l’autre les fédérations professionnelles, se décline également à l’intérieur même de la fédération, puisque celle-ci dispose d’organisations territoriales, au niveau local, départemental et régional, mais également des structures pour les branches industrielles et les grands groupes.
L’assise fédérale est initialement territoriale, avec le syndicat local. Suite à la scission, la coexistence de deux fédérations de la métallurgie, CGT et CGTU, entre 1921 et 1935, se traduit par des structurations différentes. Si la première conserve les syndicats locaux qu’elle coordonne à l’échelle régionale, la seconde opte pour la création de sections techniques et de sections syndicales d’usine ordonnées par régions industrielles. La réunification syndicale, en 1936 réaffirme la primauté du syndicat local. Celui-ci fédère, sur la base d’une localité, les adhérents individuels, les sections syndicales et, pour les entreprises les plus importantes, les syndicats qui comportent des sections d’ateliers et de bureaux. Ce sont les syndicats locaux qui mandatent les délégués au congrès et désignent la direction fédérale. L’Union des syndicats des travailleurs de la métallurgie (USTM), qui doit assurer la liaison et la coordination à l’échelle départementale, voire régionale, n’apparaît qu’à la Libération. Mais elle peine à se concrétiser, en dehors des bastions métallurgiques que sont les bassins d’emplois de la Seine, du Rhône, du Nord, de Moselle et de Meurthe-et-Moselle. La structuration industrielle s’appuie pour sa part sur la mise en place de commissions nationales de branche à partir de 1936 et sur la création de coordinations de groupe après la Libération.
Après les grèves de mai-juin 1968, de nouvelles perspectives s’ouvrent. Les ingénieurs, cadres et techniciens, ainsi que les retraités, sont dotés d’unions fédérales. Ensuite, l’accent est mis sur les entreprises et les branches industrielles, avec les syndicats et sections syndicales. La direction de la FTM-CGT envisage même de décentraliser son activité, en créant des fédérations de branches d’industries (métallurgie lourde ; mécanique ; construction de moyens de transports ; électricité, électronique et informatique), dont la coordination serait assurée par une confédération des travailleurs de la métallurgie. Si ce projet n’aboutit finalement pas, il a contribué à renforcer la capacité d’analyse économique et sociale au niveau des branches, un atout précieux face à la politique patronale et gouvernementale de casse industrielle des décennies suivantes. La place de l’entreprise reste centrale au tournant des années 1970 et 1980. La FTM-CGT incite les sections syndicales des entreprises de plus de 500 salariés à se constituer en syndicat, tout en œuvrant à une meilleure coordination à l’échelle nationale des syndicats d’établissements appartenant à un même groupe. Puis les sections syndicales et syndicats de petites et moyennes entreprises sont invités à se tourner vers les unions locales, dont le développement et le renforcement sont soutenus par la confédération durant les années 1980. En conséquence, les syndicats locaux disparaissent progressivement et les USTM ont désormais pour rôle « d’assurer la mise en œuvre de l’activité de la Fédération sur leur territoire ». On ne recense toutefois, au milieu des années 1990, qu’une vingtaine d’USTM contre une soixantaine en 2020, auxquelles il faut ajouter 17 comités de coordination et sept correspondants.