En avril 1892, alors qu’il effectuait une période militaire dans un régiment d’artillerie de Reims, Joseph Berteaux (parfois orthographié Bertaux) avait été signalé comme étant en relations avec le compagnon Geoffroy Pflug. En 1893 Joseph Berteaux était membre du groupe anarchiste de Reims animé notamment par Faucher et Leprêtre. Le 21 novembre 1893 son domicile au 1 rue Talleyrand fut l’objet d’une perquisition. Il figurait à l’État des anarchistes de Reims de février 1894, puis aurait cessé de fréquenter le groupe.

En 1901 il fut radié des contrôles des anarchistes.