Ouvrier électricien, marié, collaborateur des Temps nouveaux, Jules Roullier fut secrétaire, jusqu’à l’automne 1903, du syndicat des ouvriers électriciens de Paris qui avait alors pris le nom de Syndicat des travailleurs des industries électriques et fit partie du groupe qui éditait L’Action directe. En octobre 1903, il avait été poursuivi avec plusieurs autres responsables du syndicat, pour "outrages à l’armée" - semble-t-il après la publication par le syndicat d’une circulaire sur la Caisse du sou syndical du soldat - mais avait refusé de répondre à l’interrogatoire du juge d’instruction.
Militant syndicaliste révolutionnaire en vue, il appartint, à partir de 1904, à la commission exécutive de l’union des syndicats de la Seine. En janvier 1905, il fut arrêté pour action syndicale, puis relâché.
En juillet 1905, il s’installa à Brest où il fut aussitôt élu secrétaire général de la bourse du travail. Dans cette fonction, Roullier s’efforça de libérer la bourse du travail de la tutelle de la municipalité PS et, de façon plus générale, d’insuffler la ligne révolutionnaire de la CGT dans le syndicalisme brestois. Cela devait entraîner, pendant plusieurs années, une guerre larvée entre « les libertaires de la bourse du travail » et le Parti socialiste. Cependant, selon Gérard Baal (op. cit.), Roullier était trop parisien pour entraîner sur cette ligne le mouvement ouvrier brestois.
Il prépara activement le mouvement du 1er mai 1906, y compris sur le plan antimilitariste. C’est pour cette raison qu’avec 17 autres militants, dont Jules Le Gall* et Le Trehuidic, il fut arrêté le 4 mai pour incitation de militaires à la désobéissance. La bourse du travail fut alors occupée par l’armée. Roullier bénéficia d’une amnistie le 3 juillet avant de passer en Cour d’assises.
En octobre 1906, délégué par différents syndicats brestois au congrès d’Amiens de la CGT, il cosigna l’ordre du jour syndicaliste révolutionnaire présenté par Victor Griffuelhes, qui devait passer à la postérité sous le nom de Charte d’Amiens. À l’hôtel où il était descendu, il s’était fait inscrire comme « commis voyageur en grèves », « Européen » de nationalité. Le mois suivant il fit une tournée de réunions dans le Finistère.
Le 1er mai 1907, il prit la parole dans un meeting organisé parle comité brestois de La Guerre sociale. L’hostilité entre libertaires et socialistes était alors à son paroxysme. Sur le modèle de Benoît Broutchoux à Lens, il suscita à la poudrerie du Moulin-Blanc un « jeune syndicat » face au « vieux syndicat » socialiste, non adhérent à la bourse du travail. Il reçut alors l’appui, peu classique, d’un cercle d’ouvriers catholiques qui se rallièrent au « jeune syndicat ». Suite à cela, on vit, le 8 mars 1908, Roullier partager une tribune avec le « citoyen abbé » Madec, qui affichait des positions sociales. Ses adversaires socialistes vitupérèrent alors la « coterie cléricalo-anarchiste ». “Jaurès ou le pape, je m’en f…”, rétorqua Roullier dans une interview au Semeur, le 11 mars 1908, où il affirmait que la CGT avait vocation à grouper tous les ouvriers sans distinction d’opinions politiques ou religieuses. Il faut préciser que Le Semeur (Brest, au moins 19 numéros du 2 janvier au 7 mai 1908), dirigé par Jean Vibert et sous titré Pour le socialisme intégral, le syndicalisme et l’émancipation ouvrière, était un journal de dissidents du PS, alliés objectifs des libertaires et des syndicalistes révolutionnaires face au Parti socialiste. Dans le numéro du 2 janvier 1908, Roullier s’y était déclaré « anarchiste syndicaliste ».
La tension monta encore d’un cran quand, sous l’impulsion de Roullier, la bourse du travail refusa de coorganiser la manifestation du 1er mai 1908 avec le PS alors que celui-ci, à une semaine des élections municipales, souhaitait s’afficher comme le parti de la classe ouvrière. La journée du 1er mai fut marquée par des bagarres avec la police et avec les non-grévistes. Le 16 mai, dans son journal L’Égalitaire, le PS, battu aux élections, dénonça avec aigreur les « actes regrettables, fruits d’une combinaison malpropre » dus à des « alcooliques » et à des « agents provocateurs ». Le 10 juillet, lors d’une réunion du comité général de la bourse du travail, Roullier en vint aux mains avec un socialiste, Guermeur. Suite à cette altercation, le mouvement syndical brestois connut une scission entre les syndicats pro-Roullier et les syndicats pro-PS. La chute générale des effectifs qui s’ensuivit amena certains militants anarchistes, comme Victor Pengam, à penser que la personnalité de Roullier était un obstacle au développement de la CGT sur la ville, et qu’il avait trop d’occupations parallèles (il dirigeait une coopérative de bâtiment).
Le 10 février 1909, Roullier fut condamné en appel, à Rennes, à trois mois de prison avec sursis pour les violences du 1er mai 1908.
Au début des années 1910 il était membre du Comité de défense sociale (CDS) dont les responsables brestois étaient Jules Le Gall et Louis Bidan.
Au meeting de la bourse du travail le 1er mai 1911, Roullier se déclara partisan du sabotage, déclarant notamment : “Je ne suis pas venu ici pour disqualifier le sabotage, j’en suis partisan. Il faudra recommencer la grève perlée et les moyens de sabotage déjà employés”.
En 1911, il prit part au mouvement contre la vie chère. Le 18 juillet, lors d’un meeting, il avait notamment conseiller d’employer les trois moyens suivants : “diriger l’éducation des enfants vers l’antimilitarisme ; refuser de répondre à l’appel de mobilisation ; insurger et faire la grève générale armée en se servant des armes qui seront remises au moment de la mobilisation”. Arrêté le 18 septembre pour propos subversifs en meeting, il fut inculpé au titre des « lois scélérates » de 1894 contre les « menées anarchistes ». Le 31 octobre, la cour d’assises de Quimper le condamna à trois ans de prison et à 1 000 francs d’amende. Roullier, qui était inscrit au Carnet B, n’obtint le régime politique qu’en mars 1912 après une campagne de protestation dans la presse ouvrière.
À sa libération, Roullier se réinstalla en région parisienne où il demeurait à Pantin, 1-3 Impasse des Grilles et travailla comme comptable. En son absence, le mouvement syndical brestois s’était réunifié, à la faveur d’un modus vivendi entre anarchistes et socialistes (voir Victor Pengam). En août 1913, il siégeait au comité confédéral de la CGT.
En 1914, il fut mobilisé dans le 4e bataillon du génie au fort de Presles.