Itinéraire viral d’un contenu terroriste

Itinéraire viral d’un contenu terroriste conçu pour Internet…

a) Un bref rappel des faits de l’attaque terroriste de Christchurch.

Le 15 mars 2019, un internaute publie sur 8Chan, un forum anonyme aux nombreux partisans du suprémacisme blanc, un message qui prémédite une attaque prochaine contre « les envahisseurs ». Ce message s’accompagnait d’un lien vers un Facebook Live permettant de suivre en direct l’assaut, ainsi que d’un manifeste détaillant les motivations de l’auteur. Quelques minutes après, la tuerie est diffusée en direct sur Facebook durant dix-sept longues minutes, comme annoncé. Bilan, 50 morts, tous fidèles musulmans, abattus de sang froid dans deux mosquées de la ville de Christchurch en Nouvelle-Zélande. Ce qui interpelle, après l’émoi, c’est la préparation médiatique méticuleuse de l’acte par l’assaillant (En savoir plus).

b) Un acte terroriste conçu pour la viralité des réseaux sociaux.

Quelques minutes après l’attaque, alors que la vidéo du direct de la tuerie a été supprimée de Facebook, des millions de copies de la vidéo sont republiées sur plusieurs plateformes en ligne (Twitter, YouTube, Reddit, etc.). Cette conséquence n’est pas anodine. Dans son message initial publié sur 8chan, l’assaillant avait appelé les visiteurs du forum à se mobiliser sur Internet pour « propager ses idées, à créer eux-mêmes des mèmes » (En savoir plus). Une stratégie terriblement efficace, puisque YouTube a annoncé qu’après avoir retiré un contenu lié à l’attaque, un nouveau apparaissait « chaque seconde » sur sa plateforme (En savoir plus). Rappelons ici que la maitrise du web social et la diffusion de la culture du trolling sont des « armes » largement investies par les différentes organisations extrémistes. Le manifeste publié par l’auteur de l’attaque de Christchurch regorgeait en effet de références à la culture du trolling (En savoir plus). Cette dernière est une arme électorale stratégique de l’extrême droite sur les réseaux sociaux désormais bien documentée, de même que le recours au Web social par les terroristes islamistes. Le but étant de propager plus vite et plus loin leurs idées radicales.

La viralité des contenus liés à l’attaque et leur difficile modération par les plateformes du numérique ont permis de mettre en lumière les failles actuelles des différents dispositifs de modération et les défis qu’ils restent à résoudre en la matière.

… qui met en lumière les défis à résoudre de la modération en ligne

a) Un retrait des contenus jugé trop tardif.

Du fait de cette modération tardive, les plateformes du numérique ont été accusées pour leur manque de réactivité. En particulier Facebook, où la vidéo du direct a été retirée 29 minutes après sa diffusion. Le Conseil Français du Culte Musulman (CFCM) a par exemple porté plainte contre Facebook pour « défaut de célérité (…) qui a eu pour conséquence sa publication sur YouTube peu de temps après le direct» (En savoir plus). Facebook a pourtant annoncé avoir retiré plus de 1,5 millions de contenus republiés liés à cette vidéo dans l’heure qui a suivi l’attentat, et bloqué 1,2 millions avant même leur publication (En savoir plus).

b) Un bref rappel du fonctionnement de la modération sur Internet.

Tous les acteurs n’ont pas la même approche en termes d’élaboration et de mise en œuvre des politiques de modération, en raison de leurs ressources et de l’échelle à laquelle ils opèrent. Dans une étude, l’institut Data & Society a identifié trois grands modèles de modération : artisanal (Viméo ou Médium), communautaire (Wikipédia ou Reddit) et enfin industriel (Facebook ou YouTube). Chacun des modèles répond à des objectifs particuliers et adresse les défis différemment. Notons que les débats sur ce sujet se cristallisent généralement sur le modèle industriel. Les entreprises qui optent pour celui-ci œuvrent selon une double stratégie. La première est une stratégie ex-post, c’est l’équipe de modération qui se charge de vérifier, après le signalement d’un utilisateur, la conformité du contenu avec la loi et leurs standards pour in fine le retirer ou non. La seconde est une stratégie ex-ante, par le recours aux outils automatiques de détection de contenus afin de les bloquer avant même leur publication par un internaute. Ce type de dispositifs automatiques est toutefois utilisé uniquement dans le cadre de la lutte contre les contenus terroristes et pédopornographiques, mais est en train d’être étendu à des domaines tels que la protection du droit d’auteur (En savoir plus).

c) Les failles de la modération de Christchurch comme défis pour l’avenir.

• • Les limites de la modération technologique ex-ante. Nombreux sont ceux qui pensent que les réseaux sociaux auraient dû retirer ces contenus automatiquement, de la même façon qu’ils le font pour détecter et bloquer des contenus de nudité. Il est toutefois nécessaire de comprendre les lacunes des outils de détection automatique. Ils fonctionnent selon une seule et même logique, savoir si le contenu est connu ou inédit. C’est seulement s’il est connu, c’est-à-dire déjà traité et qualifié de non conforme auparavant, qu’il recevra une empreinte qui permettra ensuite sa future reconnaissance automatique. Ainsi, à chaque réapparition du contenu, les outils de détection l’analyseront, pixel par pixel, afin de voir s’il correspond à une empreinte existante. Dans le cas de Christchurch, le contenu a été diffusé pour la première fois par Facebook Live, et était donc inédit. C’est pourquoi les réseaux sociaux ont pu bloquer automatiquement les reproductions du contenu, mais pas la vidéo originale (En savoir plus). Sans cette empreinte à l’appui, ce type d’outils n’est pas en mesure de différencier la tuerie d’un extrait de film ou de jeu vidéo. À ce stade de maturité technologique, les risques de faux-positifs sont donc importants. C’est pourquoi une approche « tout automatique » aurait des effets de bord dangereux en termes de sur-censure des contenus. En effet, malgré une demande forte adressée aux plateformes pour qu’elles renforcent leurs outils de filtrage, les limites techniques actuelles nous questionnent sur les frontières à tracer en la matière. Notons que depuis cette affaire, les plateformes travaillent désormais sur les enjeux spécifiques de la modération des contenus diffusés en direct, et cherchent à améliorer leurs dispositifs en orientant les recherches vers l’analyse du son des contenus (en savoir plus).
  • Le faible usage du signalement, faille de la modération humaine ex-post. Dans le modèle industriel, une modération efficace appelle une compensation des lacunes de la réponse technologique ex-ante par une réponse communautaire ex-post qui serait renforcée. C’est-à-dire un réflexe civique de l’acteur qui occupe l’espace en ligne pour signaler tout contenu toxique le plus rapidement possible dès sa diffusion. Dans le cadre de l’attentat, si Facebook a été accusé d’inaction, c’est parce que le contenu a été retiré 29 minutes après sa diffusion, soit le moment où le premier signalement par un internaute est intervenu, et donc le moment où l’équipe de modérateurs a été informée du problème. Mais ce qui parait peu dans l’environnement physique est une éternité dans celui numérique. Cette actualité est révélatrice de l’importance du rôle joué par les acteurs du débat public (associations, internautes, etc.) en ligne dans la modération des contenus sur Internet. Alors que les outils de filtrage automatique pourront difficilement atteindre une efficacité totale, demeure l’enjeu de la sensibilisation de ces acteurs. La pacification du Web passera en effet aussi par une plus grande mobilisation de la communauté, que cela soit par le signalement des contenus ou la pratique du contre-discours.