Modération des contenus terroristes : défis techniques, enjeux démocratiques

Le projet de règlement, débuté il y a deux ans maintenant, reste pour le moins controversé. Il a été le sujet de vives critiques par les défenseurs des libertés civiles et droits humains, et plusieurs ONG et membres de la société civile ont exprimé leurs inquiétudes, à plusieurs reprises. Parmi ces inquiétudes : une définition trop large de ce qui relèverait du “contenu terroriste” qui pourrait affecter l’expression légitime, la promotion de l’utilisation d’outils automatisés, l’obligation de travailler avec des autorités compétentes non définies, l’obligation de faire respecter les conditions d’utilisation (CGU) plutôt que l’État de droit, ou encore des risques pour la liberté de la presse. Alors que l’avenir de ce règlement est encore incertain, Serious.Links revient ce mois-ci sur ces différents enjeux et interroge les solutions techniques actuellement mises en oeuvre face au double défi qui se pose : contrer l’usage du Web social par les terroristes, tout en respectant nos libertés et droits fondamentaux.

Des usages terroristes du Web social

Depuis plusieurs années, la communauté internationale s’inquiète du dévoiement des outils de communication numériques par les groupes extrémistes internationaux. L’Office des Nations unies contre la drogue et le crime publiait un rapport en 2014 sur l’utilisation d’internet à des fins terroristes, alors que les chercheurs et les universitaires commençaient à s’intéresser au phénomène de la radicalisation en ligne. En 2015, Marc Hecker illustrait comment les djihadistes exploitent le Web social comme une plateforme opérationnelle. Les différents rapports insistent sur la capacité d’adaptation des groupes extrémistes, islamistes, mais également d’extrême droite avec l’apparition concomitante de la sous-culture des “memes” et la création de codes et de symboles pour diffuser des messages subversifs sur les réseaux sociaux. Entre 2015 et 2016, alors au sommet de sa puissance, Daesh montre la force d’impact de son arsenal communicationnel en détournant les codes de l’audiovisuel et du marketing occidental au service de son idéologie. Comme en témoigne une étude réalisée par l’Asia Foundation et le journal Rappler sur la radicalisation aux Philippines, le ciblage et le recrutement (« grooming« ) de jeunes vulnérables et susceptibles de rejoindre les groupes terroristes passe largement par les réseaux sociaux.

L‘ONG britannique HOPE Not Hate a également montré dans ses recherches que si l’enrôlement d’individus au sein de groupes et bandes d’extrême droite avait baissé hors ligne, la popularité de ces mouvances était à l’inverse grandissante sur le net (blogs, groupes facebook, youtubeurs). Les réseaux sociaux jouent désormais un rôle essentiel pour l’extrême droite moderne, en l’aidant à réduire les distances géographiques et le coût de la participation. Les figures influentes donnent une orientation à des mouvements qui manquaient auparavant de structure ou de dirigeant formel, en établissant un programme capable de susciter l’engagement continu des publics ciblés à une échelle globale. Ces nouveaux usages et la capacité d’adaptation continue de ces acteurs au gré des innovations en ligne ont rendu la lutte contre la propagation des contenus terroristes particulièrement complexe, eu égard également à la diversité des canaux en ligne. Cette évolution a conduit acteurs publics et privés à développer de nouvelles approches, reposant notamment, mais pas seulement, sur des solutions techniques automatisées permettant d’éliminer de manière massive les contenus problématiques.

Le déploiement d’un arsenal technique face aux contenus terroristes

En 2016, Google, Facebook, Microsoft et Twitter ont donné naissance au GIFCT (Global Internet Forum to Counter Terrorism), afin de mutualiser leurs ressources dans cette lutte. Le GIFCT a mis en place une base de données permettant de partager les hashes (empreintes) des contenus terroristes identifiés, pour faciliter leur retrait. Cette initiative, qui a fait ses preuves dans le cadre de l’attaque de Halle en octobre dernier, regroupe actuellement plus de 80 000 visuels et 8 000 vidéos formellement identifiés comme terroristes. La plateforme bénéficie également aux plus petites structures qui ne disposent pas de moyens suffisants pour assurer une modération efficace de ces contenus.

La base de données du GIFCT est hébergée sur la plateforme ThreatExchange de Facebook. Lorsqu’un hash est intégré, il est marqué par des métadonnées identifiant l’entreprise qui l’a téléchargé et un code correspondant au type de contenu lié. Les empreintes ne contiennent pas d’informations personnelles identifiables, mais des caractéristiques spécifiques au contenu, qu’on peut facilement reconnaître si l’image ou la vidéo venait à être diffusée sur une autre plateforme. Une fois la plateforme ThreatExchange intégrée au système de modération d’un site ou d’un réseau social, les empreintes des contenus terroristes permettent de reconnaître et retirer automatiquement les copies de ces contenus lorsqu’elles sont diffusées sur de nouvelles plateformes. Les filtres de téléchargement (“upload filters”) utilisent par ailleurs des algorithmes pour vérifier le contenu téléchargé par rapport à telle base de données. Si le contenu téléchargé est similaire à une empreinte enregistrée dans la base de données, les plateformes refusent le téléchargement. Ce processus limite ainsi la migration des contenus vers les plateformes partenaires.

Le ciblage et le bannissement des profils utilisés par les terroristes, notamment les djihadistes, est également une solution mise en avant pour lutter à grande échelle contre le terrorisme. En décembre 2019, la plateforme de messagerie cryptée Telegram a mis en place une campagne de suppression des comptes gérés par l’État islamique, grâce à un algorithme de détection. Si la plateforme n’a pas rendu public les paramètres de cet algorithme, on peut supposer qu’elle s’est nourrie de ses précédentes campagnes contre les groupes de discussion utilisés par l’EI. Enfin, les individus se mobilisent également, les white hats (ethical hackers) et professionnels de l’OSINT (open source intelligence) scrutent les réseaux sociaux à l’affût du moindre indice permettant de démasquer les extrémistes puis de révéler leur identité réelle (outing), à l’instar du média Bellingcat qui a récemment publié une étude sur l’activité des suprémacistes néo-fascistes sur les réseaux sociaux. Un spécialiste de l’OSINT donnait en janvier dernier un exemple impressionnant des possibilités qu’offre la technique du renseignement en source ouverte, en expliquant le cheminement de son enquête sur une campagne de dons en bitcoin (monnaie virtuelle supposée intraçable) pour soutenir le Hamas, hébergée au Royaume-Uni.

Les limites de la réponse technique : la résilience des groupes terroristes et l’impact des faux positifs

Malgré les nombreux efforts des acteurs publics et privés pour endiguer les activités terroristes sur le Web, l’approche technique ne peut malheureusement pas suffire, quel que soit son degré de précision. D’abord car les groupes terroristes et extrémistes montrent une grande capacité de résilience face à la modération technique. Lorsqu’ils sont bannis d’une plateforme ou d’un site, ils migrent sur une autre plateforme, recréent de nouveaux comptes sous de nouveaux pseudonymes, ou piratent les comptes d’utilisateurs réels, à l’image de la mythologique Hydre de Lerne dont les têtes repoussent sans fin. D’autre part, si la récente destruction de la puissance de Daesh en Irak et en Syrie par les forces kurdes s’est également traduite par une baisse de son activité dans la sphère virtuelle, l’existence de réseaux affiliés et de cellules dormantes dans d’autres pays, notamment en Afrique subsaharienne, ou le retour des talibans au pouvoir en Afghanistan, laissent présager une résurgence prochaine des activités d’influence de l’organisation, adossée à une nouvelle base arrière opérationnelle. Par ailleurs, l’activisme d’extrême droite a développé une capacité à jouer sur les règles d’utilisation des plateformes, en relayant des discours se situant dans une zone grise difficile à sanctionner sans risque de censure.

Le système des empreintes liées aux contenus, s’il permet de reconnaître plus rapidement les vidéos de Daesh, par exemple, comporte néanmoins de sérieuses limites, comme l’ont démontré certains cas d’images licites censurées par erreur. Au regard de la quantité des contenus en question, les algorithmes de machine learning ne peuvent pas toujours être précis. Même une précision de 99,5 % pourrait créer des faux positifs (un contenu mal identifié comme « terroriste » qui est bloqué ou supprimé) touchant des millions de personnes. Les exemples abondent de contenus journalistiques, historiques, pédagogiques et parodiques qui ont été retirés par erreur, car les filtres automatiques ne tiennent pas suffisamment compte du contexte de publication. Par exemple, le filtre ne peut pas distinguer entre la propagande de l’EI et une vidéo journalistique sur les atrocités commises par le gouvernement. Le cas le plus emblématique est celui des Archives Syriennes, une organisation à but non lucratif qui documente les preuves de crimes de guerre dans le conflit syrien, et dont certains contenus ont été effacés des plateformes numériques. Notons par ailleurs que les contenus terroristes islamistes ont plus de chances d’être identifiés que les contenus d’extrême droite : la base de données du GIFCT, par exemple, est davantage axée sur l’extrémisme islamiste (qui est plus clairement défini) et moins adaptée pour saisir un autre contenu extrémiste plus contextuel et spécifique à un pays.

D’autre part, certains juristes s’interrogent sur le rôle joué par les individus pour démasquer les criminels sur internet, notamment les white hats. Ce rôle est-il légitime ? Et dans quelle mesure peut-on accepter l’auto-justice dans un État de droit ? Malgré un but tout à fait louable, ils empruntent néanmoins des méthodes normalement dévolues aux seuls services de police et de renseignement mandatés pour traquer les criminels : l’outing reste une technique illégale que les citoyens ne sont pas censés utiliser au gré de leur volonté. Il est ainsi nécessaire de penser à la gouvernance démocratique de ces différentes pratiques.

Prendre en considération ces vulnérabilités techniques dans la réglementation

Dans ce contexte, le futur règlement européen en discussion ne semble pas prendre encore suffisamment en compte le risque de suppression de contenus légitimes ainsi que des preuves. En exigeant une modération dans l’heure, le texte induit un usage conséquent des filtres de téléchargement ; sachant que la modération humaine ne pourra jamais suivre le rythme de cette exigence. Au regard des limites techniques de ces outils, on prend le risque de supprimer des contenus légaux et même parfois essentiels à la lutte contre le terrorisme : couverture médiatique, sensibilisation, recherche , critique du terrorisme, archivage historique. Il est nécessaire de comprendre les vulnérabilités des systèmes de partage de hashes et des hypothèses intégrées dans les bases de données, ainsi que de la prise de décision algorithmique. Concrètement, les plateformes et les d’autres acteurs légitimes s’appuyant sur des bases de données ou des modèles de partage d’informations devraient privilégier des principes de transparence, en développant des mécanismes de responsabilité, y compris une surveillance par le régulateur et la société civile. Des mécanismes de recours rapides devraient également être mis en place, afin de permettre aux auteurs de contester la suppression d’un contenu légal.

Evelyn Douek, affiliée au Berkman Klein Center for Internet and Society, décrit les dangers du phénomène de « content cartel creep« , la montée en puissance de ces bases de données centralisées qui manquent de transparence, de responsabilité, et d’une surveillance par les pouvoirs publics afin de garantir leur efficacité et d’évaluer leurs lacunes. Il faut s’interroger sur les risques qu’implique une modération basée sur des notions aussi floues que celles de “terrorisme” ou “d’extrémisme”, avec le risque que certains gouvernements prennent l’habitude de censurer des forces d’opposition en leur appliquant ces qualificatifs. Il a été relativement facile de combattre Daesh car l’organisation était unanimement condamnée par la communauté internationale, mais la situation n’est plus tout à fait la même lorsque des régimes autoritaires imposent aux plateformes de se soumettre à leur propre vision de la liberté d’expression, comme cela est déjà largement le cas en Chine par exemple. Bien qu’il existe une liste de groupes terroristes dans l’UE depuis 2001, le règlement actuellement en discussion risque de permettre aux États membres de désigner l’autorité chargée d’ordonner le retrait de contenus, car ils ne seront pas obligés de passer par la justice. Cela pourrait avoir des conséquences particulièrement sensibles dans certains cas, par exemple pour les « écoterroristes » tels qu’ils ont été étiquetés par le Premier ministre hongrois Viktor Orbán. Un règlement sur un sujet aussi complexe doit prendre le soin de faire face efficacement à la problématique dans le respect des droits fondamentaux.