En direct
Best of
Best of du 8 au 14 juin
En direct
© CC
Mauvais ménage
Quand l’outil d’intelligence artificielle de Tumblr échoue à identifier les images pornographiques
Publié le 10 décembre 2018
La pornographie et la présence d’images pédopornographiques sur Tumblr, c'est fini ! La plateforme et son Chief Exécutive Officer ont annoncé le 3 décembre dernier que « les contenus pour adultes » ne seraient plus autorisés dans une logique de protection des utilisateurs du réseau social.
Franck DeCloquement est praticien et expert en intelligence économique et stratégique (IES). Membre fondateur du Cercle K2 et ancien de l’Ecole de Guerre Economique de Paris (EGE), il est en outre professeur à l'IRIS (Institut de Relations...
Suivre
Vous devez être abonné pour suivre un auteur.
Abonnez-vous
«Vos abonnements garantissent notre indépendance»
Franck DeCloquement
Suivre
Vous devez être abonné pour suivre un auteur.
Abonnez-vous
«Vos abonnements garantissent notre indépendance»
Franck DeCloquement est praticien et expert en intelligence économique et stratégique (IES). Membre fondateur du Cercle K2 et ancien de l’Ecole de Guerre Economique de Paris (EGE), il est en outre professeur à l'IRIS (Institut de Relations...
Voir la bio
Ajouter au classeur
Vous devez être abonné pour ajouter un article à votre classeur.
Abonnez-vous
«Vos abonnements garantissent notre indépendance»
Lecture Zen
Vous devez être abonné pour voir un article en lecture zen.
Abonnez-vous
«Vos abonnements garantissent notre indépendance»
La pornographie et la présence d’images pédopornographiques sur Tumblr, c'est fini ! La plateforme et son Chief Exécutive Officer ont annoncé le 3 décembre dernier que « les contenus pour adultes » ne seraient plus autorisés dans une logique de protection des utilisateurs du réseau social.

Atlantico : Tumblr a décidé d'interdire les contenus pour adultes. Derrière la grogne que provoque la fin de ce pan d'internet, c'est la méthode qui interroge. Pour détecter les contenus en question, la plateforme utiliserait une IA chargée de détecter les images à caractère pornographique. Ce type d'outil technologique, déjà mis en œuvre par Facebook ou Instagram connaît régulièrement des ratés. Comment fonctionnent-ils ? Peuvent-ils être considérés comme déjà pleinement fonctionnels ?

Franck DeCloquement : Cela a fait l’effet d’une bombe dans le landerneau des habitués du réseau social Tumblr cette semaine, qui est en effet en passe de bouleverser radicalement sa politique de filtrage des contenus. Notamment, en interdisant purement et simplement la pornographie ou, comme l’explicite sa stratégie de communication très euphémique actuelle : « tous les contenus adultes » présents sur sa plateforme de microblogging. Revenons sur les faits. Après 12 ans d’existence, l’appli de Trumblr qui permet d’accéder à sa plateforme a tout simplement été bannie de l’App Store Apple, et ceci depuis plus de trois semaines. En conséquence, plus aucun appareil de la marque à la pomme ne peut désormais télécharger cette application. Une déconvenue commerciale qui impose au réseau social de renforcer drastiquement le filtrage de ses contenus en ligne à partir du 17 décembre prochain, comme le pratique déjà les deux autres mastodontes du secteur Facebook et Instagram, au risque de perdre une partie de ses adeptes en chemin… 

Tumblr qui était considéré comme un réseau social « porn friendly »,  et assez libre et permissif de ce point de vue, était attrayant pour de très nombreux utilisateurs.

Une forme d’espace « méta » en somme, et la survivance de contenus hétéroclites qui représentaient ce qu’est encore pour beaucoup la culture alternative de l’Internet des origines, où le web se construisait de bouts de ficelles, et les références naissaient sans entraves de préjugés ou d’aprioris. Et notamment pour certaines catégories d’artistes qui pouvaient y présenter leurs œuvres personnelles - parfois très osées en termes de nudité - sans pour autant être bannis par la modération de la plateforme de microblogging... 

Mais cette liberté de ton a aussi tôt fait de conduire à certaines dérives notables aux yeux de tous, à commencer par la présence de « bots » sur la plateforme, publiant de nombreux contenus pornographiques. À côté d’images, de vidéos et de textes à caractère explicitement sexuel, de la pédopornographie a fait son apparition… Certains observateurs ont pu établir que plus de 50% des utilisateurs de Tumblr sont exposés « plus ou moins volontairement » à des contenus « X », environ 22% de consommateurs de plein gré et 0,1% des producteurs. D’où la nécessité d’agir vite en la demeure, et sans plus attendre. Incapable dans un premier temps de détecter correctement l’action intrusive et automatisée des bots, la pédophilie infantile, et de bannir les comptes et les contenus malveillants de la plateforme, Tumblr a préféré tout verrouiller en laissant la possibilité à certains utilisateurs de faire prestement migrer leur contenu jusqu'au 17 décembre, sur Reddit par exemple. Sinon, « les oubliettes » : direction la catégorie « privée », soit une très probable mort annoncée pour de très nombreux comptes dont les contenus explicitement visés ne seront ni visibles depuis l'outil de recherche, ni même partageables. 

Parallèlement, un filtrage drastique a d’ores et déjà commencé depuis le 3 décembre dernier avec parfois quelques ratés en ligne de mire… En cause ? L’IA en charge de traquer automatiquement les contenus non conformes,  pour ce grand nettoyage en ligne qui s’annonce, et le paramétrage de certains de ces algorithmes déjà en train de taguer des milliers de posts et de comptes utilisateurs…

 S'il est vrai que les capacités d'apprentissage automatique se sont considérablement améliorées ces dernières années, les ordinateurs ne « voient » pas les images comme nous autres humains… On parle souvent abusivement « d’intelligence artificielle » en la matière, mais tout cela est en réalité piloté par la donnée. Ces nouvelles capacités technologiques ne sont pas arrivées compte tenu de l’émergence de nouveaux algorithmes, ou de nouveaux moyens de traitement, mais parce que d’un seul coup des grands volumes de données étaient disponibles. Et pour l’essentiel des techniques utilisées, les processus informatiques qui détectent si des groupes de pixels qui ressemblent à ce qu'ils ont déjà analysé dans le passé sont bien connus, et finalement ne sont absolument pas nouveaux. Par contre, ces algorithmes ont désormais à disposition d’immenses quantités de données disponibles pour mieux « apprendre » à discriminer correctement les contenus. Et cet apprentissage « automatique » excelle dans l'identification de modèles significatifs, dans des ensembles gigantesques de données brutes. Mais l'un des échecs les plus courants en la matière réside très schématiquement dans le fait que ces algorithmes peuvent en outre détecter des biais accidentels, et qui peuvent donner lieu à des prévisions fragiles. C’est par exemple le cas d’une « IA » mal formée pour détecter des images d'aliments, et qui peuvent à tort se fier à la présence d'une assiette dans son analyse contextuelle, plutôt qu'à la nourriture elle-même présente au creux même de cette assiette spécifique... Les « classificateurs » de reconnaissance d'images, tels que celui qui a apparemment été déployé dans le cas qui nous occupe, sont formés pour détecter des contenus explicites à l'aide d'ensembles de données contenant généralement des millions d'exemples de représentations à caractère pornographique, et non pornographique. Et ce « classificateur » est d’autant plus performant qu’il a « appris » d’un volume de données - de data - extrêmement conséquent. D’où l’importance majeure de la donnée dans ce processus « d’apprentissage ». 

Le système de modération de contenu automatisé de Tumblr est peut-être affecté par ce type de « biais de jeunesse », et « détecte » en conséquence des modèles cohérents pour lui, mais dont finesse lui échappe encore pour l’heure. Ce qui peut choquer en conséquence notre humaine compréhension d’utilisateur, en cas de défaillance manifeste de sa sélection. Il est ainsi possible que Tumblr ait négligé d'inclure suffisamment d'instances ou de modèles, telles que les dessins animés « NSFW » (contraction de « not safe for work », ce sigle est utilisé essentiellement dans le but d'avertir quand un lien externe ou une image incluse dans une discussion peut poser un problème de contenu, en lien avec son caractère sexuel, violent ou gore). Cela pourrait peut-être expliquer pourquoi le « classificateur » de Trumblr aurait dernièrement confondu des illustrations de brevets par exemple,  avec du contenu explicite pour adultes. De manière générale, un classificateur identifie plutôt correctement des contenus comme étant « SFW » (Safe For Work), autrement dit « conforme » aux prescriptions de classification ne posant aucun problème, et qu'il n'y a au demeurant rien « d'adulte » en soi, qui soit notablement répréhensible dans ces images. Ce qui compte en définitive, c'est la façon dont les différents classificateurs les considèrent.

Quelle part de contrôle l’humain conserve dans la modération des contenus sur ces réseaux sociaux ?

Des utilisateurs ont en effet observé que certains de leurs posts - sans liens avec des contenus répréhensibles selon eux - ont été tout bonnement supprimés automatiquement pour des motifs de « contenu à caractère pornographique ». Mais dans ce dernier cas, le site indique que les contenus incriminés possiblement interdits par erreur, pourront faire l’objet d’une « procédure d'appel ». Les utilisateurs pourront donc faire appel à un « modérateur humain » s'ils estiment que leurs publications ont été incorrectement étiquetées par les déterminations algorithmiques, comme du contenu réservé aux adultes. Et rien ne sera arbitrairement censuré au demeurant, tant que la nouvelle politique ne sera pas pleinement opérationnelle, au plus tard au milieu du mois de décembre.

Pour l’heure, ce véto drastique sur les contenus explicites concernera principalement des «  photos, vidéos ou GIF dévoilant des parties génitales de personnes réelles, les seins de femme dévoilant des tétons, et tout contenu (photos, vidéos, GIF et illustrations) dépeignant des actes sexuels. » Parmi les exceptions à ces nouvelles interdictions, des situations liées à la santé, à l'accouchement et à l'allaitement, la littérature érotique, la nudité en rapport avec l'actualité ou la politique, ou encore la nudité dans l'art à vocation « éducationnelle ». De son côté, Jeff D'Onofrio, le patron de Tumblr indique par voie de presse à qui veut l’entendre que « ce ne sont pas les sites pour adultes qui manquent. Nous leur laisserons donc gérer ces contenus (Ndlr : les contenus pour adultes) et concentrerons nos efforts à la création d'un environnement qui soit le plus accueillant possible pour notre communauté ».

A quels risques s'expose-t-on en laissant de plus en plus de marge de manœuvre aux algorithmes ?

En marge de ce choix stratégique et de son implémentation technique via l’usage des algorithmes, commercialement, l’aventure est hardie pour Tumblr mais aussi possiblement dangereuse pour le devenir de la plateforme en ligne... Aussi, tout cela est actuellement vécu aux Etats-Unis comme une violente purge contre ce bastion du porno DIY et non conventionnel que représente Tumblr pour beaucoup d’internautes militants. La marque patente d’une contre-attaque manifeste des valeurs puritanistes, au détriment des contenus qui montrent des « real-life human genitals or female-presenting nipples ». Et pour certains de ces esprits chagrins en marge, cette annonce n'est pas loin de signer son arrêt de mort explicite, puisque cette décision radicale de son Chief Exécutive Officer, prise officiellement pour raison de sécurité dans un souci de préservation des utilisateurs du réseau social, ne promet pas de faire grimper la fréquentation de son site. La plateforme parviendra-t-elle à recréer un environnement suffisamment sécurisé et « tout public », pour compenser les effets délétères à prévoir sur ses audiences habituelles ? Espérant par la attirer les annonceurs, générer de nouveaux revenus plus substantiels, et donc survivre in fine ? Rien n’est moins sûr cette heure… Aussi, le choix managérial de générer une forme de compensation financière et audacieux, mais également très risqué. En tout état de cause, Tumblr qui semble ne plus avoir d’autres stratégique choix compte tenu de l’exclusion de son application par Apple, est bien parti pour rejoindre le « cimetière des éléphants », comme ce fut le cas des plateformes aujourd’hui délaissées, au même titre que les défunts Skyblog ou MySpace…

En 2013 pour rappel, Yahoo avait acquis Tumblr pour 1,1 milliard de dollars - un réseau social considéré à l’époque comme « incapable de gagner beaucoup d'argent ». Et quatre ans plus tard, c’est « Yahoo ! » qui a été à son tour acquis pour environ 4,5 milliards de dollars par l’opérateur américain géant « Verizon ». Un opérateur également bien connu pour avoir été incriminé dans l’affaire de surveillance globale de la NSA, révélée en son temps par Edward Snowden. Les firmes « Yahoo ! » et Tumblr faisant désormais toutes deux parties d’une filiale de Verizon appelée « Oath ». Immédiatement après sa deuxième acquisition par Verizon, Tumblr avait ainsi introduit le Mode « sans échec », afin de filtrer automatiquement le contenu « sensible » sur son tableau de bord, et dans les résultats de recherche, afin de rendre le site plus attrayant pour les annonceurs. Les utilisateurs réguliers de Tumblr ont rapidement compris que le mode « sans échec » filtrait accidentellement les contenus normaux. Y compris les publications LGBTQ (Lesbian, Gay, Bisexual, Transgender or Queer). En juin 2017, Tumblr a d’ailleurs présenté ses excuses et déclaré que le problème avait été depuis en grande partie résolu…

Aussi, la plateforme de microblogging se débarrasse aujourd’hui de cette fonctionnalité, car bientôt elle sera en quelques sortes soumise à ce mode « sans échec » de manière permanente… Pour l’heure, nous ne savons pas encore si la société empruntera la même technologie d'intelligence artificielle (IA) que celle utilisée pour ce fameux mode « sans échec » sur l'ensemble de son site. Tumblr n'a pas encore précisé quelle technologie digitale elle utiliserait pour appliquer ses nouvelles règles de filtrage des contenus réservés aux adultes. Une source proche de la société a récemment déclaré dans la presse américaine que l’entreprise utilisait une technologie brevetée, mais « modifiée ». Comme la plupart des plateformes de médias sociaux générées par les utilisateurs, elle prévoirait d'utiliser en outre un mélange de « classifications par apprentissage automatique et modération humaine » à travers « Trust & Safety », le groupe de modérateurs qui aide à filtrer les contenus mis en ligne sur Tumblr. À ce titre, Tumblr a également annoncé qu'elle augmenterait bientôt substantiellement le nombre de modérateurs « humains » qu'elle emploie dans son nouveau processus de détection. À l’image de Facebook qui a ​​depuis longtemps banni les médias explicites, les principaux concurrents de Tumblr ont bénéficié d'une avance notable en matière de détection. Ces plateformes ont passé en outre des années à accumuler des données de discrimination de contenu pour perfectionner leurs outils de reconnaissance d’image. Chaque fois qu'un modérateur humain élimine la pornographie de Facebook par exemple, cet exemple peut être utilisé pour enseigner à son « IA » comment repérer le même genre de contenu par elle-même. Facebook et Instagram ont également rencontré un grand nombre de problèmes au même titre que Trumbl aujourd’hui dans son processus de filtrage. Et Tumblr devra affiner ses outils automatisés et probablement former ses classificateurs sur des registres de données beaucoup plus volumineux. Mais l'entreprise devra également répondre à de nombreuses questions d’occurrence difficiles, qui ne peuvent être tranchées que par des êtres humains.

Les commentaires de cet article sont à lire ci-après
Le sujet vous intéresse ?
Mots-clés :
Tumblr, porno
Thématiques :
Articles populaires
Période :
24 heures
7 jours
01.
Véhicules propres : la Chine abandonne l'électrique pour miser sur la voiture à hydrogène
02.
Mariage de Karine Ferri : Nikos n'est pas venu, les autres stars non plus; Laeticia Hallyday se rabiboche avec son père, Meghan Markle aurait fait fuir sa mère, Rihanna renoue avec son milliardaire;  Kate Middleton snobe Rose, Britney Spears s'arrondit
03.
Crise au sein de LREM dans le Nord : six députés claquent la porte
04.
Laura Smet a épousé Raphaël Lancrey-Javal au Cap Ferret
05.
Le "chat renard", une nouvelle espèce de félin découverte en Corse
06.
Stars ET milliardaires : quand la puissance de la célébrité transforme Jay Z ou Rihanna en magnats des affaires
07.
Vous pensiez qu’un verre de lait et un jus d’orange étaient le petit-déjeuner parfait ? Voilà pourquoi vous avez tort
01.
Mariage de Karine Ferri : Nikos n'est pas venu, les autres stars non plus; Laeticia Hallyday se rabiboche avec son père, Meghan Markle aurait fait fuir sa mère, Rihanna renoue avec son milliardaire;  Kate Middleton snobe Rose, Britney Spears s'arrondit
02.
Véhicules propres : la Chine abandonne l'électrique pour miser sur la voiture à hydrogène
03.
Cette nouvelle technique du dépistage du cancer de la prostate qui pourrait sauver de nombreuses vies
04.
Justification des violences contre les femmes : les étonnants propos de l’imam de l’université la plus prestigieuse du monde sunnite
05.
Hausse des prix de l’électricité : merci qui ?
06.
Révolution sur canapé : une enquête montre que 92% des activistes berlinois d’extrême-gauche vivent chez papa-maman
01.
PMA : la droite est-elle menacée de commettre la même erreur qu’avec le progressisme des années 60 qu’elle a accepté en bloc au nom de l’évolution de la société ?
02.
“Droite moderne”, “LREM pragmatique pour le bien du pays” : mais au fait, qu’est ce que cela veut vraiment dire ?
03.
Mais pourquoi s’abstenir de faire des enfants pour sauver la planète alors que le pic démographique est passé ? Petits arguments chiffrés
04.
Justification des violences contre les femmes : les étonnants propos de l’imam de l’université la plus prestigieuse du monde sunnite
05.
De Benalla à Loiseau en passant par Castaner : ces déceptions personnelles d'Emmanuel Macron qui montrent son incapacité à bien s'entourer
06.
Réforme des retraites : pourquoi les salariés du privé ont toutes les raisons de s’inquiéter
Commentaires (0)
Ecrire un commentaire
Vous devez être abonné pour rédiger un commentaire.
Abonnez-vous
«Vos abonnements garantissent notre indépendance»
Nos articles sont ouverts aux commentaires sur une période de 7 jours.
Face à certains abus et dérives, nous vous rappelons que cet espace a vocation à partager vos avis sur nos contenus et à débattre mais en aucun cas à proférer des propos calomnieux, violents ou injurieux. Nous vous rappelons également que nous modérons ces commentaires et que nous pouvons être amenés à bloquer les comptes qui contreviendraient de façon récurrente à nos conditions d'utilisation.
*Toute validation est définitive, vous ne pourrez pas rééditer votre commentaire.
Pas d'autres commentaires