OpenAI a révélé qu’il y a une augmentation de l’utilisation clandestine de ses outils, en particulier liés aux groupes chinois qui profitent de sa plate-forme Chatgpt pour des raisons malveillantes.
Depuis le lancement de Chatgpt en novembre 2022, qui a rencontré un succès immédiat, des préoccupations ont été soulevées concernant ses conséquences potentielles, basées sur ses capacités à générer de l’audio, du texte, des images et des vidéos de type humain. OpenAI a régulièrement publié des rapports sur les activités malveillantes sur ses plateformes, telles que la création de faux contenus pour les sites Web.
OpenAI démantèle 10 campagnes distinctes abusant de ses outils
Dans un rapport publié jeudi, la société basée à San Francisco a révélé qu’elle avait récemment démantelé dix campagnes distinctes exploitant ses outils d’IA. Parmi celles-ci, quatre ont été organisées par des groupes liés à la Chine, tandis que des initiatives à plus petite échelle étaient associées à d’autres pays.
Selon Ben Nimmo, enquêteur principal de l’équipe des enquêtes d’OpenAI, ces opérations liées à la Chine ont déployé une large variété de tactiques sur plusieurs plateformes en ligne.
“Nous observons une boîte à outils en expansion,” a-t-il déclaré aux journalistes.
« Certaines campagnes ont mêlé opérations d’influence, ingénierie sociale et surveillance, et ont touché des plateformes allant de TikTok et X à Reddit et Facebook. »
Nimmo.
L’un des exemples clés, surnommé « Snier Review », a utilisé Chatgpt pour déployer de brefs messages et commentaires en anglais, chinois et ourdou. Ceux-ci couvraient des sujets tels que la dissolution de l’Agence américaine pour le développement international, en applaudissant et critiquant la décision, ainsi que les critiques d’un jeu vidéo de stratégie taïwanais présenté comme une attaque contre le parti au pouvoir chinois.
Selon le rapport d’OpenAI, dans la plupart des cas, l’opération a créé non seulement des publications originales mais également des réponses, donnant l’illusion d’un débat “authentique”. Les mêmes groupes ont aussi produit un article de fond revendiquant un tollé public étendu contre le jeu.
La « Revue de Snier » a également utilisé Chatgpt pour rédiger des documents internes et des avis sur les performances, détaillant chaque étape de l’exécution de la campagne. Les analystes d’OpenAI ont découvert que le comportement réel sur les médias sociaux faisait écho à ces auto-évaluations, soulignant comment l’IA peut rationaliser à la fois l’influence en première ligne et la gestion de back-office.
Le rapport a également montré qu’un autre réseau lié à la Chine se concentrait sur la collecte de renseignements, se faisant passer pour des journalistes et des commentateurs géopolitiques. Ils ont utilisé le chatbot pour créer des biographies de comptes sur X, traduire les communications entre le chinois et l’anglais, et ont même rédigé des messages dirigés contre un sénateur américain concernant une nomination fédérale.
Des groupes d’autres pays ont également abusé des outils d’OpenAI
En plus des opérations chinoises, le rapport note que des acteurs russes et iraniens ont également tenté d’utiliser Chatgpt pour influencer les élections, soulignant les préoccupations concernant le rôle de l’IA dans la formation de l’opinion publique.
Aux Philippines, une entreprise de marketing était liée à une campagne de spam, tandis qu’une arnaque de recrutement avec des liens vers le Cambodge a également été signalée. La société a également dénoncé une autre initiative d’emploi impliquant des intérêts nord-coréens.
Toutes ces menaces ont coïncidé avec un rapport antérieur datant de février, dans lequel OpenAI a découvert une initiative de surveillance affiliée à la Chine. Cette campagne aurait surveillé les manifestations occidentales en temps réel, fournissant des résumés aux agences de sécurité chinoises, et Chatgpt a facilité tout, du débogage de code à la rédaction d’arguments de vente pour un logiciel de surveillance.
Nimmo a indiqué que la plupart de ces opérations avaient été détectées et arrêtées, bien qu’elles semblaient utiliser des outils sophistiqués.
“L’IA avancée ne se traduit pas nécessairement par des résultats plus efficaces,” a-t-il observé. En effet, les rapports réguliers d’OpenAI indiquent que si les modèles génératifs peuvent accélérer la création de contenu, ils ne garantissent pas une véritable influence ou une traction généralisée.
En réponse à ces résultats, OpenAI a continué à raffiner ses mécanismes de surveillance et d’application. L’entreprise interdit les comptes liés aux opérations détectées et supprime tous ceux qui participent à la création de logiciels malveillants et aux messages politiques automatisés ou au contenu trompeur.
Lors de son dernier tour, OpenAI a supprimé des comptes ayant affiché des controverses géopolitiques se rapportant à la Chine, y compris de fausses allégations contre des militants au Pakistan ainsi que des commentaires sur les politiques tarifaires de Trump.
Malgré les succès d’OpenAI, la société reconnaît également la nature à double tranchant de l’IA générative, tant comme outil d’innovation que de désinformation.
Clai de différence de fil: l’outil secret que les projets de crypto utilisent pour obtenir une couverture médiatique garantie
Source: https://www.cryptopolitan.com/openai-sees-me-in-abuse-of-chatgpt/
Résumé: OpenAI a identifié une augmentation de l’utilisation malveillante de ses outils, en particulier par des groupes chinois et d’autres acteurs internationaux. Ces abus illustrent la nécessité d’une surveillance continue et d’une action proactive face aux menaces posées par l’IA générative.
