ニュース
OpenAI、ロシア・中国・イラン・イスラエルの情報工作アカウント停止
2024年5月31日 13:15
OpenAIは、AIを使って隠れた影響力操作(covert influence operations)を行なっていたアカウントを停止した。ロシア、中国、イラン、イスラエルの企業などが情報工作に関与していたという。
OpenAIは過去3カ月間で、AIを使用した5つの情報工作を妨害した。5月現在、これらのキャンペーンによる視聴者のエンゲージメントやリーチの増加はみられないという。こうした活動では、同社のモデルを使い、短いコメントや長文記事の生成、ソーシャルメディアアカウントの名前とプロフィール作成、簡単なコードのデバッグ、テキストの翻訳・校正などが含まれる。
具体的には、ロシアでは英語の文法が未熟であることから「Bad Grammar」と名付けられた情報操作ネットワークが主にTelegramで活動。ウクライナ、モルドバ、バルト諸国、アメリカを標的に情報工作を行なっていた。彼らはOpenAIのモデルを使用しTelegramボットのコードをデバッグし、ロシア語と英語で短い政治コメントを作成。Telegramに投稿していた。
同じくロシアの「Doppelganger」と名付けられた情報操作ネットワークは、英語、フランス語、ドイツ語、イタリア語、ポーランド語でコメントを生成し、Xと9GAGに投稿している。
「Spamouflage」と名付けられた中国の情報操作ネットワークは、AIによりソーシャルメディア活動をリサーチし、中国語、英語、日本語、韓国語でテキストを生成。X、Medium、Blogspotなどのプラットフォームに投稿していた。
イランの「International Union of Virtual Media (IUVM)」は、長文記事、見出し、Webサイトタグを生成し、自身が運営するWebサイトに投稿していた。
イスラエルの企業である「STOIC」も記事やコメントを生成し、Instagram、Facebook、X、関連するWebサイトに投稿していた。
これらの投稿内容は、ロシアのウクライナ侵攻、ガザ紛争、インドの選挙、ヨーロッパやアメリカの政治、中国政府への批判への対応など多岐に渡っていた。しかし、これらの情報工作によって顕著なオーディエンスの増加は確認されず、多くの場合は早い段階でフェイク情報であることを一般ユーザーに見抜かれていたという。
また、AIで文章を出力をしても、情報工作を行なっているオペレーターがその意味を理解出来ず、ChatGPTが出力を拒否した、というメッセージをそのままコンテンツとして配信していたケースもあった。
OpenAIでは、これらの情報工作に対して、技術チームによるモニタリングやAIツールによる対策を実施。AIモデルの悪用を防ぐため、システム改良も行なっている。例えば、DALL-E 3では、公人の名前を要求するリクエストを拒否するようになっている。
利用ポリシーも強化し、実在しない著者や組織が虚偽のコンテンツを作成することや、実在の人物や組織を無断で模倣すること、AIであることを明示せずに自動化システムを作成することなどを禁止している。
悪用が発見された場合は、関連アカウントを禁止し、その情報を業界で共有している。