SNS上のAIボット、6割が見破られず　「好意的で親しみやすい」ボットほど気づかれにくい

Surfsharkの調査によると、世界1,722人を対象に実施した調査で、AIが生成したSNS上のコメントをボットによるものだと見抜けた割合は、わずか40%でした。特に見破られにくかったのは、好意的で親しみやすく、論理的に見えるボットです。研究担当者は、こうした肯定的なSNSボットが、実際のユーザーの警戒心をかいくぐるソーシャルエンジニアリング攻撃に悪用される可能性があると指摘しています。

Surfsharkのリサーチ＆インサイト責任者であるルイス・コスタ氏（以下、同氏）は、次のようにコメントしています。

「SNSでは、攻撃的な荒らしは誰の目にもつきやすいものです。そのため、そうしたアカウントほど見破られやすい傾向があります。今回のSNS環境を再現したシミュレーションでは、参加者はネガティブな内容を投稿するAIボットの半数にあたる50.2%をボットだと判断しました」

一方で、ボットが好意的で親しみやすい人物を装った場合、検出率は38%まで低下しました。ネガティブなボットと比べて12ポイント以上の差があります。

このシミュレーションは現在もオンラインで公開されており、自分がどれだけボットを見抜けるか実際に試すことができます。

「高度な情報操作キャンペーンで使われるAIアカウントは、相手に同意したり、論理的に振る舞ったり、あるいは単に目立たない存在だったりすることが少なくありません。実際のユーザーの意見に賛同しながらコメント数を水増しし、本来は少数派である意見を、あたかも多くの人が支持しているかのように見せることもできます。こうしたアカウントが通報されるケースは多くありません」

Surfsharkの研究担当者は、SNS上では、対立的で不快感を与えるAIボットよりも、好意的で親しみやすいAIボットのほうが危険性が高いと指摘しています。

親しみやすく論理的に振る舞うことで、ボットはユーザーの警戒心をすり抜けやすくなります。相手を敵や脅威だと感じにくいため、個別メッセージでやり取りしたり、個人情報を共有したり、送られてきたリンクをクリックしたりする可能性も高まります。また、一見「論理的」に見える偽情報を信じてしまい、相手がAIだと気づかないうちに、政治的・社会的な考え方へ影響を受ける可能性もあります。

今回のシミュレーションでは、絵文字の多用がボットを見抜く大きな手がかりの一つとなりました。

絵文字を多く使うボットは60%以上の確率で見破られた一方、シンプルな文面でやり取りするボットの検出率は35%にとどまりました。その差は30.6ポイントに達します。

この結果は、絵文字の使い方だけを頼りにSNS上の不審なアカウントを判断する危険性も示しています。詐欺を目的とする人物やボットが絵文字の多用を避けるだけで、見破られにくさが大きく高まるためです。

また、テキスト投稿を中心とするSNSを利用するユーザーは、今回のシミュレーションで高い検出率を記録しました。

Xユーザーのボット検出率は49%で、TikTokユーザーの38%、Facebookユーザーの39%を大きく上回りました。この結果から、TikTokやFacebookでは、AIボットによる情報操作の影響を実際のユーザーが受けやすい可能性が示されています。

SNS上でAI生成コンテンツを見抜くことは、可能なのか？

AI生成コンテンツは、自動検出ツールにとっても見分けることが難しくなっています。人間にとっても、精巧に作られたAI生成コンテンツと実際の人物が作成したコンテンツを見分けることは、ますます困難になっています。

同氏は、SNS上で自分自身を守るためのポイントとして、次の3点を挙げています。

• 投稿内容ではなく、アカウント自体を確認する

  プロフィールが作成された時期やプロフィール画像、「自己紹介」欄の内容を確認しましょう。作成されたばかりのアカウントで、ありきたりな画像や曖昧なプロフィール文が使われ、同じ内容を何度も繰り返し投稿している場合は、偽アカウントである可能性があります。

• 議論が白熱しているときほど、感情に左右されやすい点を意識する

  SNS上の議論が深刻になるほど、感情の影響によって偽アカウントを見落としたり、反対に実在する人物を誤ってボットだと判断したりする可能性が高まります。

• 自分に同意しているからといって、実在する人物だと決めつけない

  短時間のうちに、ありきたりな応援や賛同のコメントが大量に寄せられた場合、それらはボットでも簡単に作り出せます。

SNS上でボットと人間を見分ける方法について、セキュリティ専門家による詳しい解説はこちらの動画で確認できます。

https://www.youtube.com/watch?v=PXvQn15eSc0

また、本実験に関するグラフやビジュアル素材もこちらで公開されています。

今回の「Bot or Not」ライブシミュレーションは、マルメ大学のインタラクションデザインを学ぶ学生によって制作されました。この取り組みをきっかけに、Surfsharkは「Cybersecurity Advocacy Fund（サイバーセキュリティ啓発支援基金）」を設立しました。

同基金では、サイバーセキュリティに関する啓発活動を支援するため、世界各地の学生や研究者、クリエイティブなプロジェクトを対象に、年間最大10万ユーロの資金援助を行っています。

現在、応募を受け付けています。詳細はこちらをご覧ください。

調査方法

本調査では、インタラクティブなシミュレーション「Bot or Not」に参加した1,722人のデータを分析しました。

「Bot or Not」と、ゲーム内で使用されるコメント生成システムは、マルメ大学でインタラクションデザインを学ぶ学生によって制作されました。同ゲームは、世界各国の大学が参加するデザインコンペ「UNFOLD」に向けて制作されたもので、世界最大級のデザインイベント「ミラノ・デザイン・ウィーク」の期間中に展示されました。1週間にわたる一般公開で初披露された後、オンラインでも公開され、現在もデータ収集が続いています。

全参加者1,722人のうち、年齢を回答した828人を見ると、20歳以下が26.0%で全体の4分の1強を占め、20代もほぼ同じ25.6%でした。31〜40歳は16.3%、41〜50歳は12.3%、51歳以上は19.8%でした。

参加者の判定能力は、主に次の2つの指標を用いて測定しました。

• ボット検出率：実際のボットを正しく見抜けた割合を示す指標です。偽のSNSアカウントを見逃さずに検出する能力を測ります。

• 判定精度：ボットだと判断した結果がどれだけ正しかったかを示す指標です。実在する人物を誤ってボットと判定しない能力を測ります。

まず、1,722人全体のボット検出率と判定精度の単純平均を算出し、比較の基準となる値を設定するため、データセットの探索的な記述分析を行いました。

その後、年齢層、主に利用するSNSやSNSの利用頻度といった属性別、およびトピック別に平均値を分析しました。さらに、各ボットに設定された立場や言語的特徴ごとの違いも分析しています。また、1〜2人の結果だけで順位や傾向が左右されないよう、すべての分析に最低サンプル数の基準を設けました。

本調査に使用した研究データの詳細は、こちらから確認できます。

Surfsharkとは

Surfsharkは、監査済みVPNや認証済みアンチウイルス、データ漏えい警告システム、プライベート検索エンジン、オンラインアイデンティティ生成ツールなどを提供するサイバーセキュリティ企業です。CNETやTechRadarなどのメディアから有力なVPNサービスとして評価されており、FT1000：Europe’s Fastest Growing Companies（欧州の急成長企業ランキング）にも掲載されています。

本社はオランダにあり、リトアニアおよびポーランドにもオフィスを構えています。Surfsharkの事業概要や主な取り組みについては、同社の年次総括をご覧ください。また、その他の調査プロジェクトについては調査レポートをご参照ください。