【岡山大学】フェイクコンテンツの真偽判定技術 ～AIによるウソ発見器～
岡山大学は10学部・１プログラム、８研究科、4研究所、附属病院、附属学校を有する総合大学型の国立大学法人です。
今回、最新の研究成果をわかりやすく紹介する「FOCUS ON」を2022年5月27日に発行しました。ぜびご覧ください！
今回、最新の研究成果をわかりやすく紹介する「FOCUS ON」を2022年5月27日に発行しました。ぜびご覧ください！
2022（令和4）年 6月 4日
国立大学法人岡山大学
https://www.okayama-u.ac.jp/
＜発表のポイント＞
◆発表者
岡山大学 学術研究院 自然科学学域（工）准教授 栗林 稔
◆導 入
AI技術を用いた画像・映像・音響処理技術によって、人工的に作成されたマルチメディアコンテンツが極めて精巧にできるようになっています。エンターテインメントにおいては、実際には撮影困難な危険を伴う映像シーンを、コンピュータグラフィックス技術に代わってAI技術により人工的に制作することも可能となっており、その活用の可能性は広がりつつあります。大量の映像シーンを収めた動画データセットを用いてAIシステムを学習させることで、本人に成り代わって、特定の動作や発言をするコンテンツを制作することができます。
一方で、この技術を悪用すれば、完全にでっち上げとして動画を創造することも可能となり、誹謗中傷や名誉棄損となるコンテンツを動画配信サイトやソーシャルネットワークサービスを通して拡散されることが問題として挙がっています。
◆背 景
アナログの時代より合成写真に代表されるウソの情報によって、プロパガンダなどの情報操作が問題となっています。このウソの情報を創造するためにAI技術が悪用されれば、悪意のある者がフェイクコンテンツを作成し、ソーシャルメディアサービスを介して発信することで広く拡散される可能性があります。
従来の合成写真の場合、高度に経験を積んだ専門家が光や影の位置、不自然な境目の存在などを目視によりチェックして、確認を行っていました。図1に示すように、AI技術により人工的に作成されたフェイクコンテンツの場合、人の視覚や聴覚だけでは見破ることが困難となりつつあります。
このような問題に対応すべく、合成技術とは反対の方向として「人工的に創造されたコンテンツ」と「正常に撮影されたコンテンツ」を判定する技術（我々は“AIによるウソ発見器”と呼んでいます）の開発が急務となっています。
◆研究内容、業績
本研究プロジェクト[1]では、音声・映像データの真偽判定技術により、ウソの情報によるプロパガンダの拡散を防ぐことを目指しています。
公式な記者会見などの映像は、公開前に内容の確認も含めて悪用されない処理がなされることを前提として考えます。その処理において、原本性を保証するための情報を忍ばせておき、その情報を検証することで加工・編集の有無を確認する方法を考案しています[2]。
図2に示すように映像中の唇の動きを特徴成分として抽出し、対応する音声信号に忍ばせた情報を検証し、コンテンツ中の不自然な動きが含まれていないかを調べています。二種類の電子透かし技術[3]を組み合わせて頑強な信号と脆い信号の両方を適用することで、二段階の検証を可能としており、映像の加工・編集の有無と、音声との関係性の確認のそれぞれの用途に使い分けています。
正式に公開されるコンテンツは、暗号技術で用いられるような電子署名を付けておけば、加工・編集の有無を確認することは可能であります。しかし、マスコミにおける編集権も考慮して、部分的に切り出した動画は正常な編集権の範囲内であることを認める技術的な解決が必要かと思われます。
本手法を用いれば、切り出す開始点や終了点の選択を柔軟に認める編集権の付与を考慮することが可能です。
◆展 望
本人の音声の一部分を切り取って、同じコンテンツ内の別の映像フレームに移植するような加工の場合、その音声は本人のものであることから個々の時間枠内のみで検証を行うだけでは真偽判定は不十分となります。今後は、音声信号と映像信号との同期にまで着目して、両方が揃っていることまで確認する手法に拡張させることを検討していく予定です。
また、並行して進めている技術として、事前の対策がなされておらず受け身的に対応せざるを得ないコンテンツにおいて、加工・編集によって生じた不自然な信号成分を解析するマルチメディアセキュリティ技術にも注目して研究を進めています。
・補足・用語説明
[1] 日本－スペイン－ポーランド間の国際共同研究プロジェクト
JST 戦略的国際共同研究プログラム(SICORP) EIG CONCERT-Japan 「レジリエント、安全、セキュアな社会のための ICT」"ソーシャルメディアプラットフォームにおけるフェイクニュース検出（DISSIMILAR）"
研究課題番号: JPMJSC20C3 (2021-2024)
日本側研究代表者：栗林稔 (岡山大学)
[2] A. Qureshi, D. Megias, M. Kuribayashi, "Detecting deepfake videos using digital watermarking," Asia-
Pacific Signal and Information Processing Association Annual Summit and Conf. (APSIPA ASC 2021),
pp.1786-1793, 2021.
[3]電子透かし技術：マルチメディアコンテンツに対して、その品質をあまり損なうことなく副情報を忍ばせることを可能とする技術です。簡単に取り除けない頑強な手法は著作権保護などへの応用、コンテンツの変化に対して脆い手法は改ざん検知などへの応用があります。
◆参 考
・岡山大学 工学部
https://www.engr.okayama-u.ac.jp/
・岡山大学大学院 自然科学研究科
https://www.gnst.okayama-u.ac.jp/
・岡山大学 学術研究院 自然科学学域（工）准教授 栗林 稔
https://www.cc.okayama-u.ac.jp/~eng_dist/kuribayashi/index.html
◆参考情報：FOCUS ON
・【岡山大学】全身性エリテマトーデスで免疫力が低下する原因分子を同定
https://prtimes.jp/main/html/rd/p/000000419.000072793.html
・【岡山大学】酵母が必要としている栄養素を酵母に語らせる技術を開発
https://prtimes.jp/main/html/rd/p/000000516.000072793.html
・【岡山大学】神経内分泌腫瘍治療への新しい挑戦 ～新しい放射線治療の導入～
https://prtimes.jp/main/html/rd/p/000000582.000072793.html
・【岡山大学】岡山大学病院麻酔科蘇生科におけるAcute Pain Serviceへの取り組み ～手術を受ける患者様への安全・安心・満足度向上を目指して～
https://prtimes.jp/main/html/rd/p/000000615.000072793.html
◆本件お問い合わせ先
岡山大学 学術研究院 自然科学学域（工）准教授 栗林 稔
〒700-8530 岡山県岡山市北区津島中3-1-1 岡山大学津島キャンパス
TEL：086-251-8249
https://www.cc.okayama-u.ac.jp/~eng_dist/kuribayashi/index.html
＜岡山大学の産学連携などに関するお問い合わせ先＞
岡山大学研究推進機構 産学官連携本部
〒700-8530 岡山県岡山市北区津島中1丁目1番1号 岡山大学津島キャンパス 本部棟1階
E-mail：sangaku◎okayama-u.ac.jp
※◎を@に置き換えて下さい。
TEL: 086-251-8463
https://www.orsd.okayama-u.ac.jp/
岡山大学メディア「OTD」（アプリ）：https://prtimes.jp/main/html/rd/p/000000011.000072793.html
岡山大学メディア「OTD」（ウェブ）：https://prtimes.jp/main/html/rd/p/000000215.000072793.html
岡山大学SDGsホームページ：https://sdgs.okayama-u.ac.jp/
岡山大学Image Movie (2020)：https://youtu.be/pKMHm4XJLtw
「岡大TV」(YouTube)：https://www.youtube.com/channel/UCi4hPHf_jZ1FXqJfsacUqaw
産学共創活動「岡山大学オープンイノベーションチャレンジ」2022年6月期共創活動パートナー募集中：
https://prtimes.jp/main/html/rd/p/000000691.000072793.html
岡山大学『THEインパクトランキング2021』総合ランキング 世界トップ200位以内、国内同列１位!!
https://prtimes.jp/main/html/rd/p/000000070.000072793.html
岡山大学『大学ブランド・イメージ調査2021～2022』「SDGsに積極的な大学」中国・四国１位!!
https://prtimes.jp/main/html/rd/p/000000373.000072793.html
岡山大学『企業の人事担当者から見た大学イメージ調査2022年度版』中国・四国１位!!
https://prtimes.jp/main/html/rd/p/000000122.000072793.html
国立大学法人岡山大学
https://www.okayama-u.ac.jp/
＜発表のポイント＞
- 加工・編集が加えられた不正な動画を判別するための新しいフレームワークを提案しました。
- 悪用される可能性がある元のコンテンツに識別情報や制御信号を忍ばせることで、利用制限を与える方法です。
- 音声と映像との関連性に注目して信号処理することで、不正な加工の痕跡を解析できます
◆発表者
岡山大学 学術研究院 自然科学学域（工）准教授 栗林 稔
◆導 入
AI技術を用いた画像・映像・音響処理技術によって、人工的に作成されたマルチメディアコンテンツが極めて精巧にできるようになっています。エンターテインメントにおいては、実際には撮影困難な危険を伴う映像シーンを、コンピュータグラフィックス技術に代わってAI技術により人工的に制作することも可能となっており、その活用の可能性は広がりつつあります。大量の映像シーンを収めた動画データセットを用いてAIシステムを学習させることで、本人に成り代わって、特定の動作や発言をするコンテンツを制作することができます。
一方で、この技術を悪用すれば、完全にでっち上げとして動画を創造することも可能となり、誹謗中傷や名誉棄損となるコンテンツを動画配信サイトやソーシャルネットワークサービスを通して拡散されることが問題として挙がっています。
◆背 景
アナログの時代より合成写真に代表されるウソの情報によって、プロパガンダなどの情報操作が問題となっています。このウソの情報を創造するためにAI技術が悪用されれば、悪意のある者がフェイクコンテンツを作成し、ソーシャルメディアサービスを介して発信することで広く拡散される可能性があります。
従来の合成写真の場合、高度に経験を積んだ専門家が光や影の位置、不自然な境目の存在などを目視によりチェックして、確認を行っていました。図1に示すように、AI技術により人工的に作成されたフェイクコンテンツの場合、人の視覚や聴覚だけでは見破ることが困難となりつつあります。
このような問題に対応すべく、合成技術とは反対の方向として「人工的に創造されたコンテンツ」と「正常に撮影されたコンテンツ」を判定する技術（我々は“AIによるウソ発見器”と呼んでいます）の開発が急務となっています。
図 1. 精巧に作成されるフェイクコンテンツ
◆研究内容、業績
本研究プロジェクト[1]では、音声・映像データの真偽判定技術により、ウソの情報によるプロパガンダの拡散を防ぐことを目指しています。
公式な記者会見などの映像は、公開前に内容の確認も含めて悪用されない処理がなされることを前提として考えます。その処理において、原本性を保証するための情報を忍ばせておき、その情報を検証することで加工・編集の有無を確認する方法を考案しています[2]。
図2に示すように映像中の唇の動きを特徴成分として抽出し、対応する音声信号に忍ばせた情報を検証し、コンテンツ中の不自然な動きが含まれていないかを調べています。二種類の電子透かし技術[3]を組み合わせて頑強な信号と脆い信号の両方を適用することで、二段階の検証を可能としており、映像の加工・編集の有無と、音声との関係性の確認のそれぞれの用途に使い分けています。
正式に公開されるコンテンツは、暗号技術で用いられるような電子署名を付けておけば、加工・編集の有無を確認することは可能であります。しかし、マスコミにおける編集権も考慮して、部分的に切り出した動画は正常な編集権の範囲内であることを認める技術的な解決が必要かと思われます。
本手法を用いれば、切り出す開始点や終了点の選択を柔軟に認める編集権の付与を考慮することが可能です。
図 2. 顔検出と特徴点領域の解析による真偽判定
◆展 望
本人の音声の一部分を切り取って、同じコンテンツ内の別の映像フレームに移植するような加工の場合、その音声は本人のものであることから個々の時間枠内のみで検証を行うだけでは真偽判定は不十分となります。今後は、音声信号と映像信号との同期にまで着目して、両方が揃っていることまで確認する手法に拡張させることを検討していく予定です。
また、並行して進めている技術として、事前の対策がなされておらず受け身的に対応せざるを得ないコンテンツにおいて、加工・編集によって生じた不自然な信号成分を解析するマルチメディアセキュリティ技術にも注目して研究を進めています。
・補足・用語説明
[1] 日本－スペイン－ポーランド間の国際共同研究プロジェクト
JST 戦略的国際共同研究プログラム(SICORP) EIG CONCERT-Japan 「レジリエント、安全、セキュアな社会のための ICT」"ソーシャルメディアプラットフォームにおけるフェイクニュース検出（DISSIMILAR）"
研究課題番号: JPMJSC20C3 (2021-2024)
日本側研究代表者：栗林稔 (岡山大学)
[2] A. Qureshi, D. Megias, M. Kuribayashi, "Detecting deepfake videos using digital watermarking," Asia-
Pacific Signal and Information Processing Association Annual Summit and Conf. (APSIPA ASC 2021),
pp.1786-1793, 2021.
[3]電子透かし技術：マルチメディアコンテンツに対して、その品質をあまり損なうことなく副情報を忍ばせることを可能とする技術です。簡単に取り除けない頑強な手法は著作権保護などへの応用、コンテンツの変化に対して脆い手法は改ざん検知などへの応用があります。
- FOCUS ON：フェイクコンテンツの真偽判定技術 ～AIによるウソ発見器～
https://www.okayama-u.ac.jp/up_load_files/press_r4/press20220527-1.pdf
◆参 考
・岡山大学 工学部
https://www.engr.okayama-u.ac.jp/
・岡山大学大学院 自然科学研究科
https://www.gnst.okayama-u.ac.jp/
・岡山大学 学術研究院 自然科学学域（工）准教授 栗林 稔
https://www.cc.okayama-u.ac.jp/~eng_dist/kuribayashi/index.html
◆参考情報：FOCUS ON
・【岡山大学】全身性エリテマトーデスで免疫力が低下する原因分子を同定
https://prtimes.jp/main/html/rd/p/000000419.000072793.html
・【岡山大学】酵母が必要としている栄養素を酵母に語らせる技術を開発
https://prtimes.jp/main/html/rd/p/000000516.000072793.html
・【岡山大学】神経内分泌腫瘍治療への新しい挑戦 ～新しい放射線治療の導入～
https://prtimes.jp/main/html/rd/p/000000582.000072793.html
・【岡山大学】岡山大学病院麻酔科蘇生科におけるAcute Pain Serviceへの取り組み ～手術を受ける患者様への安全・安心・満足度向上を目指して～
https://prtimes.jp/main/html/rd/p/000000615.000072793.html
岡山大学工学部が所在する岡山大学津島キャンパス（岡山市北区）
◆本件お問い合わせ先
岡山大学 学術研究院 自然科学学域（工）准教授 栗林 稔
〒700-8530 岡山県岡山市北区津島中3-1-1 岡山大学津島キャンパス
TEL：086-251-8249
https://www.cc.okayama-u.ac.jp/~eng_dist/kuribayashi/index.html
＜岡山大学の産学連携などに関するお問い合わせ先＞
岡山大学研究推進機構 産学官連携本部
〒700-8530 岡山県岡山市北区津島中1丁目1番1号 岡山大学津島キャンパス 本部棟1階
E-mail：sangaku◎okayama-u.ac.jp
※◎を@に置き換えて下さい。
TEL: 086-251-8463
https://www.orsd.okayama-u.ac.jp/
岡山大学メディア「OTD」（アプリ）：https://prtimes.jp/main/html/rd/p/000000011.000072793.html
岡山大学メディア「OTD」（ウェブ）：https://prtimes.jp/main/html/rd/p/000000215.000072793.html
岡山大学SDGsホームページ：https://sdgs.okayama-u.ac.jp/
岡山大学Image Movie (2020)：https://youtu.be/pKMHm4XJLtw
「岡大TV」(YouTube)：https://www.youtube.com/channel/UCi4hPHf_jZ1FXqJfsacUqaw
産学共創活動「岡山大学オープンイノベーションチャレンジ」2022年6月期共創活動パートナー募集中：
https://prtimes.jp/main/html/rd/p/000000691.000072793.html
岡山大学『THEインパクトランキング2021』総合ランキング 世界トップ200位以内、国内同列１位!!
https://prtimes.jp/main/html/rd/p/000000070.000072793.html
岡山大学『大学ブランド・イメージ調査2021～2022』「SDGsに積極的な大学」中国・四国１位!!
https://prtimes.jp/main/html/rd/p/000000373.000072793.html
岡山大学『企業の人事担当者から見た大学イメージ調査2022年度版』中国・四国１位!!
https://prtimes.jp/main/html/rd/p/000000122.000072793.html
国立大学法人岡山大学は、国連の「持続可能な開発目標（SDGs）」を支援しています。また、政府の第1回「ジャパンSDGsアワード」特別賞を受賞しています
すべての画像
