ChillStackと三井物産セキュアディレクション、AIを守る技術に関する共同研究を開始

〜 AIに対する攻撃手法を検証・体系化、攻撃に対する防御技術の実証実験を実施 〜

株式会社ChillStack（代表取締役CEO：伊東道明、以下「ChillStack」）と三井物産セキュアディレクション株式会社（代表取締役社長：神吉敏雄、以下「三井物産セキュアディレクション」）は、AIの開発・提供・利用を安全に行うためのAIを守る技術に関する共同研究（以下「本共同研究」）を開始しました。

【本共同研究の背景】

近年、AI*1技術の発展に伴い、日本国内においても顔認証システムや防犯システム、自動運転技術等、様々な分野でAIの社会実装が進んでいます。その一方で、AIに対する攻撃手法も数多く生まれ、防御技術の確立が急務となっています。しかし、AIに対する攻撃手法は既存システムに対する攻撃手法とは根本的に原理が異なるものが多く、従来のセキュリティ技術で対策することは非常に困難です。

下図は、AI開発の工程*2と、各工程で想定される脅威*3の一例を示しています。

 

AI開発の各工程と想定される脅威

 

各開発工程でセキュリティを考慮していない場合、攻撃者が細工したデータが学習データに注入されることで、AIにバックドアが設置されてしまう問題や、AIの入力データが偽装されることで、AIの判断に誤りが生じる問題等が顕在化するおそれがあります。


【共同研究概要】
本共同研究では、既知の攻撃手法の検証と体系化を行いながら、新規の攻撃手法と防御技術の研究も同時に進めていきます。

〜 ハンズオン・トレーニング 〜
実証実験の結果等を元に、AIの安全を確保する技術を普及する活動の1つとして、「イチからAIの安全確保技術を習得」できるハンズオン・トレーニングを開発・提供します。
2020年5月頃に、下記内容のハンズオン・トレーニングを提供開始する予定です。

•  AIを騙す攻撃：人間には識別できない小さな変化を加えたデータを使用し、AIを意図的に騙す攻撃手法と対策を学びます。
• AIを乗っ取る攻撃：AIが学習するデータセットを汚染し、AIにバックドアを仕込むことでAIに意図した挙動をさせる攻撃手法と対策を学びます。
• AIシステムへの侵入：機械学習フレームワークの仕様を悪用し、システムへ侵入する攻撃手法と対策を学びます。

なお、ハンズオン・トレーニングの内容を随時アップデートしながら、機械学習未経験者向けやAIセキュリティ上級者向けのトレーニング教材も今後提供していく予定です。

ChillStackと三井物産セキュアディレクションは、セキュアなAIを構築する支援を通じて、AI技術の発展に寄与してまいります。

*1 ディープラーニングをはじめとする機械学習を活用したシステムを指します。
*2 開発工程の一例であり、組織によっては別の開発工程を採用している場合もあります。
*3 脅威の一例であり、他にも考慮すべき脅威はあります。


【研究担当者】
■ChillStack

代表取締役CEO　伊東 道明
・IEEE CSPA 2018 Best Paper Award受賞。
・セキュリティキャンプフォーラム2018 最優秀賞。
・セキュリティ・ネクストキャンプ講師（2019）

・公益財団法人クマ財団2期生選出（2019）
・SECCON NOC運営（2017）
・SECCON ワークショップ講師（2019）

テクニカルアドバイザー　市川 遼
・CTFチーム TokyoWesterns リーダー
・HITCON CTF Finals 3位（2019）
・DEF CON CTF Finals 出場（2018, 2019）
・WCTF 1位（2018）
・CODE BLUE Briefings 登壇・U25最優秀発表（2019）
・AIS3 (台湾) 講師（2019）
・NDSS Workshop on Binary Analysis Research (BAR) 招待講演（2019）
・ISUCON8 優勝（2018）

データサイエンティスト　長澤 駿太
・Peakers Academy Gunosy Cup  3位（2019）
・DeNAデータ解析コンペティション 優勝（2019）
・Signate AI創薬 : 薬物動態パラメータ 銀メダル（2019）
・NLP若手の会 第14回シンポジウム 発表（2019）
・言語処理学会 第26回年次大会 発表（2019）
・ACL網羅的サーベイ報告会 登壇（2019）

■三井物産セキュアディレクション
先端技術セキュリティセンター センター長　米山 俊嗣
・Bug bounty hunter
・修正済みの脆弱性報告件数 (CVE*4取得) 47件（2016～）
・Hack2Win (CODE BLUE) 3位（2017）
・Black Hat Arsenal ASIA 登壇（2018, 2019）
・DEF CON DemoLabs 登壇（2018）
・Bsides Tokyo 登壇（2018）
・JANOG 41 Meeting 登壇（2018）

*4 Common Vulnerabilities and Exposures。製品やサービス等の脆弱性を識別する世界共通の識別子。

先端技術セキュリティセンター セキュリティエンジニア　高江洲 勲
・セキュリティ・ネクストキャンプ講師（2019）
・SECCON ワークショップ講師（2019）
・Hack In The Box - AI Challenge 審査員（2019）
・CODE BLUE Briefings/Blue Box 登壇（2016, 2019）
・Black Hat Arsenal ASIA/USA/EURO 登壇（2016, 2018, 2019）
・DEF CON DemoLabs/AI Village 登壇（2018）
・BSides Singapore/Tokyo 登壇（2019）
・PYCON JP 登壇（2017）

先端技術セキュリティセンター セキュリティエンジニア　廣田 一貴
・セキュリティ・キャンプ講師（2015, 2016, 2019）
・SECCON2013 東海大会優勝
・SANS Netwars 3位（2014）
・電気通信大学　講演講師（2017～）
・サイバーセキュリティ関連書籍の執筆（2015～）
 

【会社概要】
株式会社ChillStack
所在地：東京都小金井市梶野町1丁目2番36号
代表者：代表取締役CEO　伊東道明
事業内容：
AIを用いたID不正検知システムの提供
AIに関するシステム開発・コンサルティング
ログ解析によるサービス支援

株式会社ChillStackは、AIを用いた高精度な不正検知システム「Stena」をはじめとして、既存のサイバーセキュリティ技術をAIで進化させ、AI自身を守るセキュリティ等、新たなセキュリティ技術を開発・提供する企業です。
詳細は、ウェブサイト（https://chillstack.com/）をご覧ください。

三井物産セキュアディレクション株式会社
所在地：東京都中央区日本橋人形町1丁目14番8号　郵船水天宮前ビル6階
代表者：代表取締役社長　神吉敏雄
事業内容：
情報セキュリティに関するプロフェッショナルサービス
情報セキュリティに関するマネージメントサービス
情報セキュリティに関するコンサルティング サービス

2001年に設立された三井物産セキュアディレクション株式会社は、ペネトレーションテスト/TLPT/レッドチーム、Webアプリケーションやネットワーク脆弱性診断等の各種診断サービス、マルウェア解析、アドバンストSOC、Threat Huntingサービス等の高度なセキュリティ技術サービスおよびコンサルティングサービス等を提供するサイバーセキュリティ専門企業です。
詳細は、ウェブサイト（https://www.mbsd.jp/）をご覧ください。


【本件についてのお問合わせ】
株式会社ChillStack
[e-mail]

三井物産セキュアディレクション株式会社
[e-mail]