NEC、最先端のAI を活用したインクルーシブな楽器を開発視線や姿勢で奏でる楽器で「ANDCHESTRA」に挑戦！

～人と協調するAI で“不可能”を“可能”に～

　NEC は、AI を活用して簡単な動作で、子供から大人まで誰でも演奏が可能なインクルーシブ楽器を新たに開発し、それらを使って演奏する超多様なオーケストラ「ANDCHESTRA(アンドケストラ)」に挑戦します
「ANDCHESTRA」は、最先端のIT テクノロジーによって子供や大人、障がいのある方などとの間にある壁を越えて一緒(AND)に楽器を奏でる、新しい関係性が生み出すオーケストラです。人の姿勢や視線を活用した誰でも演奏ができる楽器を通して、AI の力で「出来ない」を「出来る」に変える体験を提供します。

　近年、インクルージョン＆ダイバーシティに注目が集まる中、NECは、人の能力や創造性を拡張し、人々をアシストする「人と協調するAI」によって、一人ひとりが人間性を発揮する社会の実現を目指しています。今回、子供から大人まで、障がいのある方や楽器を弾けない方、楽譜を読めない方などでも演奏可能な楽器の演奏体験を通して、AI を活用して人と人とがつながり、全ての人が公平に活躍できる社会を表現します。

　今回開発した楽器は、NECの最先端AI技術群「NEC the WISE」(注1)の１つである遠隔視線推定技術(注2)を活用した、視線の向きによって音を奏でる「ANDCHESTRA TRUMPET(アンドケストラ トランペット)」と、今回新たに開発した姿勢推定技術(注3)を活用した、音ごとに定義された姿勢をとることで音を奏でる「ANDCHESTRA VIOLIN(アンドケストラ バイオリン)」です。これらの楽器の開発には実際に障がいのある方にも参加いただき、インクルーシブアドバイザーとして意見をいただきました。また、今回の開発には世界ゆるミュージック協会(注4)が参画し、インクルーシブアドバイザーの観点でアドバイスをいただき開発しています。
 

　　　　　　　　　　　  楽器写真　　　　　　　　　　　　　　　 画像イメージ

　　　　　　　　　　                                【ANDCHESTRA TRUMPET】
                                      画面上に配置された音のアイコンに視線を送ることで音が鳴ります     

                                   楽器写真                                           画面イメージ
                                                                 
                                                               【ANDCHESTRA VIOLIN】
                                                 音ごとに定められた姿勢をとることで音が鳴ります。

　なお、今後NECはANDCHESTRAのさらなる技術向上を目指し、NECのインクルージョン＆ダイバーシティの活動に役立てる予定です。具体的には、病院や介護施設などでのリハビリへの活用や、音楽・スポーツ(パラスポーツ含む)イベントへの出展などを検討しています。

　なお、本発表にあたり、世界ゆるミュージック協会より以下のエンドースメントを頂戴しております。

　NECの最先端のAI技術を使えば、「楽器が人に合わせる」ことが実現するかもしれない。誰も排除しない、”OR”ではなく”AND”の思想を音楽に取り込めるかもしれない。そんな希望を持って楽器開発を進めてきました。完成したのは、目で演奏するトランペットと、姿勢を変えて音を奏でるバイオリン。人が日頃から行っている動作の延長戦上に、楽器演奏を配置することで、従来よりも演奏しやすい楽器が誕生しました。今後にご期待ください。
                                                                                             世界ゆるミュージック協会代表 澤田智洋

　NECは、安全・安心・効率・公平という社会価値を提供する「社会ソリューション事業」をグローバルに推進しています。当社は、先進のICTや知見を融合し、人々がより明るく豊かに生きる、効率的で洗練された社会を実現していきます。
                                                                                                                                            以上


　　　　　　　　　　　　　　　　　　　　　　＜ANDCHESTRAについて＞
　　　　　　　　　　　　　　　　　　　https://jpn.nec.com/ai/andchestra/

（注1)
「NEC the WISE 」(エヌイーシーザワイズ)は、NEC の最先端 AI 技術群の名称。"The WISE"には「賢者たち」という意味があり、複雑化・高度化する社 会課題に対し、人と AI が協調しながら高度な叡智で解決していくという想いを込めています。
・プレスリリース
NEC、AI（人工知能）技術ブランド「NEC the WISE」を策定
https://jpn.nec.com/press/201607/20160719_01.html
・NEC の AI 技術
https://jpn.nec.com/bigdata/ai/

（注2）遠隔視線推定技術
https://jpn.nec.com/physicalsecurity/technology/gaze_technology.html

（注3）姿勢推定技術
　　　人の重なりが多い混雑環境下や、離れた場所から撮影された低解像度の映像でも、高精度かつ高速に人の
　　　姿勢を推定できる、NEC独自のAI技術です。肩や肘、腰といった間接点を検出して人の身体を特定し、さ
　　　らに、間接点の中点をもとに各人の姿勢を推定することで、広域・混雑環境においても、人物のポーズを
　　　高精度に推定することが可能になります。

（注4）世界ゆるミュージック協会
すべての人に楽器を演奏する喜びを提供するプロジェクト
https://yurumusic.com/

　　　　　　　　　　　　　　　　　＜本件に関するお客様からのお問い合わせ先＞
　　　　　　　　　　　　　　　　　　　　　　　　NEC IMC本部
　　　　　　　　　　　　　　　　　　E-Mail：[e-mail]