凸版印刷、多人数遠隔ショッピング支援システムをヒューマンインターフェースシンポジウムで発表

東京大学 葛岡・鳴海研究室との共同研究により、リアルタイムの全天周映像を介して、実空間の関心箇所を直感的に共有するシステムを開発

凸版印刷株式会社（本社：東京都文京区、代表取締役社長：麿 秀晴、以下 凸版印刷）は、東京大学 大学院情報理工学系研究科知能機械情報学専攻 葛岡・鳴海研究室（所在地：東京都文京区、教授：葛岡 英明、准教授：鳴海 拓志、以下 東京大学葛岡・鳴海研究室）と2021年10月から2023年3月まで対面と同様の円滑な遠隔コミュニケーションの実現を目的に「遠隔コミュニケーション・インタラクションに関する研究」を共同で行ってきました。この度、共同研究の成果として、実店舗の様子を360度のライブ映像でネット配信し、遠隔利用者が映像を見て商品を購入する「多人数遠隔ショッピング支援システム」を開発しました。

　本サービスは、複数の遠隔利用者が同時に視聴・参加することができ、店舗にいる代理購入者は、遠隔利用者と口頭のやり取りをしなくても遠隔利用者がどの商品に興味・関心があるかを、店内を周遊するヒューマンインターフェースデバイス（※1）を通じて、直感的に認識することができます。

　凸版印刷は、本サービスと実証実験による効果検証について、東京大学葛岡・鳴海研究室と共に「ヒューマンインターフェースシンポジウム2023」（開催地：神奈川県相模原市、大会長：伊藤 雄一）（※2）で発表します。

多人数遠隔ショッピング支援システムの利用イメージ

多人数遠隔ショッピング支援システムの利用イメージ （左：店舗での方向提示デバイス、右：遠隔利用者のWEB画面） ©TOPPAN INC.

 

■開発の背景

　現在、過疎化や少子高齢化の影響で、小売店舗の減少や交通網の衰退による買い物難民の増加が課題となっています。また、高齢化や育児期などの理由で買い物が自由にできないと感じている人もおり、実店舗での買い物支援は社会課題として対策が必要とされています。

　凸版印刷は、これまでデジタル技術を活用し、自治体や企業などと連携してVRやスマートグラスを活用した買い物支援の実証実験などに取り組んできました。また、東京大学葛岡・鳴海研究室ではバーチャルリアリティ技術とコミュニケーション支援技術により、人間と計算機を一体化した高度な情報処理システムを構築するインタフェース・インタラクション技術の研究を様々な角度から行ってきました。

　このたび、両者のノウハウを融合し、対面と同様に円滑な遠隔コミュニケーションの実現を目的としたコミュニケーションインターフェースの研究成果として、複数の遠隔利用者が同時に店舗のリアルタイム映像を閲覧し、興味・関心を持った商品を店舗にいる代理購入者と直感的に共有できる「多人数遠隔ショッピング支援システム」を開発しました。

　本システムにより、言葉だけに限らない対象物への興味・関心の伝達方法を実現し、実際の店舗の状況をリアルタイムで共有可能な遠隔コミュニケーションによる買い物支援を実現します。また、代理購入者は遠隔利用者を複数人対応することができるため、買い物支援における人的コストの削減を支援します。

■ 「多人数遠隔ショッピング支援システム」の概要

　このシステムでは、インターフェースデバイスやウェブアプリケーションを用いて、店舗の状況把握や関心箇所を遠隔からリアルタイムに共有し、対面と同様のスムーズなコミュニケーションの実現を目指します。

①店舗にいる代理購入者が、360度カメラと、LEDランプがリング状に配置された方向提示デバイスを携行し、遠隔利用者はウェブアプリケーションを通じて360度映像を閲覧します。

②遠隔利用者が360度映像の中で見ている方向が方向提示デバイスに送信され、対応した方向が点灯します。代理購入者は複数の遠隔利用者がそれぞれどの方向を見ているのかを直感的に把握することができ、これに音声通話を併用することで、代理購入者と遠隔利用者との間で円滑なコミュニケーションを実現します。

■実証実験の概要

　遠隔利用者と代理購入者の関係性を変えながら、複数回の実験を行ないました。実験で得た知見や課題に基づき、遠隔ショッピングにおけるコミュニケーションの在り方を探求し、インターフェースデバイスや遠隔利用者用のウェブアプリケーションのプロトタイプを改良し、次の実験に繋げるサイクルを回すことで、システムの有用性を向上させました。

ケース1：遠隔利用者は知り合い同士、代理購入者は店舗の店員（2022年7月実施）

ケース2：遠隔利用者はお互いに面識がない人、代理購入者は店舗の店員（2022年11月実施）

ケース3：遠隔利用者、代理購入者はすべて知り合い同士（2023年3月実施）

　これらの実験によって、言葉を使わずに関心箇所を共有するという商品指示の方法が、遠隔ショッピングにおいて有効であることがわかりました。また遠隔利用者と代理購入者に面識がある場合は、遠隔利用者同士がコミュニケーションしながら商品を購入する様子が見られました。面識がない場合でも、遠隔利用者は順番に代理購入者と商品の紹介を受けたり、順番を待っている間にも自由に商品を閲覧する様子が見られたり、様々な形態の多人数の遠隔ショッピングが実現可能であることが確認されました。

　ただし、代理購入者にとっては商品やインターフェースデバイスといった注意を向ける対象が多く操作負荷が大きかったことから、今後、システムの改善と検証を実施していきます。

 

実施期間：2022年7月25日、2022年11月30日、2023年3月17日

実施場所：東京大学生協 本郷キャンパス第二購買部、生鮮市場ヤオシチ（東京都足立区）

　「ヒューマンインターフェースシンポジウム2023」では、これらの実験と試作したインターフェースデバイスおよびウェブアプリケーションについて発表します。

■今後の目標

　凸版印刷は、東京大学葛岡・鳴海研究室と共に、本サービスの社会実装に向けて検証・改良を実施していきます。今後は店舗にいる家族や友人と同行しているかのような感覚で買い物を楽しむ体験を提供する技術や、利用者の買い物履歴やコミュニケーション履歴をシステムが学習し、個人個人の趣向に基づいて代理購入者が購買意思決定を支援するコミュニケーション技術などの研究開発を視野に、買い物難民課題解決への貢献を目指します。

　また、状況の観察と分析に基づく人に寄り添ったコミュニケーションの在り方を探求し、社会課題の現場に投入して発見と改良を繰り返す研究活動を通じて、より良いくらしづくりに貢献します。

※１　ヒューマンインタフェースデバイス

コンピュータを構成する機器や装置、周辺機器などのうち、人間との間で情報のやり取りを行うための機器のこと。

※2　ヒューマンインターフェースシンポジウム2023

特定非営利活動法人ヒューマンインタフェース学会が主催する、人と機械のかかわりに関連する諸分野にまたがる学問領域を扱うシンポジウム。2023年9月6日～8日に青山学院大学相模原キャンパス（所在地：神奈川県相模原市）にて開催。

＊ 注目領域を共有する遠隔コミュニケーションシステムは、東京大学と凸版印刷が共同で関連特許出願中です。

＊ 本ニュースリリースに記載された商品・サービス名は各社の商標または登録商標です。

＊ 本ニュースリリースに記載された内容は発表日現在のものです。その後予告なしに変更されることがあります。

以　　上