メモを忘れた買い物の後悔がきっかけとなった「冷蔵庫カメラアプリ」の開発。関西電力の「リビングソリューショングループ」による新規プロジェクトの裏側

開発ストーリー

2023年10月13日 17時30分関西電力株式会社

ｐｏｗｅｒｗｉｔｈｈｅａｒｔ “まごころと熱意を込めたサービスで、お客さまや社会の『力』になりたい”をブランドステートメントに掲げる関西電力。今回は、暮らし分野でお客さまの生活をより豊かにするサービスを開発している「リビングソリューショングループ」が、“買い物時に冷蔵庫の中身が思いだせない”といった食材管理におけるお悩みを解決する冷蔵庫カメラアプリを開発。本プロジェクト立ち上げの経緯や製品に込めた想いについて、プロジェクトリーダーの岩本よりお伝えいたします。

「冷蔵庫カメラアプリ」とはどんなサービス？

「冷蔵庫カメラアプリは、外にいても冷蔵庫の中身を確認できるスマホアプリです。関西電力が独自に開発した「冷蔵庫カメラ」で撮影した冷蔵庫の中身を確認しながらお買い物ができ、買い忘れや同じものを買ってしまう心配が軽減できます。さらに鮮度管理が難しい野菜の消費期限の目安を教えてくれる機能※がついているため、腐らせて捨ててしまうフードロスの防止も期待できます。

※野菜の消費期限の目安をお知らせする機能は試験サービスとしての提供となり、野菜を認識しない・他の野菜と誤認識するなど、正常に動作しない場合があります。購入日・消費期限情報は、あくまで目安をお知らせするもので、食品の安全性を保証するものではありません。

プロジェクトを立ち上げたきっかけは“しょうが焼き”

ある日、今日の晩ご飯は、しょうが焼きにしようと決め、スーパーで買い物をしていた際、「あ！しょうがは、まだ残ってたかな？」と冷蔵庫の中身を思い出せなくなってしまったことがありました。「多分残っているだろう！」と、不安になりながらも購入せずに自宅に帰ると、冷蔵庫にしょうがは無く、もう一度買い物へ行くことになってしまいました。この時、「買い物の時に冷蔵庫の中身を確認できればこんなことにはならなかったのに・・・」と思ったのが商品開発のきっかけです。

私の職場では、定期的に世代・性別・環境の異なるメンバーが集まり新サービスのアイデアを出し合う機会があり、２年前に実施したときに、私はこの買い忘れの経験から、冷蔵庫の中身を外出先から確認できるようにするサービスを提案しました。そして私のような経験をされている方がいないかアンケートを実施すると、買い物時に冷蔵庫に入っている食材が思い出せないことや、必要なものを書き出す手間が煩わしい、食材の消費を忘れて腐らせてしまった体験等、共感の声が多く寄せられ、ビジネスモデルの検討を経て冷蔵庫カメラアプリプロジェクトが立ち上がりました。

カメラによる食材管理と、野菜鮮度管理機能の開発に着手

アプリのターゲットは「不意な買い出しが必要となりそうな共働き世帯」とし、数名のユーザーさんからの具体的なインタビュー結果から「外出先から冷蔵庫内の画像が確認できる」「野菜鮮度管理ができる」アプリにすることを決めました。

最初は既存サービスの調査から始まりました。すると、 “食材メモ”や“鮮度管理”のアプリは存在するものの、食材の撮影や入力を自分で行う必要があったことから「冷蔵庫内を後付けカメラで撮影することで、必要な食材や消費期限の管理等、食材管理を手間なく行えるアプリ」を開発するという方向性で検討することとしました。

方向性が決まったら具体的な開発内容について検討しました。手間をかけない食材管理として、まず冷蔵庫にカメラを付け、そのカメラが冷蔵庫の扉を開けると自動撮影を開始し、扉を閉める際の直前の画像のみを保存して確認できるようにし、また野菜鮮度管理は、野菜室を撮影した画像からＡＩで野菜の品目と購入した日を特定し、そこから消費目安を算定するという仕組みを目指し、実証に移すこととなりました。

実証にあたっては、冷蔵庫内を自動撮影するカメラを用意する必要があったのですが、既存のカメラでは対応することができず、カメラ自体を開発することとしました。当社はこれまでカメラの開発経験は一切なく、どのように開発し、どこから仕入れ、どうやって組み立てるのかを調査することから始める必要がありました。またカメラモジュールについても様々な製品があり、インターフェースも様々。扉の開閉を検知する方法も、窓の開閉センサーを設置したり、庫内に電波を発する「BLEビーコン」と呼ばれる物を置いて電波強度の変化で検知するなど色々な方法を試しました。

さらに、「野菜室鮮度管理機能」の開発では、野菜の形状はまちまち、方向によって見え方が違う、実際は袋に入っているといった理由から、ＡＩによる画像判定の精度を上げるためには、最終的には数万点もの野菜画像を集めて手作業で分類する作業を行いました。また、野菜室はアクリルの棚で上下段分かれている冷蔵庫も多くあるため、上下段分けて画像認識をする技術も開発しました。

実証実験で課題が発覚

実証では、サービス提供に必要なカメラの性能について実際に確認するため、実証モニターを募集し、約４か月間、実証実験を行いました。実証では、冷蔵室用の庫内カメラと野菜室専用の開閉センサー、外付けカメラをそれぞれ有線で接続していたことから、「設置・配線が難しい」というお声が多くありました。冷蔵庫は設置場所が窓や照明から遠い環境が多く、野菜室の撮影画像の写りが暗くなってしまう等、画質面での課題があることも分かりました。また、扉の開閉スピードが速いときれいに撮影ができず、アプリでの食材確認が困難なケースや消費期限管理機能が正常に働かないケースが発生する等、カメラの立ち上げのスピード面での課題も発覚しました。一方で、モニター参加者からは、今回の課題が解決された場合は、このサービスを利用したいという意見が多く、サービスの必要性を見出すことができました。

冷蔵庫の形状等を徹底調査、レンズとセンサーを検証し、量産化の目処がつく

まず実証で浮き彫りになった「照度不足による画質低下」という課題の解決に取り組みました。検証してみると、画像の明るさはモジュールだけでなく、レンズも大きく影響することがわかりました。モジュールとレンズそれぞれたくさんの種類があるのですが、その組み合わせとなるとかなりの数のバリエーションとなります。モジュールの多くは中国製ですが、取り寄せに約1カ月かかり、検証してダメだった場合、さらに別の製品の取り寄せに1カ月かかってしまい、検証には長い時間を要しました。しかし粘り強く検証を重ねた結果、画質とコストのバランスが取れたカメラモジュールを選定することができました。また製造コストを低減しながらカメラの精度を上げることを目的に、レンズの選定のために、家電量販店へ何度も出向き、数ある冷蔵庫の形状や大きさ、素材、扉の大きさ・飛び出し長を調べました。また、設置の手間の軽減のために冷蔵庫カメラの底部にマグネットを付けることで、冷蔵庫上部に簡単に取り付けることができるようにしました。開閉センサーは、様々なセンサーを取り寄せて検証を重ね、カメラ部分に内蔵させることに成功しました。また、カメラについても冷蔵室用・野菜室用を集約配置することで、コスト面でも大幅なコストダウンを実現できました。現在は、商品の量産開発に向けクラウドファンディングサイトCAMPFIRE（キャンプファイヤー）でクラウドファンディングを実施しています。