カラクリ、動画を撮るだけでPC業務を自動化する国産AIを開発 　—コンタクトセンター現場で年間200時間の業務削減を実証

経産省GENIACで開発した「KARAKURI VL2」搭載AIアプリケーションで、約15分の初期設定から業務自動化を実現。TENTIALとの実証実験で効果を確認

カラクリ株式会社（本社：東京都中央区、代表取締役CEO：小田 志門、以下 カラクリ）は、動画を撮影するだけでPC業務を自動化するAIアプリケーションを開発し、株式会社TENTIAL（以下 TENTIAL）のカスタマーサポート現場における実証実験で、年間約200時間の業務削減効果を確認したことをお知らせいたします。本アプリケーションは、Google社の大規模言語モデル「Gemini」と、カラクリがQwen2.5-VLをベースにGENIAC第3期で独自開発した視覚言語モデル 経済産業省GENIAC第3期で開発した国産視覚言語モデル「KARAKURI VL2」を組み合わせて構成されています。

開発背景

国内コンタクトセンター市場は約1兆円規模（※）とされ、、CRM・メール・チャット・社内ナレッジなど複数のツールを日常的に使い分けて業務にあたっています。こうした定型的なPC操作を自動化するRPA等のツールはすでに存在しますが、導入にはエンジニアによるシナリオ構築やAPI連携の設定が不可欠であり、現場主導で自動化を進めることは困難な状況が続いていました。

カラクリは、「新人に教えるように、AIに教える」というコンセプトのもと、プログラミング知識がなくても業務動画を撮影するだけで自動化を始められるAIアプリケーションを開発しました。

※出典：矢野経済研究所『2025　コールセンター市場総覧～サービス＆ソリューション』より引用

「動画を撮るだけ」の3ステップ

ステップ1：業務を撮影する

自動化したい業務を画面録画しながら、口頭で操作内容を説明します。新人スタッフに業務を教えるときと同じ感覚で、普段どおりの操作を行うだけです。

ステップ2：マニュアルを自動生成する

Google社の大規模言語モデル「Gemini」が撮影された動画を解析し、操作手順書を自動作成します。動画内の画面遷移と音声による説明を統合的に理解し、再現可能な手順書へと変換します。

ステップ3：AIが業務を自律実行する

カラクリ独自開発の国産視覚言語モデル「KARAKURI VL2」が、生成された手順書に基づきPC画面を認識しながら操作を自律的に実行します。

初期設定に必要な時間は、業務動画の撮影とアップロードを含めて約15分です。

TENTIAL実証実験：15分の設定で年間200時間の業務削減

株式会社TENTIALとの実証実験では、カスタマーサポートにおける「お問い合わせの振り分け作業」を対象に検証を行いました。

項目	内容
対象業務	お問い合わせの振り分け作業
初期設定	業務動画の撮影・アップロード（約15分）
削減効果	年間約200時間

技術構成 — 複数のAI技術を最適に組み合わせるアーキテクチャ

本アプリケーションは、カラクリが設計・開発したソリューションであり、各工程に最適なAI技術を組み合わせて構成されています。

工程	担当技術	役割
マニュアル自動生成	Google Gemini	動画の解析および操作手順書の自動作成
PC操作の自律実行	KARAKURI VL2	手順書に基づくPC画面の認識と操作の自律実行
アプリケーション全体	カラクリ	ソリューション設計・開発・UI構築

KARAKURI VL2の主な特長：

• 経済産業省GENIAC第3期の採択を受けてカラクリが開発した国産視覚言語モデル

• 8B（80億）パラメータの軽量設計により、ローカル環境での動作が可能

• PC画面を認識し、操作を自律的に実行する能力を保有

• 機密データを外部に送信せずに運用できるため、セキュリティ要件の厳しい環境にも対応

今後の展望

カラクリは、KARAKURI VL2を基盤としたAIエージェントアプリケーションのサービス化を推進してまいります。カスタマーサポート領域を起点に、レガシーシステムを含む複数アプリケーション間の操作自動化へと対象を拡大し、「人に教えるようにAIに教える」ことであらゆるPC業務を自動化できる世界の実現を目指します。

会社概要

カラクリは「FriendlyTechnology」というビジョンを掲げ、大規模言語モデル（LLM）のカスタマーサポートへの実用化を目指すAIスタートアップです。2018年からはトランスフォーマーモデルであるBERTの研究を開始し、2022年からはGPTを含む大規模言語モデルの研究に取り組んでいます。また当社のSaaS事業で提供するカスタマーサポート向けAIシリーズは、高島屋、SBI証券、セブン-イレブン・ジャパン、星野リゾートなど、各業界のトップ企業に選ばれ続けています。

【主な実績】
・2018年　ICCサミット「スタートアップ・カタパルト」入賞
・2020年　Google for Startups Accelerator2020に採択
・2022年　Google for Startups Growth Academy Tech 2022に採択
・2023年   AWS LLM開発支援プログラムに採択
・2024年   生成AI実用化推進プログラムに認定
・2024年　Meta社 完全招待制の生成AI開発者会議に参加
・2024年   経産省「GENIAC」に採択

住所：〒104-0045　東京都中央区築地2-7-3 Camel 築地 II

設立：2016年10月3日

代表者：代表取締役CEO　小田 志門

事業内容：カスタマーサポート特化型AI「KARAKURI」シリーズの開発・提供・運営など

URL：https://about.karakuri.ai/