オープンモデル14Bモデルが軽量級トップクラスのgpt-4o-miniを超える実力を証明：最新の強化学習論文と独自手法を組み合わせ、短期間・少量データでの性能向上に成功

日本語性能を著しく損なうことなく英語能力を微調整に成功。オンプレからクラウドまで、セキュアなグローバルでの企業ニーズに応えるローカルLLM開発を推進。

Axcxept株式会社

2025年1月30日 11時30分

EZO×Phi-4×RL（強化学習） - Deepseek R1論文の手法で進化するLLM達 -

このたび弊社(Axcxept株式会社（アクセプト、本社：北海道札幌市）は、中国のAI企業が発表した最新かつ高性能モデル「Deepseek R1」に関する研究成果と、弊社がこれまで培ってきたLLM（大規模言語モデル）のトレーニングノウハウを掛け合わせ、わずか2日間・14K規模のデータを使った試作トレーニングを実施しました。その結果、ベースモデルである「Phi-4」を上回る性能を、日英の総合LLM性能ベンチマークである「Japanese MT Bench」や「MT Bench」でのスコアで達成し、加えてOpenAI社が提供するオープンソースベンチマークの「simple-eval」の中でよく比較に活用されるマルチタスク性能を図る「MMLU」や数学能力を図る「Math」において、gpt-4o-miniをも超える良好な結果となりました。

試行であり、データ量もわずかであるため、増分は微増ではあるものの、この傾向により、今後行うトレーニングの成功率の向上や、成功までの生産性・工数の削減につながることが期待できます。

1. 日本語性能を損なわず、グローバル対応力を強化

弊社はこれまで「日本語特化モデル」の開発で一定の評価を得られることが増えてきておりましたが、今後は世界規模でも通用するモデルを目指すべく、英語能力を重点的に強化するデータセット加工やパラメータ設定を検討しながらも、日本語性能は妥協なく維持する方針を取っています。その結果、日本語と英語の双方で従来より高いパフォーマンスを実現しました。

Simple-evalを用いた英語での性能評価。主要指標としてみられることの多い、MMLU（マルチタスク）や数学能力が、ベース時点から高い状態をさらに引き上げ。いずれの項目もベースモデルよりも向上又は維持。

2. Deepseek R1の論文＋弊社独自トレーニング手法の融合

最新モデル「Deepseek R1」は、これまで想定されていたよりもはるかに短い学習期間や少ないリソースでも高い性能を発揮できる点が注目されています。弊社はその実証結果と、複数の公共機関・製造業・デザイン業界などで蓄積したトレーニング・コンサルティング知見を組み合わせ、独自のトレーニング手法を検証。これにより、わずか2日間という短期間でも、14Bモデルとして飽和状態のベースモデルの性能向上に成功しました。

Japanese MT Bench（日本語での能力測定）および、MT Bench(英語での能力測定）を用いた結果。日本語は0.7ポイント、英語は0.2ポイントの増加を達成。

モデルリンク：

リンク：https://huggingface.co/AXCXEPT/phi-4-deepseek-R1K-RL-EZO

※ベンチマークは微増の結果のため、体感は変化を感じづらいかと思います。ただし基礎性能自体は数値には表れますので、このモデルをさらにトレーニングすることで有益な結果が得られることが期待されます。

※データ自体は、deepseekからの出力を利用しているのではなく、公開されているデータセットを加工して利用しています。deepseek-R1からは、論文を活用させていただいています。

3. 弊社が考える「ローカルLLM」の方向性

多くの企業、とくにハイセキュリティ領域を扱う組織では、外部クラウド環境に機密データを一切出せない状況にあります。したがって、オンプレ環境や社内サーバー上で稼働するローカルLLMへのニーズは依然として大きいと考えています。
一方で、最新のクローズドな巨大モデルと比べると性能差を感じるケースもあるため、弊社は「セキュリティ確保×実用性向上」を両立する独自技術を磨き、遜色のないレベルでローカルLLMを運用できるよう邁進しています。

4. 今後の展望：高セキュリティ領域やドメイン特化のモデル開発へ

試作トレーニングの成果が十分に確認できたため、次のステップとしては高セキュリティ企業向けのドメイン特化モデルの開発を積極的に進める予定です。また、今回の成功を生かし、今後も公共機関・製造業・デザイン業界などで研究開発を支援しながら、さらにLLM開発の専門性を高めていきます。
弊社はこれらLLMに対する根本的な理解をもとに、AIソリューション（SaaS含む）の開発にも取り組んでおり、今後はスタートアップとして日本国内のAI導入を加速させる一助となるべく活動を続けてまいります。

おわりに

今回の成果は、ベースモデル「Phi-4」および新モデル「Deepseek R1」のベース性能が非常に優れていたからこそ得られたものであり、その開発チームの皆様にも感謝申し上げます。弊社では、短期的なパイロットトレーニングで高い効果が得られることを確認しましたが、この手法を引き続き検証し、より専門性の高いドメインへの応用やセキュアな環境での実装に活かしていきます。

今後も一層、企業や行政機関、研究機関の皆様と協力しながら、「日本語・英語のどちらにも強いローカルLLM」を当たり前に使える社会を目指して邁進いたします。

弊社は、ひとり法人ではありますが、多岐にわたるサービス開発から受託開発の経験があります。現状も多数のご依頼・ご相談を承っておりますので、実績に増えているスピード感のある弊社にご依頼ください。

また、オープンな開発は、非常に体力のいる戦いにございます。業務提携・資本提携・その他MLエンジニアリングの提携など、様々な支援・ご提案を心よりお待ちしております。

お問い合わせ：info@axcxept.com