ELYZA、高速な文章生成を可能にする日本語拡散言語モデル「ELYZA-LLM-Diffusion」を開発、商用利用可能な形式で公開

日本語理解や対話品質を評価するベンチマークにおいて高い性能を実現

株式会社ELYZA

2026年1月16日 11時00分

　大規模言語モデル（以下、LLM）の研究開発と社会実装を進める株式会社ELYZA（代表取締役：曽根岡侑也、以下当社）は、KDDI株式会社のGPU基盤を利用して、日本語における知識・指示追従能力を強化した拡散大規模言語モデル（以下、dLLM）である「ELYZA-LLM-Diffusion」シリーズを開発し、商用利用可能な形で公開しました。本モデルの公開に併せて、デモも公開しております。ぜひお試しください。

拡散型大規模言語モデルとは

　拡散大規模言語モデル（Diffusion Large Language Model、略称: dLLM）とは、元来は画像生成AIを中心に活用されていた手法である拡散モデルを、言語生成に活用したものです。従来の逐次的なテキスト生成モデルである自己回帰モデル（Autoregressive Model、略称：ARモデル）とは異なり、段階的にノイズを除去してテキストを生成する新しいタイプのAIモデルです。 dLLMは、元のデータにノイズを加えていきノイズだけのデータに変換する拡散過程をおこない、そこからノイズを取り除く逆拡散過程を学習させることで、綺麗なデータをノイズから生成することができます。

　この生成方法の利点として、dLLMはARモデルのように文章を左から右へと逐次的に生成する必要がないため、設計次第ではより少ない処理回数で生成を行うことが可能です。その結果、推論をより効率化でき、生成速度の向上や消費電力の低減が期待されます。

　一方で、dLLMは学習コストの高さや性能面の課題に加え、推論基盤等のエコシステムが成熟途上であることから、現時点での実利用は限定的です。しかし、基礎研究は着実に進展しており、将来的に実用化が進む可能性のある技術として注目されています。また、オープンなモデルも徐々に登場し始めていますが、その多くは英語データを中心に学習されたものとなっています。

開発したモデルについて

　今回当社では、HKU NLP Groupが開発・公開しているdLLMである「Dream-org/Dream-v0-Instruct-7B」をベースに、日本語データによる追加事前学習および指示学習を行うことで、日本語の知識力や指示追従能力を向上させた「ELYZA-LLM-Diffusion」シリーズを開発しました。現在公開しているモデルは以下になります。

■ELYZA-Diffusion-Base-1.0-Dream-7B

「Dream-v0-Instruct-7B」に日本語データの追加事前学習を行ったモデルです。

https://huggingface.co/elyza/ELYZA-Diffusion-Base-1.0-Dream-7B

■ELYZA-Diffusion-Instruct-1.0-Dream-7B

「ELYZA-Diffusion-Base-1.0-Dream-7B」に指示学習を行ったモデルです。

https://huggingface.co/elyza/ELYZA-Diffusion-Instruct-1.0-Dream-7B

　dLLMとARモデルにおける実際の生成のプロセスの違いについて、以下の動画でご確認ください。