OrcaRouter、320B級オープンウェイトLLM「GLM-5.3-Flash」のApple Silicon向けMLX量子化版を「2-bit Lite」〜「6-bit」の5バリアントで公開

独自量子化手法「OrcaSAQ」で約102GB〜296GBの5段階を無償提供。最軽量版は128GBメモリ搭載のMacBook Proで動作、最上位6-bit版はFP8比ほぼ無損失

FlashLabs株式会社

2026年8月28日 14時00分

FlashLabs株式会社（本社：東京都千代田区、代表取締役：細井洋一、以下「FlashLabs」）は、当社が日本市場向けに独占提供するAI推論ゲートウェイ「OrcaRouter」において、Z.ai社のオープンウェイトLLM「GLM-5.3-Flash」（総パラメータ320B・アクティブ18B・1Mトークンコンテキスト）をApple Silicon向けに最適化したMLX量子化版「GLM-5.3-Flash-MLX」を、「2-bit Lite」「2-bit」「3-bit」「4-bit」「6-bit」の5バリアントで公開したことをお知らせします。本モデルはHugging Face上でMITライセンスのもと無償公開されています。

主なポイント

総パラメータ320B（アクティブ18B）の大規模MoEモデルを、2-bit Lite〜6-bitの5バリアントでApple Silicon向けに量子化
開発元独自の量子化手法「OrcaSAQ」（キャリブレーション不要・アーキテクチャ認識型の混合精度量子化）を採用
最上位の6-bit版はFP8版に対しほぼ無損失（Top-1一致率97.76%・開発元発表）
最軽量の2-bit Lite版は約102GBまで圧縮し、128GBメモリ搭載のMacBook Pro（M4/M5 Max）で動作
Hugging FaceでMITライセンスにより無償公開。APIではフル精度のまま利用可能

開発の背景

大規模言語モデル（LLM）のローカル実行は、データを外部に送信せずに済むこと、レイテンシーが低いことなどから、開発者や企業の関心が高まっています。一方で、最先端のオープンウェイトモデルは動作に数百GB規模のメモリを必要とすることが一般的で、多くの開発者が日常的に使うノートPCでの実行は困難でした。

この課題に対してOrcaRouterは、モデルを圧縮しながら性能を保つ量子化技術の開発を進めており、その成果のひとつが独自量子化手法「OrcaSAQ」（Orca Sensitivity-Aware Quantization）です。キャリブレーション用データを必要とせず、モデルの構造に応じて精度保持に重要なテンソルを高精度に保つ混合精度量子化方式で、性能とメモリ使用量のバランスを高水準で両立します。

Apple Silicon向けMLX版の公開と、5バリアントのラインナップ

Continuum AIは2026年8月26日、Z.ai社が公開したオープンウェイトLLM「GLM-5.3-Flash」をApple Silicon向けに最適化したMLX版「GLM-5.3-Flash-MLX」を公開しました。OrcaSAQにより、量子化の強度が異なる2bit〜6bitの複数のバリアントを提供し、最上位の6bit版ではFP8版に対しほぼ無損失（Top-1一致率97.76%）という検証結果が得られています。

一方、当初公開したバリアントのうち最軽量の2bit版でも、モデルサイズは約145GB、必要メモリは約160GBに達しており、128GBメモリを搭載するMacBook Proでの実行は実用的ではないことが、その後の検証で判明しました（開発元は当初の案内を訂正）。この検証結果を受け、開発チームは「MacBook Proで動く」という約束を果たすため、メモリ使用量を最優先に最適化した専用バリアントの開発に着手しました。

量子化ラインナップ（5バリアント）

2026年8月27日、MacBook Pro向けに特化した「2-bit Lite」が追加され、以下の5バリアント体制となりました。各バリアントのモデルサイズ・必要メモリ・特徴は次のとおりです（すべてApple Silicon向けMLX形式）。

バリアント	モデルサイズ	必要メモリ	特徴
6-bit	約296GB	320GB	ほぼ無損失（Top-1一致率97.76%）
4-bit	約204GB	224GB	良好・推奨デフォルト
3-bit	約184GB	200GB	良好（aggressive）
2-bit	約145GB	160GB	aggressive・best-effort
2-bit Lite	約102GB	112GB	最小・MacBook Pro対応

最軽量の2-bit Liteは、モデルサイズを約102GB（必要メモリ約112GB）にまで圧縮し、128GBメモリ搭載のMacBook Pro（M4/M5 Max）で動作します。1Mトークンのコンテキストやマルチモーダル入力といったGLM-5.3-Flashの基本性能は維持されています。また、141GBメモリの単一GPU（NVIDIA H200）でも動作し、KVキャッシュ用に約39GBの余裕を持たせた構成です。

本モデルはHugging Face（orcarouter/GLM-5.3-Flash-MLX）でMITライセンスのもと無償公開されており、誰でもダウンロードして利用できます。ローカル実行が難しい環境では、OrcaRouterのAPIからGLM-5.3-Flashのモデルページ経由でフル精度のまま利用可能です。

今後の展望

OrcaRouterは今後も、大規模モデルを身近なデバイスで活用できるようにする量子化技術の研究開発と、モデルカタログの拡充を進めてまいります。

OrcaRouterについて

OrcaRouterは、米国のAI研究機関Continuum AIが開発し、FlashLabs株式会社が日本市場向けに独占提供するAI推論ゲートウェイです。OpenAI互換のAPIを備え、Anthropic、OpenAI、Google Gemini、DeepSeek、Grok、Qwenなど200以上のLLM・生成AIモデルを単一のゲートウェイから利用できます。直近では、GPT-5.6、Claude Opus 5、Gemini 3.6 Flash、Grok 4.6、Muse Spark 1.2など、各社の最新モデルが公開後まもなくカタログに追加されています。OrcaRouterのAIモデル一覧からすべてのモデルを確認できます。