『大規模言語モデル（LLM）白書2024年版 ー モデルの拡張・応用・特化型・プラットフォーム動向篇』 発刊のお知らせ

一般社団法人 次世代社会システム研究開発機構（INGS）は2024年10月15日、『大規模言語モデル（LLM）白書2024年版 ー モデルの拡張・応用・特化型・プラットフォーム動向篇』の発刊ならびにその概要を発表した。

大規模言語モデル（LLM）は日々、急速な成長・発展をみせ、AIのムーブメントをリードしている。LLMは様々な用途で利用価値があり、そのインパクトは、幅広いドメイン、セクターで実証されつつある。

しかし、LLMの成長・分化は、スパイラル的な極めて振幅の大きい展開をみせており、適材適所にチューニングする作業は決して容易なことではない。したがって、そのコンセプトを方向づける概念設計のフェーズ、概念モデリングの工程では、PDCA（計画、実行、評価または研究、改善）の各段階のレベルで検証し、これらをスパイラルアップさせながら、改良・拡張・リスク低減を継続的に実施する必要がある。

こうした観点に立ち、本白書は、現在、LLMで特に重要とされている、または注目を集めている以下の諸点を中心にフォーカスし、内容を構成している。

　●　マルチモーダルLLM

　●　オープンソースLLM

　●　ドメイン特化型 LLM

　●　LLMエージェント

　●　小規模LLM（SLM）／量子化LLM

　●　スーパー言語モデル（STLM）

　●　ミニCPM

　●　LLMの学習効率・学習安定性

　●　トランスフォーマー・アーキテクチャー

　●　最適化技術

　●　ポリシー最適化（PPO）

　●　ゼロショット／少数ショットの能力向上

　●　LLM推論の最適化／推論効率

　●　思考連鎖（CoT）

　●　プログラム支援言語モデル（PAL）

　●　モデル圧縮

　●　タイムトゥファーストトークン （TTFT）の削減

　●　ロングコンテキストのLLM（LVLM）

　●　MoE （Mixture-of-Experts）アーキテクチャ

　●　RAG

　●　微調整技術

　●　インコンテクスト数ショット学習

　●　自己注意メカニズム／エンコーダのみモデル／デコーダのみモデル

　●　LLMオートレーター

　●　緻密な検索（DR）モデル／事前学習モデル

　●　拡散モデル

　●　モデル結合

　●　アテンションメカニズム／アテンション・パターンの効果的な探索

　●　長文高密度検索モデル

　●　非トランスフォーマー言語モデル

　●　ニューラル・ネットワーク

　●　LLMと外部アプリケーションとの相互作用

　●　LLMにおける反復的な人間の関与／IoT（Iteration of Thought）フレームワーク

　●　PAL（Program-Aided Language Models)

　●　ReAct (Reasoning and Acting)

　●　LangChain

　●　RLHF(Reinforcement Learning from Human Feedback)

　●　ReST(Reinforced Self-Training)

　●　分散データ並列(DDP)／完全分割データ並列(FSDP)

本白書は、これらLLMの進歩に係る重要なテーマを包括的・体系的に取り上げ、それぞれのポイントを解きほぐし、必要な情報をまとめた調査報告書である。

本白書がLLMに関する体系的な客観情勢の把握と認識の深化に役立ち、貢献することを願っている。

┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌

▼　内容等の詳細は、下記（リンク先）をご参照ください。

大規模言語モデル（LLM）白書2024年版

 ー モデルの拡張・応用・特化型・プラットフォーム動向篇　製本版

https://www.x-sophia.com/?pid=183053434

大規模言語モデル（LLM）白書2024年版

 ー モデルの拡張・応用・特化型・プラットフォーム動向篇　PDF版

https://www.x-sophia.com/?pid=183053444

（※　「PDF版」はeメール／ダウンロードでの納品方法にも対応しています）

●　監修・発行：

発行：一般社団法人 次世代社会システム研究開発機構

●　発刊日

2024年10月15日

■　法人案内Webサイト（メディア向けのお問い合わせ先）

法人概要

http://www.x-sophia.com/?mode=sk#info

当団体刊行物に関する告知・案内Webサイト

http://www.x-sophia.com/

■　法人のご紹介

当団体は、前身会社を含め、二十数年に渡り、産業／先進先端技術／経済／IT分野のシンクタンク活動（受託調査／各種レポート刊行／コンサルティング／寄稿・啓蒙活動／講演・講義／カンファランス議長およびセミナー講演）を展開してきた。

このうち、当団体の各種刊行物については、日本・海外の政府系シンクタンク、国内の主要研究所、コンサルティングファーム、産学官連携団体、大学、研究所、大手企業、投資ファンド、ベンチャーなどに納め、多数のご高評をいただき、今日に至っている。延べ、数百巻の刊行実績を持つ。英語版、中国語版を刊行し、対象とする購読層の幅を広げている。

本店・連絡先（お問い合わせ先）

〒140-0004

東京都品川区南品川4丁目4番17号 品川サウスタワー

Tel：[phone]

Fax：[phone]

Mobile:[phone]