UAE のTechnology Innovation Institute（TII）、最先端の大規模言語モデル 「Falcon 40B」のトレーニングを AWS 上で実施

Hugging Face のオープン大規模言語モデル（LLM）のリーダーボードで第 1 位のモデルが Amazon SageMaker Jumpstart を通じて利用可能になり、トップパフォーマンスのオープンソースモデルを利用した最先端の生成系 AI アプリケーションの構築が容易に

Amazon.com, Inc.（NASDAQ: AMZN）の関連会社である Amazon Web Services, Inc.（以下、AWS）は本日、アラブ首長国連邦アブダビを拠点とする世界有数の科学研究機関であるTechnology Innovation Institute（TII）が、世界最高の性能を持つオープンソースの「Falcon 40B」モデルのトレーニングを AWS 上で行ったことを発表しました。Falcon 40B は Apache 2.0 ライセンスで利用できる 400 億のパラメータを持つ大規模言語モデル（LLM）であり、複数のベンチマークを通じて追跡、ランク付け、評価を行い、最高の性能を発揮するモデルを特定する Hugging Face のオープン LLM リーダーボードで第 1 位にランクされています。事前にトレーニングされたモデルを提供する機械学習（ML）ハブソリューションである Amazon SageMaker JumpStart から Falcon 40B をデプロイできるようになりました。これにより、独自のモデルを一から構築しなくても、Falcon 40B の最先端の精度と業界最高水準のパフォーマンスを利用可能です。Amazon SageMaker JumpStart の詳細については、https://aws.amazon.com/sagemaker/jumpstart をご確認ください。

LLM は、言語にフォーカスした機械学習（ML）モデルのサブセットで、テキスト処理、要約から質問応答まで、広範な生成系 AI アプリケーションを稼働することができます。こうした LLM には業界を変革する可能性があるものの、LLM の構築やトレーニング、導入には数週間、場合によっては何カ月もかかる可能性があり、膨大なコストを要することから多くの企業にとって手の届かないものになっています。開発プロセスを通じてよりパフォーマンスを向上させ、コスト効率を高めていくために、Stability AI（https://aws.amazon.com/jp/blogs/machine-learning/stability-ai-builds-foundation-models-on-amazon-sagemaker/）、AI 21 Labs（https://www.youtube.com/watch?v=0CHyMYFy94c&list=PL2yQDdvlhXf9XsB2W76_seM6dJxcE2Pdc&index=20）、Hugging Face（https://aws.amazon.com/blogs/machine-learning/aws-and-hugging-face-collaborate-to-make-generative-ai-more-accessible-and-cost-efficient/）、LG AI（https://aws.amazon.com/solutions/case-studies/lg-ai-research-case-study/）を始めとする多数の企業が AWS のエンドツーエンドの機械学習サービスである Amazon SageMaker を利用して LLM の実装を進めています。

TII が Amazon SageMaker を採用して Falcon 40B モデルを構築したのはそのためです。SageMaker は完全マネージド型のサービスであるため、TII は独自の機械学習インフラの運用管理をする代わりに、カスタムトレーニングのメカニズムの開発と最適化だけに集中することができます。TII はトレーニングコストを最小限に抑え、市場投入までの期間を短縮するために、カスタム行列乗算を実装するなどいくつもの最適化を追求し、トレーニングのスピードアップを図りました。AWS もトレーニングプロセスを通じて TII と緊密に協力し、SageMaker を使ってレジリエンスを強化することで、トレーニングがスムーズに実行されるようにし、開発者の注意を要するような中断を削減しました。

TII は 2023 年 5 月に Apache 2.0 ライセンス下で Falcon 40B モデルを公開しました。リリース以降、Falcon 40B のパフォーマンスはさまざまなベンチマークを通じて現代の同種のモデルを上回っており、特別なファインチューニングなしで卓越した性能を示しています。最新鋭のこのモデルへのアクセスを容易にするために、AWS は Falcon 40B も Amazon SageMaker Jumpstart を通じて顧客が利用できるようにしました。これにより、あらゆる業界のあらゆる規模の顧客がそれぞれ独自の Falcon 40B モデルを素早く簡単に導入して、翻訳や問い合わせ対応、情報の要約、画像の識別など、特定のアプリケーションニーズに合致するようカスタマイズできるようになりました。

TIIでAI クロスセンターユニットのエグゼクティブディレクターを務めるLLM プロジェクトのプロジェクトリーダーは、次のように述べています。「Falcon 40B のオープンソースリリースによって、企業や組織は卓越した性能を活用して AI ドリブンのソリューションの進化を促すことができるようになりました。これは、AI のイノベーションを促進するという当社のコミットメントにおいて非常に重要なマイルストーンであると同時に、科学分野において UAE が大きな貢献を果たしていることを実証するものだと言えます。Falcon LLM をオープンソースにすることで、私たちはより幅広い人たちが先進テクノロジーにアクセスできるようにして、世界中の研究者や組織で活用できるようになることを目指しています。次のステップとして、AI や先端技術の分野でさらなる進化に貢献していくとともに、新たなモデルを視野に入れ、UAE のさまざまな組織や企業で先進の AI 技術の活用を促進して行きたいと考えています」

機械学習を素早くスタートできるようにするために、ユーザーはSageMaker Studio（https://docs.aws.amazon.com/sagemaker/latest/dg/studio.html）による簡便な方法またはSageMaker Python SDK（https://sagemaker.readthedocs.io/en/stable/overview.html#use-built-in-algorithms-with-pre-trained-models-in-sagemaker-python-sdk）によるプログラムを介した方法で、Falcon モデルを導入して利用できるようになります。Falcon 40B は本日より Amazon SageMaker JumpStart を通じて、米国東部（オハイオ）、米国東部（バージニア北部）、米国西部（オレゴン）、アジア太平洋（シドニ―）、アジア太平洋（ソウル）、欧州（ロンドン）、カナダ（中部）で一般提供を開始し、近日中に他の AWS リージョンでも提供を開始する予定です。

Falcon LLM プロジェクトの詳細およびより専門的なインサイトについては、こちら（https://aws.amazon.com/jp/blogs/machine-learning/technology-innovation-institute-trains-the-state-of-the-art-falcon-llm-40b-foundation-model-on-amazon-sagemaker/）の Dr. Almazrouei のブログをご覧ください。

アマゾン ウェブ サービスについて

アマゾン ウェブ サービス（AWS）は約 15 年にわたり、世界で最も包括的かつ幅広く採用されたクラウドサービスになっています。AWS は、コンピューティング、ストレージ、データベース、ネットワーク、分析、機械学習および人工知能（AI）、モノのインターネット（IoT）、モバイル、セキュリティ、ハイブリッド、仮想現実（VR）および拡張現実（AR）、メディア、ならびにアプリケーション開発、展開および管理に関する 200 種類以上のフル機能のサービスを提供しています。AWS のサービスは、31 のリージョンにある 99 のアベイラビリティーゾーン（AZ）でご利用いただけます。これに加え、カナダ、イスラエル、マレーシア、ニュージーランド、タイの 5 つのリージョンにおける 15 の AZ の開設計画を発表しています。AWS のサービスは、アジリティを高めながら同時にコストを削減できるインフラエンジンとして、急速に成長しているスタートアップや大手企業、有数の政府機関を含む数百万以上のアクティブなお客様から信頼を獲得しています。AWS の詳細については以下の URL をご参照ください。https://aws.amazon.com/

Amazon について

Amazon は 4 つの理念を指針としています。お客様を起点にすること、創造への情熱、優れた運営へのこだわり、そして長期的な発想です。Amazon は、地球上で最もお客様を大切にする企業、そして地球上で最高の雇用主となり、地球上で最も安全な職場を提供することを目指しています。カスタマーレビュー、1-Click 注文、パーソナライズされたおすすめ商品機能、Amazon プライム、フルフィルメント by Amazon（FBA）、アマゾン ウェブ サービス（AWS）、Kindle ダイレクト・パブリッシング、Kindle、Career Choice、Fire タブレット、Fire TV、Amazon Echo、Alexa、Just Walk Out technology, Amazon Studios、気候変動対策に関する誓約（The Climate Pledge）などは、Amazon が先駆けて提供している商品やサービス、取り組みです。Amazon について詳しくは Amazon Newsroom（http://amazon-press.jp）および Amazon ブログ（http://blog.aboutamazon.jp）から。