【Riiid】生成AIモデル「sheep-duck」がグローバルAIプラットフォームの「オープンLLMリーダーボード」で1位を獲得
※ハギングフェイスのリーダーボードは毎日更新されます。現在の順位は以下のリンクからご確認いただけます。
https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
＜Sheep-Duckについて＞
今回、1位を獲得した「Sheep-Duck」は、Meta社の「llama-2」をベースにし、さらにソフトウェアライブラリ「Hugging Face Transformers（ハギングフェイス トランスフォーマーズ）*¹」を活用して、テキスト生成AIモデルを微調整（ファインチューニング）することで開発されました。この開発により、テキスト生成AIの性能が大幅に向上しました。
*¹「HuggingFace Transformers」は、Pythonで提供されているライブラリで、自然言語処理、コンピュータビジョン、音声、およびマルチモーダリティ（複数の情報源を組み合わせたタスク）向けの最新の事前学習済み機械学習モデルを簡単に利用できるツールとして知られています。
＜Open LLM Leaderboardについて＞
Hugging Face社の「Open LLM Leaderboard」は、世界中の500以上のオープンソース生成AIモデルを「推論能力」、「常識能力」、「言語理解能力」、「ハルシネーション抑制*²」という4つの指標で評価して順位を決定します。この評価は常にオープンに行われ、企業や個人が自主開発のLLMを提出すれば、その評価結果がリーダーボードに即座に反映されます。
*²ハルシネーション：人工知能（AI）が事実に基づかない情報を生成する現象のことです。 まるでAIが幻覚（＝ハルシネーション）を見ているかのように、もっともらしい嘘（事実とは異なる内容）を出力するため、このように呼ばれています。
先月、Riiidが初めて提出したモデルが73.69点を獲得し2位にランクインしましたが、今回提出した新モデル「Sheep-Duck」では、さらに高評価を受け1位に輝きました。一方で、Meta社のllama-2は67.35点で106位に留まりました。
また、今年の8月にChat GPT3.5モデルを超え、世界1位を獲得し話題となった韓国のUpstage社は、14位にランクインしました。
＜チャン・ヨンジュン代表のコメント＞
Riiidのチャン・ヨンジュン代表は、「今回の1位獲得を通じて、RiiidのLLM開発技術とチューニング技術が世界トップレベルであることが証明されました。」と述べ「また、これまでの教育学習AI運営で蓄積されたプロンプトエンジニアリング技術が、ファインチューニング技術と卓越したシナジー効果をもたらすことを期待しています。」と熱く語りました。
Riiidは、AI技術の革新と教育分野への貢献を続け、今後も世界的なリーダーシップを目指します。
＜Riiid Inc.について＞
Riiid Inc.は、シリコンバレー、韓国、日本に拠点を持つ教育AI（AI Ed）研究企業です。
私たちのミッションは、「非効率性（Inefficiency)」、「矛盾（Inconsistency)」、「不平等（Inequality）」という従来の教育における3つの課題を取り除くことです。私たちは個々の学習者の「ユーザー属性」、「行動履歴」、「目標」、「ニーズ」といった要素を適切に把握し、個別に合わせた学習体験を提供することで、「世界中の誰もが質の高い教育を受けられる世界」を目指しています。
2021年4月には、CB Insightsの「AI 100（世界のAI企業トップ100）」に選出され、同年5月にソフトバンク・ビジョン・ファンド2から資金調達を受けております。
Santaアルク公式ウェブサイト：https://www.aitutorsanta.com/jp/
＜この記事に関するお問い合わせ先＞
メールアドレス：jp_pr@riiid.co
※順位に関する情報は2023年10月4日時点のものです。
※ハギングフェイスのリーダーボードは毎日更新されます。現在の順位は以下のリンクからご確認いただけます。
https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
このプレスリリースには、メディア関係者向けの情報があります
メディアユーザー登録を行うと、企業担当者の連絡先や、イベント・記者会見の情報など様々な特記情報を閲覧できます。※内容はプレスリリースにより異なります。
すべての画像