Ristの社員チームが世界最大級のデータ分析プラットフォームKaggleのコンペティションにて準優勝　Kaggle Grandmasterの数が9名に

株式会社Rist（本社所在地：京都市下京区　代表取締役社長：長野慶、以下Rist）は、世界最大級のデータ分析プラットフォームKaggleで開催されたコンペティション「LMSYS - Chatbot Arena Human Preference Predictions」（以下、本コンペティション）において、Rist Kaggle Teamに所属するKaggle GrandmasterのChen、劉、竹ノ内の参加するチームが準優勝し、金メダルを獲得したことをお知らせいたします。

　本コンペティションは、大規模言語モデルの研究機関であるLMSYS ORGの主催で、2024年5月3日〜2024年月8日13日にかけて開催されました。同じプロンプトに対するchatbot-Aとchatbot-Bのレスポンスが与えられ、人間がどちらの回答を好むかを予測するタスクでした。この課題は、AIが人間の好みを理解する能力を測るもので、ユーザーフレンドリーなAIの開発に役立ちます。

こちらのサイトで、チャットボットの対決を実際に判定することができます。

 

Chen、劉、竹ノ内のチームは参加者2210名・1849チーム中、準優勝を獲得いたしました。

本コンペティションの結果はこちらです。

解法とコードについては、こちらからご覧いただけます。

Kaggle Grandmaster　竹ノ内 勝哉

竹ノ内コメント

数十億パラメータのLLMを扱うコンペだったため、一回の実験に要する時間と計算資源が大きく、実験サイクルを回すのがハードでした。チームメンバーと協力し、コードの効率化に注力することで無駄な計算を極力減らすよう努めました。

また、LLMの分野は日進月歩であり、コンペティション開催中にも新たなモデルが次々と発表されました。実際、我々を含めた多くの参加者がコンペ期間中に公開されたばかりの最先端モデルを採用しており、常に最新の研究動向に目を光らせておく必要がありました。

Kaggle Grandmaster　劉 書志

劉コメント

今回のコンペに取り組むにあたり、特に嬉しかったのは、チームのシナジーをさらに発揮できた点です。コンペのタスクは、プロンプトの返答の人間好み具合を評価するもので、LLMの使用が必須でした。LLMの学習には多大な計算資源が必要で、さらにパラメータや学習の方法にも敏感です。そのため、一人で様々な実験や探索を行うよりも、チームで異なる方向から探索を進めることで、より効率的にソリューションを見つけて構築することができました。また、チーム内で発見や知見を共有することで、多くの学びを得ることができました。

Kaggle Grandmaster　Chen Jian

Chenコメント

The competition task was not that complicated. Instead of focusing solely on the task itself, we saw it as a good opportunity to practice LLM training. Thanks to the training resources provided by our company, we were able to explore a wide range of methodologies and try larger models. Ultimately, we successfully completed our plan and achieved second place.

 

　本コンペティションの結果を受けて、劉と竹ノ内はKaggle Grandmasterに昇格し、Rist Kaggle TeamはKaggle Grandmaster9名、Kaggle Master3名の体制となりました。Ristは今後も、社員が技術研鑽に取り組むための環境整備に力を入れていくとともに、Kaggleで得た知見や技術をお客様に還元してまいります。

昇格に際してのコメント

竹ノ内

これまでチームを組んでいただいた方々や、勉強会や仕事を通じて貴重な知見を共有してくださった方々のおかげで、Grandmasterになることができました。この場を借りて深く感謝申し上げます。 これまではメダル獲得を優先して、実績ある過去解法や王道と言える手法を採用しがちでしたが、今後は積極的に新しい手法にも取り組んでいきたいと思います。

劉

入社以来、Kagglerの先輩方のご活躍を間近で拝見し、共に仕事をする中で多くのことを学ばせていただきました。Kaggle Workshopでは、貴重な知見を共有していただいたおかげで、技術を大いに向上させることができました。会社からの手厚いKaggleサポートもあり、最終的にGrandmasterの称号を得ることができました。チームを組んでいただいた皆様にも、数多くの学びと楽しいチーム戦の思い出を得ることができました。ここに、会社とチームメンバーの皆様に深く感謝申し上げます。

 

Kaggleとは

Kaggleとは、登録者数1900万人(※1)を超える世界最大級のデータ分析プラットフォームです。企業や団体からコンペティション形式で出題された課題に対し、Kagglerと呼ばれるKaggleに登録するユーザーたちが分析モデルの精度を競います。

Kaggleのコンペティション参加者は、成績に応じてKaggle Grandmaster、Kaggle Master、Expert、Contributor、Noviceの順にランク分けされます。最上位のKaggle Grandmasterは世界に344人(※2)しかおらず、優秀なAIエンジニア・データサイエンティストを表す称号としても知られています。

※1、2　2024年8月時点。

世界最高クラスのAIエンジニア・データサイエンティストが在籍する「Rist Kaggle Team」

Ristは2020年より、優秀な成績を持つKagglerを積極的に採用する「Kaggle枠採用」を開始すると同時に、世界最高クラスのAIエンジニア・データサイエンティストで構成される「Rist Kaggle Team」を創設しました。現在、Rist Kaggle TeamにはKaggle Grandmasterが9名、Kaggle Masterが3名在籍しており、高難度なデータ分析・AI技術を用いたソリューション提供・プロダクト開発などに従事しています。

Ristについて

Ristは、「画像AI事業」「データ分析事業」を軸に、AI技術を用いたシステムの開発、データ分析、プロダクトにより、顧客や社会の課題解決に貢献しています。AIの活用や撮像に関するコンサルティング、企業の研究開発・技術支援にも対応しており、課題や要望に応じて幅広いソリューションを提供しています。

会社名：株式会社Rist

所在地：京都府京都市下京区五条通河原町西入本覚寺前町830 京都エクセルヒューマンビル 7階

設立日：2016年8月1日

代表取締役社長：長野　慶

URL: https://www.rist.co.jp

※記載されている会社名、ロゴ、システム名、商品名、ブランド名などは、各社の商号、登録商標、または商標です。