カラクリ、GPU高騰時代を乗り越える AWS Trainium徹底活用ノウハウを無償公開

Llama 3ベースモデルの「モデル移植」など、最先端の分散学習技術を体系化し、日本のAI開発コミュニティの選択肢拡大に貢献

　　　　

　国産LLM開発企業のカラクリ株式会社（東京都中央区：代表取締役CEO 小田志門、以下カラクリ）は、AWSが開発した深層学習特化チップ AWS Trainium を活用した大規模言語モデル（LLM）の分散学習およびモデル移植に関する実践的なノウハウを、LLM開発に携わるエンジニアコミュニティ向けに無償で公開しました。

本ノウハウは、AWS Trainiumの入門からAWS ParallelClusterによるクラスタ構築、さらにはLlama 3ベースのモデルアーキテクチャをAWS Trainium向けに移植する上級テクニックまでを体系的に網羅しています。

AWS Trainium 50本ノック：https://zenn.dev/karakuri_blog/articles/77d93c40b27b60 

1. 背景とノウハウ公開の目的

世界的な生成AIブームに伴い、高性能GPUの調達コストが高騰し、多くの企業がLLMの訓練・ファインチューニングの規模拡大においてコストとリソースの制約に直面しています。

AWS Trainiumは、GPUと比べて優れたコストパフォーマンスを提供しますが、その活用には、専用のSDK（Neuron SDK）への対応や、計算グラフの移植といった高度な専門知識が求められ、特に日本語での実践的な手順書が必要とされていました。

カラクリは、自社のAWS Trainium活用における実践的な知見を体系化し、本ノウハウを公開します。これにより、より多くの技術者がAWS Trainiumを有効活用できるよう支援し、日本のAI開発における技術的な選択肢の多様化に寄与したいと考えています。

2. 公開ノウハウの技術的な深さと特徴

公開ノウハウは、以下の要素を含み、シェルの基本操作、PyTorch、Transformerアーキテクチャの基礎理解を持つエンジニアを対象とした、実践レベルのコンテンツです。

要素	ノウハウの具体的な内容
AWS Trainium入門と基本	trn1.2xlarge を用いたAWS Trainiumの起動、neuron-top によるコアの稼働状況確認、AWS Trainium特有の遅延評価（Lazy Mode）の挙動解説。
計算機クラスタ構築	AWS ParallelClusterとCloudFormationを用いた、Trn1インスタンスによる大規模学習インフラ（クラスタ）構築手順をCUIベースで詳解。
LLM分散学習の実装	NeuronX Distributed Training (NxDT) を用いた学習環境構築、チェックポイント変換、AOT（Ahead-Of-Time）コンパイル、および分散学習実行の手順。
最先端のモデル移植技術	Llama 3ベースモデルをターゲットとし、NxDTのカスタム並列層を活用したモデルアーキテクチャの書き換え手順を詳細に解説。
分散学習の理論	データ並列（DP）、テンソル並列（TP）、パイプライン並列（PP）といった主要な分散学習戦略の原理と、AWS Trainium環境への適用方法を解説。

特に、Llama 3ベースのモデル移植は、新しいモデルを新しいアクセラレータ上で動かす上で必須となる最先端の技術ノウハウであり、LLM開発の可能性を大きく広げるものです。

▼AWS Trainium 50本ノック
KARAKURI Techblog:https://zenn.dev/karakuri_blog/articles/77d93c40b27b60 

3. 今後の展望

カラクリは、本ノウハウの公開を通じて得られたフィードバックや知見を活かし、LLM開発における技術的課題の解決とイノベーションを推進します。今後もAWS Trainiumの次期バージョン Trn2 への対応など、最新のアクセラレータ活用ノウハウを継続的にコミュニティに還元していく予定です。

▶ 会社概要
カラクリは「FriendlyTechnology」というビジョンを掲げ、大規模言語モデル（LLM）のカスタマーサポートへの実用化を目指すAIスタートアップです。2018年からはトランスフォーマーモデルであるBERTの研究を開始し、2022年からはGPTを含む大規模言語モデルの研究に取り組んでいます。また当社のSaaS事業で提供するカスタマーサポート向けAIシリーズは、高島屋、SBI証券、セブン-イレブン・ジャパン、星野リゾートなど、各業界のトップ企業に選ばれ続けています。

【主な実績】
・2018年　ICCサミット「スタートアップ・カタパルト」入賞
・2020年　Google for Startups Accelerator2020に採択
・2022年　Google for Startups Growth Academy Tech 2022に採択
・2023年   AWS LLM開発支援プログラムに採択
・2024年   生成AI実用化推進プログラムに認定
・2024年　Meta社 完全招待制の生成AI開発者会議に参加
・2024年   経産省「GENIAC」に採択

住所　　　：　〒104-0045　東京都中央区築地2-7-3 Camel 築地 II 5F

設立　　　：　2016年10月3日

代表者　　：　代表取締役CEO　小田 志門

事業内容　：　カスタマーサポート特化型AI「KARAKURI」シリーズの開発・提供・運営など

URL　　　：　https://about.karakuri.ai/