カラクリ、世界で初めてAWS TrainiumでMoEモデルを学習した「KARAKURI LM 8x7B Chat v0.1」を公開 | KARAKURI
カスタマーサポートDXを推進するカラクリ株式会社(東京都中央区:代表取締役CEO 小田志門、以下カラクリ)は、世界で初めてAWS TrainiumでMoEモデルの学習に成功いたしました。総パラメータ数467億、推論時のアクティブパラメータ数129億の大規模言語モデル(以下、LLM)「KARAKURI LM 8x7B Chat v0.1」を2024年5月7日に一般公開しております。世界的にGPU不足が深刻化する中で、AWS TrainiumでMoEモデルの学習を成功したことは、生成AIの社会実装の大きな一歩につながると考えております。またAWS Trainiumは、同等のGPUインスタンスと比較...
karakuri.ai