rinna（東京都渋谷区）は、Google社の大規模言語モデル「Gemma 2 2B」をベースに、日本語能力を強化した「Gemma 2 Baku 2B」シリーズを開発し、公開したと発表した。同社はこれまでにも、GPT・BERT・HuBERT・CLIP・Stable Diffusionなどの基盤モデルを公開し、日本のAI技術発展に貢献してきた。公開されたモデルは、Hugging Faceを通じて690万回以上ダウンロードされ、1100件以上のLikesを獲得している。

「Gemma 2 Baku 2B」シリーズは、26億パラメータを持つGemma 2 2Bに日本語と英語の学習データ800億トークンを用いて継続事前学習を施したものである。このシリーズには、指示に従って動作する「Gemma 2 Baku 2B Instruct」も含まれ、人間との対話に適している。利用者はHugging FaceのSpacesで気軽に試すことができる。モデル名の「Baku」は、日本の妖怪「獏」に由来している。

日本語LLMベンチマークJapanese MT-BenchとJapanese LM Evaluation Harnessの結果によると、「Gemma 2 Baku 2B」シリーズは、オリジナルの「Gemma 2 2B」よりも日本語性能が向上していることが明らかになった。特に、「Gemma 2 Baku 2B Instruct」は、より多いパラメータを持つ「Llama 3 Youko 8B Instruct」を上回るスコアを記録している。詳細なベンチマーク結果は、Hugging Faceのウェブサイトで確認可能だ。

rinnaは、ChatGPTの登場によりテキスト生成技術が広く利用されるようになった現在、目的に合わせたモデル開発が重要であるとしている。同社はこれまでの経験を活かし、カスタマイズソリューション「Tamashiru Custom」を提供しており、今後もAIの社会実装を目指して研究開発を進め、成果を公開していく方針だ。生成AIやカスタムLLMに関心がある方は、rinnaに問い合わせることができる。