サイバーエージェントは、70億パラメータ・32,000トークン対応の日本語LLM（Large Language Model、大規模言語モデル）を公開したことを発表した。
同社はかねてより日本語LLMの開発に取り組んでおり、2023年5月には国内の自然言語処理技術の発展への寄与を目的とし、「CyberAgentLM」を一般公開。その後もLLMに関する研究開発を続け、さまざまなモデルを開発するとともに、同社が提供する「極予測AI」をはじめとするサービスにおいて活用を推進している。
モデルについて
今回公開したモデルは、日本語および英語データで事前学習を行なった70億パラメータのベースモデルであるCyberAgentLM2-7Bと、チャット形式でのチューニングを行ったCyberAgentLM2-7B-Chatの2種類。CyberAgentLM2-7B-Chatは入出力の長さとして32,000トークンに対応しており、日本語の文章として約50,000文字を一度に処理することが可能。
同社は今後もLLMの開発とビジネス活用を進めるとともに、モデルの公開や産学連携などの取り組みを通じて、国内における自然言語処理技術の発展に貢献する。
