CA、最大68億パラメータの日本語LLMを一般公開 オープンなデータで学習した商用利用可能なモデルを提供

  • このエントリーをはてなブックマークに追加
2023/05/18 06:00

 サイバーエージェントは、最大68億パラメータの日本語LLM(Large Language Model、大規模言語モデル)を一般公開したことを発表。

 近年、OpenAI社が開発した「ChatGPT」をはじめとする生成AI・LLMは急速な進化を遂げており、世界中のあらゆる業界・ビジネスにおいて活用が進んでいる。一方、既存のLLMのほとんどは英語を中心に学習されているため、日本語および日本文化に強いLLMは少ない状況。

最大68億パラメータの日本語LLM(大規模言語モデル)の公開について

 こうした背景のもと、同社は日本語LLMの開発に取り組んでおり、今回一部モデルをHugging Face Hubにて公開した。公開されたモデルはオープンな日本語データで学習したもので、商用利用可能なCC BY-SA 4.0ライセンスで提供されます。

 本モデルをベースとしてチューニングを行うことにより、対話型AIなどの開発も可能となる。これにより、より多くの人々が日本語の自然言語処理に関する最先端の研究開発に取り組むことができる。

 同社では、これまで培った知見を活かしチャットボットやRPAをはじめとする業界特化型のLLMの構築や、各企業と連携したLLMを活用したビジネス開発の推進などを予定している。また、LLMを活用したビジネス開発に携わるエンジニアの新規採用を実施し、体制強化に努めていく。

 サイバーエージェントは今後も、引き続きモデルの公開や産学連携などの取り組みを通じ、国内における自然言語処理技術の発展に貢献していく。