LINEはNAVERと共同で、日本語に特化した超巨大言語モデル開発と、その処理に必要なインフラ構築についての取り組みを発表した。
超巨大言語モデル（膨大なデータから生成された汎用言語モデル）は、AIによる、より自然な言語処理・言語表現を可能にするもの。今回は日本語に特化した超巨大言語モデルの開発となる。
従来の言語モデルは、各ユースケース（Q&A、対話など）に対して、自然言語処理エンジニアが個別に学習する必要があった（特化型言語モデル）。
一方、汎用言語モデルとは、OpenAIが開発した「GPT」や、Google の「T5」に代表される言語モデル。新聞記事や百科事典、小説、コーディングなどといった膨大な言語データを学習させた言語モデルを構築し、そのうえでコンテキスト設定を行うためのFew-Shot learningを実行するだけで、さまざまな言語処理（対話、翻訳、入力補完、文書生成、プログラミングコードなど）を行うことが可能となり、個々のユースケースを容易に実現できることが期待される。
今回両社は共同で、同モデルを迅速かつ安全に処理できる700ペタフロップス以上の性能を備えた世界でも有数のスーパーコンピュータを活用し、超巨大言語モデルの土台となるインフラの整備を年内に実現する予定。
日本語に特化した汎用言語モデルを開発するにあたり、1750億以上のパラメーターと、100億ページ以上の日本語データを学習データとして利用予定となっており、パラメーター量と学習量については、今後も拡大していくという。
同モデルは、新しい対話AIの開発や検索サービスの品質向上など、AIテクノロジーブランド「LINE CLOVA」をはじめとするLINE社のサービスへの活用のほか、第三者との共同開発や、APIの外部提供についても検討しているとのこと。
