米Bloombergと米ジョンズ・ホプキンズ大学の研究者らが、金融データに特化した500億パラメータの大規模言語モデル「BloombergGPT」を提案しました。このモデルは、金融データの情報を容易に取得できるほか、専門性に特化した多様な使い方が可能です。また、金融ニュースや情報を解析するためにも役立ちます。

Bloombergは40年以上にわたり金融文書を収集・管理しており、そのアーカイブによる3630億トークンデータセットを作成しました。加えて、一般的な公開データセットを含めた7000億トークンを超える大規模な学習用コーパスを作成し、500億パラメータのデコーダーのみの言語モデルをトレーニングしました。

BloombergGPTは、汎用的なLLMやドメインに特化したデータのみを使用した小規模なLLMを構築するのではなく、金融データと汎用データセットの両方を組み合わせた混合アプローチを採用しています。このアプローチにより、一般的なNLPベンチマークで同等かそれ以上でありながら、ドメイン内の金融タスクで既存のモデルを大幅に上回るモデルを達成できました。

Bloombergは、このモデルを用いた金融アプリケーションの開発を続け、顧客により良いサービスを提供していきたいとしています。BloombergGPTは、金融業界において大きな革新となることが期待されます。