機械学習やディープラーニングにおいて、広範囲のタスクに応用できるように多種大量のデータを用いて汎用性の高い性能獲得を目的とした学習を行うこと。他タスクに応用可能な事前学習済みのAIモデルを事前学習モデルと呼び、事前学習モデルにファインチューニングや転移学習を施すことにより、特定のタスクに適応したAIモデルを迅速に開発することが可能となる。

研究や業務などに必要な特定のタスクをこなすためのAIモデル開発には、高い処理能力を持つ大規模な計算システムを有している条件下で、一から必要となる大量のデータセットを設計・用意し、望む結果を得るまで訓練を繰り返す必要があり、費用対効果の面から断念せざるを得ない場合が多い。しかし、大量かつ多様なデータを事前学習し高度な言語理解を可能とした汎用性の高い大規模言語モデルの登場により、細分化されたタスクに対応するためのAIモデル開発への取り組みが盛んになってきている。

代表的な事前学習モデルにGoogle社が発表した自然言語モデルであるBERTやOpen AI社のGPTモデルがある。BERTはデータテキストの前後の文脈を双方向に考慮し言葉のニュアンスをとらえ、文章単位の関係性を把握できるよう、訓練データとしてWikipediaの文章などを用いて事前学習さている。このようなBERTやGPTモデルのように特に広範囲のタスクに対応できる汎用性の高いモデルは基盤モデルとも呼ばれる。また、この事前学習済みの基盤モデルをベースにした新たなAIモデルをさらに事前学習済みモデルとし、調整を行い別タスクに適応させる場合もある。