モデルのライフサイクル
学習・事前学習(Training / Pretraining)
巨大なデータセットに対して次のテキストを予測させ続けることで、モデルに基礎知識と言語能力を教え込む工程。
事前学習の過程でモデルは、書籍・ウェブサイト・コードなどから取り出したテキストの次のトークンを予測し続け、間違えるたびに内部の数十億のパラメータ(重み)を調整します。これはLLM構築の中で最も計算負荷が高い工程で、数千のGPUやTPU上で数週間から数か月かけて行われます。
事前学習によってモデルは汎用的な能力を得ますが、指示に従うことや安全に会話することはまだ得意ではありません。それはこの後のファインチューニング(fine-tuning)によって実現されます。