ファインチューニング(Fine-tuning)

事前学習がモデルに言語と一般知識を教えるのに対し、ファインチューニングはその知識をどう使うかを整えます。指示に従わせる、安全でない要求を拒否させる、ブランドの口調に合わせる、法律文書のレビューのような狭いタスクを得意にさせる、といった具合です。

ファインチューニングは事前学習よりはるかに安価です。すでに能力を備えたモデルから始まり、必要なデータセットも数兆件ではなく数千件程度と、はるかに小規模で目的に特化したもので済むためです。