パラメータ

パラメータは数百万から数千億個のつまみだと考えてください。それぞれのつまみは学習の過程で少しずつ調整され、モデルが次に来るテキストをより上手く予測できるようにします。一つ一つのつまみ単体に意味があるわけではなく、これら全部が一緒に働くことでモデルの振る舞いが生まれます。パラメータ数は長らく、モデルがどれだけ学習・保持できるかを大まかに示す(やや粗い)指標として使われてきました。

しかし「パラメータが多いほど良いモデル」という単純な図式はもはや信頼できません。専門家混合(MoE)、量子化、蒸留といった技術のおかげで、より小さく安価なモデルが実際のタスクではるかに大きなモデルに匹敵する、あるいは上回ることが起きています。こうした効率化こそ、業界の資本支出が基盤技術の実際の必要量を上回ってしまったのかという論争の双方が根拠にしているポイントです。