推論(Inference)

学習は一度、あるいは更新のたびに周期的に行われますが、推論は誰かがプロンプトを送るたびに毎回行われます。AIアシスタントと会話したり、画像を生成したり、自作アプリからAI APIを呼び出したりするとき、実際に動いているのは推論です。

業界の日々のGPU需要、そしてAI設備投資に占める割合が拡大し続けているのも、今では学習ではなく推論です。利用量は新たに作られるモデルの数ではなく、AIを使う人や製品の数に比例して増えるためです。