추론 (Inference)

학습은 한 번, 또는 업데이트할 때마다 주기적으로 일어나지만, 추론은 누군가 프롬프트를 보낼 때마다 매번 일어납니다. AI 비서와 대화하거나, 이미지를 생성하거나, 자신이 만든 앱에서 AI API를 호출할 때 실제로 돌아가는 것이 바로 추론입니다.

업계의 일상적인 GPU 수요, 그리고 AI 자본지출에서 점점 더 큰 비중을 차지하는 것도 이제는 학습이 아니라 추론입니다. 사용량은 새로 만들어지는 모델의 수가 아니라, AI를 쓰는 사람과 제품의 수에 비례해 늘어나기 때문입니다.