파라미터(매개변수)

파라미터를 수백만~수천억 개의 다이얼이라고 생각하면 됩니다. 각 다이얼은 학습 과정에서 조금씩 조정되면서, 모델이 다음에 올 텍스트를 더 잘 예측하도록 만듭니다. 다이얼 하나하나가 독립적으로 어떤 의미를 갖는 건 아니고, 이 전부가 함께 작동하면서 모델의 행동이 나타납니다. 파라미터 개수는 오랫동안 모델이 얼마나 많이 학습하고 기억할 수 있는지를 가늠하는 다소 거친 대리 지표로 쓰여왔습니다.

하지만 "파라미터가 많을수록 더 좋은 모델"이라는 공식은 더 이상 믿을 만하지 않습니다. 전문가 혼합(MoE), 양자화, 지식 증류 같은 기법 덕분에 더 작고 저렴한 모델이 실제 과제에서 훨씬 큰 모델과 맞먹거나 앞서는 경우가 나오고 있습니다. 이런 효율화는 업계의 자본 지출이 실제 기술이 필요로 하는 수준을 앞질렀는지에 대한 논쟁 양쪽 진영 모두가 근거로 삼는 지점이기도 합니다.