모델 라이프사이클 관련 분석 →
양자화(Quantization)
모델 내부 숫자의 정밀도를 낮춰서 더 빠르게 돌아가고 훨씬 적은 메모리에 들어가게 만드는 기법 — 데이터센터가 필요한지, 휴대폰에서 돌아가는지를 가르는 경우가 많습니다.
높은 정밀도(32비트) 숫자로 학습된 모델을 학습이 끝난 뒤 더 낮은 정밀도(16비트, 8비트, 심지어 4비트)로 변환할 수 있습니다. 숫자 하나하나가 차지하는 메모리와 계산 시간이 줄어들기 때문에, 같은 모델이 더 빠르게 돌아가고 더 저렴한 하드웨어에도 들어갑니다 — 대개 정확도는 아주 조금, 눈에 띄지 않을 정도로만 낮아집니다.
양자화는 이제 상당한 성능의 AI 모델이 서버 왕복 없이 휴대폰이나 노트북에서 완전히 돌아갈 수 있게 된 주된 이유입니다. 지식 증류, 전문가 혼합(MoE)과 함께 이런 효율화 기법들은 작은 로컬 모델과 거대한 클라우드 모델이 실제로 할 수 있는 일의 격차를 좁혀왔고, 이는 HBM 수요를 떠받치는 메모리 공급난과도 직접 맞닿아 있습니다.