인프라
MoE (전문가 혼합, Mixture of Experts)
전체 파라미터를 여러 개의 전문 “전문가” 서브네트워크로 나누고, 요청마다 그중 일부만 활성화하는 모델 구조.
덴스(dense) 모델은 처리하는 토큰 하나하나에 전체 파라미터를 전부 사용합니다. 반면 MoE(전문가 혼합) 모델은 더 작은 전문가 서브네트워크를 여러 개 두고, “라우터”가 토큰마다 그중 극히 일부(수십 개 중 단 몇 개)만 골라 처리하게 합니다.
장점은 효율성입니다. MoE는 모델 전체 파라미터 수를 아주 크게 유지해 그만큼의 능력을 확보하면서도, 실제 추론 연산 비용은 훨씬 작은 활성 모델 수준만 부담하면 됩니다. 2025~2026년 최상위급 모델 여러 개가 바로 이 이유로 MoE 구조를 채택하고 있습니다.