インフラ
MoE(専門家混合, Mixture of Experts)
全パラメータを複数の専門的な“エキスパート”サブネットワークに分割し、リクエストごとにそのうちの一部だけを活性化させるモデル構造。
密(dense)モデルは、処理する一つ一つのトークンに全パラメータを使用します。一方MoE(専門家混合)モデルは、より小さなエキスパートのサブネットワークを多数持ち、“ルーター”がトークンごとにそのうちのごく一部(数十個のうちわずか数個)だけを選んで処理させます。
利点は効率性です。MoEはモデル全体のパラメータ数を非常に大きく保ち、それに見合う能力を確保しながらも、実際の推論計算コストははるかに小さいアクティブモデル分だけで済みます。2025〜2026年の最先端規模のモデルの多くが、まさにこの理由でMoE設計を採用しています。