Infraestructura
MoE (Mezcla de Expertos)
Una arquitectura de modelo que divide sus parámetros en subredes “expertas” especializadas y activa solo unas pocas por petición, en vez de todo el modelo.
Un modelo denso usa todos sus parámetros para cada token que procesa. Un modelo de Mezcla de Expertos (MoE), en cambio, contiene muchas subredes expertas más pequeñas y un “enrutador” que elige un pequeño subconjunto — a menudo solo un puñado de docenas — para gestionar cada token.
El atractivo es la eficiencia: MoE permite que un modelo tenga un recuento total de parámetros muy grande, y la capacidad que eso implica, pagando solo el coste de cómputo de inferencia de un modelo activo mucho más pequeño. Varios modelos de vanguardia de 2025-2026 usan diseños MoE precisamente por esta razón.