Ciclo de vida del modelo
Inferencia
La etapa en la que un modelo de IA ya entrenado se usa realmente para generar una respuesta — a diferencia del entrenamiento, cuando aprende.
El entrenamiento ocurre una vez, o periódicamente para actualizaciones; la inferencia ocurre cada vez que alguien envía un prompt. La inferencia es lo que se ejecuta cuando chateas con un asistente, generas una imagen o llamas a una API de IA desde tu propia aplicación.
Gran parte de la demanda diaria de GPU del sector — y una porción creciente del gasto de capital en IA — es ahora inferencia, no entrenamiento, porque el uso escala con el número de personas y productos que corren sobre IA, no con el número de modelos nuevos que se construyen.