Explicación detallada
La destilación transfiere el conocimiento de un modelo voluminoso a un modelo más compacto. El alumno se entrena con las salidas (logits, respuestas) del profesor. Resultado: modelos más rápidos, más económicos de servir, perfectos para la producción.
Ejemplos
DistilBERT derivado de BERT
Pequeños modelos 'Instruct' derivados de GPT-4
Modelos open-source destilados a partir de modelos propietarios
Preguntas frecuentes
¿Destilación o fine-tuning?
Destilación = transferir del grande al pequeño. Fine-tuning = adaptar un modelo a una tarea o a datos específicos. Ambos se pueden combinar.
Términos relacionados
Fine-tuning
Reentrenamiento de un modelo preexistente con un conjunto de datos específico para adaptarlo a un dominio.
LLM (Large Language Model)
Modelo de lenguaje entrenado con inmensos corpus de texto para comprender y generar lenguaje natural.
Aprendizaje profundo
Subcampo del aprendizaje automático que utiliza redes neuronales profundas para aprender representaciones complejas.
Quantization
Técnica que reduce la precisión numérica de los pesos de un modelo para hacerlo más ligero y más rápido.
Última actualización: 15/7/2026