Emslie, Karen. "The Big Shrink in LLMs." Communications of the ACM, 28 de febrero de 2025. Disponible en: https://cacm.acm.org/news/the-big-shrink-in-llms/
La inteligencia artificial está empezando a usar modelos más pequeños y rápidos que gastan menos energía y funcionan mejor en dispositivos como los móviles. Así se consiguen resultados más precisos y fáciles de usar sin necesitar tantos recursos.
El crecimiento acelerado de la inteligencia artificial generativa (GenAI) y los grandes modelos de lenguaje (LLMs) ha traído consigo problemas como disputas de propiedad intelectual, sesgos, preocupaciones por la privacidad y el alto consumo energético. Además, en sectores especializados como el legal o financiero, los LLMs no siempre ofrecen resultados precisos o útiles, y los errores (llamados "alucinaciones") se han vuelto comunes.
Ante estos desafíos, está surgiendo una tendencia hacia modelos más pequeños y eficientes, gracias a técnicas como knowledge distillation (transferencia de conocimientos de modelos grandes a otros más pequeños), pruning (eliminación de parámetros innecesarios) y avances en edge computing (procesamiento local en dispositivos). Estos modelos reducidos permiten menor consumo de recursos, mayor velocidad y mejor adaptación a contextos específicos como la salud, donde la precisión es clave.
Expertos como Amir H. Gandomi y Julian Faraway destacan que los conjuntos de datos pequeños y bien seleccionados pueden ser más precisos y fiables que los grandes volúmenes de datos ruidosos, especialmente cuando se busca comprender causas y no solo hacer predicciones.
Grandes compañías tecnológicas también se han sumado a esta tendencia:
- Google lanzó versiones reducidas de su modelo Gemini y la familia ligera Gemma.
- Meta investiga estrategias de eliminación de capas sin pérdida significativa de rendimiento.
- Nvidia logró reentrenar un modelo con solo el 3% de sus datos originales, creando la serie Minitron.
- Microsoft presentó phi-3.5-mini, diseñado para funcionar directamente en smartphones.
El auge de la informatica de bajo coste y alto rendimiento (edge computing) impulsa esta transformación hacia modelos más pequeños, sostenibles y accesibles, cambiando la mentalidad de "más grande es mejor" por la de "más inteligente y eficiente".
A medida que la sostenibilidad y la personalización ganan importancia, estos modelos compactos podrían convertirse en el nuevo estándar de la IA.
No hay comentarios:
Publicar un comentario