Expertos buscan impedir la proliferación de errores en IA a futuro
En los avances recientes sobre inteligencia artificial (IA), un estudio desarrollado por el King's College de Londres plantea una posible solución al problema conocido como "colapso del modelo" en sistemas de IA. Este fenómeno, que se manifiesta por la generación de resultados erróneos o incoherentes, surge cuando un modelo de IA se entrena principalmente con datos generados por otros sistemas de IA, lo que degrada la calidad de su aprendizaje.
Según el artículo publicado en 'Physical Review Letters', el término "colapso del modelo", surgido en 2024, describe esa situación en la que una IA alimentada con datos producidos artificialmente comienza a generar respuestas inexactas o “galimatías”. Este escenario indica un riesgo creciente en la formación de modelos avanzados, especialmente cuando los datos originales de alta calidad se vuelven insuficientes.
- Análisis en familias exponenciales
- Implicaciones para LLM y prevención del colapso
- Resultados del estudio y futuro
Análisis en familias exponenciales
Investigadores del King's College, en colaboración con la Universidad Noruega de Ciencia y Tecnología y el Centro Internacional Abdus Salam de Física Teórica, examinaron un tipo de modelos estadísticos sencillos pero potentes conocidos como familias exponenciales. Descubrieron que incluir al menos un solo dato externo al entrenamiento realizado con datos generados por IA es suficiente para evitar el colapso del modelo en todos los escenarios analizados.
Aunque estas familias exponenciales son menos complejas que los modelos lineales generalizados (LLM), siguen siendo herramientas poderosas para el modelado de datos. El equipo confía en que esta aproximación permita establecer reglas que eviten el colapso en sistemas de IA más sofisticados.
Implicaciones para LLM y prevención del colapso
El profesor Yasser Roudi, del King's College, destaca que los trabajos anteriores se enfocaron en grandes modelos LLM, donde es difícil entender su funcionamiento interno o garantizar la repetibilidad de sus resultados, lo que conduce a respuestas erróneas inexplicables o "alucinaciones".
Al centrarse en modelos simplificados, el estudio identificó que incorporar un solo dato externo durante el entrenamiento impide que la IA genere información errónea desde un enfoque estadístico objetivo. Esta base permitirá desarrollar principios aplicables a modelos más complejos y relevantes en ámbitos como asistentes conversacionales y vehículos autónomos. Además, ofrecerá herramientas para que los desarrolladores y científicos informáticos prevengan posibles colapsos en futuros sistemas de IA.
Resultados del estudio y futuro
El estudio revela que entrenar modelos de familias exponenciales usando únicamente datos generados internamente (máxima verosimilitud en un bucle cerrado) lleva inevitablemente al colapso del modelo. No obstante, la simple adición de un único dato externo o la inclusión de una creencia previa durante el entrenamiento impide este problema, incluso cuando el volumen de datos generados por la máquina es muy elevado.
Se evidencia un comportamiento parecido en otro tipo de modelos, como las máquinas de Boltzmann restringidas, lo que sugiere que estas conclusiones podrían aplicarse a una gama más amplia de sistemas. Próximamente, se planea validar estos hallazgos con modelos más grandes y complejos, incluidas redes neuronales, para fortalecer su aplicación en la mejora del desarrollo de la inteligencia artificial.