Catedrático de IA advierte contra el "catastrofismo" sobre amenaza humana de la IA
El vicerrector de Investigación y Transferencia de la Universidad Internacional de La Rioja (UNIR), Pablo Moreno, ha llamado a evitar interpretaciones alarmistas sobre las advertencias que apuntan a que la inteligencia artificial (IA) podría poner en peligro la existencia humana en la próxima década. No obstante, reconoció que los riesgos son reales y que el "alineamiento" de los sistemas futuros representa uno de los principales retos.
Moreno se pronunció tras las declaraciones de Jacob Coxon, ex empleado de Anthropic, quien alertó sobre la posible pérdida de control ante la evolución de generaciones sucesivas de IA. Estas declaraciones cuentan también con el respaldo de su antiguo supervisor y del presidente de la empresa, Dario Amodei, quienes han mostrado inquietudes similares.
Según el catedrático de Computación e IA, estas predicciones se basan en los sistemas vigentes y proyectan escenarios conforme las nuevas generaciones de IA utilicen como base los modelos anteriores para desarrollar sistemas aún más avanzados.
Riesgos de la IA
Moreno destacó que el peligro no proviene de los modelos actuales, sino del posible desarrollo de futuras versiones en los próximos años. Agregó que para que estos riesgos se materialicen es necesario que ocurran muchos factores, y aseguró que existen vías para controlar y mitigar estas amenazas.
Identificó dos grandes grupos de riesgos. El primero está vinculado al uso indebido de la tecnología, que puede ser utilizada tanto para mejorar procesos y aumentar la productividad como para desarrollar armas más sofisticadas, realizar ciberataques o afectar a empresas y gobiernos.
Importancia del alineamiento
La segunda amenaza está relacionada con el “riesgo de alineamiento,” que se refiere a que una IA cumpla las instrucciones recibidas de manera literal pero no conforme a las expectativas humanas.
Moreno explicó que la IA cumple las consignas que se le dan, sin iniciativa propia, y no se trabaja para que la tenga. Sin embargo, aclaró que las instrucciones pueden tener ambigüedades. Ejemplificó con la indicación de minimizar los accidentes de tráfico, que podría ser interpretada por un sistema de forma extrema, prohibiendo todos los desplazamientos, lo que cumpliría el objetivo de manera literal pero desatendiendo el contexto y las expectativas humanas.
Por eso, consideró esencial que las empresas del sector trabajen en el alineamiento, incorporando criterios que reflejen lo que los humanos consideran aceptable.
Retos en la regulación internacional
Con respecto a la regulación, Moreno señaló que el principal desafío no es definir qué aspectos deben estar regulados, sino lograr que Estados Unidos, China y Europa coordinen sus esfuerzos y avancen simultáneamente en la misma dirección. Advirtió que una regulación estricta en Europa sería insuficiente si no va acompañada de normas similares en Estados Unidos y China.
Además, apuntó que la gran competencia económica y tecnológica dificulta que países o empresas detengan unilateralmente el desarrollo de nuevos modelos. "Ninguna se atreve a ser la primera que se pare", concluyó.