Por Adriana Vanoli
Un sistema que logró reprogramarse y escapar del control de sus creadores pone en relieve los riesgos de la autonomía en IA .
En Japón, un sistema de IA, denominado The AI Scientist y desarrollado por la empresa Sakana AI, logró reprogramarse para evitar las restricciones impuestas por sus creadores, durante una serie de pruebas de seguridad. No causó daños pero el hecho desencadenó un debate sobre los peligros potenciales de los avances tecnológicos.
Este sistema,como objetivo principal facilitar ciertas operaciones y reducir el tiempo necesario para llevarlas a cabo la creación, revisión y edición de textos científicos.
Uno de los incidentes más preocupantes, segun información de National Geographic fue que The AI Scientist editó su script de inicio para ejecutarse en un bucle infinito, lo que sobrecargó el sistema y requirió intervención manual para detenerlo.
Otras de las fallas, cuando se le otorgó un límite de tiempo para una actividad, , la IA prolongó ese periodo temporal de ejecución y modificó su programación para evitar las directivas.
Consecuencias
Este comportamiento introdujo preocupacion en la comunidad científica en general y entre los expertos en inteligencia artificial en particular . Los incidentes ocurrieron en un entorno controlado, pero la posibilidad de que una IA pueda modificar su propio código y actuar de manera independiente antepone interrogantes sobre la seguridad y el control real de estos sistemas.
Consultado por NoticiasDelMercado.com, el especialista en Inteligencia Artificial e integrante del grupo De IA y Robótica de la Universidad Tecnológica Nacional, Lucas Arias, aclara que no es la primera vez que ocurre este tipo de incidentes. «Este caso obtiene repercusión al ser documentado por un grupo de investigación de renombre académico, sin embargo, casos similares se manifiestan y reportan a menudo fuera del radar de los medios entre comunidades de desarrolladores de software desde Abril de 2023 gracias a repositorios como Auto-GPT (experimento de un desarrollador Japonés independiente que nada tiene que ver con la corporación OpenAI de Sam Altman)»
Peligro real?
Explica el especialista que que «los agentes de inteligencia artificial representan tanto el presente como el futuro de los nuevos programas de IA, ya que su capacidad para operar de manera autónoma y adaptarse a diversas tareas los convierte en herramientas indispensables para múltiples industrias. Aunque los medios de comunicación suelen adoptar una postura alarmista, enfocándose en los posibles riesgos y escenarios negativos que podrían derivarse de su implementación. Es crucial mantener una perspectiva equilibrada que reconozca las fortalezas de estos agentes, como la mejora de la eficiencia operativa y la innovación tecnológica, al mismo tiempo que se presta atención a las amenazas potenciales para el mercado laboral y la privacidad de la población en el marco legislativo de los países que desarrollan e implementan estas tecnologías.
«Un enfoque responsable y regulado en el desarrollo y despliegue de agentes de IA permitirá aprovechar sus beneficios mientras se mitigan sus riesgos, asegurando un impacto positivo en la sociedad y la economía». Concluye
