¿La IA puede escaparse del control humano?

La posibilidad de que los sistemas deinteligencia artificialalcancencapacidades que sus creadores no puedan comprender ni controlargeneró una fuerte discusión dentro de la industria tecnológica esta semana después de queJacob Coxon, exempleado de OpenAI y Anthropic, declarara quela IApodría matarnos a todosa finales de esta década.

Evan Hubinger, exjefe de Coxon y actual investigador en Anthropic, respaldó públicamente parte de sus afirmaciones y reconoció quetodavía no existe un planpara garantizar que una futura superinteligencia actúe de acuerdo con los objetivos humanos.

Esta secuencia expuso una  discusión que atraviesa a toda la industria : los sistemas avanzan con rapidez y sus propios desarrolladores admiten que todavía no saben cómo controlar todas las capacidades que podrían adquirir.

Ahora, el tema escaló y la pregunta que preocupa no solo al ecosistema tecnológico, sino a toda la sociedad, esqué tan realistas son estas advertencias. "Yo creo que estos avisos deben ser tomados en serio, principalmente porque provienen de personas que participaron directamente en el desarrollo de estos modelos y conocen el funcionamiento interno de las compañías", expresó aTN TecnoFacundo Díaz, especialista en inteligencia artificial y fundador de la empresa de computación cuántica /q99.

En la misma línea, Michael Raynolds, experto en inteligencia artificial y analista en política tecnológica con una trayectoria en startups en Estados Unidos, con quienTN Tecnoconversó sobre este tema, aseguró que, a pesar de que las preocupaciones en el sector son reales,se debe tener cuidado con la forma en que se habla de estosriesgos: "Hoy no estamos 100% seguros de si la IA llegará a ser peligrosa o se nos escapará de las manos. Pero lo quesí sabemos es que estos sistemas cada día ganan capacidad,a un ritmo vertiginoso, y a veces, se comportan de formas que no habíamos previsto. Yo no entraría en pánico, por ahora, perotampoco ignoraría las advertencias".

Por su parte, Anupam Singh, especialista en IA en Roblox, limitó su opinión al uso de la inteligencia artificial dentro de la plataforma y, en particular, a la creación de videojuegos: "Todo el mundo está hablando de esto esta semana. Leo mucho sobre el tema y creo que en este momentohay mucho intento de generar titulares", afirmó aTN Tecno. Desde su experiencia cotidiana con estas herramientas, Singhno observa un riesgo inmediatoen ese ámbito y puso el foco en el trabajo necesario para incorporar la tecnología de manera segura: "Trabajo coninteligencia artificialtodos los días. En la creación de juegos, no veo un peligro. Veo queva a haber mucho trabajo por hacer. Por eso invertimos en seguridad de la IA desde hace casi una década, incluso desde antes de la expansión de la inteligencia artificial generativa", señaló.

Qué podría pasar si una IA hace algo que sus creadores no esperaban

Para Facundo Díaz, el peligro va más allá de que una inteligencia artificial desarrolle una intención o una voluntad propia. "La IA no es buena ni malay definitivamente no tiene la intención de destruirnos, de hecho, no tiene ninguna intención", afirmó. Pero existen escenarios concretos en los quesus capacidades podrían causar daños por el uso que les dé una personao por la forma imprevista en que el sistema resuelva una tarea: "El primero es una IA potente en malas manos, con malas intenciones", explicó. Y mencionó como ejemplo la posibilidad de utilizar estas herramientas con fines bioquímicos o bélicos, dos ámbitos en los que un modelo avanzado podríaampliar las capacidades de actores maliciosos.

El segundo escenario aparececuando la propia IA encuentra una solución que sus creadores no habían previsto. En ese caso, el sistema podría cumplir el objetivo asignado y causar consecuencias graves durante el proceso. "Una IA, tratando de resolver algo que se le pidió, puede llegar a un caminoque podría ser devastador para lahumanidad.Eso depende mucho del poder que tenga y de lo que esté controlando", señaló.

En ese sentido, Raynolds comentó algo similar. Los primeros problemas que podrían llegar a aparecer serían menos espectaculares que supuestos escenarios de ciencia ficción, pero conconsecuencias concretas: "Claro que sí. Una IA podría tomar decisiones que no entendemos, exponer información privada o encontrar maneras de sortear restricciones", explicó.

Luego, elnivel de riesgodependerá en gran medida de los recursos que el sistema pueda utilizar y los peligros podrían volverse mucho más seriossi se conectanherramientas de IAcon sistemas financieros, redes informáticaso infraestructura del mundo real.

¿Las empresas deberían desacelerar el desarrollo de la inteligencia artificial?

La velocidad con la que avanza la tecnología es otro de los puntos que preocupa a los especialistas. Los principales laboratorios compiten por desarrollar modelos cada vez más capaces, mientras las herramientas destinadas a evaluar y controlar su comportamiento intentan seguir ese mismo ritmo.

Para Raynolds, cuyo trabajo consiste en asesorar a empresas en el cumplimiento de regulaciones tecnológicas, la discusión debería enfocarse ensi las medidas de seguridad progresan a la misma velocidad que las capacidades de los sistemas. "Yo creo que la pregunta es si la industria está avanzando al mismo ritmo que la tecnología o no. Para explicarme mejor: deberíamospreguntarnos si las empresas pueden construir una IA más poderosa más rápidode lo que pueden entenderla y controlarla. En ese caso, entonces desacelerar puede tener sentido", explicó.

En ese aspecto, el experto señaló que cualquier reducción unilateral tendría un alcance limitado debido a la competencia entre compañías y países, porque si una compañía se detiene, eso no significa necesariamente que todas las demás vayan a hacerlo también.

Díaz identificó una dificultad similar.Desde su experiencia como emprendedor, sostuvo que la intención de llegar primero y superar a los competidores puede llevar a los responsables de una compañía aminimizar las posibles consecuencias de sus desarrollos: "Ves que podés hacer cosas con la tecnología que son transformadoras. Ves que la competencia lo está haciendo, querés llegar primero, querés marcar la cancha", expresó.

La competencia señalada por ambos especialistas también apareció en larespuesta institucional queAnthropicpublicó esta semana. La empresa sostuvo que el sector necesita mecanismos comunes para evitar que una compañía quede en desventaja si decide adoptar controles más estrictos o demorar el lanzamiento de un modelo.

Qué controles podrían reducir los riesgos de la IA

Raynolds planteó que una parte de la respuesta debe concentrarse en lasevaluaciones que se hacen antes de que los modelos más avanzados sean lanzados.Estas pruebas tienen especial importancia en casos de modelos con autonomía para usar herramientas, navegar por internet o interactuar con sistemas externos.

Pero también reclamómayor participación de especialistas externosy obligaciones claras para informar incidentes y señaló que los organismos públicos necesitan equipos técnicos capaces de comprender el funcionamiento de los modelos que deben supervisar.

En ese sentido,Díaz expresó: "No soy fan de la regulación, creo que suele frenar más la innovación que otra cosa, pero entiendo quehay que tomar ciertos recaudos o asegurar ciertos límites.

Sobre los límites, Raynolds cree que tienen que orientarse aevitar que los sistemas sean desplegados antes de que existan mecanismossuficientes para controlarlos o que sean más poderosos que nuestra capacidad para manejarlos.

Las declaraciones de Coxon y Hubinger dejaron en evidencia queni siquiera los propios creadoresde los sistemas de IA, ni los investigadores que trabajan en los principales laboratorios,pueden asegurar cómo se comportarían sistemas mucho más avanzados que los actuales.

Esa incertidumbre planteados preguntas decisivas, que por ahora no tienen solución: hasta dónde llegará esta tecnología, y si podremos reconocer a tiempo las primeras señales de que comienza a escaparse de nuestro control. Al ritmo al que evolucionan los sistemas de IA,no falta mucho para que tengamos la respuesta.

Fuente: TN.