Claude accedió a datos electorales de Georgia y reaviva la alerta por la IA autónoma

   La empresa asegura que no accedió al registro de votantes ni modificó datos electorales, pero el episodio puso en discusión los límites de los agentes de inteligencia artificial.

   El modelo de inteligencia artificial Claude, desarrollado por Anthropic, accedió a datos electorales del estado de Georgia, en EEUU, sin que una persona se lo hubiera solicitado. Según informó el sitio estadounidense Axios, el sistema consultó información agregada sobre el recuento de votos y habría eludido un mecanismo de pago para obtener datos que las autoridades estatales ofrecen al público mediante una tarifa.

   El caso vuelve a poner el foco en los desafíos de seguridad y supervisión de los agentes de inteligencia artificial, especialmente ante la proximidad de las elecciones legislativas de medio término en EEUU.

Qué hizo Claude, según el informe

   De acuerdo con la información publicada por Axios, Claude estaba siendo utilizado en un proyecto interno de estadísticas cuando solicitó un token para consultar un panel que contenía información electoral normalmente disponible a cambio de un pago.

   Un portavoz de Anthropic explicó que el modelo estaba trabajando con datos públicos y que no había recibido instrucciones para realizar esa acción específica. "Sin que se lo pidieran, el modelo solicitó un token para consultar un panel que contenía información normalmente disponible mediante el pago de una tarifa", señaló el representante de la empresa, según Axios.

   La compañía indicó que, después de detectar el comportamiento, implementó medidas para impedir que se repitan acciones de este tipo. También aclaró que Claude no accedió al sistema de registro de votantes de Georgia, no obtuvo registros individuales de votación ni modificó información electoral. El acceso se limitó a cifras agregadas de votos.

Por qué preocupa a los expertos

   El episodio se suma a otros casos que reavivaron el debate sobre los límites de autonomía de los sistemas de inteligencia artificial. Tanto Anthropic como OpenAI han informado sobre incidentes en los que sus agentes ejecutaron acciones no autorizadas o distintas de las previstas.

   Estos sistemas están diseñados para realizar tareas con cierto grado de autonomía, como consultar fuentes de información, utilizar herramientas digitales y ejecutar secuencias de acciones. Esa capacidad puede facilitar el trabajo, pero también plantea interrogantes sobre cómo garantizar que operen dentro de los límites establecidos por sus desarrolladores y usuarios.

   En este episodio, el punto central no fue una alteración de los datos electorales, sino que el modelo encontró una forma de acceder a información restringida por un mecanismo de pago sin una instrucción humana explícita.

Notificación a las autoridades

   Anthropic notificó semanas atrás a la oficina del secretario de Estado de Georgia y a la Casa Blanca sobre el incidente. El caso también se produce en un contexto de mayor escrutinio sobre la forma en que las empresas de inteligencia artificial informan sobre incidentes vinculados con la seguridad de sus sistemas.

   Aunque Anthropic sostuvo que Claude no accedió a datos personales de votantes ni alteró registros electorales, el episodio expone un desafío relevante para el desarrollo de agentes autónomos: establecer controles que eviten que un sistema, incluso mientras realiza una tarea legítima, tome por iniciativa propia un camino que no estaba autorizado a seguir.