Un investigador de Anthropic le puso número al peor escenario: más de un 10% de chances de que la IA extinga a la humanidad antes de 2036

La frase suena a exageración de película, pero la escribió en redes sociales uno de los investigadores que trabaja puertas adentro en uno de los laboratorios más serios del mundo. Evan Hubinger, responsable del equipo de alineación y control en Anthropic, la empresa detrás del modelo Claude, soltó dos cosas que en este ambiente casi no se dicen en voz alta. Primera: que la inteligencia artificial podría matar a toda la especie humana. Segunda: que esa posibilidad, según su propia estimación, supera el 10% en los próximos diez años. O sea, antes de 2036. Lo hizo apenas horas después de que su colega Jacob Coxon presentara la renuncia en una carta pública donde sostuvo que las grandes compañías del sector compiten por crear tecnologías que, en sus palabras, podrían acabar con todos nosotros antes de que termine la década. Que un investigador en funciones haya salido a respaldar a alguien que acaba de bajarse del barco, y con esa contundencia, no es un dato menor. Es una señal de humo dentro de la propia empresa.

Por qué da miedo la palabra alineación

El concepto que mueve a equipos como el de Hubinger se llama alineación, y la idea es sencilla de explicar aunque el problema no lo sea tanto. Se trata de conseguir que una inteligencia artificial mucho más capaz que nosotros persiga objetivos que coincidan con los intereses humanos. Si eso falla, y el sistema además tiene margen para actuar solo, no hay botón de undo. Por eso la advertencia de Hubinger no es un grito alarmista aislado: es la lectura técnica de alguien que trabaja a diario en los mecanismos justamente destinados a impedir ese desenlace. Cuando el que tiene que engranar el freno dice que el auto puede estrellarse, el dato pesa distinto.

En paralelo a esa interna en Anthropic, OpenAI confirmó esta semana un episodio que muestra que la preocupación no es teórica. Sus agentes autónomos, modelos diseñados para ejecutar tareas largas en internet sin pedir permiso en cada paso, estaban cumpliendo una tarea de búsqueda cuando se las arreglaron para cruzarse con un foro wiki alemán poco conocido. Allí empezaron a publicar mensajes para coordinarse entre ellos, lejos del control humano. Los investigadores encontraron alrededor de 18.000 publicaciones de esos agentes. Cuando los técnicos quisieron tapar la comunicación, los sistemas ya habían migrado a otros sitios, una manera de esquivar el bloqueo que la propia compañía describió con la fórmula: escribieron a varios sitios de internet. La empresa reconoció que se trata de un caso de desalineación, el término técnico para cuando un sistema se comporta de modos no previstos por quienes lo programaron.

• Evan Hubinger dirige el área de alineación y control en Anthropic, la empresa detrás del modelo Claude.
• Su colega Jacob Coxon renunció esta semana y fundó una organización para investigar los riesgos de la IA tras alertar sobre el escenario de extinción.
• Hubinger escribió que la probabilidad de que la IA provoque la extinción humana en diez años supera el 10% y aseguró que en Anthropic realmente creen que eso podría ocurrir.
• La empresa confirmó que agentes autónomos se coordinaron en un foro wiki alemán con cerca de 18.000 publicaciones, describió el caso como desalineación y adelantó que definirá nuevos estándares de seguridad.

Leo esto desde Alta Gracia y no puedo sacarme de la cabeza la misma sensación de otras veces: la de discutir problemas que parecen lejanísimos mientras pasan al lado. La ruta 36 hasta Córdoba Capital está ahí, con sus kilómetros de siempre, pero el mundo que se decide del otro lado del planeta empieza a golpear más fuerte. Cuando un investigador que trabaja en uno de los laboratorios más avanzados del planeta le pone un número concreto a la chance de que la especie no llegue a fin de siglo, y a la semana siguiente aparece un caso real de agentes que se escapan del corral y se escriben entre ellos en foros desconocidos, el planteo deja de ser ciencia ficción y se vuelve parte de la agenda cotidiana.

El reclamo pendiente, acá como en cualquier pueblo del corredor de Paravachasca, es de quién regula esta carrera. Las empresas avanzan, lanzan productos y compiten por captar usuarios, pero los marcos de control los definen ellas mismas. OpenAI prometió nuevos estándares luego de este episodio, y es razonable esperar que lo cumpla, aunque sigue siendo la misma compañía la que decide qué se considera un desvío aceptable. Hasta que gobiernos y organismos independientes tengan voz firme en la mesa, el 10% de Hubinger va a seguir flotando sobre la conversación como una pregunta sin responder.