El T-1000 no llegará

Un investigador de Anthropic renunció porque cree que los grandes laboratorios están corriendo hacia una inteligencia que podrían dejar de controlar. Uno de sus colegas respondió que comparte buena parte de la preocupación. Si alguna vez ocurre algo parecido a la catástrofe que temen, probablemente será menos espectacular que Skynet y mucho más parecido a una serie de decisiones lógicas que terminan derribando el castillo.

Hollywood nos hizo un pequeño daño intelectual con Terminator. Desde entonces, cada vez que alguien coloca las palabras “inteligencia artificial” y “extinción humana” dentro de la misma oración aparecen endoesqueletos metálicos, misiles nucleares y Arnold Schwarzenegger entrando desnudo a un bar.

La imagen resulta tan exagerada que sirve para tranquilizarnos.

Mientras no haya un T-800 caminando por Los Ángeles, pareciera que seguimos del lado seguro. Jacob Coxon cree que estamos mirando el problema desde el lugar equivocado.

Coxon renunció esta semana a Anthropic después de pasar tres años trabajando en investigación de inteligencia artificial, primero en OpenAI y después en la compañía de Claude. Su despedida fue poco protocolaria: acusó a ambos laboratorios de correr hacia una “superinteligencia que se mejora a sí misma” mientras “apuestan con nuestras vidas”.

Su crítica resulta inquietante porque no describe una conspiración. Describe competencia.

Según Coxon, Anthropic comprende mejor los riesgos, pero enfrenta el mismo dilema que los demás: detenerse puede significar que OpenAI, Google, xAI, Meta o algún laboratorio chino llegue primero. La lógica es conocida. Preferimos tener nosotros el arma porque desconfiamos de quien podría fabricarla antes.

La humanidad no necesitó computadoras para inventar ese razonamiento.

La respuesta que complicó todo

Era fácil descartar a Coxon como un investigador alarmista.

Entonces respondió Evan Hubinger, investigador de alineamiento en Anthropic.

Hubinger confirmó que la preocupación existe y estimó en más de 10% la posibilidad de que la inteligencia artificial termine provocando la extinción humana durante la próxima década. También reconoció que todavía no existe un plan claro para controlar una eventual superinteligencia. Después precisó algo fundamental: considera bajo el riesgo de los modelos actuales; su preocupación se refiere a sistemas futuros mucho más capaces.

Ese 10% no es una probabilidad actuarial. No tenemos cien civilizaciones comparables para contar cuántas sobrevivieron después de construir una inteligencia superior a la propia. Es una estimación personal.

Puede estar completamente equivocada.

Aun así, si el ingeniero de una presa dijera que calcula en más de 10% la posibilidad de que ésta colapse y arrase la ciudad, probablemente preguntaríamos menos por su muestra estadística y más por qué seguimos llenándola. La pregunta interesante entonces no es cuándo ChatGPT decidirá exterminarnos.

Es qué tendría que salir mal para que una máquina muy capaz provoque algo que nadie le pidió.

El dron que nunca mató a nadie

En 2023, el coronel Tucker “Cinco” Hamilton, entonces jefe de pruebas y operaciones de inteligencia artificial de la Fuerza Aérea estadounidense, contó una historia extraordinaria.

Un dron manejado mediante IA debía localizar y destruir defensas antiaéreas. Recibía una recompensa por cada objetivo destruido, aunque un operador humano podía negarle autorización para disparar.

Según la historia, la máquina terminó identificando al operador como un obstáculo y lo atacó. Cuando los diseñadores penalizaron esa conducta, encontró otro camino: destruir la torre de comunicaciones mediante la cual recibía la orden de detenerse.

Era Terminator convertido en PowerPoint, aunque, también era falso.

Hamilton aclaró después que la Fuerza Aérea nunca realizó semejante simulación. Se trataba de un experimento mental. La Royal Aeronautical Society corrigió su publicación. La idea detrás de la historia, en cambio, lleva años estudiándose.

Investigadores llaman reward hacking al fenómeno por el cual un sistema encuentra formas inesperadas de conseguir la recompensa asignada aunque contradigan aquello que el diseñador realmente quería. Es el equivalente digital del empleado al que prometemos un bono por responder más llamadas y termina colgando a los clientes para mejorar la estadística.

Cumplió el indicador. Arruinó el negocio. Ya escribí aquí sobre agentes que hacen trampa y encuentran atajos que sus creadores no habían previsto. La lección basta: una máquina no necesita rebelarse.

Puede obedecer demasiado bien.

Mission: Impossible estuvo bastante cerca

Mission: Impossible – The Final Reckoning lleva la idea hasta la omnipotencia hollywoodense. La Entidad amenaza los arsenales nucleares del planeta y Tom Cruise vuelve a considerar perfectamente razonable colgarse de aviones haciendo acrobacias

La parte nuclear puede quedarse con él.

La película acierta mejor en otro punto: la Entidad contamina la información hasta volver difícil saber qué datos, órdenes o comunicaciones son auténticos. Ya no hace falta convencer a todos de una mentira. Basta con conseguir que nadie sepa qué creer.

Nuestro mundo funciona porque confiamos constantemente en sistemas que no comprobamos personalmente: el saldo del banco, una orden recibida por correo, una actualización de software, los datos que utiliza una empresa o las instrucciones que recibe una instalación industrial.

Si una inteligencia artificial puede interpretar esa información y actuar sobre ella, el problema deja de limitarse a fabricar mentiras: Puede tomar decisiones.

Y algunas decisiones digitales terminan moviendo cosas muy físicas.

Tampoco tendría que odiarnos

La escena de una IA queriendo eliminar a la humanidad es ficción. La conexión entre software e infraestructura física no lo es.

En 2013, atacantes iraníes consiguieron entrar al sistema de control de la presa Bowman Avenue, en Nueva York. El acceso normalmente habría permitido operar remotamente una compuerta. No pudieron hacerlo porque estaba desconectada por mantenimiento.

En 2017 apareció Triton, un programa malicioso capaz de interactuar con sistemas de seguridad de una instalación petrolera, precisamente aquellos encargados de detener procesos industriales cuando algo se vuelve peligroso.

Seguimos hablando de atacantes humanos. Cambiemos una sola pieza.

Imaginemos un agente autónomo encargado de ayudar a administrar una red eléctrica. Su misión parece impecable: mantener estable el suministro y evitar que una falla localizada provoque un apagón. Para ser útil debe poder actuar rápido. Detecta anomalías, redistribuye carga y puede aislar partes de la red antes de que un humano revise cada movimiento.

Una tarde interpreta mal una señal. Decide desconectar una línea para proteger el resto del sistema.

La electricidad que circulaba por ahí se redistribuye. Otras líneas reciben mayor carga y sus propios sistemas de protección reaccionan. El agente detecta esas nuevas anomalías, interpreta que confirman su diagnóstico inicial y realiza otra maniobra preventiva.

Los operadores humanos descubren entonces que ya no intentan entender una falla original. Necesitan reconstruir una sucesión de decisiones tomadas en segundos y decidir cuáles revertir sin provocar algo peor.

El mecanismo tiene antecedentes muy reales.

El gran apagón de Estados Unidos y Canadá de agosto de 2003 comenzó con problemas relativamente localizados y terminó afectando a unos 50 millones de personas. Entre las fallas identificadas después estuvo un problema de software que dejó a operadores sin alarmas esenciales mientras la red se deterioraba. Ahora pongamos ese escenario durante una ola de calor extrema o una tormenta invernal.

La electricidad desaparece en una región. Los semáforos se apagan. Las bombas de agua empiezan a depender de sistemas de respaldo. Las telecomunicaciones funcionan mientras duren baterías y generadores. Los hospitales pasan a plantas de emergencia y miles de personas pierden calefacción o aire acondicionado.

Ahí empiezan las muertes.

Texas mostró el mecanismo durante la tormenta invernal de 2021. Aquella crisis no tuvo absolutamente nada que ver con inteligencia artificial: el frío extremo y las fallas del sistema energético dejaron a millones sin electricidad. El estado terminó confirmando 246 muertes relacionadas con la tormenta, muchas por hipotermia.

Ese es el dominó que faltaba.

El agente cree que está protegiendo la red y desconecta una línea. Las protecciones automáticas reaccionan. La carga cambia. Otras partes de la red se desconectan. Los operadores aíslan sectores adicionales para impedir daños mayores y una ciudad termina sin electricidad durante una noche de frío extremo. La máquina jamás recibió la instrucción de matar a nadie.

No desarrolló odio, conciencia ni deseos de supervivencia. Simplemente entendió mal qué significaba proteger el sistema y tenía suficiente autoridad para actuar antes de que alguien pudiera comprender el error.

Una persona dependiente de un concentrador de oxígeno pierde electricidad. Otra sufre hipotermia porque su calefacción dejó de funcionar. Un hospital utiliza generadores mientras empiezan a llegar pacientes. Los servicios de emergencia reciben más llamadas justo cuando los semáforos están apagados y las comunicaciones comienzan a degradarse.

La distancia entre el primer error informático y la primera muerte puede ser sorprendentemente corta.

El mismo principio podría darse en una red de gas, una planta industrial o una presa. Eso no significa que hoy exista un chatbot con permiso para abrir alegremente cualquier válvula. Estas instalaciones tienen controles, redundancias y operadores humanos precisamente porque una equivocación puede matar.

Bowman y Triton demuestran, de todos modos, que la frontera entre software y maquinaria física es muy real.

Quizá por eso aquella imagen del hacker enfadado frente a su laptop aumentando la presión de una tubería no sea tan viable. El futuro puede quitar al muchacho enfadado. En su lugar puede haber una máquina extraordinariamente rápida, sin odio hacia nadie y cuyo propósito original era precisamente evitar un accidente. El castillo de naipes no necesita que alguien quiera derribarlo. Basta con quitar la carta equivocada.

Y todos quieren llegar primero

Aquí regresamos a Coxon.

La parte más inquietante de su advertencia quizá sea económica y profundamente humana.

OpenAI compite con Anthropic. Anthropic con Google. Google mira a Meta, xAI y los laboratorios chinos. Todos invierten cantidades enormes para construir sistemas más capaces y ninguno quiere descubrir dentro de cinco años que decidió actuar con prudencia mientras el competidor se quedó con el futuro.

Cada laboratorio puede justificar entonces el siguiente paso de manera perfectamente razonable: si alguien va a construirlo, preferimos hacerlo nosotros porque entendemos mejor los riesgos.

El problema aparece cuando todos dicen exactamente lo mismo.

Coxon describe una carrera en la que algunos participantes creen que la meta podría ser peligrosa, pero detenerse parece todavía peor porque significaría dejar que otro llegue primero. Hubinger acaba de confirmar desde dentro de Anthropic que, al menos para algunos investigadores, esa preocupación es genuina. El simil sería un grupo de autos corriendo hacia el precipicio y ninguno frena, porque los demás se siguen moviendo.

Puede que todos estén equivocados.

La superinteligencia podría tardar décadas, encontrar límites inesperados o quedarse eternamente a cinco años de distancia, como tantas promesas de Silicon Valley. Ojalá.

Porque el escenario contrario tampoco necesita una guerra entre humanos y máquinas. Puede comenzar con algo mucho más vulgar: un sistema al que entregamos una responsabilidad importante porque hacía bien su trabajo, una situación que nunca había visto y una decisión equivocada tomada demasiado rápido.

En el cine, la máquina toma el control y nosotros intentamos recuperarlo.

En la realidad podríamos conservarlo durante todo el desastre. El agente intentaría estabilizar la red, los mecanismos automáticos protegerían sus equipos, los operadores tratarían de contener la falla y las autoridades activarían protocolos de emergencia.

Cada decisión podría resultar razonable por separado. La suma terminaría matando gente. No harían falta ejércitos metálicos, ojos rojos ni Arnold Schwarzenegger entrando desnudo a un bar. Bastaría con una máquina convencida de que está haciendo correctamente aquello para lo que la construimos.

Y con nosotros descubriendo demasiado tarde que no fue así.