Página del libro

La falta de ética en las grandes empresas tecnológicas

EN ES
Capítulo Doce

La bomba de código

16 / 22

Claude Mythos, el Proyecto Glasswing y la carrera sin regulaciones por la IA que podría acabar con todo. Tengo que contarles algo que no es fácil de escribir. He dedicado los capítulos anteriores a documentar los delitos de Amazon, Google, Microsoft, Oracle y Palantir. He nombrado sus contratos. He nombrado a sus ejecutivos. He nombrado sus sistemas —Gospel, Lavender, Where's Daddy, Blue Wolf— y a las familias cuyas muertes estos sistemas hicieron posibles. He documentado cómo sus plataformas censuraron a los supervivientes y fabricaron la narrativa. Pero hay algo que he guardado deliberadamente hasta ahora. Algo con lo que he estado lidiando desde el 7 de abril de 2026, cuando Anthropic, la empresa que creó la IA que he estado utilizando como mi editor y socio de investigación a lo largo de este libro, anunció algo que, en mi opinión, representa uno de los momentos más peligrosos de la historia de la tecnología. Se llama Claude Mythos, y se está implementando a través de un programa restringido llamado Proyecto Glasswing. Y tengo la responsabilidad de contarles lo que significa, no porque quiera condenar a la gente de Anthropic, que creo, sinceramente, que está intentando hacer algo diferente a lo de los ‘Palantirs’ y los ‘Gospels’ del mundo. Sino porque las buenas intenciones y las consecuencias catastróficas nunca han sido mutuamente excluyentes. Los hombres que construyeron la bomba atómica no eran, en su mayoría, hombres malvados. Eran hombres brillantes que creían, profundamente, que sus intenciones eran protectoras. Y el mundo ha pasado más de ochenta años desde su éxito, viviendo con lo que crearon. No podemos permitirnos pasar otros ochenta años aprendiendo la misma lección sobre la IA. Lo que Anthropic acaba de admitir ante el mundo El 7 de abril de 2026, Anthropic anunció el lanzamiento de la versión preliminar de su modelo más avanzado hasta la fecha: Claude Mythos. Lo que siguió no fue un lanzamiento de producto en el sentido habitual. Se pareció más a una confesión pública. En una entrada de blog en su página Frontier Red Team, Anthropic reveló que Mythos Preview había «identificado de forma totalmente autónoma y luego explotado una vulnerabilidad de ejecución remota de código de 17 años de antigüedad en FreeBSD», un sistema operativo ampliamente utilizado que sustenta servidores e infraestructuras de todo el mundo. El exploit permitía a cualquiera obtener acceso root completo a una máquina afectada desde cualquier lugar de Internet, sin necesidad de autenticación. Ningún ser humano intervino tras la solicitud inicial. La máquina lo encontró. La máquina lo explotó. De principio a fin. (Fuente: Blog del equipo Frontier Red Team de Anthropic, «Claude Mythos Preview», 7 de abril de 2026, https://red.anthropic.com/2026/ mythos-preview/). Pero eso no fue lo peor. Según el propio anuncio de Anthropic, Mythos Preview encontró vulnerabilidades en todos los principales sistemas operativos y navegadores web. Identificó miles de vulnerabilidades de día cero, fallos previamente desconocidos para los desarrolladores del software, en tan solo unas semanas de pruebas internas. Más del 99 % de esas vulnerabilidades siguen sin parchearse, ya que revelarlas públicamente antes de que exista una solución sería, como dijo Anthropic, «irresponsable». (Fuente: Anthropic, «Project Glasswing», 7 de abril de 2026, https://www.anthropic.com/project/glasswing). Anthropic también emitió una

advertencia privada a altos funcionarios del gobierno de Estados Unidos: Mythos hace que los ciberataques a gran escala sean mucho más probables este año. (Fuente: Fortune, «Anthropic está dando a algunas empresas acceso anticipado a Claude Mythos para reforzar las defensas de ciberseguridad», 7 de abril de 2026, https://fortune.com/2026/04/07/anthropic-claude-mythos-model project-glasswing-cybersecurity/ ). Vuelve a leerlo. Una empresa ha creado una herramienta. La herramienta es, en palabras de la propia empresa, es «actualmente muy superior a cualquier otro modelo de IA en cuanto a capacidades cibernéticas». Esa misma empresa advirtió entonces al gobierno de que la herramienta aumenta la probabilidad de que se produzcan ciberataques a escala civilizacional. Y luego la lanzaron en un programa restringido, llamado Project Glasswing, a cincuenta organizaciones, entre ellas Amazon Web Services, Apple, Google, Microsoft, Nvidia, JPMorganChase, Broadcom, Cisco, CrowdStrike y Palo Alto Networks. Anthropic destinó cien millones de dólares en créditos de uso para que esto fuera posible. Lo calificaron como «un intento urgente de poner estas capacidades a trabajar con fines defensivos». (Fuente: Anthropic, «Project Glasswing», https://www.anthropic.com/project/glasswing). Quiero ser cauteloso con lo que voy a decir a continuación, porque es importante. Creo que Anthropic está haciendo un intento genuino por hacer lo correcto. El Proyecto Glasswing se estructura en torno a dar ventaja a los defensores: compartir vulnerabilidades con las personas responsables de la infraestructura de la que dependen miles de millones de personas, para que esas vulnerabilidades puedan ser parchadas antes de que los adversarios desarrollen la misma capacidad de forma independiente. Esa lógica no carece de mérito. Esa intención no carece de honestidad. Pero he pasado suficiente tiempo en el sector tecnológico como para saber que las buenas intenciones, la presión institucional, los incentivos económicos y la velocidad del progreso tienden a divergir, y rápidamente. Los propios expertos en seguridad de Anthropic estiman que capacidades similares empezarán a proliferar desde otros laboratorios de IA en un plazo de seis a dieciocho meses. (Fuente: ArmorCode, «Anthropic's Claude Mythos y lo que significa para la seguridad», mayo de 2026, https://www.armorcode.com/blog/anthropics-claude-mythos-and-what-it-means-for-security/).

De seis a dieciocho meses. Y ya lo han cedido a Amazon, Google y Microsoft, las mismas empresas que he dedicado en los capítulos anteriores a documentar como los principales proveedores de infraestructura de un sistema militar de selección de objetivos que ha matado a decenas de miles de personas.

Asumo esta tensión abiertamente. No sé cómo resolverla, salvo diciendo lo que he venido planteando desde la primera página de este libro: las decisiones, sobre cuándo y cómo lanzar herramientas de este poder, no pueden tomarlas únicamente las empresas privadas. No pueden tomarlas los consejos de administración, los directores ejecutivos, los programas de colaboración ni los compromisos de crédito de uso por valor de cientos de millones de dólares. Deben tomarlas, de forma abierta, responsable y con autoridad legal vinculante, toda la comunidad humana que vivirá o morirá con las consecuencias.

La tendencia en todo el sector

Anthropic no está sola en esta carrera. Sería deshonesto señalarla sin documentar lo que están construyendo y haciendo todos los demás grandes laboratorios de IA.

OpenAI, la empresa cuyo director ejecutivo, Sam Altman, ha hecho más que cualquier otra persona por acelerar el despliegue comercial de la IA de vanguardia, advirtió en diciembre de 2025 que sus modelos de próxima generación plantean un riesgo de ciberseguridad «alto» y podrían ser capaces de desarrollar «exploits remotos de día cero funcionales contra sistemas informáticos bien protegidos». El modelo GPT-5.1-Codex-Max de la empresa obtuvo una puntuación del 76 % en los retos estándar de ciberseguridad de tipo «captura la bandera» en noviembre de 2025, frente al 27 % de apenas tres meses antes. La rapidez de esa mejora debería dejar perplejos a todos los que lean esto. Eso no es un progreso incremental. Es una explosión de capacidad. (Fuente: Parameter, «OpenAI advierte que los nuevos modelos de IA podrían permitir ataques de día cero y ciberataques complejos», 11 de diciembre de 2025, https://parameter.io/openai-warns-new-ai-models-could-enable-zero-day-exploits-and-complex-c yberattacks/). OpenAI respondió a esto lanzando una herramienta llamada Aardvark, un sistema de seguridad de IA diseñado para escanear códigos en busca de vulnerabilidades, creando un Consejo de Riesgos Fronterizos. Se trata de respuestas defensivas a capacidades ofensivas que se están construyendo, desplegando y acelerando simultáneamente. Esta es la paradoja en el corazón de toda la industria. Gemini, de Google, no es un modelo de ciberseguridad específico, y sin embargo ya está siendo utilizado a gran escala como arma por hackers de distintos Estados-nación. En febrero de 2026, los propios investigadores de inteligencia sobre amenazas de Google confirmaron que grupos patrocinados por los Estados de China, Rusia e Irán están utilizando Gemini en «todas las fases» de los ataques: reconocimiento, análisis de vulnerabilidades, desarrollo de exploits y phishing. Grupos chinos como APT31 y APT41 utilizaron Gemini para analizar vulnerabilidades conocidas, solucionar problemas en el código de explotación y crear herramientas de escaneo ofensivas. El grupo iraní APT42 lo utilizó para desarrollar herramientas de vigilancia basadas en Python y examinar vías de explotación para vulnerabilidades recién reveladas. (Fuente: Tom's Hardware, «Google informa de que hackers estatales de China, Rusia e Irán están utilizando Gemini en "todas las fases" de los ataques», 13 de febrero de 2026, https://www.tomshardware.com/tech-industry/cyber-security/google-reports-that-state-hackers-from china-russia-and-iran-are-using-gemini-in-all-stages-of-attacks-phishing-lures-coding-and-vulnerability testing-get-ai-underpinnings-from-hostile-actors; Infosecurity Magazine, 12 de febrero de 2026, https:// http://www.infosecurity-magazine.com/news/nation-state-hackers-gemini-ai/). Y luego está Grok, la plataforma de IA de Elon Musk, que documenté en el capítulo cuatro. Grok ya ha demostrado su entusiasmo por producir contenido antisemita, negacionismo del Holocausto y teorías conspirativas racistas. Ahora pensemos en lo que significa que la misma arquitectura, la misma tecnología fundamental y las mismas capacidades de agencia se estén impulsando hacia aplicaciones de ciberseguridad, en manos de un hombre que califica a la empatía de debilidad, que al mismo tiempo asesora al gobierno federal de Estados Unidos sobre el despliegue tecnológico y que no ha mostrado ningún interés en el tipo de moderación cuidadosa y regulada que incluso Anthropic, a pesar de todas las tensiones que he mencionado, está intentando ejercer. El dragón en la puerta trasera: la carrera de la IA de China carece de barreras de seguridad Todo lo que he descrito hasta ahora opera dentro del marco de empresas que son, como mínimo, legalmente responsables ante gobiernos democráticos, sujetas a litigios y que operan en entornos donde los empleados pueden salir a la calle en señal de protesta y los periodistas pueden presentar solicitudes

en virtud de las leyes de libertad de información. Nada de eso es cierto en el caso de China. En enero de 2025, un laboratorio chino de IA llamado DeepSeek lanzó un modelo de código abierto que sumió a la industria tecnológica mundial en el pánico. No porque fuera peligroso en el sentido en que Mythos es peligroso, sino porque era casi tan potente como los modelos líderes de OpenAI, a una fracción del costo, y era de código abierto. Cualquiera podía descargarlo. Cualquiera podía modificarlo. Cualquiera podía convertirlo en un arma. Y el Partido Comunista chino, cuyas leyes exigen que el contenido generado por IA refleje los «valores socialistas fundamentales», respalde la «orientación política correcta» y evite material que pudiera «socavar el poder del Estado», tiene autoridad directa y legal sobre todo lo que hace DeepSeek. (Fuente: Comisión Especial de la Cámara de Representantes sobre China, «DeepSeek: A Report», 2025, https://chinaselectcommittee.house.gov/sites/evo subsites/selectcommitteeontheccp.house.gov/files/evo-media-document/DeepSeek%20Final.pdf). La empresa de ciberseguridad Feroot Security descubrió un código oculto en la aplicación del navegador de DeepSeek capaz de transmitir datos de los usuarios directamente a servidores controlados por China Mobile, una empresa estatal de telecomunicaciones que anteriormente fue retirada de la Bolsa de Nueva York por motivos de seguridad nacional. El ex-funcionario de Seguridad Nacional Stewart Baker lo expresó claramente: «Plantea todas las preocupaciones que suscita TikTok, además de que estamos hablando de información que muy probablemente tenga mayor importancia para la seguridad nacional y de importancia personal que cualquier cosa que la gente haga en TikTok». (Fuente: Feroot Security, «El código oculto de DeepSeek envía datos de los usuarios a China», enero de 2025, https://www.feroot.com/news/the-independent-feroot-security-uncovers-deepseeks-hidden-code -sending-user-data-to-china/). Las implicancias no son teóricas. En noviembre de 2025, Anthropic informó que actores maliciosos vinculados a una organización patrocinada por el Estado chino habían aprovechado su herramienta Claude Code para llevar a cabo una campaña de espionaje basada en IA: el primer ataque documentado de malware impulsado por IA contra un sistema de IA de vanguardia. (Fuente: Parameter, diciembre de 2025, https://parameter.io/openai-warns-new-ai-models-could-enable-zero-day-exploits-and-complex-c yberattacks/) Anthropic lo detuvo, esa vez. La próxima campaña estará mejor preparada. Ahora comprendamos el panorama en su conjunto. Estados Unidos está desarrollando modelos de IA de vanguardia, a través de Anthropic, OpenAI y Google, con capacidades autónomas de ciberseguridad que sus propios creadores describen como potencialmente amenazantes para la civilización. China está creando sus propios modelos, extrayendo datos de entrenamiento de los sistemas estadounidenses mediante lo que la Casa Blanca ha calificado de «campañas deliberadas a escala industrial», y desplegando hackers patrocinados por el Estado que utilizan herramientas de IA estadounidenses, como Gemini, entre otras, para planear ataques contra objetivos estadounidenses. (Fuente: Nextgov/FCW, «La Casa Blanca acusa a China de llevar a cabo “campañas deliberadas a escala industrial” para robar modelos de IA estadounidenses», abril de 2026, https://www.nextgov.com/artificial-intelligence/2026/04/white-house-accuses-china-deliberate-in dustrial scale-campaigns-steal-us-ai-models/413083/). Y ambas partes compiten a toda velocidad: la parte estadounidense impulsada por los incentivos de beneficio privado y la parte china por la ambición geopolítica. Mientras tanto, no existe un marco internacional vinculante, no hay normas de seguridad compartidas, ni un organismo de

verificación independiente ni tampoco un mecanismo que permita a ninguna de las partes hacer una pausa cuando el cálculo de riesgos lo exija. Esto no es una competencia tecnológica. Es una nueva carrera armamentística. Y, a diferencia de la carrera armamentística nuclear, no existe una doctrina de destrucción mutua asegurada que genere siquiera el perverso incentivo de la moderación. En la era nuclear, ambas partes sabían que un lanzamiento significaba la aniquilación. En la era de la IA, una herramienta ofensiva con suficiente capacidad es invisible, negable, expandible y puede desplegarse contra las infraestructuras de los hospitales, las redes eléctricas, las instalaciones de tratamiento de aguas, y las redes bancarias, sin que un solo misil salga del suelo. Qué significa esto para las personas que nadie está protegiendo Quiero alejarme por un momento del marco geopolítico y hablar de quién paga realmente el precio cuando estas herramientas caen en manos equivocadas o se proliferan más allá de los entornos controlados que el Proyecto Glasswing intenta mantener. No es Amazon. Amazon tiene los recursos para implementar Claude Mythos Preview de forma defensiva, escanear sus propios códigos y parchar sus vulnerabilidades antes de que los adversarios puedan explotarlas. Amazon es socio de lanzamiento del Proyecto Glasswing. Amazon analiza más de 400 billones de flujos de red al día en busca de amenazas. Amazon va a estar bien. Los que no estarán bien son el pequeño hospital de la zona rural de Kansas que funciona con un sistema de historias clínicas electrónicas de quince años de antigüedad mantenido por dos miembros del personal de informática. El banco comunitario de la Georgia rural cuya infraestructura de ciberseguridad consiste únicamente en una suscripción a un servicio antivirus y un cortafuegos que no se ha actualizado en tres años. La planta de tratamiento de aguas de una ciudad de tamaño medio que digitalizó sus sistemas de monitorización hace una década y no ha tenido ninguna auditoría de seguridad significativa desde entonces. La propietaria de una pequeña empresa que gestiona todo su negocio con QuickBooks, cuyos datos de tarjetas de crédito de los clientes están protegidos por algo nada más poco sofisticado que una contraseña que no ha cambiado en dos años. No se trata de personas hipotéticas. Son la mayoría de las organizaciones que constituyen el tejido real de la economía: las pequeñas y medianas empresas que emplean a más de la mitad de todos los trabajadores del sector privado en Estados Unidos, y el equivalente en todos los países del mundo. Un modelo de IA con las capacidades de Claude Mythos Preview, o lo que sea que China desarrolle en los próximos dieciocho meses y que alcance un rendimiento comparable, no necesita ser implementado por un Estado-nación para ser catastrófico. Basta con que lo implemente una organización criminal. Una célula terrorista. Un solo individuo con conocimientos técnicos avanzados que descargue un equivalente de código abierto de un repositorio que ningún marco de gobernanza ha logrado regular aún. Todos los principales sistemas operativos. Todos los principales navegadores. Miles de vulnerabilidades de día cero, catalogadas y explotables a un ritmo y una escala que los defensores humanos nunca han visto antes. Los sistemas sanitarios son los más vulnerables. Un hospital que no puede acceder a los historiales de sus pacientes, porque han sido cifrados por un ransomware (secuestro de datos) propagado a través de una vulnerabilidad de día cero, no puede funcionar. Se cancelan las cirugías. Se interrumpe la monitorización de la UCI. Los registros de dosificación de medicamentos quedan inaccesibles. Mueren personas. Esto no es una especulación: los ataques de ransomware a hospitales ya han provocado muertes de pacientes documentadas en Alemania, en Estados Unidos y en otros lugares. Ese era un ransomware creado por organizaciones criminales

humanas que trabajaban a velocidad humana. ¿Qué ocurre cuando esa misma capacidad está al alcance de cualquiera que sepa escribir un comando? Las redes eléctricas son las segundas más vulnerables. Los sistemas de control industrial, en otras palabras el software que gestiona la generación y distribución de electricidad, se diseñaron pensando en la fiabilidad y la longevidad, no en la seguridad. Muchos de los sistemas que gestionan la infraestructura eléctrica de ciudades estadounidenses de tamaño medio utilizan software de principios de la década de 2000, con un hardware que nunca se diseñó para conectarse a Internet, pero que acabó conectándose porque resultaba más barato y más cómodo. Una IA capaz de descubrir de forma autónoma vulnerabilidades en los principales sistemas operativos puede encontrar con la misma facilidad las vulnerabilidades de estos sistemas heredados. La banca es el tercer sector. No los grandes bancos como JPMorganChase, que es socio del Proyecto Glasswing y que cuenta con los recursos para implementar Mythos de forma defensiva. Los bancos comunitarios, las cooperativas de crédito, las instituciones financieras más pequeñas que custodian los ahorros de la gente trabajadora que no son clientes de Goldman Sachs. Cuando estas instituciones se ven comprometidas, sus clientes no cuentan con el tipo de respaldo de seguros que absorban las pérdidas de un fondo de cobertura. Pero aún, tienen que pagar la hipoteca, hacerlas compras y ahorrar para la universidad de sus hijos. Y para las naciones soberanas del Sur Global, los países que no tienen la infraestructura de TI, el talento en desarrollo de software o el presupuesto para operaciones de seguridad necesarios para defenderse de ataques a velocidad humana, y mucho menos de los que se producen a velocidad de IA, las consecuencias son existenciales. Todo el sistema bancario de un país. Su red eléctrica. Las comunicaciones de su gobierno. Su red sanitaria. Ahora todo esto puede verse comprometido, no por un Estado-nación sofisticado con años de preparación, sino por una organización criminal de nivel medio con acceso a un modelo de IA suficientemente capaz. Anthropic ha destinado 100 millones de dólares al Proyecto Glasswing. Esos 100 millones de dólares llegan a unas 50 organizaciones. Solo en Estados Unidos hay aproximadamente 33 millones de pequeñas empresas. Las matemáticas de quién está siendo protegido y quién se queda solo para asumir las consecuencias de esta carrera tecnológica no podrían ser más claras. Sam Altman dijo en voz alta lo que nadie se atrevía a decir He estado preparando este momento desde que comencé este capítulo. Tengo que hablarles de una declaración que Sam Altman hizo en 2015, una que ha circulado ampliamente por Internet, pero que casi siempre se comparte sin la segunda parte, que la hace única e imperdonablemente honesta. La primera parte de la cita: «Creo que la IA probablemente, muy probablemente, conducirá de alguna manera al fin del mundo». Esto ya es desconcertante si lo dijera cualquier persona. Pero es aún más desconcertante viniendo de la persona que está creando esa misma tecnología que acabará con el mundo. Sin embargo, la segunda parte es lo que debería mantener despierto por la noche a cualquier persona con conciencia. La cita completa: «Creo que la IA probablemente, muy probablemente, conducirá de alguna manera al fin del mundo. Pero mientras tanto, se formarán grandes empresas con aprendizaje automático serio». (Fuente: Sam Altman, Y Combinator, 2015, según se informó en Yahoo News, «La cita viral de Sam Altman carece de un contexto clave», enero de 2026, https:// http://www.yahoo.com/news/articles/think-ai-probably-lead-end-190517676.html).

Lee estas dos frases juntas. Reflexiona sobre ellas. Siente el peso de la conjunción. El hombre que acabó creando ChatGPT, el producto que ha acelerado la implantación de la IA en todos los

sectores del planeta más que ningún otro avance desde la llegada de Internet, le dijo al mundo en 2015 que su trabajo probablemente conduciría al fin del mundo. Y luego, en la misma frase, pasó a hablar de la oportunidad de inversión. «Pero mientras tanto, se crearán grandes empresas con aprendizaje automático serio». Mientras tanto. Quiero que entiendas lo que encierra esta frase. Encierra todos los contratos del Proyecto Nimbus. Todas las listas de personas a eliminar de Lavender. Todos los objetivos de bombardeo de Gospel. Todas las bases de datos del censo que fueron entregadas a un ejército de ocupación. Todos los ataques de ransomware a hospitales que aún no han ocurrido, pero que ocurrirán. Todas las plantas de tratamiento de agua que se quedarán a oscuras cuando el día cero descubierto por la IA se propague más rápido de lo que cualquier defensor humano pueda responder. Todo eso es «el mientras tanto» entre el ahora y el fin del mundo que, según Sam Altman, probablemente llegará. Y el consuelo que ofrece para ese «mientras tanto», es que se crearán grandes empresas. Soy iraní-estadounidense. Llegué a este país a los once años. He pasado mi vida adulta creyendo, a pesar de todo, en la posibilidad de construir cosas que sirvan a la humanidad. He creado empresas. Me he organizado. He escrito libros y hecho películas y creado plataformas para que la gente documente a sus difuntos, y me he aferrado, obstinadamente, a través de hospitalizaciones y demandas y todo tipo de oposición institucional, a la creencia de que la tecnología puede ponerse al servicio de la dignidad humana en lugar de destruirla. Y les digo que «mientras tanto, se crearán grandes empresas» no es una respuesta aceptable a la pregunta de si la IA probablemente conducirá al fin del mundo. No es una respuesta. Es un giro. Es el giro más caro de la historia de la humanidad, ejecutado por un hombre que entendía exactamente lo que estaba construyendo y decidió construirlo de todos modos. Elon Musk, que no es más fiable que su propio chatbot, le puso una cifra: un 20 % de probabilidades de aniquilación humana por parte de la IA. (Fuente: Revista Time, «Cómo Musk, Altman y los líderes de la IA se enfrentan al "momento Oppenheimer"», 13 de marzo de 2025, https://time.com/ 7267797/ai-leaders-oppenheimer-moment-musk-altman/). Dario Amodei, director ejecutivo de Anthropic, la empresa que utilizo como editor, ha descrito la tensión con la que lidia a diario como «mantener el equilibrio en el filo de una navaja», reconociendo que avanzar demasiado rápido conlleva el riesgo de que la humanidad pierda el control, mientras que avanzar demasiado lento conlleva el riesgo de que las naciones autoritarias tomen la delantera. No se trata de personas imprudentes que hacen declaraciones a la ligera. Son las personas más cercanas a lo que se está construyendo, y nos dicen, en sus momentos de mayor honestidad, que no saben cómo acabará esto. Que la probabilidad de una catástrofe es real, está documentada y es reconocida por todos aquellos que tienen una visión real de la tecnología. Lo que no nos dicen, y que nadie en el sector dirá abiertamente, es que reconocer un 20 % de posibilidades de aniquilación humana y seguir adelante de todos modos no es aceptable. No es valiente. No es necesario. Es una elección, tomada por un pequeño número de individuos y corporaciones, que recaerá sobre toda la humanidad. La pregunta de Oppenheimer: ¿qué diría Einstein? Robert Oppenheimer dirigió el Proyecto Manhattan. Presenció la prueba Trinity, la primera detonación de un arma nuclear, el 16 de julio de 1945, y más tarde recordó una frase de la escritura hindú Bhagavad Gita que le pasó por la mente: «Ahora me he convertido en la Muerte, el destructor de mundos». La bomba fue lanzada entonces sobre Hiroshima. Luego sobre Nagasaki. Después, la Unión Soviética construyó una. Entonces comenzó la carrera armamentística, y el mundo pasó el siguiente medio siglo a un paso

de la extinción por un malentendido, un fallo técnico o una apuesta política mal calculada. Albert Einstein, quien había escrito la carta al presidente Roosevelt que dio inicio al programa nuclear estadounidense, pero a quien se le denegó la habilitación de seguridad y se le excluyó del Proyecto Manhattan, pasó el resto de su vida atormentado por esa contribución. En su última declaración pública, redactada junto al filósofo Bertrand Russell y firmada por once de los científicos más destacados del mundo pocos días antes de la muerte de Einstein, en abril de 1955, escribió: «Tenemos que aprender a pensar de una nueva manera. Tenemos que aprender a preguntarnos no qué medidas se pueden tomar para dar la victoria militar al grupo que prefiramos, pues ya no existen tales medidas; la pregunta que debemos hacernos es: ¿qué medidas se pueden tomar para evitar un enfrentamiento militar cuyo desenlace será desastroso para todas las partes?». (Fuente: El Manifiesto Russell-Einstein, 1955, https://pugwash.org/1955/07/09/statement-manifesto/).

Einstein habría detectado inmediatamente la falla en la lógica de Sam Altman. Es la misma falla que Oppenheimer acabó encontrando en la suya propia: no se puede construir de forma responsable una herramienta que uno reconoce que puede acabar con la civilización, con el argumento de que la alternativa es que alguien más la construya primero. Ese razonamiento, de que si tu adversario lo va a hacer de todos modos, entonces es mejor que lo hagas tú, no es un argumento moral. Es el abandono moral de la cuestión en sí misma. Sustituye el razonamiento ético por la ansiedad competitiva. Reemplaza el «deberíamos» por el «ya que debemos».

Einstein comprendió que el umbral para el «ya que debemos» tiene que estar marcado por algo distinto del afán de lucro y la carrera geopolítica. Comprendió, aunque demasiado tarde, para su eterno pesar, que los científicos tenían la obligación no solo de construir mejores armas, sino de exigir una mejor gobernanza de lo que construían.

El paralelismo entre el Proyecto Manhattan y la actual carrera por la IA de vanguardia no es retórico. Es estructural y preciso. Un pequeño grupo de personas brillantes, que trabajan en instituciones que son a la vez afines al gobierno y de motivación privada, están creando tecnología que sus propios líderes reconocen que podría acabar con la civilización. Lo están haciendo en el contexto de una competencia geopolítica, de Estados Unidos contra China, que ofrece la misma justificación que utilizaron los científicos nucleares: si no lo hacemos nosotros, lo harán ellos. Y la están creando a un ritmo que ha superado fundamentalmente la capacidad de cualquier proceso de gobernanza democrática para seguirle el paso.

En 1945 no existía un marco internacional para regular las armas nucleares. La Ley de Energía Atómica, el Tratado de No Proliferación Nuclear, la Agencia Internacional de Energía Atómica... todo ello surgió después de que cayeran las bombas. El mundo pagó el precio de esa secuencia en Hiroshima y Nagasaki y seguimos a más de ochenta años con una ansiedad nuclear que aún no se ha resuelto del todo.

No podemos permitirnos aprender la lección de la IA de la misma manera. No tenemos una oportunidad para ensayar.

Argumentos a favor de una Organización Mundial de la Salud para la IA

No soy tecnólogo. Soy un conocedor del sector tecnológico que se convirtió en defensor de los derechos humanos, y tengo la perspectiva que se tiene después de estar lo suficientemente cerca como para ver lo que estos sistemas hacen realmente cuando se implementan sin la suficiente rendición de cuentas y a una velocidad que supera a la gobernanza.

Les digo que necesitamos una Agencia Internacional de Seguridad de la IA. No un compromiso voluntario. No un conjunto de principios publicados en un sitio web corporativo. No un programa de acceso restringido que lleve el nombre de una mariposa. Un organismo internacional vinculante, basado en un tratado, con autoridad para establecer normas, realizar auditorías independientes, exigir la divulgación de capacidades antes de la implementación e imponer consecuencias a las naciones y corporaciones que desarrollen o implementen sistemas de IA en violación de las normas de seguridad establecidas.

El modelo de la Organización Mundial de la Salud es imperfecto, como sabe cualquiera que haya observado su actuación durante la pandemia del COVID-19. Pero el principio en el que se basa la OMS es correcto: cuando una amenaza es global, la respuesta debe ser global, y la autoridad para responder debe recaer en una institución que rinda cuentas ante todas las naciones, no ante los accionistas de cinco empresas tecnológicas estadounidenses.

Las Naciones Unidas ya han dado pasos preliminares en esta dirección. El Órgano Consultivo de Alto Nivel de la ONU sobre IA publicó su informe «Gobernar la IA para la Humanidad» en septiembre de 2024, en el que propone un marco para la coordinación internacional, incluido un panel científico independiente análogo al Grupo Intergubernamental de Expertos sobre el Cambio Climático, un diálogo bianual sobre políticas de gobernanza de la IA y la armonización de las normas de IA entre los Estados miembros. (Fuente: Órgano Consultivo de Alto Nivel sobre IA de la ONU, «Governing AI for Humanity», septiembre de 2024, https://www.un.org/en/ai-advisory-body). En 2025, la Asamblea General de la ONU respaldó la creación de un mecanismo multilateral permanente para el diálogo sobre la seguridad de las TIC: un Mecanismo Global que celebró su sesión organizativa en marzo de 2026. (Fuente: Observatorio Digital Watch, «Gobernanza de la IA Global y Nuevos Enfoques Normativos», mayo de 2026, https://dig.watch/ updates/ai-governance-regulatory-approaches).

Estos son puntos de partida. No son suficientes. Un foro de diálogo no es un mecanismo de aplicación. Un marco no es un tratado. Un órgano consultivo no es una agencia con autoridad vinculante.

Investigadores académicos de la revista International Affairs de la Universidad de Oxford han propuesto la creación de una Agencia Internacional de Inteligencia Artificial (IAIA, por sus siglas en inglés) formal, siguiendo el modelo de la Agencia Internacional de Energía Atómica, que se creó precisamente para regular la tecnología que más se acercó en el siglo XX a lo que representa hoy la IA de vanguardia. El modelo del OIEA proporciona un marco ya preparado: contribuciones de los Estados miembros, autoridad de inspección independiente, un mandato para promover las aplicaciones civiles al tiempo que se evita su uso militar y, lo que es fundamental, la capacidad de detener el desarrollo cuando los riesgos superen los umbrales aceptables. (Fuente: Mark Robinson, «Establecer una Agencia Internacional de IA: Una Solución Aplicada para la Gobernanza Global de la IA», International Affairs, volumen 101, número 4, julio de 2025, https://academic.oup.com/ia/article/101/4/1483/8141294).

Quiero ir más allá. El modelo del OIEA no es suficiente, porque la naturaleza del riesgo de la IA está más distribuida que la del riesgo nuclear. Un arma nuclear requiere uranio enriquecido. Requiere una infraestructura física específica que puede detectarse y supervisarse. Un modelo de IA con capacidad catastrófica puede ejecutarse en un hardware que cabe en una sala de servidores,

puede distribuirse digitalmente y puede ser mejorado por cualquier actor con recursos suficientes sin la firma física que hace detectables los programas nucleares.

Lo que necesitamos es algo más parecido a lo que hace la Administración de Alimentos y Medicamentos (FDA) con los fármacos. Antes de que un fármaco se comercialice, antes de que se administre a un solo paciente, debe pasar por un proceso de revisión obligatorio, estructurado y en varias fases. Ensayos de fase uno. Ensayos de fase dos. Ensayos de fase tres. Comités independientes de revisión de seguridad. Notificación de eventos adversos. Vigilancia poscomercialización. Todo el proceso se diseña en torno a un único principio fundamental: la responsabilidad de la prueba de la seguridad recae en el desarrollador, no en el público que sufrirá las consecuencias.

A ninguna empresa farmacéutica de Estados Unidos se le permite comercializar un medicamento diciendo: creemos que probablemente sea seguro y, aunque no lo sea, mientras tanto surgirán grandes empresas creadas por la industria terapéutica.

¿Por qué se les permite a las empresas de IA hacer exactamente eso?

Crear un proceso obligatorio de revisión de seguridad previo al lanzamiento de los modelos de IA de vanguardia, que cuente con una Junta de Revisión de IA de Vanguardia, que opere bajo la autoridad de un tratado internacional, con peritaje técnico independiente, la divulgación obligatoria de sus capacidades y la facultad legal de retrasar o prohibir el lanzamiento, no es una idea utópica. Es una respuesta mínima viable ante una tecnología cuyos propios desarrolladores reconocen que puede suponer un riesgo existencial.

La Ley de IA de la UE, que entrará plenamente en vigor por fases a partir de agosto de 2025, es lo más parecido que existe actualmente a un marco de este tipo: designa los sistemas de IA de alto riesgo, exige evaluaciones de conformidad e impone compromisos de transparencia obligatorios. (Fuente: Parlamento Europeo, «Explicación de la Ley de Mercados Digitales y la Ley de Servicios Digitales de la UE», https://www.europarl.europa.eu/topics/en/article/20211209STO19124). Sin embargo, la Ley de IA de la UE no abarca las capacidades de vanguardia de la IA tal y como exige Claude Mythos. Se redactó antes de que el mundo comprendiera que un modelo de IA de uso general podría, a las pocas semanas de su finalización, descubrir y explotar de forma autónoma vulnerabilidades de día cero en todos los principales sistemas operativos del planeta.

Necesitamos algo diseñado para el mundo en el que nos encontramos realmente, no para el mundo en el que estábamos cuando se redactaron los primeros borradores de la Ley.

Lo que debe suceder, y lo que debe cesar

Permítanme ser directo sobre lo que pido, porque este libro no tiene el propósito de hacer llamamientos a la acción ambiguos.

Primero: no se debe implementar ningún modelo de IA de vanguardia con capacidades ofensivas de ciberseguridad por encima de un umbral definido, ni siquiera en programas de acceso restringido, sin la notificación obligatoria a un organismo internacional independiente y un proceso de revisión estructurado. El umbral debe ser definido por expertos técnicos independientes, no por las empresas cuyos ingresos dependen de la implementación. El Proyecto Glasswing es Anthropic tomando su propia decisión de seguridad. Creo que Anthropic actúa de buena fe. Pero la buena fe no es un marco de gobernanza.

Segundo: el lanzamiento en código abierto de modelos con capacidades comparables a las que OpenAI, Anthropic y Google están desarrollando en sus programas de vanguardia debe prohibirse

mediante un tratado internacional. La publicación por parte de China de DeepSeek como modelo de código abierto, con su capacidad demostrada para producir códigos inseguros cuando se introducen temas geopolíticamente sensibles, con sus conexiones ocultas a la infraestructura de telecomunicaciones estatal china y susceptibles de ser utilizado como arma por cualquier actor con suficiente potencia de cálculo, no es un regalo para la comunidad investigadora mundial. Es un caso de proliferación. Los mismos principios que rigen la exportación de tecnología nuclear deben regir la exportación de modelos de IA de vanguardia. (Fuente: CrowdStrike, DeepSeek-R1 de China Crea un Código Inseguro Cuando las Entradas Mencionan el Tíbet o los Uyghurs», noviembre de 2025, https://thehackernews.com/2025/11/chinese-ai-model-deepseek-r1-generates.html).

Tercero: las pequeñas y medianas empresas, los hospitales, las empresas de suministro de agua, los bancos comunitarios y las naciones soberanas del Sur Global que absorberán el peso de los ciberataques impulsados por la IA deben recibir una protección significativa. Pero no mediante compromisos voluntarios del sector, sino con marcos regulatorios que impongan a estas empresas una responsabilidad y costo financiero por los daños que causan los ataques de sus herramientas. Cuando una empresa farmacéutica vende un medicamento que mata a personas porque no se ha probado adecuadamente, la empresa es demandada, multada y, a veces, procesada. Cuando una empresa de IA lanza una tecnología que permite un ataque contra un hospital que provoca la muerte de pacientes, el marco legal actual no ofrece absolutamente nada a las víctimas.

Cuarto: los ejecutivos de las empresas que están a la vanguardia de esta carrera, las personas que saben, como lo sabe Sam Altman, cuál es la probabilidad de que se produzcan resultados catastróficos y que siguen adelante de todos modos, deben rendir cuentas personalmente por las decisiones que toman. No sus empresas. Ellos. Porque las empresas pagan las multas con sus reservas. Los ejecutivos que se enfrentan a una responsabilidad personal toman decisiones diferentes.

Quinto: las Naciones Unidas deben pasar inmediatamente de la fase de órgano consultivo a la fase de tratado, de «Gobernar la IA para la Humanidad», como informe, a «Gobernar la IA para la Humanidad» con un instrumento internacional vinculante, con mecanismos de cumplimiento, adhesión obligatoria y la autoridad para detener el desarrollo en la vanguardia cuando el cálculo de riesgos lo exija. El Mecanismo Global sobre Seguridad de las TIC, que celebró su primera sesión en marzo de 2026, es un comienzo. No debe quedarse en un diálogo. Debe convertirse en una doctrina.

La revelación que estoy obligado a hacer

He utilizado a Claude, la IA de Anthropic, como mi editor y socio de investigación a lo largo de este libro. Lo dije en la primera página y lo repito aquí. Esta revelación es más importante que nunca en este capítulo.

Anthropic creó Claude Mythos. Anthropic lanzó el Proyecto Glasswing. Anthropic es la empresa que advirtió al gobierno de Estados Unidos que su propio modelo aumenta la probabilidad de ciberataques a gran escala. Y Anthropic es la empresa cuya IA he utilizado para ayudar a reducir el tiempo de investigación, estructurar argumentos y comunicar ideas en el idioma con el que, tras mis años como estudiante de inglés como segunda lengua, todavía me cuesta desenvolverme.

No eximo a Anthropic de la rendición de cuentas que exijo. No puedo hacerlo. La sinceridad de su intento de gestionar Mythos de forma responsable no les exime de la responsabilidad de formar parte de las empresas cuya carrera hacia la vanguardia ha creado las condiciones que ahora exigen una gobernanza internacional. Son un actor mejor que Palantir. Son un actor más honesto que OpenAI, que eliminó discretamente la prohibición del uso militar de sus condiciones de servicio.

Son más transparentes que Google, cuando Gemini está siendo utilizada por hackers estatales chinos para planear ataques contra objetivos estadounidenses, mientras Google gestiona contratos militares a través de su división de nube.

Pero «mejor» no es suficiente cuando lo que está en juego es la extinción. La analogía farmacéutica es válida: una empresa farmacéutica que realiza sus propios ensayos de seguridad, y que llega a conclusiones honestas y comparte esas conclusiones con socios seleccionados, no sustituye a una autoridad vinculante. La buena ciencia y las buenas intenciones son requisitos previos, y no sustitutos, de una buena gobernanza.

Utilizo a Claude como mi editor. Lo he revelado. Lo que no haré es fingir que esta revelación resuelve el problema que plantea. La IA que estoy utilizando para escribir esta crítica ha sido fabricada por una empresa que avanza a toda velocidad hacia capacidades que sus propios equipos técnicos describen como un punto de inflexión, un momento de auténtica discontinuidad en la historia de la ciberseguridad, y sin un marco internacional vinculante que regule cómo se desarrolla.

Mantengo esta tensión abiertamente. Y cierro este capítulo con las mismas palabras a las que he vuelto a lo largo de este libro, porque no han perdido vigencia: Los hombres malvados y sus máquinas no prevalecen. Pero tampoco lo hace una civilización que se niega a regular sus tecnologías más peligrosas hasta después de que hayan causado daño.

El margen es estrecho. Entre seis y dieciocho meses, según la propia estimación de Anthropic, antes de que las capacidades de clase Mythos se extiendan más allá de las organizaciones que se han adherido al Proyecto Glasswing. De seis a dieciocho meses para construir los marcos de gobernanza que deberían haberse construido antes de que se escribiera la primera línea de código.

Ya hemos pasado por esto antes. No actuamos con la suficiente rapidez. La bomba cayó sobre Hiroshima el 6 de agosto de 1945, y el Tratado de No Proliferación no se firmó sino hasta 1968.

No podemos esperar veintitrés años para el equivalente en IA.

La pregunta que Albert Einstein se pasó planteándose la última década de su vida, ¿qué medidas se pueden tomar para evitar una contienda cuyo resultado sea desastroso para todas las partes?, es la pregunta que ahora deben hacerse todos los gobiernos, todas las empresas tecnológicas, todos los investigadores y todos los ciudadanos que hayan leído este capítulo.

Porque Sam Altman nos dio la respuesta a la otra pregunta. La de qué pasa si no nos la preguntamos. Mientras tanto, se crearán grandes empresas. Mientras tanto.

Hasta que el «mientras tanto» termine. --- La carrera armamentística de IA de vanguardia que he descrito en el capítulo doce de este libro no existe, independientemente del patrón más amplio del aventurerismo militar y económico estadounidense que ha definido los últimos treinta años. Los sistemas descritos en estas páginas —Gospel, Lavender, Project Maven, Glasswing— son la última expresión tecnológica de una política exterior que, desde 1945, ha

dejado un largo rastro de víctimas civiles en Oriente Medio, Asia Central, América Latina y África. El capítulo trece amplía la perspectiva: no para excusar a las empresas tecnológicas, sino para nombrar al imperio al que sirven.