Anthropic cree que la IA solo será segura si permanece bajo su control

Desde hace cinco años Anthropic advierte que una inteligencia artificial muy avanzada podría desencadenar una destrucción masiva, desestabilizar la sociedad y generar una serie de perjuicios graves. Al mismo tiempo, la compañía se ha convertido en una de las fuerzas más influyentes en el desarrollo de la IA, situándose entre los laboratorios de vanguardia y atrayendo a clientes como el ejército de EE. UU. Su valoración ha alcanzado casi un billón de dólares.

Para sus empleados, no existe contradicción entre este mensaje de alarma y la ambición de liderar la carrera tecnológica. Anthropic se sustenta en dos ideas clave: la IA es la tecnología más transformadora de la historia y su llegada es inevitable; y la empresa debe estar a la vanguardia para que el mundo sea un lugar mejor. Según varios exempleados que hablaron con confidencialidad, estos principios guían todas sus decisiones.

Una visión de “buenos” guardianes de la IA

Internamente, los directivos y el personal se describen a sí mismos como “los buenos”, los que gestionan la IA de forma responsable. Consideran que la acumulación de poder —capital, capacidad de cálculo, talento investigativo e influencia política— no es un fin, sino el precio necesario para cumplir su misión: “garantizar una transición segura hacia una IA transformadora”.

Helen Toner, directora ejecutiva del Centro de Seguridad y Tecnologías Emergentes de Georgetown y exmiembro del consejo de OpenAI, compara la visión de Anthropic con un bosque lleno de tesoros y monstruos. Todos quieren adentrarse en él por sus riquezas, pero Anthropic pretende ir más lejos, invirtiendo fuertemente en “domar” los peligros mientras extrae los beneficios.

“Lo que diferencia a Anthropic es que piensan: ‘La gente entrará al bosque de todos modos, así que debemos ser los primeros en hacerlo’”, afirma Toner. Según ella, la estrategia es desarrollar IA de punta para convertirse en un actor influyente en la mesa de negociaciones, capaz de definir riesgos y proponer medidas de seguridad razonables.

El CEO Dario Amodei describe el enfoque con claridad en una publicación interna: “Hay que ser competitivos, liderar el sector en algunos casos, y al mismo tiempo hacerlo de forma segura. Si lo conseguimos, la atracción que generamos es enorme”.

Anthropic nació en 2021 cuando un grupo de ex‑empleados de OpenAI, desilusionados con la dirección de su CEO, decidieron crear una empresa que introdujera una IA transformadora de manera segura. Hoy, sus fundadores siguen citando a Sam Altman y a OpenAI, así como a competidores como Meta y xAI, para definir su propio sentido de responsabilidad.

En muchos aspectos la compañía se asemeja a otras startups de Silicon Valley que se presentan como David frente a los Goliats de la industria. Sin embargo, los exempleados subrayan que Anthropic se distingue por la intensidad de su misión y por comunicar claramente que el poder tecnológico y comercial es un medio, no un fin. En las entrevistas de trabajo se enfatiza que la empresa se rige por el “beneficio a largo plazo de la humanidad” por encima de las ganancias inmediatas.

[shark_highlights items="Anthropic advierte que una IA muy avanzada podría causar destrucción masiva y desestabilizar la sociedad, pero considera que su control es esencial para la seguridad|La empresa se ha convertido en una de las fuerzas más influyentes del sector, con una valoración cercana al billón de dólares y clientes como el ejército de EE. UU.|Anthropic se define como “los buenos” guardianes de la IA, acumulando capital, capacidad de cálculo, talento e influencia política como precio necesario para garantizar una transición segura|Su estrategia consiste en liderar el desarrollo de IA de punta para “domar” los peligros mientras extrae los beneficios, bajo la visión de que todos entrarán al “bosque” de la IA y ellos deben ser los primeros en hacerlo."]

“Ninguno de nosotros quería fundar una empresa; simplemente sentíamos que era nuestro deber”, declaró Sam McCandlish, cofundador y arquitecto jefe, en la misma publicación interna.

La compañía no ofreció comentarios a WIRED sobre algunos de los temas tratados a continuación.

En otoño de 2024, Anthropic se asoció con Palantir para proporcionar servicios de IA a agencias de defensa e inteligencia estadounidenses. Algunos empleados expresaron dudas internas, pero los debates no alteraron la política de la empresa. Un trabajador, Evan Hubinger, explicó en un foro que la compañía fue “sumamente sincera” con el personal respecto al acuerdo y que, aunque había límites que requerían cuidadosa consideración, el vínculo representaba un avance positivo.

Menos de dos años después, el Pentágono empezó a utilizar Claude para identificar objetivos en la guerra entre Israel e Irán. Cuando Bloomberg preguntó a Amodei si el modelo se había usado en un ataque a una escuela primaria iraní que causó más de 120 muertos, él respondió que no lo sabía, pero que el uso sería aceptable siempre que un ser humano tomara la decisión final. Este episodio muestra la brecha entre la visión de “IA responsable” de Anthropic y la percepción pública.

En junio, Anthropic lanzó Claude Fable 5, un modelo de IA de vanguardia con una política de seguridad extremadamente restrictiva: si los investigadores intentaban usarlo para desarrollar IA avanzada, la compañía sabotearía su trabajo de forma encubierta. La medida generó críticas inmediatas y la empresa rectificó unos días después, anunciando que la restricción sería visible. Según Anthropic, la intención era frustrar a adversarios extranjeros de EE. UU.

Los ejecutivos volaron a Washington para reunirse con funcionarios de la Casa Blanca y discutir los riesgos de Claude Fable 5, pero no lograron llegar a un acuerdo sobre su nivel de amenaza.

Amodei ha reconocido públicamente que la concentración de poder en manos de pocos laboratorios de IA es un peligro. En un ensayo a principios de año, admitió que “el siguiente nivel de riesgo son, en realidad, las propias empresas de IA”. Propuso que las compañías sean vigiladas de cerca y adopten compromisos públicos de no realizar determinadas acciones, aunque estas propuestas no redistribuyen de manera sustancial el poder.

El ensayo reflexiona sobre la magnitud de la influencia de Anthropic y la responsabilidad que conlleva, presentando el problema como una cuestión que afecta a toda la especie: “La humanidad está a punto de recibir un poder casi inimaginable, y no está claro si nuestros sistemas sociales, políticos y tecnológicos tienen la muralla necesaria para ejercerlo”. Amodei sostiene que quienes están más cerca de la tecnología deben decir la verdad sobre la situación de la humanidad, aunque críticos señalan que la empresa asume que conoce esa verdad mejor que cualquier otro.

[shark_author]