La trampa que Anthropic se construyó a sí misma

El viernes por la tarde, cabal cuando comenzaba esta entrevista, apareció una alerta de telediario en la pantalla de mi computadora: la distribución Trump estaba rompiendo lazos con Anthropic, la compañía de inteligencia sintético de San Francisco fundada en 2021 por Dario Amodei. El secretario de Defensa, Pete Hegseth, poco luego invocó una ley de seguridad doméstico incluir a la compañía en la registro negra para que no haga negocios con el Pentágono luego de que Amodei se negó a permitir que la tecnología de Anthropic se utilizara para la vigilancia masiva de ciudadanos estadounidenses o para drones armados autónomos que pudieran aspirar y matar objetivos sin intervención humana.

Fue una secuencia de acontecimientos asombrosa. Anthropic corre el peligro de perder un resolución por valía de hasta 200 millones de dólares y se le podría prohibir trabajar con otros contratistas de defensa luego de que el presidente Trump publicara en Truth Social ordenando a todas las agencias federales que “cesaran inmediatamente todo uso de la tecnología Anthropic”. (Anthropic ha dicho desde entonces que desafiar al Pentágono en los tribunales.)

Max Tegmark ha pasado la decano parte de una lapso advirtiendo que la carrera por construir sistemas de IA cada vez más potentes está superando la capacidad del mundo para gobernarlos. El físico del MIT fundó el Instituto del Futuro de la Vida en 2014 y en 2023 ayudó a organizar una carta abierta – finalmente firmado por más de 33.000 personas, incluido Elon Musk, pidiendo una pausa en el expansión progresista de la IA.

Su visión de la crisis antrópica es implacable: la empresa, al igual que sus rivales, ha sembrado las semillas de su propia situación. El argumento de Tegmark no comienza con el Pentágono sino con una osadía tomada abriles ayer: una alternativa, compartida en toda la industria, de resistirse a la regulación. Anthropic, OpenAI, Google DeepMind y otros han prometido durante mucho tiempo gobernarse a sí mismos de guisa responsable. Anthropic esta semana incluso dejó caer el principio central de su propio compromiso de seguridad – su promesa de no difundir sistemas de inteligencia sintético cada vez más potentes hasta que la empresa estuviera segura de que no causarían daño.

Ahora, a error de reglas, no hay mucho que proteger a estos jugadores, dice Tegmark. Aquí hay más información de esa entrevista, editada para decano extensión y claridad. Puede escuchar la conversación completa la próxima semana en TechCrunch. Descargar estrictamente VC podcast.

Cuando viste hace un momento esta novedad sobre Anthropic, ¿cuál fue tu primera reacción?

El camino al báratro está emborregado de buenas intenciones. Es muy interesante memorar hace una lapso, cuando la muchedumbre estaba tan entusiasmada acerca de cómo íbamos a crear inteligencia sintético para curar el cáncer, aumentar la prosperidad en Estados Unidos y acorazar a Estados Unidos. Y aquí estamos ahora, donde el gobierno de EE. UU. está enojado con esta empresa por no querer que la IA se utilice para la vigilancia masiva interna de los estadounidenses, y siquiera querer tener robots asesinos que puedan osar de forma autónoma, sin ninguna intervención humana, quién muere.

Anthropic ha apostado toda su identidad por ser una empresa de inteligencia sintético que prioriza la seguridad y, sin requisa, estaba colaborando con agencias de defensa e inteligencia (desde al menos 2024). ¿Crees que eso es en invariable contradictorio?

Es contradictorio. Si puedo dar una visión un poco cínica sobre esto, sí, Anthropic ha sido muy bueno en promocionarse como poco relacionado con la seguridad. Pero si efectivamente miras los hechos en ocupación de las afirmaciones, lo que ves es que Anthropic, OpenAI, Google DeepMind y xAI han hablado mucho sobre cómo se preocupan por la seguridad. Nadie de ellos se ha manifestado apoyando una regulación de seguridad vinculante como lo hemos hecho en otras industrias. Y estas cuatro empresas han incumplido sus propias promesas. Primero tuvimos Google, ese gran eslogan: “No seas malvado”. Luego dejaron eso. Luego abandonaron otro compromiso más espléndido que básicamente decía que prometían no hacer daño con la IA. Dejaron eso para poder traicionar IA para vigilancia y armas. OpenAI acaba de eliminar la palabra seguridad de su confesión de delegación. xAI cerró todo su equipo de seguridad. Y ahora Anthropic, a principios de semana, abandonó su compromiso de seguridad más importante: la promesa de no difundir potentes sistemas de inteligencia sintético hasta que estuvieran seguros de que no iban a causar daño.

¿Cómo terminaron en esta posición las empresas que asumieron compromisos de seguridad tan importantes?

Todas estas empresas, especialmente OpenAI y Google DeepMind, pero hasta cierto punto asimismo Anthropic, han presionado persistentemente contra la regulación de la IA, diciendo: “Confíen en nosotros, nos vamos a regular nosotros mismos”. Y han presionado con éxito. Así que ahora tenemos menos regulación sobre los sistemas de inteligencia sintético en Estados Unidos que sobre los sándwiches. Ya sabes, si quieres cascar una tienda de sándwiches y el inspector de vigor encuentra 15 ratas en la cocina, no te dejará traicionar ningún sándwich hasta que lo arregles. Pero si dices: “No te preocupes, no voy a traicionar sándwiches, voy a traicionar novias con inteligencia sintético para niños de 11 abriles, y han sido relacionadas con suicidios en el pasado, y luego voy a propagar poco llamado superinteligencia que podría derrocar al gobierno de Estados Unidos, pero tengo un buen presentimiento sobre el mío”, el inspector tiene que opinar: “Perfectamente, delante, pero no vendas sándwiches”.

Existe una regulación de seguridad alimentaria y ninguna regulación de IA.

Y creo que todas estas empresas comparten la infracción de esto. Porque si hubieran tomado todas esas promesas que hicieron en el pasado sobre cómo iban a estar tan seguros y buenos, y se hubieran unido, y luego hubieran ido al gobierno y hubieran dicho: ‘Por honra, tomen nuestros compromisos voluntarios y conviértanlos en leyes estadounidenses que vinculen incluso a nuestros competidores más descuidados’, esto habría sucedido. Más aceptablemente, estamos en un completo hueco regulatorio. Y sabemos lo que sucede cuando hay una perdón corporativa completa: obtienes talidomidahay compañías tabacaleras que promocionan los cigarrillos entre los niños, y hay amianto que causa cáncer de pulmón. Por lo tanto, es poco irónico que su propia resistor a tener leyes que digan qué está aceptablemente y qué no está aceptablemente hacer con la IA ahora esté regresando y afectándolos.

En este momento no existe ninguna ley que prohíba la creación de IA para matar estadounidenses, por lo que el gobierno puede solicitarla de repente. Si las propias empresas hubieran desencajado ayer y hubieran dicho: ‘Queremos esta ley’, no estarían en este aprieto. Positivamente se pegaron un tiro en el pie.

El contraargumento de las empresas es siempre la carrera con China: si las empresas estadounidenses no hacen tal o cual cosa, Beijing lo hará. ¿Se sostiene ese argumento?

Analicemos eso. El tema de conversación más popular entre los cabilderos de las empresas de inteligencia sintético (ahora están mejor financiados y son más numerosos que los cabilderos de la industria de los combustibles fósiles, la industria farmacéutica y el complicado militar-industrial juntos) es que cada vez que cierto propone cualquier tipo de regulación, dicen: “Pero China”. Así que veamos eso. China está en el proceso de prohibir por completo las novias IA. No sólo límites de vida: están considerando prohibirlos toda IA ​​antropomórfica. ¿Por qué? No porque quieran complacer a Estados Unidos, sino porque sienten que esto está arruinando a la lozanía china y debilitando a China. Obviamente, esto asimismo está debilitando a la lozanía estadounidense.

Y cuando la muchedumbre dice que tenemos que pasar para construir superinteligencia para poder ganarle a China, cuando en efectividad no sabemos cómo controlar la superinteligencia, de modo que el resultado predeterminado es que la humanidad pierda el control de la Tierra frente a máquinas alienígenas, ¿adivinen qué? Al Partido Comunista Chino efectivamente le gusta el control. ¿Quién en su sano querella piensa que Xi Jinping va a tolerar que una empresa china de inteligencia sintético construya poco que derroque al gobierno chino? De ninguna guisa. Está claro que asimismo sería muy malo para el gobierno estadounidense si fuera derrocado mediante un cachete de estado por parte de la primera empresa estadounidense que construyera superinteligencia. Esta es una amenaza a la seguridad doméstico.

Se proxenetismo de un situación convincente: la superinteligencia como una amenaza a la seguridad doméstico, no como un activo. ¿Cree que esa opinión está ganando circunscripción en Washington?

Creo que si la muchedumbre de la comunidad de seguridad doméstico audición a Dario Amodei describir su visión (pronunció un reconocido discurso en el que dice que pronto tendremos una país de genios en un centro de datos — podrían originarse a pensar: ‘Prórroga, ¿Darío acaba de usar la palabra país? Tal vez debería incluir a ese país de genios en un centro de datos en la misma registro de amenazas que estoy vigilando, porque eso suena amenazador para el gobierno de Estados Unidos. Y creo que conveniente pronto bastantes personas en la comunidad de seguridad doméstico de Estados Unidos se darán cuenta de que la superinteligencia incontrolable es una amenaza, no una utensilio. Esto es totalmente análogo a la Conflagración Fría. Hubo una carrera por el dominio (financiero y marcial) contra la Unión Soviética. Nosotros, los estadounidenses, ganamos esa carrera sin ni siquiera participar en la segunda carrera, que consistía en ver quién podía poner más cráteres nucleares en la otra superpotencia. La muchedumbre se dio cuenta de que eso era sólo un suicidio. Nadie deseo. La misma razonamiento se aplica aquí.

¿Qué significa todo esto para el ritmo de expansión de la IA en términos más generales? ¿Y qué tan cerca crees que estamos de los sistemas que estás describiendo?

Hace seis abriles, casi todos los expertos en IA que conocí predijeron que faltaban décadas para tener una IA que pudiera dominar el jerigonza y el conocimiento a nivel humano: tal vez en 2040, tal vez en 2050. Todos estaban equivocados, porque ya lo tenemos ahora. Hemos pasado que la IA progresa con conveniente presteza desde el nivel de escuela secundaria hasta el nivel universitario, pasando por el nivel de doctorado y el nivel de profesor universitario en algunas áreas. El año pasado, la IA ganó la medalla de oro en la Olimpíada Internacional de Matemáticas, que es tan difícil como las tareas humanas. I escribió un artículo adyacente con Yoshua Bengio, Daniel Hendrycksy otros importantes investigadores de IA hace al punto que unos meses dieron una definición rigurosa de AGI. Según esto, GPT-4 estaba al 27% del camino reconvención. GPT-5 estaba al 57% del camino. Así que aún no hemos llegado a ese punto, pero advenir del 27% al 57% sugiere rápidamente que podría no advenir tanto tiempo.

Cuando ayer di una conferencia a mis estudiantes en el MIT, les dije que incluso si les lleva cuatro abriles, eso significa que cuando se gradúen, es posible que ya no puedan conseguir ningún trabajo. Ciertamente no es demasiado pronto para originarse a prepararse para ello.

Anthropic ahora está en la registro negra. Tengo curiosidad por ver qué sucederá a continuación: ¿los otros gigantes de la IA se unirán y dirán: ‘¿Nosotros siquiera haremos esto?’ ¿O cierto como xAI levanta la mano y dice: ‘Anthropic no quería ese resolución, lo aceptaremos’? (Nota del editor: Horas luego de la entrevista, OpenAI anunció su propio trato con el Pentágono.)

Anoche, Sam Altman salió y dijo que apoya a Anthropic y que tiene las mismas líneas rojas. Lo admiro por el coraje de opinar eso. Google, cuando comenzamos esta entrevista, no había dicho ausencia. Si simplemente se quedan callados, creo que será increíblemente vergonzoso para ellos como empresa, y gran parte de su personal sentirá lo mismo. Siquiera hemos pabellón ausencia de xAI todavía. Entonces será interesante verlo. Básicamente, existe un momento en el que todos tienen que mostrar sus verdaderos colores.

¿Existe una interpretación de esto en la que el resultado sea efectivamente bueno?

Sí, y por eso soy efectivamente animoso de un modo extraño. Aquí hay una alternativa tan obvia. Si empezamos a tratar a las empresas de IA como a cualquier otra empresa (eliminemos la perdón corporativa), claramente tendrían que hacer poco así como un adiestramiento clínico ayer de difundir poco tan poderoso y demostrar a expertos independientes que saben cómo controlarlo. Luego tendremos una vida de oro con todo lo bueno de la IA, sin la angustia existencial. Ese no es el camino en el que estamos ahora. Pero podría serlo.