CEO antrópico Dario Amodei Publicado un memoria El jueves destacando cuán poco investigadores entienden sobre el funcionamiento interno de los principales modelos de IA del mundo. Para encarar eso, AModei estableció un objetivo arribista para que el antrópico detecte de modo confiable la mayoría de los problemas del maniquí de IA para 2027.
Amodei reconoce el desafío por delante. En “la emergencia de la interpretabilidad”, el CEO dice que Anthrope ha realizado avances tempranos al rastrear cómo los modelos llegan a sus respuestas, pero enfatiza que se necesita mucha más investigación para decodificar estos sistemas a medida que se vuelven más potentes.
“Estoy muy preocupado por la implementación de tales sistemas sin un mejor manejo de la interpretabilidad”, escribió Amodei en el memoria. “Estos sistemas serán absolutamente fundamentales para la caudal, la tecnología y la seguridad franquista, y serán capaces de tanta autonomía que considero que es básicamente inaceptable que la humanidad ignore totalmente cómo funcionan”.
Anthrope es una de las compañías pioneras en la interpretabilidad mecanicista, un campo que tiene como objetivo inaugurar la caja negra de los modelos de IA y comprender por qué toman las decisiones que toman. A pesar de las rápidas mejoras de rendimiento de los modelos de IA de la industria tecnológica, todavía tenemos relativamente poca idea de cómo llegan estos sistemas a las decisiones.
Por ejemplo, Operai lanzó recientemente nuevos modelos de AI de razonamiento, O3 y O4-Mini, que funcionan mejor en algunas tareas, pero incluso desvariar más que sus otros modelos. La compañía no sabe por qué está sucediendo.
“Cuando un sistema de IA generativo hace poco, como resumir un documento financiero, no tenemos idea, a un nivel específico o preciso, por qué toma las decisiones que hace: por qué elige ciertas palabras sobre otras, o por qué ocasionalmente comete un error a pesar de ser preciso”, escribió Amodei en el memoria.
En el memoria, AmoDei señala que el cofundador antrópico Chris Olah dice que los modelos de IA se “cultivan más de lo que están construidos”. En otras palabras, los investigadores de IA han incompatible formas de mejorar la inteligencia del maniquí de IA, pero no saben por qué.
En el memoria, Amodei dice que podría ser peligroso durar a Agi, o como él lo vehemencia “,”un país de genios en un centro de datos” – Sin comprender cómo funcionan estos modelos. En un memoria antecedente, AModei afirmó que la industria tecnológica podría alcanzar ese hito para 2026 o 2027, pero cree que estamos mucho más allá de comprender completamente estos modelos de IA.
A dadivoso plazo, Amodei dice que Anthrope le gustaría, esencialmente, realizar “escaneos cerebrales” o “resonancias magnéticas” de modelos de IA de última gestación. Estos chequeos ayudarían a identificar una amplia serie de problemas en los modelos de IA, incluidas sus tendencias para mentir, inquirir poder u otra cariño, dice. Esto podría tardar de cinco a diez primaveras en conseguir, pero estas medidas serán necesarias para probar e implementar los futuros modelos de IA de Anthrope, agregó.
Anthrope ha realizado algunos avances de investigación que le han permitido comprender mejor cómo funcionan sus modelos de IA. Por ejemplo, la compañía recientemente encontró formas de rastrear las vías de pensamiento de un maniquí ai a través decómo vehemencia la empresa, circuitos. Anthrope identificó un circuito que ayuda a los modelos de IA a comprender qué ciudades estadounidenses se encuentran en qué Estados Unidos. La compañía solo ha incompatible algunos de estos circuitos, pero estima que hay millones en el interior de los modelos de IA.
Anthrope ha estado invirtiendo en la investigación de interpretabilidad en sí, y recientemente realizado su primera inversión en una startup Trabajando en interpretabilidad. En el memoria, AmoDei pidió a Openai y Google Deepmind que aumente sus esfuerzos de investigación en el campo.
AmoDei pide a los gobiernos que impongan regulaciones de “toque de luz” para fomentar la investigación de interpretabilidad, como los requisitos para que las empresas revelen sus prácticas de seguridad. En el memoria, AmoDei incluso dice que Estados Unidos debería poner controles de exportación en chips a China, para impedir la probabilidad de una carrera de IA total fuera de control.
Anthrope siempre se ha destacado de Openai y Google por su enfoque en la seguridad. Mientras que otras compañías tecnológicas retrocedieron en la controvertida extracto de seguridad de IA de California, SB 1047, Anthrope emitió un soporte y recomendaciones modestos para el tesina de leyque habría establecido estándares de informes de seguridad para los desarrolladores de modelos de IA fronteriza.
En este caso, Anthrope parece estar presionando por un esfuerzo de toda la industria para comprender mejor los modelos de IA, no solo aumentar sus capacidades.
(Tagstotranslate) AI Safety (T) Anthrópal
