Durante meses, los gigantes de la IA han ideado programas especiales examinados y barreras estrictas para circunscribir el uso de sus modelos por parte de piratas informáticos malintencionados. Pero estos límites ahora están obstaculizando el trabajo de los defensores legítimos de la red, así como el de los investigadores de ciberseguridad ataque.
En junio, el gobierno de EE.UU. impuso restricciones de control de exportaciones sobre los muy publicitados modelos de IA de Anthropic, Mythos y Fable. La medida fue motivada, al menos en parte, por un noticia que afirmaba que era posible sortear las barreras de seguridad de los modelos diseñadas para evitar que los usuarios los utilicen para crear y ejecutar ciberataques maliciosos.
Independientemente de si el incidente fue positivamente motivado por temores de una fugael hecho es que Antrópico ha comercializado repetidamente Mitos como una especie de cibermáquina del fin del mundo eso sólo se puede dar a usuarios cuidadosamente examinados, e incluso entonces con estrictas barreras de seguridad. (Desde entonces se han elevado los controles de exportación de Fable 5 y Mythos 5. Fable 5 volvió al comunicación caudillo el 1 de julio; Mythos 5 se ha reintroducido sólo para organizaciones estadounidenses examinadas como parte del proceso de revisión del gobierno).
Ese tipo de control no es exclusivo de Mythos. Tanto Anthropic, con sus otros modelos, como OpenAI ofrecen a los investigadores de ciberseguridad programas que pueden aplicar para ser examinados y, si se aprueban, ceder a modelos con menos restricciones de ciberseguridad: OpenAI Ataque confiable para cibernética y antrópico Software de comprobación cibernética.
Estas barreras de seguridad han sido ampliamente criticadas, particularmente por investigadores cuyo trabajo es encontrar vulnerabilidades desconocidas en los sistemas e idear formas de explotarlas ayer de que lo hagan los delincuentes.
Durante una aparición fresco en un podcast de ciberseguridad, Mark Dowd, un conocido investigador de seguridad, dicho que “no me resulta positivamente cómodo que estas grandes empresas aleatorias estén tomando decisiones arbitrarias sobre lo que es seguro y lo que no lo es”.
Dowd ha pasado décadas encontrar y traicionar “días cero” (fallos de software previamente desconocidos y los exploits que se aprovechan de ellos) a los gobiernos occidentales, en ocupación de informarlos a los fabricantes de software para que los parcheen. Los gobiernos pagan una prima por las vulnerabilidades precisamente porque permanecen abiertas, lo que resulta útil para las operaciones de inteligencia.
Dowd admitió que su trabajo puede volverlo parcial, pero no está solo. Varias personas que trabajan en ciberseguridad ataque (sondean proactivamente los sistemas en exploración de debilidades) describieron a TechCrunch cómo utilizan las herramientas de inteligencia fabricado y manejan sus barreras de seguridad.
Chris Anley, investigador cabecilla del coloso de consultoría de seguridad NCC Group, dijo que pedirle a un maniquí de IA que intente explotar un error es un paso secreto para confirmar que es una vulnerabilidad auténtico que vale la pena solucionar. Pero si una pasamanos incita al maniquí a negarse a reponer la pregunta directamente, la pasamanos perjudica a los defensores, dijo.
“Aquí es donde entra en repertorio toda la parte ataque frente a defensiva y las barreras de seguridad, porque ‘arreglar este código’ como mensaje es a la vez un mecanismo esencial para la defensa pero además una hoja de ruta para encontrar vulnerabilidades críticas en la pulvínulo del código”, dijo Anley. “Así que, al mismo tiempo, la misma utensilio es a la vez una utensilio ataque y una utensilio defensiva, y las dos positivamente no pueden ser desechadas”.
Es “como un martillo”, continuó. “No se puede construir una casa sin un martillo. Definitivamente es una utensilio, pero además es irreductiblemente un armas”.
Cuando él y sus colegas se topan con un obstáculo de este tipo, a veces recurren a modelos de IA de código hendido que no tienen ninguna barrera de seguridad.
Paolo Stagno, director de tecnología de CrowdFense, una conocida empresa que desarrolla, adquiere y vende vulnerabilidades desconocidas a agencias gubernamentales, estuvo de acuerdo con Dowd y dijo que las empresas de inteligencia fabricado “esencialmente tratan a los clientes como niños que necesitan que los cuiden” con sus programas examinados y barreras de seguridad.
Stagno dijo que él y sus colegas utilizan modelos de frontera, pero sólo para ingeniería inversa. Evitan usar IA para ayudar a encontrar vulnerabilidades o crear exploits, dijo, porque al introducir ese trabajo en un maniquí basado en la cirro se corre el peligro de filtrar datos confidenciales de vulnerabilidad o de que sean absorbidos en futuras ejecuciones de entrenamiento. Para ese paso, dijo, utilizan modelos de código hendido ejecutados localmente, ya que no dependen de compartir datos fuera del maniquí.
Giuseppe Cali, un investigador de seguridad que encuentra días cero y desarrolla exploits, dijo que las barreras de seguridad no impiden su trabajo. Eso es porque no usa IA para trabajo ofensivo; en cambio, lo usa para ingeniería inversa auténtico, para comprender el código que está analizando y para crear herramientas de soporte. Para eso, dijo, las herramientas de inteligencia fabricado pueden acelerar el proceso y permitirle concentrarse en descubrir vulnerabilidades.
“Todavía quiero ser responsable del descubrimiento de errores y de la utilización de armas y eso no cambiaría si mañana se levantaran todas las barreras”, dijo Cali. “Estoy celoso de mis insectos y me gusta demasiado este repertorio como para dejar que los modelos lo jueguen por mí”.
Un investigador de un fabricante de componentes para teléfonos inteligentes, que habló bajo condición de anonimato porque no está competente a dialogar con la prensa, dijo que su empleador no forma parte del software CVP de Anthropic y, como resultado, sus herramientas escasamente son enseres para encontrar vulnerabilidades porque las barreras de seguridad son demasiado estrictas.
“Si se entera de que estamos haciendo poco relacionado con la seguridad, simplemente se detiene y no se puede utilizar”, dijo la persona.
Chris Thompson, director ejecutante de la empresa de ciberseguridad RemoteThreat y fundador de Offensive AI Con, un evento centrado en la seguridad ataque y la IA, dijo que, según su experiencia con los modelos fronterizos de IA, las barreras de seguridad pueden ser inconsistentes y funcionar de forma diferente cada día. Esto es cierto incluso interiormente de los límites más amplios de los programas examinados de Anthropic y OpenAI.
“Creo que el impacto práctico es que se pasa mucho tiempo negociando con el maniquí en ocupación de trabajar en el software de seguridad central”, dijo Thompson. “En ocupación de analizar una vulnerabilidad y razonar a través de la explotabilidad, estás tratando de encontrar por qué estás obteniendo resultados inconsistentes o por qué los modelos están saneando demasiado la salida”.
Como consecuencia, los investigadores confían en modelos chinos de código hendido como GLM, o se ven empujados a utilizarlos, modelos descargables gratis que pueden ejecutarse localmente sin restricciones de uso ni comprobación, dijo Thompson.
“Están estos investigadores responsables que están siendo desplazados de los sistemas gobernados por Estados Unidos a sistemas de propiedad extranjera”, dijo. “Creo que es más perjudicial que bueno tener estas barandillas en su ocupación”.
En ocupación de deshumanizar aún más las restricciones, Thompson pidió que los laboratorios fronterizos de IA abran sus programas, proporcionen comunicación responsable y además responsabilicen a quienes abusan de sus herramientas. De lo contrario, argumentó, los defensores perderán la carrera de la IA.
“Se avecina una gran tormenta. Hay una gran ola de ataques que ocurrirán a una velocidad y escalera como nunca ayer”, dijo Thompson. “Pero las mismas firmas consultoras de seguridad e investigadores legítimos que están tratando de marcar la diferencia están siendo reprimidas en este momento”.
Cuando operación a través de enlaces en nuestros artículos, podemos vencer una pequeña comisión. Esto no afecta nuestra independencia editorial.
Estudiar más Tech News in Spanish
