Anthropic presenta FlashProve, un sistema de código abierto para verificar el origen de las respuestas de modelos de IA
Anthropic ha dado a conocer los detalles de FlashProve, un sistema experimental de código abierto diseñado para verificar mediante métodos criptográficos qué modelo de inteligencia artificial ha generado un resultado determinado. El objetivo de la tecnología es proporcionar lo que sus investigadores denominan una “inferencia demostrable”, es decir, una garantía matemática de que la respuesta recibida por un usuario proviene realmente del modelo que cree estar utilizando.
Verificación mediante huellas digitales sin exponer datos privados
De forma semejante a las firmas criptográficas utilizadas en los correos electrónicos para validar al remitente, FlashProve busca ofrecer protección frente a intentos de hacer pasar un modelo por otro. Para funcionar, el sistema requiere que los laboratorios publiquen una “huella digital” de cada modelo lanzado, la cual se coteja posteriormente de manera criptográfica con los resultados producidos.
De acuerdo con la información difundida, estas huellas no revelan los pesos internos del modelo —los valores numéricos que definen su comportamiento y que desarrolladores de modelos cerrados como Anthropic y OpenAI mantienen en secreto—. Esto permite que la verificación sea aplicable a modelos comerciales sin comprometer la propiedad intelectual. Además, el diseño del sistema es ligero, lo que posibilita que el proceso de comprobación se ejecute de forma local en el dispositivo del usuario.
Casos de uso y prevención de fraudes
El sistema está ideado para ser resistente a suplantaciones, incluso si la alteración es realizada por el propio laboratorio que aloja el modelo. Los desarrolladores señalan que la tecnología podría evitar que una empresa cambie en secreto un modelo por uno más barato para reducir costes, o por uno más avanzado para inflar artificialmente sus métricas de rendimiento.
Asimismo, FlashProve se propone como una solución para auditar afirmaciones de terceros. Por ejemplo, permitiría comprobar si una biblioteca de software fue auditada por un modelo avanzado de ciberseguridad o si el plan de negocios de una compañía fue evaluado por un modelo específico.
Estado de la investigación y disponibilidad del código
Como parte de este anuncio, se ha liberado la especificación técnica detallada y el código funcional de varios componentes del proyecto bajo una licencia de código abierto en GitHub. No obstante, los investigadores explicaron que se trata de un avance intermedio en una investigación en desarrollo, por lo que actualmente no hay planes para desplegar FlashProve en Anthropic ni en ningún otro laboratorio.
Según indicaron los responsables del proyecto, la intención al compartir estos hallazgos es que otros actores de la industria analicen el trabajo realizado, lo adopten y contribuyan a mejorarlo.
