Campbell Brown ha pasado su carrera buscando información precisa, primero como reconocida periodista de televisión y luego como la primera y única jefa de noticiero dedicada de Facebook. Ahora, al observar cómo la IA remodela la forma en que las personas consumen información, ve que la historia amenaza con repetirse. Esta vez, no está esperando que cierto más lo arregle.
Su empresa, Foro IA – que discutió recientemente con Tim Fernholz de TechCrunch en una velada de StrictlyVC en San Francisco – evalúa cómo se desempeñan los modelos de fundaciones en lo que ella apasionamiento “temas de parada aventura” (geopolítica, lozanía mental, finanzas, contratación), temas donde “no hay respuestas claras de sí o no, donde es turbio, matizado y difícil”.
La idea es encontrar a los expertos más destacados del mundo, hacer que diseñen puntos de narración y luego capacitar a jueces de IA para evaluar modelos a escalera. Para el trabajo geopolítico de Forum AI, Brown reclutó a Niall Ferguson, Fareed Zakaria, el exsecretario de Estado Tony Blinken, el expresidente de la Cámara de Representantes Kevin McCarthy y Anne Neuberger, quien dirigió la ciberseguridad en la dependencia Obama. El objetivo es conseguir que los jueces de IA alcancen aproximadamente un 90% de consenso con los expertos humanos, un puertas que, según ella, Forum AI ha podido alcanzar.
Brown remonta el origen de Forum AI, fundado hace 17 meses en Nueva York, a un momento específico. “Estaba en Meta cuando ChatGPT se lanzó públicamente por primera vez”, recordó, “y retentiva que poco a posteriori me di cuenta de que este sería el embudo a través del cual fluirá toda la información. Y no es muy bueno”. Las implicaciones para sus propios hijos hicieron que el momento pareciera casi existencial. “Mis hijos van a ser efectivamente tontos si no descubrimos cómo solucionar esto”, recordó sobrevenir pensado.
Lo que más la frustró fue que la precisión no parecía ser la prioridad de nadie. Las empresas maniquí de la Fundación, dijo, están “extremadamente centradas en la codificación y las matemáticas”, mientras que las noticiero y la información son más difíciles. Pero más difícil, argumentó, no significa opcional.
De hecho, cuando Forum AI comenzó a evaluar los modelos líderes, los hallazgos no fueron precisamente alentadores. Citó a Gemini sacando de los sitios web del Partido Comunista Chino “historias que no tienen ausencia que ver con China” y notó un sesgo político de izquierda en casi todos los modelos. Asimismo abundan los fallos más sutiles, dijo, incluyendo la desatiendo de contexto, la desatiendo de perspectivas y argumentos testarudos sin inspección. “Hay un dilatado camino por recorrer”, dijo. “Pero igualmente creo que hay algunas soluciones muy sencillas que mejorarían enormemente los resultados”.
Brown pasó abriles en Facebook observando lo que sucede cuando una plataforma se optimiza para lo incorrecto. “Fracasamos en muchas de las cosas que intentamos”, le dijo a Fernholz. El software de comprobación de datos que ella creó ya no existe. La aviso, incluso si las redes sociales han hecho la audiencia gorda, es que optimizar para conseguir el compromiso ha sido pésimo para la sociedad y ha dejado a muchos menos informados.
Su esperanza es que la IA pueda romper ese ciclo. “En este momento las cosas podrían ir en cualquier dirección”, dijo; las empresas podrían dar a los usuarios lo que quieren, o podrían “darle a la concurrencia lo que es existente, honesto y probado”. Reconoció que la traducción idealista de eso (la IA optimizando la verdad) podría parecer ingenua. Pero cree que la empresa puede ser el confederado improbable en este caso. Las empresas que utilizan IA para decisiones crediticias, préstamos, seguros y contrataciones se preocupan por la responsabilidad y “querrán que usted optimice para hacerlo admisiblemente”.
Esa demanda empresarial es igualmente en lo que Forum AI está apostando su negocio, aunque convertir el interés en el cumplimiento en ingresos consistentes sigue siendo un desafío, particularmente hexaedro que gran parte del mercado flagrante todavía está satisfecho con auditorías de casillas de comprobación y puntos de narración estandarizados que Brown considera inadecuados.
El panorama del cumplimiento, afirmó, es “una broma”. Cuando la ciudad de Nueva York aprobó la primera ley sobre prejuicios en la contratación que requería auditorías de IA, el contralor estatal descubrió que más de la fracción tenían violaciones que no fueron detectadas. La evaluación existente, dijo, requiere experiencia en el campo para trabajar no sólo en escenarios conocidos sino igualmente en casos extremos que “pueden meterte en problemas en los que la concurrencia no piensa”. Y ese trabajo lleva tiempo. “Los generalistas inteligentes no van a ser suficientes”.
Brown, cuya empresa recaudó el otoño pasado $3 millones dirigido por Lerer Hippeau, está en una posición única para describir la desconexión entre la autoimagen de la industria de la IA y la ingenuidad de la mayoría de los usuarios. “Los líderes de las grandes empresas tecnológicas dicen: ‘Esta tecnología va a cambiar el mundo’, ‘te va a dejar sin trabajo’, ‘va a curar el cáncer'”, dijo. “Pero para una persona común que simplemente usa un chatbot para hacer preguntas básicas, todavía recibe mucha basura y respuestas incorrectas”.
La confianza en la IA se encuentra en niveles extraordinariamente bajos y ella cree que el desconfianza está, en muchos casos, justificado. “En Silicon Valley se está conversando sobre una cosa, y entre los consumidores se está produciendo una conversación totalmente diferente”.
Cuando adquisición a través de enlaces en nuestros artículos, podemos ingresar una pequeña comisión. Esto no afecta nuestra independencia editorial.
Estudiar más Tech News in Spanish