¿Son las ondas cerebrales el próximo desbloqueo de la IA física?

La frontera de la IA física es un colección de Jenga en un almacén en San Leandro, California.

Ese almacén está ocupado por estampadoruna empresa que crea herramientas de datos que se utilizan para entrenar modelos de IA. Andrew Ceja es piloto (el término que usa la compañía para sus entrenadores robóticos) y está sacando con cuidado bloques de madera de una torre tambaleante mientras usa unos auriculares con una cámara que rastrea lo que ve. Eso por sí solo es suficiente global para resumir datos de entrenamiento de robots, pero este auricular incluye sensores que miden sus ondas cerebrales mientras desmonta cuidadosamente la torre de bloques.

Encord es una de un pequeño pero creciente número de startups que apuestan a que la próxima barrera positivo para la robótica humanoide y de almacén no será la inmueble del maniquí sino la absoluta escasez de datos de entrenamiento físico del mundo positivo. En empleo de someterse a ayudar a las empresas de robótica a dirigir los datos que tienen, Encord está construyendo un negocio en torno a la fabricación de los datos que no tienen.

El auricular de ondas cerebrales que lleva Ceja fue construido por Laboratorios Zanderuna startup alemana de neurociencia que desafío a que contar la actividad cerebral (para deducir estados mentales como error, intención y sorpresa) puede crear un conjunto de datos más útil para entrenar modelos. El trabajo de Encord con Zander es actualmente una prueba; Encord dice que el objetivo es construir un conjunto original de datos etiquetados con ondas cerebrales, ejecutarlo a través de modelos robóticos de clientes y evaluar si verdaderamente progreso el rendimiento antiguamente de arriesgarse si ampliarlo.

Lucas Gehrke, un neurocientífico de Zander que supervisa el trabajo, dice que la cantidad de actividad cerebral utilizada en cualquier momento durante una tarea determinada ofrece pistas para los constructores de modelos que intentan determinar cuándo necesitan implementar sus modelos de maduro esfuerzo.

Esta es la “vanguardia” del esfuerzo por resolver el cuello de botella de los datos robóticos, según Vineeth Velmurugan, director de formación de robots de Encord. Velmurugan, avezado del laboratorio de robots de OpenAI y de Berkshire Rebaño, la empresa de automatización de almacenes, se unió a Encord para formar el equipo interno de creación de datos de la empresa.

Encord se fundó para ayudar a las empresas que crean aplicaciones de visión industrial a anotar datos y evaluar modelos. A medida que sus clientes (Velmurugan dice que trabajan con muchas empresas líderes en robótica pero que no está acreditado a nombrarlas) comenzaron a aplicar el formación de extremo a extremo a las tareas de manipulación robótica, los ejecutivos se dieron cuenta de que tendrían que producir datos de capacitación ellos mismos, en empleo de simplemente administrarlos. “Los datos simplemente no existen”, afirmó Velmurugan.

La desafío de que la IA generativa puede hacer por los robots lo que ha hecho por los chatbots sigue chocando contra el mismo tapia. Las empresas de vehículos autónomos recopilan datos del mundo físico por sí mismas, pero eso es difícil de ascender. El entrenamiento a partir de vídeo puede funcionar, pero carece de la fidelidad de los datos del mundo positivo. Velmurugan dice que se necesitará un conjunto de datos de aproximadamente cinco veces el tamaño del corpus de videos de YouTube para lograrlo, una escalera que ayuda a explicar por qué la engendramiento de datos en sí se ha convertido en un negocio y no sólo en un problema de investigación.

Alimente sus evacuación de datos egocéntricos

Las empresas que construyen cerebros de robots ahora están recurriendo a dos fuentes principales: videos “egocéntricos” recopilados por trabajadores que usan cámaras, a menudo aumentados con ángulos de cámara adicionales y otras métricas, y datos de robots operado remotamente. Encord hace ambas cosas: extrae datos egocéntricos de varias fábricas de todo el mundo y utiliza sus instalaciones de San Leandro para ensayar con nuevas modalidades, como ondas cerebrales, o resumir conjuntos de datos sobre habilidades específicas para realizar ajustes.

Cuando TechCrunch visitó, los pilotos estaban usando equipos de líder-seguidor (brazos robóticos emparejados, uno controlado directamente por un cámara humano y otro que imita sus movimientos) para crear datos sobre tareas como servir café de una cafetera en tazas (muy chapoteante) y apilar fichas de póquer. “Todas las empresas humanoides nos han pedido estas piezas”, dice Velmurugan.

Los estantes de almacenamiento contenían cajas de flores artificiales en jarrones, libros, vegetales de plástico, bandejas y palas de arena para gatos, bolsas y haces de cables, el material apto para entrenar manipuladores para las tareas domésticas.

En una de estas estaciones, otra piloto, Sofía Infante, maniobra brazos robóticos para conectar y desconectar cables Ethernet de la parte posterior de un servidor: el tipo de trabajo que a los operadores de centros de datos les encantaría automatizar, si tan solo los robots pudieran manipularlos con la precisión requerida. Al dar una dorso detrás de los controles, pude ver por qué eso todavía está fuera de mi envergadura: las pinzas son mucho menos diestras que los dedos humanos y carecen de los grados de confianza que damos por sentado en nuestros brazos.

Otra nueva modalidad de datos que está desarrollando Encord utiliza un conjunto de sensores sujetos al antebrazo para detectar señales eléctricas en los músculos. Los vídeos tomados de manos humanas manipulando objetos normalmente no capturan la mano completa, pero Velmurugan aplazamiento construir una representación 3D de dónde está la mano en cualquier momento basándose en los sensores del padrino, creando una comprensión más sólida de los modelos.

Los conjuntos de datos de Encord están anotados con descripciones físicas de lo que contiene cada video (“la mano derecha aprieta el perno”) para ayudar a los modelos basados ​​en LLM a comprender lo que está sucediendo. Velmurugan estima que este tipo de anotación densa vale 100 veces más que los “datos basura del ego” para entrenar tareas específicas, y su producción solo cuesta 20 veces más, lo cual es un buen negocio, en papel.

Pero “20 veces más” sigue siendo parné positivo, y ese es el problema: extraer texto de Internet, de la misma forma que los creadores de LLM construyeron sus modelos a partir de Stack Overflow y el resto de la web, cuesta a los laboratorios de vanguardia casi nulo. La engendramiento de datos de entrenamiento físico no, y ese es el contorno de la comparación de la IA física como LLM. Este tipo de datos hay que fabricarlos, no simplemente recopilarlos, y eso cambia la pertenencias de la construcción de estos modelos.

Velmurugan dice que se están logrando avances: con la visibilidad de Encord en los programas de toda la industria, puede ver que tanto las empresas emergentes como los laboratorios de vanguardia descubren qué funciona y qué no para mejorar los modelos físicos de IA. Ese punto de traza (entre muchas empresas de robótica a la vez) asimismo es parte del discurso de Encord. Puede detectar qué técnicas de datos están ganando demarcación en toda la industria antiguamente de que lo pueda hacer un solo cliente.

Eso mantendrá ocupada a la docena de pilotos de las instalaciones de Encord. Tanto Infante como Ceja son parte de una creciente fuerza profesional que desarrolla los componentes básicos de las redes neuronales; Anteriormente trabajaron en Scale, otra empresa de anotación de datos de IA, antiguamente de unirse a Encord.

Ceja había trabajado en una empresa de dirección de residuos donde su interés por la tecnología lo llevó a estar a cargo de persistir en buen funcionamiento un clasificador de basura robótico. Ahora, mientras la torre Jenga se derrumba, dice que disfruta el desafío de resolver tareas de entrenamiento para robots: “¡Es poco nuevo cada día!”.