INDUSTRIES DE TIEMPO DE IMPRESIÓN está apostando por la infraestructura de IA tópico con un dispositivo de mano “AI-in-a-Box” llamado Lemony AI.
El tamaño de un sándwich, Lemony Ai Supuestamente puede ejecutar un maniquí de idioma vasto (LLM), agentes de IA y flujos de trabajo de IA en un nodo. Cada limonada requiere solo 65 vatios de potencia para ejecutar, el equivalente a cargar una computadora portátil, y se puede apilar y conectarse para formar grupos AI más grandes.
Sascha Buehrle, cofundadora y CEO de Isttime, le dijo a TechCrunch que cada nodo puede nutrir un LLM de hasta 75 mil millones de parámetros de tamaño, y puede penetrar modelos de código destapado o versiones modernizadas de modelos cerrados. En un clúster de nodos de lemonía, cada dispositivo puede ejecutar un maniquí diferente.
El tiempo de actividad se rejón con asociaciones con IBM y JetBrains para proporcionar a sus clientes un ataque más ligera a los modelos de IA, incluidos los modelos cerrados de IBM.
Como la mayoría de las nuevas empresas tecnológicas, la idea para Lemony Ai surgió de un esquema paralelo: los cofundadores de actividad, Buehrle e Ivan Kuleshov, estaban tratando de descubrir si podían distribuir modelos de idiomas en Micro computadoras de Raspberry Piy aunque esto no estaba originalmente relacionado con la IA generativa, cuando funcionó, comenzaron a tratar de ver qué más podrían manejar estos pis de frambuesa.
Cuando se dieron cuenta de que ejecutar modelos en dispositivos locales podría probar la secreto para desbloquear más prohijamiento de IA por parte de las organizaciones, por ejemplo, empresas que no quieren usar modelos basados en la montón, comenzaron a construir un dispositivo propio. Supusieron que hacer un poco de intensidad en la privacidad de los datos podría hacer que las empresas adopten la IA más rápido.
“Necesitamos construir poco pequeño que pueda ir fácilmente a los equipos, y que (no requiere) ninguna toma de decisiones en toda la estructura, trayendo soluciones generativas de IA generativas en los equipos de negocios, básicamente”, dijo Buehrle. Los grupos de dispositivos pequeños y potentes pueden ayudar al sistema a crecer de acuerdo con las deyección de un cliente, agregó.
La compañía dice que ya ha pasado una válido demanda de negocios en industrias muy reguladas como finanzas, atención médica y derecho.
“Todo permanece en tu caja”, dijo Buehrle. “Entonces, sus documentos, sus archivos, sus correos electrónicos: los modelos están alojados en el cuadro, los agentes se ejecutan localmente en la caja y nadie sale de la caja”.
Hasta el momento, el tiempo de actividad ha recaudado $ 2 millones en una ronda de fondos semilla dirigida por True Ventures, con la décimo de Alumni Ventures, JetBrains y algunos inversores ángeles. La compañía utilizará los fondos para desarrollar aún más sus dispositivos.
La startup dice que el plan ahora es obtener el software que ha desarrollado para sus computadoras micro ai, el sistema eficaz Lemony, para trabajar en el hardware de otras compañías, como el Nvidia dgx chispa. Todavía quiere expandir el software de su enfoque presente de un solo adjudicatario a uno que pueda ser utilizado por los equipos.
Lemony Ai cuesta $ 499 al mes para usar, y hasta cinco usuarios pueden consentir a los cinco usuarios.
(Tagstotranslate) AI (T) Hardware AI (T) Infraestructura AI (T) Enterprise (T) Startups
Estudiar más Tech News in Spanish
