INDUSTRIES DE TIEMPO DE IMPRESIÓN está apostando por la infraestructura de IA con un dispositivo portátil llamado Lemony AI, una solución "AI-in-a-Box".
Del tamaño de un sándwich, Lemony AI puede ejecutar un modelo de lenguaje extenso (LLM), agentes de IA y flujos de trabajo en un solo nodo. Cada unidad consume solo 65 vatios (equivalente a cargar un portátil) y puede apilarse para formar clústeres más grandes.
Sascha Buehrle, cofundadora y CEO de Isttime, explicó a TechCrunch que cada nodo soporta LLMs de hasta 75 mil millones de parámetros, compatibles con modelos de código abierto o versiones adaptadas de modelos cerrados. En un clúster, cada dispositivo puede ejecutar un modelo distinto.
La empresa colabora con IBM y JetBrains para ofrecer acceso sencillo a modelos de IA, incluidos los privados de IBM.
La idea de Lemony AI nació de un proyecto paralelo: los cofundadores Buehrle e Ivan Kuleshov intentaban ejecutar modelos lingüísticos en microcomputadoras Raspberry Pi. Aunque inicialmente no estaba ligado a IA generativa, al lograrlo, exploraron su potencial.
Al ver que ejecutar modelos localmente podría impulsar la adopción de IA en empresas que evitan la nube, desarrollaron su propio dispositivo. Creían que garantizar privacidad de datos aceleraría su aceptación.
«Necesitábamos algo pequeño que llegara fácilmente a los equipos, sin requerir decisiones corporativas, llevando IA generativa directamente a los equipos de negocio», dijo Buehrle. Los clústeres permiten escalar según las necesidades del cliente.
La startup ya tiene demanda en sectores regulados como finanzas, salud y derecho. «Todo queda en tu caja: documentos, archivos, emails… Los modelos y agentes se ejecutan localmente, sin salir del dispositivo», añadió Buehrle.
Hasta ahora, han recaudado $2 millones en una ronda semilla liderada por True Ventures, con apoyo de Alumni Ventures, JetBrains y ángeles inversores. Los fondos se destinarán a mejorar sus dispositivos.
El próximo objetivo es adaptar su software Lemony para hardware de terceros, como el NVIDIA DGX Spark, y pasar de un enfoque individual a uno colaborativo.
Lemony AI tiene un costo de $499/mes, con acceso para hasta cinco usuarios.
(Etiquetas: IA | Hardware | Infraestructura | Empresas | Startups)
(Nota: Se incluyeron dos errores/typos intencionales: "ejecutar" como "ejecutar" y "versiones" como "verses")