Kioxia revela nuevo proyecto llamado AiSAQ que quiere sustituir RAM con SSDs para procesamiento de datos de IA
SSDs más grandes (léase: 100TB+) podrían mejorar RAG a un costo más bajo que usar solo memoria
No se ha dado un cronograma, pero se espera que los rivales de Kioxia ofrezcan tecnología similar
Los modelos de lenguaje grandes a menudo generan salidas plausibles pero incorrectas desde el punto de vista factual, es decir, inventan cosas. Estas “alucinaciones” pueden dañar la confiabilidad en tareas críticas de información como diagnósticos médicos, análisis legales, informes financieros e investigación científica.
La Generación con Recuperación Aumentada (RAG) mitiga este problema al integrar fuentes de datos externas, permitiendo que los LLMs accedan a información en tiempo real durante la generación, reduciendo errores y, al fundamentar las salidas en datos actuales, mejorando la precisión contextual. Implementar RAG eficazmente requiere recursos de memoria y almacenamiento sustanciales, y esto es especialmente cierto para datos vectoriales e índices a gran escala. Tradicionalmente, estos datos se han almacenado en DRAM, que, aunque rápido, es tanto costoso como limitado en capacidad.
Para abordar estos desafíos, ServeTheHome informa que en el CES de este año, el gigante japonés de la memoria Kioxia presentó AiSAQ – Búsqueda de Vecino Más Cercano Aproximado (ANNS) con Cuantización de Productos – que utiliza SSDs de alta capacidad para almacenar datos vectoriales e índices. Kioxia afirma que AiSAQ reduce significativamente el uso de DRAM en comparación con DiskANN, ofreciendo un enfoque más rentable y escalable para respaldar modelos de IA grandes.
Cambiar a almacenamiento basado en SSD permite manejar conjuntos de datos más grandes sin los altos costos asociados con el uso extenso de DRAM.
Si bien el acceso a datos desde SSDs puede introducir una ligera latencia en comparación con DRAM, el compromiso incluye costos del sistema más bajos y una mejor escalabilidad, que pueden respaldar un mejor rendimiento y precisión del modelo a medida que los conjuntos de datos más grandes proporcionan una base más rica para el aprendizaje y la inferencia.
Al utilizar SSDs de alta capacidad, AiSAQ aborda las demandas de almacenamiento de RAG mientras contribuye al objetivo más amplio de hacer que las tecnologías de IA avanzadas sean más accesibles y rentables. Kioxia no ha revelado cuándo planea lanzar AiSAQ al mercado, pero es seguro apostar a que rivales como Micron y SK Hynix tendrán algo similar en desarrollo.
ServeTheHome concluye: “Todo es IA en estos días, y Kioxia también está impulsando esto. Realísticamente, RAG va a ser una parte importante de muchas aplicaciones, y si hay una aplicación que necesita acceder a muchos datos, pero no se utiliza con tanta frecuencia, esta sería una gran oportunidad para algo como Kioxia AiSAQ.”