El TRUEBench de Samsung somete a los chatbots de IA a reglas estrictas sin puntos parciales. Samsung utiliza 2,485 pruebas en varios idiomas para simular cargas de trabajo de oficina. Los inputs varían desde indicaciones cortas hasta documentos de más de veinte mil carácteres.
La adopción de herramientas de IA en los lugares de trabajo ha crecido rápidamente, lo que genera preocupación no solo sobre la automatización, sino también sobre cómo se juzgan estos sistemas.
Hasta ahora, la mayoría de los puntos de referencia han sido limitados, evaluando escritores de IA y sistemas de chatbots con indicaciones simples que raramente se parecen a la vida real de una oficina.
Samsung ha entrado en este debate con TRUEBench, un nuevo marco que dicen está diseñado para evaluar si los modelos de IA pueden manejar tareas que se asemejan al trabajo real.
Te puede gustar
Probando la IA en el lugar de trabajo
TRUEBench, que significa “Trustworthy Real-world Usage Evaluation Benchmark”, contiene 2,485 conjuntos de pruebas repartidos en diez categorías y doce idiomas.
A diferencia de los puntos de referencia convencionales que se centran en preguntas únicas en inglés, este introduce tareas más largas y complejas, como la resumen de documentos de múltiples pasos y la traducción a través de varios idiomas.
Samsung dice que las entradas varían desde un puñado de caracteres hasta más de veinte mil, en un intento de reflejar tanto las peticiones rápidas como los informes largos.
La empresa argumenta que estos conjuntos de pruebas exponen los límites de las plataformas de chatbots de IA cuando se enfrentan a condiciones del mundo real en lugar de a consultas académicas.
Cada prueba tiene requisitos estrictos: a menos que se cumplan todas las condiciones especificadas, el modelo falla. Esto produce resultados que son exigentes y menos indulgentes que muchos puntos de referencia existentes, que a menudo dan crédito a respuestas parciales.
“Samsung Research aporta una gran experiencia y una ventaja competitiva a través de su experiencia en IA del mundo real”, dijo Paul (Kyungwhoon) Cheun, Director de Tecnología de la División DX en Samsung Electronics y Jefe de Samsung Research.
“Esperamos que TRUEBench establezca estándares de evaluación para la productividad y consolide el liderazgo tecnológico de Samsung”.
Te puede interesar
Samsung Research describe un proceso en el que humanos e IA cooperan para diseñar los criterios de evaluación.
Los anotadores humanos primero establecen las condiciones, luego la IA las revisa para detectar contradicciones o restricciones innecesarias.
Los criterios se refinan repetidamente hasta que son consistentes y precisos.
Luego se aplica una puntuación automática a los modelos de IA, minimizando los juicios subjetivos y haciendo las comparaciones más transparentes.
Uno de los aspectos inusuales de TRUEBench es su publicación en Hugging Face, donde los rankings permiten la comparación directa de hasta cinco modelos.
Además de las puntuaciones de rendimiento, Samsung también divulga la longitud promedio de la respuesta, una métrica que ayuda a sopesar la eficiencia junto con la precisión.
La decisión de abrir partes del sistema sugiere un impulso por la credibilidad, aunque también expone el enfoque de Samsung al escrutinio.
Desde el advenimiento de la IA, muchos trabajadores ya se preguntan cómo se medirá la productividad cuando a los sistemas de IA se les den responsabilidades similares.
Con TRUEBench, los gerentes pueden tener una manera de juzgar si un chatbot de IA puede reemplazar o complementar al personal.
Sin embargo, a pesar de sus ambiciones, los puntos de referencia, por muy amplios que sean, siguen siendo medidas sintéticas y no pueden capturar completamente el desorden de la comunicación o la toma de decisiones en el lugar de trabajo.
TRUEBench puede establecer estándares más altos para la evaluación, pero si puede resolver los temores de pérdida de empleos, o simplemente afilarlos, sigue siendo una pregunta abierta.