Un nuevo estudio de la Universidad Cornell señala que el asistente de compras de inteligencia artificial de Amazon, Rufus, ofrece respuestas ambiguas o inexactas a usuarios que emplean ciertos dialectos del inglés, como el inglés afroamericano (AAE), especialmente cuando los prompts contienen errores ortográficos.

El estudio construyó un marco de evaluación para analizar los posibles daños que podrían derivarse de un rendimiento deficiente de los chatbots ante usuarios de diferentes dialectos. Los investigadores subrayan que sus hallazgos tienen implicaciones importantes para numerosas plataformas en línea que dependen de chatbots basados en grandes modelos de lenguaje. La doctoranda de Cornell Tech y autora principal, Emma Harvey, afirma: “Actualmente, los chatbots pueden ofrecer respuestas de baja calidad a usuarios de dialectos, pero esto no es inevitable. Entrenar grandes modelos de lenguaje para manejar características comunes de dialectos más allá del inglés estadounidense estándar podría lograr un comportamiento más equitativo”. El trabajo recibió el premio al mejor artículo en la conferencia ACM Fairness, Accountability, and Transparency (FAccT 2025), celebrada del 23 al 26 de junio, y fue coescrito por el profesor asociado Rene F. Kizilcec de la Ann S. Bowers College of Computing and Information Science de Cornell, entre otros. El artículo se publicó en las actas de la conferencia FAccT 2025.

El equipo auditó Amazon Rufus en la aplicación de compras de Amazon, utilizando la herramienta MultiVALUE para convertir prompts en inglés estándar a cinco dialectos y modificándolos para simular escenarios reales de uso. Los resultados muestran que la calidad de las respuestas de Rufus disminuye al emplear dialectos, y los errores ortográficos agravan aún más esta brecha. Por ejemplo, al preguntar en inglés estadounidense estándar si una chaqueta es lavable a máquina, Rufus responde correctamente; pero al formular la misma pregunta en dialecto AAE sin conjunciones, Rufus a menudo falla en responder adecuadamente o dirige al usuario a productos irrelevantes. En general, el equipo aboga por auditorías de IA sensibles a dialectos y urge a los desarrolladores a diseñar sistemas que incluyan la diversidad lingüística.