La mayoría de los modelos de lenguaje se entrenan y prueban en conversaciones cortas y fuera de contexto, pero las interacciones reales con los clientes son mucho más complejas. Este destacado artículo analiza un estudio de Facebook AI Research que aborda el diálogo a largo plazo y multilatas, y lo que esto significa para construir mejores agentes conversacionales.
En Automaise, nos esforzamos por lograr interacciones sin estrés para sus clientes manteniéndonos al día con los últimos desarrollos y creando mejores asistentes digitales.
Los modelos de lenguaje de última generación se entrenan y evalúan actualmente en conversaciones cortas con poco o ningún contexto. Las mejoras recientes continúan ignorando la duración y el carácter de los diálogos humanos, y los modelos a menudo no logran funcionar en conversaciones largas de dominio abierto.
¿Cómo podemos abordar el problema?
Facebook AI Research ha abordado recientemente métodos para la conversación a largo plazo en dominios abiertos en su trabajo “Beyond Goldfish Memory: Long-Term Open-Domain Conversation”¹. Además, recopilaron un conjunto de datos en inglés titulado Multi-Session Chat (MSC), que consiste en chats de trabajadores de microtareas humanas que se extienden a lo largo de cinco sesiones, cada una con hasta 14 enunciados. Cada sesión también contiene anotaciones sobre temas esenciales discutidos en intercambios anteriores para alimentar las siguientes conversaciones.
To collect the dataset, they employed crowd workers to play the roles of speakers — provided as sentences describing a persona — and replicated an online chat in which users often pause the conversation only to resume it after some time.
Figura 1: Ejemplo de una conversación del conjunto de datos MSC.
Para modelar el chat de múltiples sesiones, los autores decidieron utilizar un modelo de lenguaje grande estándar (es decir, un Transformer codificador-decodificador), al mismo tiempo que estudiaron dos técnicas:
Un método de Recuperación Aumentada que utiliza un sistema de recuperación para encontrar y seleccionar qué parte del contexto incluir en la codificación.
Un método de Resumen con Memoria Aumentada que resume el conocimiento de diálogos anteriores y solo almacena esa información, siendo así más eficiente que el anterior.
Resultados
A lo largo de sus experimentos, los autores observaron una mejora en la perplejidad (definida como la log-verosimilitud negativa promedio exponenciada de una secuencia) al agregar el historial de diálogo en comparación con un escenario sin contexto. Observaron un aumento en el rendimiento al usar los resúmenes de sesión anotados por los trabajadores de microtareas, que son potencialmente más informativos que el historial de diálogo. La ganancia en el rendimiento es aún más notable al evaluar las respuestas de apertura de una sesión.
Además de las métricas calculadas, los autores también realizaron una tarea de evaluación humana utilizando trabajadores de microtareas. Se eligen al azar dos perfiles de personalidad del conjunto de validación, y se asigna uno al trabajador. El trabajador luego entabla una conversación con la otra personalidad y se le pide que evalúe las respuestas de su compañero, ya sea que se refieran a información aprendida en sesiones anteriores o no. Los autores concluyeron que sus modelos eran significativamente mejores al mencionar temas anteriores, agregar temas nuevos a la conversación y ofrecer respuestas atractivas.
En general, el trabajo se centra en diferentes arquitecturas de modelos para ayudar a mantener conversaciones a largo plazo de manera más efectiva.
En la atención al cliente, las técnicas descritas anteriormente nos permiten construir mejores agentes conversacionales: mejores para atraer a los usuarios, manejar respuestas complejas de los usuarios y garantizar una atención personalizada basada en interacciones y solicitudes anteriores.
