A maioria dos modelos de linguagem é treinada e testada em conversas curtas e sem contexto — mas as interações reais com os clientes são muito mais complexas. Este paper spotlight analisa um estudo da Facebook AI Research que aborda o diálogo de longo prazo e multi-session, e o que isso significa para construir melhores conversational agents.
Na Automaise, esforçamo-nos por obter interações sem stress para os seus clientes, mantendo-nos atualizados com os mais recentes desenvolvimentos e construindo melhores assistentes digitais.
Os modelos de linguagem state-of-the-art estão atualmente a ser treinados e avaliados em conversas curtas com pouco ou nenhum contexto. As melhorias recentes continuam a desconsiderar a extensão e o carácter dos diálogos humanos, e os modelos falham frequentemente em conversações longas em open-domain.
Como podemos abordar o problema?
A Facebook AI Research abordou recentemente métodos para conversação open-domain a longo prazo no seu trabalho “Beyond Goldfish Memory: Long-Term Open-Domain Conversation”¹. Adicionalmente, recolheram um dataset em inglês intitulado Multi-Session Chat (MSC), que consiste em chats de trabalhadores humanos que abrangem mais de cinco sessões, cada uma com até 14 enunciados. Cada sessão também contém anotações sobre tópicos essenciais discutidos em interações anteriores para alimentar as conversas seguintes.
To collect the dataset, utilizaram crowd workers para desempenhar as funções de interlocutores — fornecidos como frases que descrevem uma persona — e replicaram um chat online no qual os utilizadores costumam pausar a conversa para a retomar algum tempo depois.
Figura 1: Exemplo de uma conversa do dataset MSC.
Para modelar o multi-session chat, os autores decidiram por um modelo de linguagem de grande escala padrão (ou seja, encoder-decoder Transformer) ao mesmo tempo que estudavam duas técnicas:
Um método de Retrieval-Augmentation que utiliza um sistema de recuperação para encontrar e selecionar qual a parte do contexto a incluir na codificação.
Um método de Summarization Memory-Augmentation que resume o conhecimento dos diálogos anteriores e armazena apenas essa informação, sendo assim mais eficiente do que o anterior.
Resultados
Ao longo das suas experiências, os autores observaram uma melhoria na perplexidade (definida como a média exponencial da negative log-likelihood de uma sequência) ao adicionar o histórico de diálogo em comparação com um cenário sem contexto. Observaram um aumento no desempenho ao utilizar os resumos das sessões anotados pelos crowdworkers, que são potencialmente mais informativos do que o histórico do diálogo. O ganho de desempenho é ainda mais percetível ao avaliar as respostas de abertura de uma sessão.
Além das métricas calculadas, os autores também realizaram uma tarefa de avaliação humana utilizando crowdworkers. Duas personas são escolhidas aleatoriamente do conjunto de validação, e uma é atribuída ao crowdworker. O crowdworker inicia então uma conversa com a outra persona e é convidado a avaliar as respostas do seu parceiro, quer estas se refiram a informações aprendidas em sessões anteriores ou não. Os autores concluíram que os seus modelos eram significativamente melhores a mencionar tópicos anteriores, a adicionar novos tópicos à conversa e a gerar respostas envolventes.
No geral, o trabalho foca-se em diferentes arquiteturas de modelos para ajudar a conduzir conversas de longo prazo de forma mais eficaz.
No apoio ao cliente, as técnicas descritas acima permitem-nos construir melhores agentes de conversação: melhores a envolver os utilizadores, a lidar com respostas complexas dos utilizadores e a garantir um atendimento personalizado com base em interações e pedidos anteriores.
