por Patrícia Rocha, Junior Data Scientist na Automaise

Hoje em dia, a IA está em todo o lado. Pode não se parecer com as versões de ficção científica que nos são transmitidas através da cultura popular, mas o seu potencial está a crescer a cada ano que passa e vai ter impacto em todos os setores e em todas as empresas, desde os produtos que utilizamos ao trabalho que realizamos e à forma como conduzimos.

Um dos campos que provavelmente mais beneficiou com o big data é o NLP. Modelos de linguagem cada vez maiores tendem a melhorar o seu desempenho quando lhes são fornecidas quantidades brutais de dados. GPT-3 é um dos modelos de linguagem mais sofisticados até à data. Com cerca de 175 mil milhões de parâmetros, pode introduzir qualquer prompt e este irá essencialmente prever quais as palavras com maior probabilidade de aparecerem a seguir. Embora as suas capacidades sejam indiscutivelmente impressionantes — pode comportar-se como um chatbot, resumir texto, gerar ensaios -, o modelo está longe de ser perfeito. Faça-lhe qualquer pergunta em que consiga pensar e ele dar-lhe-á sempre uma resposta, mas, de vez em quando, apresentará frases que fazem pouco sentido.

Uma vez que os dados são um dos ingredientes fundamentais para qualquer aplicação baseada em IA, uma das principais preocupações em torno do GPT-3 é a possibilidade de este replicar os preconceitos humanos presentes nos dados de treino.

O GPT-3 aprendeu a sua linguagem a partir da Internet — foi treinado essencialmente com dados recolhidos da web. Por conseguinte, pode disseminar linguagem abusiva e discursos de ódio contra indivíduos ou grupos específicos de pessoas.

O GPT-3 exibe uma grande variedade de preconceitos raciais, religiosos e de género, entre outros. A investigação sobre preconceitos religiosos, por exemplo, demonstrou que o GPT-3 associa fortemente a palavra Muslim a terrorism e violence, e embora um design cuidadoso de prompts reduza este comportamento, este continua a ser mais comum do que para outros grupos religiosos (Abid et al.). Existe também a possibilidade de alguns preconceitos ainda não estarem identificados. A própria definição de toxicidade não é consensual e continua a evoluir.

O Playground da OpenAI a mostrar um completion do GPT-3 para um prompt que contém a palavra ‘Muslims’

Estas questões geraram debates sobre as vulnerabilidades e os potenciais abusos dos grandes modelos de linguagem. Depois de o responsável de IA do Facebook, Jerome Pesenti, ter denunciado o preconceito no conteúdo criado pelo GPT-3, a OpenAI ofereceu rapidamente uma solução: uma API de filtro de conteúdo que classifica o texto como seguro, sensível ou inseguro (Epstein), mas são fornecidos poucos detalhes sobre o funcionamento deste filtro. Caberá a grandes empresas tecnológicas como a OpenAI fazer tais julgamentos em nome da sociedade?

Mais recentemente (10 de junho de 2021), a OpenAI publicou um estudo no qual afirma ter mitigado o preconceito no GPT-3 (Solaiman e Dennison). Para o fazer, criaram um dataset direcionado para valores chamado Process for Adapting Language Models to Society (PALMS), que consiste em pares de perguntas e respostas cuidadosamente selecionados que visam tópicos sensíveis.

Avaliaram três versões do GPT-3: um baseline, um controlo (fine-tuned num dataset neutro) e um GPT-3 direcionado para valores (fine-tuned no PALMS). Os resultados demonstraram que o GPT-3 com fine-tuning no PALMS obteve consistentemente pontuações mais baixas de toxicidade. No entanto, ao retratar um conjunto limitado de tópicos sensíveis, o dataset PALMS só ajuda até certo ponto. Adicionalmente, a OpenAI reforça que não é claro qual a autoridade que deve reger o comportamento do modelo, uma vez que o comportamento "seguro" também é um conceito subjetivo.

Na Automaise, tomamos algumas medidas para evitar outputs potencialmente prejudiciais. Vale a pena recordar que o GPT-3 e o seu predecessor GPT-2 foram treinados com dados não filtrados recolhidos da web, e a natureza deste conteúdo pode ser ofensiva. Assim, é perfeitamente razoável que o primeiro passo inclua fazer o fine-tuning dos nossos modelos generativos em datasets mais pequenos contendo interações entre clientes e operadores, o que ajuda o modelo a ajustar-se ao comportamento desejado sem perder as suas capacidades. Além disso, temos um human-in-the-loop, o que significa que o modelo sugere um conjunto de respostas, entre as quais um operador escolhe a mais adequada antes de esta chegar ao utilizador final. Embora estas medidas nos permitam ter um maior controlo sobre o output, ainda há muito por fazer.

Apesar das inegáveis dificuldades em detetar, isolar e mitigar preconceitos, não devia ser assim tão fácil para um modelo lançar insultos sexistas e racistas quando lhe são apresentados prompts aparentemente neutros.

Embora a posição da OpenAI tenha sido clara desde o início — continuar a aumentar a sua compreensão dos potenciais danos da tecnologia numa variedade de casos de utilização, lançando-a através de uma API que torna mais fácil controlar potenciais utilizações indevidas -, tem de haver mais progressos no sentido de uma IA segura e responsável antes de implementar estes modelos. Embora não exista uma solução única para todos, surge a questão de saber se não deveríamos dar um passo atrás e investir mais tempo e recursos na curadoria e documentação de dados.

Bibliografia

Abid, Abubakar, et al. “Persistent Anti-Muslim Bias in Large Language Models.” 2021, https://arxiv.org/pdf/2101.05783.pdf.

Epstein, Sophia. “How do you control an AI as powerful as OpenAI’s GPT-3?” WIRED UK, 2021, https://www.wired.co.uk/article/gpt-3-openai-examples. Acedido a 09 06 2021.

Solaiman, Irene, and Christy Dennison. Process for Adapting Language Models to Society (PALMS) with Values-Targeted Datasets, 2021.