por Patrícia Rocha, científica de datos junior en Automaise

Hoy en día, la IA está en todas partes. Puede que no se parezca a las versiones de ciencia ficción que nos ha vendido la cultura popular, pero su potencial crece cada año y va a repercutir en todos los sectores y empresas, desde los productos que utilizamos hasta el trabajo que realizamos y la forma en que conducimos.

Uno de los campos que probablemente más se ha beneficiado del big data es el PLN (procesamiento del lenguaje natural). Los modelos lingüísticos, cada vez más grandes, tienden a mejorar su rendimiento cuando se les proporcionan enormes cantidades de datos. GPT-3 es uno de los modelos lingüísticos más sofisticados hasta la fecha. Con aproximadamente 175.000 millones de parámetros, puedes escribir cualquier sugerencia de texto (prompt) y, esencialmente, arrojará las palabras con mayor probabilidad de ir a continuación. Aunque sus capacidades son indudablemente impresionantes (puede actuar como un chatbot, resumir textos, generar ensayos), el modelo está lejos de ser perfecto. Hazle cualquier pregunta que se te ocurra y siempre te dará una respuesta, pero de vez en cuando te ofrecerá frases que apenas tienen sentido.

Dado que los datos son uno de los ingredientes clave de cualquier aplicación basada en IA, una de las principales preocupaciones en torno a GPT-3 es la posibilidad de que replique los sesgos humanos presentes en los datos de entrenamiento.

GPT-3 aprendió su lenguaje de Internet; se entrenó esencialmente con datos extraídos de la web. Por lo tanto, puede difundir lenguaje abusivo e incitación al odio hacia personas o grupos específicos.

GPT-3 presenta una amplia variedad de sesgos raciales, religiosos y de género, entre otros. La investigación sobre los sesgos religiosos, por ejemplo, demostró que GPT-3 asocia fuertemente la palabra musulmán con terrorismo y violencia, y aunque un diseño cuidadoso de las instrucciones reduce este comportamiento, sigue siendo más común que con otros grupos religiosos (Abid et al.). También existe la posibilidad de que algunos sesgos aún no se hayan identificado. La propia definición de toxicidad no es consensuada y sigue cambiando.

El Playground de OpenAI mostrando una finalización de GPT-3 para una instrucción que contiene la palabra "Muslims" (musulmanes)

Estas cuestiones suscitaron debates sobre las vulnerabilidades y los posibles usos indebidos de los grandes modelos lingüísticos. Después de que el responsable de IA de Facebook, Jerome Pesenti, señalara el sesgo en el contenido creado por GPT-3, OpenAI ofreció rápidamente una solución: una API de filtro de contenido que clasifica el texto como seguro, sensible o no seguro (Epstein), pero se proporcionan pocos detalles sobre cómo funciona este filtro. ¿Deberían ser las grandes empresas tecnológicas como OpenAI quienes tomen tales decisiones en nombre de la sociedad?

Más recientemente (10 de junio de 2021), OpenAI publicó un estudio en el que afirman haber mitigado el sesgo en GPT-3 (Solaiman y Dennison). Para ello, crearon un conjunto de datos basado en valores denominado Proceso para la Adaptación de Modelos Lingüísticos a la Sociedad (PALMS, por sus siglas en inglés), que consta de pares de preguntas y respuestas cuidadosamente seleccionados sobre temas sensibles.

Evaluaron tres versiones de GPT-3: una de referencia, una de control (ajustada en un conjunto de datos neutro) y una de GPT-3 orientada a valores (ajustada en PALMS). Los resultados demostraron que GPT-3 ajustado en PALMS obtuvo sistemáticamente puntuaciones más bajas en toxicidad. Sin embargo, al representar un conjunto limitado de temas complejos, el conjunto de datos de PALMS solo ayuda hasta cierto punto. Además, OpenAI insiste en que no está claro qué autoridad debe regir el comportamiento del modelo, ya que el comportamiento "seguro" es también un concepto subjetivo.

En Automaise, tomamos algunas medidas para evitar resultados potencialmente perjudiciales. Conviene recordar que GPT-3 y su predecesor GPT-2 se entrenaron con datos no filtrados extraídos de la web, y la naturaleza de este contenido puede ser ofensiva. Por tanto, es lógico que el primer paso consista en ajustar nuestros modelos generativos en conjuntos de datos más pequeños que contengan interacciones entre clientes y operadores, lo que ayuda a que el modelo se adapte al comportamiento deseado sin perder sus capacidades. Además de eso, contamos con intervención humana (human-in-the-loop), lo que significa que el modelo sugiere una serie de respuestas, entre las cuales un operador elige la más adecuada antes de que llegue al usuario final. Aunque estas medidas nos permiten tener un mayor control sobre el resultado, aún queda mucho por hacer.

A pesar de las innegables dificultades para detectar, aislar y mitigar los sesgos, no puede ser tan fácil para un modelo lanzar insultos sexistas y raciales cuando se le presentan instrucciones aparentemente neutras.

Aunque la postura de OpenAI estuvo clara desde el principio (seguir aumentando su comprensión de los posibles perjuicios de la tecnología en una variedad de casos de uso, lanzándola a través de una API que facilita el control de los posibles usos indebidos), es necesario avanzar más hacia una IA segura y responsable antes de implementar estos modelos. Aunque no existe una solución única para todos, surge la duda de si deberíamos dar un paso atrás e invertir más tiempo y recursos en la selección de datos y su documentación.

Bibliografía

Abid, Abubakar, et al. “Persistent Anti-Muslim Bias in Large Language Models.” 2021, https://arxiv.org/pdf/2101.05783.pdf.

Epstein, Sophia. “How do you control an AI as powerful as OpenAI’s GPT-3?” WIRED UK, 2021, https://www.wired.co.uk/article/gpt-3-openai-examples. Consultado el 09 06 2021.

Solaiman, Irene, y Christy Dennison. Process for Adapting Language Models to Society (PALMS) with Values-Targeted Datasets, 2021.