Confiar o no confiar
Un equipo argentino que trabaja cuantificando sesgos en grandes volúmenes de texto, publicó un trabajo que alerta sobre los problemas de transparencia e interpretabilidad de algunas herramientas basadas en inteligencia artificial. Apunta al desconocimiento sobre cómo toman decisiones y a la posibilidad de reproducir sesgos y estereotipos.
Además de procesar y cuantificar, la inteligencia artificial (IA) toma decisiones. Pondera algunos elementos por sobre otros, saca conclusiones, brinda respuestas, produce textos o imágenes. Decir que esta tecnología está generando profundas transformaciones en nuestras formas de vida ya resulta una obviedad. Sin embargo, su funcionamiento todavía entraña algunos misterios.
Para apreciar la profundidad de esa caja negra, basta con un ejemplo: una herramienta que selecciona automáticamente un currículum para un puesto de trabajo. ¿Cómo elige a una persona por sobre otra? ¿Cómo confiar en la imparcialidad de sus resultados? ¿Se puede saber cuál fue el camino adoptado por el sistema para tomar una decisión?
Según Edgar Altszyler, investigador del CONICET en el Laboratorio de Inteligencia Artificial Aplicada (LIAA) en la Facultad de Ciencias Exactas y Naturales de la UBA, esa herramienta debería poder auditarse. “Sería bueno ver qué elementos está mirando y, en función de eso, que una persona pueda decidir entendiendo el proceso, porque tal vez se esté basando en estereotipos. Es uno de los problemas que existen”, afirma.
Una herramienta que selecciona automáticamente un currículum para un puesto de trabajo. ¿Cómo elige a una persona por sobre otra?
Altszyler se especializa en procesamiento del lenguaje natural y ha venido desarrollando distintos trabajos sobre detección y medición de sesgos, en especial, de género, en grandes volúmenes de texto. “Se mezclaron dos intereses -dice-. Uno es la técnica de IA y el otro tiene que ver con las ciencias sociales computacionales”.
“Nosotros abordamos estos trabajos desde el aspecto de la técnica. Cuantificamos la hipótesis que plantean los expertos en temas de género. No es nuevo cuantificar la presencia de sesgos en textos, la novedad es que la computación permite hacerlo a gran escala”, comenta el investigador.
De esta manera, en un trabajo anterior, el equipo cuantificó la presencia de sesgos en películas. “Tomamos los subtítulos de los últimos cincuenta años del mainstream de Hollywood y estudiamos cómo fue cambiando en el tiempo la presencia de estereotipos, principalmente, en cuanto a roles de género”, detalla Altszyler.
Los resultados mostraron, por ejemplo, la existencia del sesgo que asocia la inteligencia a lo masculino, una constante de los últimos cincuenta años. Para el investigador, eso también impacta fuertemente en la educación. “Hay otras hipótesis que entienden que ese es uno de los orígenes que explican la brecha en la elección de profesiones”, afirma. Algo que históricamente se ha visto en las matrículas de carreras científicas y técnicas.
“En otro estudio, analizamos el contenido de dos revistas de la misma editorial, una orientada a varones y otra a mujeres. Quisimos mostrar qué contenidos diferentes se muestran en cada una y para eso usamos herramientas de IA que permiten extraer automáticamente tópicos de muchos textos”, explica el investigador.
Los resultados mostraron, por ejemplo, la existencia del sesgo que asocia la inteligencia a lo masculino, una constante de los últimos cincuenta años.
El trabajo encontró que en los tópicos asociados a la familia o a la empresa ya no había brechas, pero en temáticas de ciencia sí: la revista orientada a hombres contaba con más presencia de ese tópico que la destinada a mujeres.
Una objetividad ideológica
El artículo recientemente publicado en ACL, cuyo primer autor es Francisco Valentini, becario doctoral en el LIAA, plantea los problemas de transparencia e interpretabilidad de estos métodos en la medición de sesgos. Lo que proponen los autores es retomar otros más tradicionales. “Nosotros queremos volver al método estadístico de la década del noventa por distintas características. Es bastante transparente y permite cuantificar la asociación de pares de palabras. Va a los textos y se fija cuántas veces las palabras co-ocurren en una ventana de texto”, comenta Altszyler.
El investigador señala que ingresó a esta área de trabajo en el momento de la “revolución” de los word embeddings, una técnica que “permite llevar las palabras a los números”. ¿En qué consiste? En la traducción del significado de las palabras a un espacio matemático. “El código va haciendo que palabras con significado similar tiendan a estar cerca”, detalla.
No obstante, el lenguaje es polisémico. ¿Qué sucede con palabras ambiguas? Altsyler explica que estos sistemas aprenden a partir de la co-ocurrencia de palabras en base a una gran cantidad de texto. Con palabras ambiguas o con múltiples sentidos posibles, dependerá de la forma estadísticamente mayoritaria en la que aparezcan en los textos.
Sin embargo, en este nuevo trabajo el equipo propone desandar un poco ese camino y dejar de lado las herramientas basadas en IA para la medición de sesgos. ¿Por qué no sería conveniente continuar usando metodologías más nuevas que se nutren de la tecnología de redes neuronales?
Edgar Altszyler. Foto: Luiza Cavalcante. Exactas UBA.
“Empezamos a notar que las métricas de word embedding tenían algunas fallas. Por ejemplo, que las palabras más frecuentes en inglés, como el artículo “the”, tenían sesgo masculino, y eso no estaba reportado. Encontramos que existe una tendencia en esta herramienta a ordenar las palabras en el espacio no solo por su significado, sino también por su frecuencia. Algo que, de alguna manera, va en contra de la semántica”, resume Altszyler.
Si le damos un texto a Chat-GPT y le pedimos un resumen, lo puede hacer, pero no vamos a saber por qué lo hizo de esa manera.
“Yo esperaría que las palabras “perro” y “can” estén cerca porque significan lo mismo. Pero si se separan un poco porque una es más frecuente que la otra, se está rompiendo lo que quiero medir”, agrega.
Para el especialista, son métodos en los que “no se sabe exactamente qué es lo que se está midiendo”, porque cuando brinda un valor, no es posible saber exactamente qué representa ese valor para los datos. Lo explica con un ejemplo: “Hoy si le damos un texto a Chat-GPT y le pedimos un resumen, lo puede hacer, pero no vamos a saber por qué lo hizo de esa manera, cómo eligió recortar algunas cosas y quedarse con otras”.
Altszyler aclara que eso no es relevante si el objetivo es, por ejemplo, lograr una aplicación que cumpla una tarea determinada, pero sí lo es cuando se busca analizar y comprender el proceso. “Notamos que este problema afectaba específicamente la medición de sesgos de género”, afirma.
Se debe a que al modificar la frecuencia, una misma palabra puede medirse con sesgos diferentes. Por ejemplo, en un contexto más frecuente puede tener un sesgo masculino pero con menor frecuencia, uno femenino. “Es solo por la frecuencia”, expresa Altszyler. Y agrega: “el contexto en el que estas palabras aparecen sigue siendo el mismo. Es un problema que aparece con estos métodos”.
Por eso, lo que proponen es entender cómo la herramienta toma decisiones, ya que de esa manera se comprende mejor qué se está midiendo. “Lo que proponemos en el trabajo es asociar las métricas de sesgos a algo tan simple como un cociente de probabilidades, es decir, qué tanto más probable es que una palabra aparezca más en un contexto que en otro, en relación a una u otra palabra. Por ejemplo, ‘nerd’ en relación a los pronombres ‘él’ o ‘ella’”, explica el investigador.
“La interpretabilidad llega cuando sabés qué es lo que estás midiendo. En este caso, se obtiene un determinado porcentaje de probabilidad de que una palabra aparezca más en un contexto que en otro. Ese cociente entre las probabilidades es otra manera de medir la similitud semántica. Además, como valor extra, es posible identificar si lo que se está midiendo efectivamente es porque aparece más en un contexto masculino o femenino y no por fluctuaciones estadísticas, es decir, apariciones esporádicas”, agrega.
Para concluir, Altszyler plantea que este estudio también puede ser de interés para la generación de modelos de inteligencia artificial. “Dado que la IA reproduce y aprende de la información que toma, algo muy relevante es chequear y cuantificar la presencia de sesgos en los textos de entrada”, propone. Y suma: “medir la presencia de sesgos en los textos de entrenamiento, permitiría trabajar en esos textos para eliminar los sesgos y después entrenar la herramienta con textos más curados”.
