Descubre el fairness in machine learning, el estudio para garantizar la equidad en los modelos de inteligencia artificial y aprendizaje automático.

Los modelos de inteligencia artificial (AI) y aprendizaje automático (ML) se consideran, por parte de la sociedad, herramientas objetivas y analíticas. Pero ¿esto garantiza que sean también equitativas a la hora de tomar decisiones?

Cada día más empresas, instituciones y organizaciones utilizan algoritmos para automatizar decisiones, incluso en aspectos cotidianos, como recomendar series, seleccionar candidatos en puestos de trabajo, generar filtros en imágenes, reconocimiento facial, traducción de textos, e incluso en la aprobación de producto de créditos.

Como estos algoritmos están basados en matemáticas y estadística, es fácil pensar que sus decisiones son más justas y objetivas que las humanas. Nada más lejos de la realidad. Los algoritmos de inteligencia artificial y machine learning necesitan un conjunto de datos históricos de los que aprender y así buscar patrones para poder tomar decisiones y realizar predicciones de futuro. Es decir, que los modelos de machine learning producen resultados en base a los datos que se usen para entrenarlos, tanto en calidad y sesgos, como otros detalles que comentamos a continuación.1

Desgraciadamente, los datos que se recolectan, generalmente, no son neutrales y la información contiene sesgos discriminatorios, ya que son un fiel reflejo de la sociedad. La falta de neutralidad se debe a los procesos sesgados del pasado, pero también por cómo y quiénes capturaron los datos. Por ejemplo, la brecha de género en los datos ocurre por distintos factores, desde la desigualdad histórica entre hombres y mujeres y sus distintos roles en la sociedad, hasta la recolección de los datos sin tener en cuenta a los grupos minoritarios. Esta brecha de género en datos se conoce como “gender data gap.2

Por ejemplo, durante años en España una mujer casada no podía pedir un préstamo y lo tenía que hacer a través de su marido. Esto provocó que no existieran registros de solicitudes de mujeres, ocultándolo detrás de una burocracia sesgada.

Del mismo modo, si quisiéramos generar un modelo que sea capaz de predecir qué futuros directores de cine obtendrán un Oscar, el modelo predecirá con más probabilidad a un hombre, debido a la falta de representación de mujeres en el espacio cinematográfico. El algoritmo obtiene conclusiones para las mujeres utilizando datos de principalmente hombres. En este caso concreto, esto provoca que se invisibilice a las mujeres, ya que se asume que el comportamiento neutral o por defecto es el de los hombres.

Por tanto, es de vital importancia reconocer y tener en consideración que estos algoritmos “inteligentes” pueden perpetuar el “statu quo”, reproduciendo esas mismas discriminaciones históricas o incluso acentuándolas.

Durante los últimos años, se está empezando a poner el foco en la equidad de estos algoritmos, destapando y denunciando aquellos casos discriminatorios , ya que sus decisiones producían algún tipo de discriminación. Afortunadamente, ya existen diversas herramientas que permiten la medición y detección de efectos discriminatorios en los modelos de machine learning.1

En Openbank somos conscientes de estos peligros y estamos desarrollando nuestras propias herramientas para el control, detección y mitigación de este potencial efecto discriminatorio en nuestros modelos de aprendizaje automático en la concesión de créditos financieros.

¿Existen diferentes tipos de discriminación? La respuesta es sí.

Cuando se habla de sesgos en los modelos de machine learning o inteligencia artificial, se distinguen dos tipos de discriminación: explícito o implícito.3

Se dice que es explícito cuando los algoritmos toman decisiones distintas para dos personas con características y perfil idéntico única y exclusivamente por tener, por ejemplo, distinto género.

La discriminación implícita, sin embargo, es mucho más difícil de detectar. Esta discriminación puede deberse a la utilización de características de cada persona que, por motivos históricos, sociales o culturales, estén altamente correlacionados con el género, y por tanto, sean como una representación encubierta del género. Otros motivos se deben a la falta de representación de un colectivo dentro de los datos, o porque la calidad de los datos no es igual para cada colectivo, es decir que cierta información de la persona sea más relevante para el modelo en un grupo que en el otro.4

A pesar de que en la comunidad científica siguen existiendo debates sobre cuál es la mejor manera de medir estos sesgos, desde Openbank consideramos que es esencial tener en cuenta distintas métricas para cubrir los diferentes aspectos en los que un algoritmo pueda tomar decisiones discriminatorias. Por eso, nuestros modelos de riesgos cumplen al menos estas tres métricas: justicia de grupo (group fairness), paridad predictiva (predictive parity) e igualdad en la probabilidad (equalized odds).5

¿Cómo utilizamos nuestras métricas y qué dicen de nosotros?

Como hemos adelantado, la primera de todas es la de group fairness. Esta métrica controla que se clasifique de igual modo al mismo porcentaje de cada grupo. Como no tiene en cuenta cómo de correcta es la clasificación, no tiene en cuenta el sesgo histórico y puede incluso causar discriminación positiva.

Para asegurarnos que la calidad de la decisión es equivalente en todos los grupos, se utilizan las otras dos métricas (predictive parity y equalized odds).

Predictive parity controla la calidad del modelo para clasificación. Mide que todos los grupos tengan las mismas “oportunidades de éxito”, pero no ayuda a cerrar la brecha.

Por último, equalized odds controla la calidad del modelo entre los que son realmente correctos. Aunque esta métrica es inclusiva, ya que mide tanto los porcentajes de acierto como de error, tampoco ayuda a cerrar la brecha.

Nos enorgullece comprobar que los modelos de machine learning que usamos actualmente para medir riesgos para la concesión de préstamos y tarjetas cumplen las tres métricas descritas anteriormente.

El desarrollo de herramientas de control y detección de sesgos nos permite de una forma automática y analítica detectar efectos discriminatorios en nuestros modelos. Sin embargo, somos conscientes de las limitaciones que nuestros algoritmos de machine learning puedan tener, ya que nuestra base de datos no es una representación total de la sociedad. Aún queda mucho trabajo para asegurar que nuestros productos de riesgo son accesibles y justos para toda la población y todos sus colectivos, pero el desarrollo y uso de estas herramientas nos proporcionan muchísima información y confianza en nuestros modelos. Confiamos que estas herramientas sean un paso más para luchar contra la desigualdad de género.

Gracias al equipo de Openbank Data Science, que trabajan en el desarrollo de estas herramientas, continuamos avanzando hacia modelos más justos. ¡Seguimos!


Publicado el 9 de marzo de 2022

1Brianna Richardson, Juan E. Gilbert. A Framework for Fairness: A Systematic Review of Existing Fair AI Solutions.
2Bridging the AI gender gap: Why we need better data for an equal world.
3Understanding Fairness.
4A Tutorial on Fairness in Machine Learning
5Sahil Verma, Julia Rubin. Fairness Definitions Explained

Publicidad