Es hora de exigir explicaciones a la inteligencia artificial

El campo emergente conocido como inteligencia artificial interpretable puede resolver los problemas más importantes de los algoritmos actuales.

GETTY IMAGES/MAKSIM TKACHENKO/ISTOCK

La inteligencia artificial (IA) ha entrado progresivamente en nuestra rutina, con operaciones que van desde personalizar la publicidad que vemos en Internet hasta determinar si nuestra última compra con tarjeta de crédito es sospechosa de fraude. En la gran mayoría de los casos, estas decisiones se delegan en los denominados «algoritmos de caja negra»: aquellos en los que no es posible expresar de manera explícita la regla utilizada para la decisión. Sabemos qué responde la máquina ante cada caso, pero nunca por qué. A medida que la IA expande su ámbito de aplicación, este proceder «ciego» está generando problemas cada vez más serios.

Llamó la atención del público por primera vez el caso de ProPublica, una empresa que diseñó una caja negra para predecir si los presos estadounidenses acabarían reincidiendo o no, una información que luego se empleaba para decidir si se les concedería la libertad condicional. Tras un análisis detallado, se hizo evidente que el algoritmo era, de alguna manera, «racista»: a los presos afroamericanos se les asignaban, con independencia de su historial, peores predicciones que a los blancos, asumiendo que reincidirían con mayor frecuencia. Para comprender este problema, conocido como «sesgo algorítmico»,es necesario profundizar en lo que realmente son la IA y los métodos de aprendizaje automático.

El primer problema de estas herramientas es su mismo nombre. Por muy útiles que sean sus aportaciones, es imprescindible reconocer que no existe en ellas ningún sujeto inteligente y tampoco nada que aprenda, ya que se basan en técnicas meramente mecánicas. El aprendizaje automático no es nada más —y nada menos— que un proceso de identificación de patrones en unos datos de entrada y su aplicación a casos nuevos. A la máquina se le entregan datos en forma de ejemplos de problemas resueltos, y después generaliza a otros nuevos empleando los patrones identificados.

En la mayoría de los métodos usados hoy, estos patrones nunca se hacen explícitos, con lo que nos encontramos con las cajas negras. Estas incluyen, entre otras técnicas, las denominadas redes neuronales artificiales. La técnica conocida como aprendizaje profundo añade un factor de confusión adicional, ya que en esencia resulta idéntica al aprendizaje automático, solo que cuantitativamente mayor: con más elementos y mayores necesidades de cálculo. Nada hay de profundidad ni de comprensión. Una red neuronal con pocas neuronas es aprendizaje automático; con muchas, aprendizaje profundo.

El problema de ProPublica se debía a que, en los datos de entrenamiento (que tenían la forma de historiales de presos, incluida información sobre si acabaron reincidiendo o no), se encontraban sobrerrepresentados los afroamericanos reincidentes. Esto llevó al algoritmo a concluir que los afroamericanos reinciden en mayor medida, y así lo incorporó en sus predicciones. El sesgo contra las personas de raza negra lo introduce el mismo algoritmo en su funcionamiento correcto, de ahí el nombre de sesgo algorítmico.

Otro ejemplo reciente es el que emergió en una red social que señalaba con mucha más frecuencia las fotos de mujeres no blancas como contenido inapropiado. Al parecer, el algoritmo se entrenaba con fotografías publicitarias como ejemplo de contenido válido, y con pornografía como ejemplo de contenido no permitido. Aparentemente la base de datos de pornografía era mucho más racialmente diversa que la de publicidad, lo que llevó al algoritmo a generalizar con más facilidad que la foto de una mujer no blanca correspondía a contenido ina­propiado.

En los algoritmos de caja negra solo es posible detectar el sesgo a posteriori y tras haber realizado análisis específicos. Por ejemplo, en el caso de ProPublica, tendríamos que enviar perfiles similares de presos de diferente raza y después comparar las respuestas. Pero, si no nos percatamos de que la raza era un problema al construir nuestra base de datos, ¿cómo se nos podría ocurrir llevar a cabo semejantes pruebas? ¿Y si el sesgo perjudica no según la raza, sino según alguna combinación más compleja de rasgos, como por ejemplo afroamericanos jóvenes y pobres?

A ello debemos añadir el riesgo de «sobreajuste», también derivado de la generalización de ejemplos. Imaginemos que entrenamos el algoritmo de ProPublica con un número relativamente pequeño de historiales y que, por pura casualidad, resulta que los convictos cuya foto tiene un ligero reflejo en la esquina superior izquierda son exactamente los reincidentes. Si, por mera coincidencia en los datos, existiese ese patrón, la máquina lo detectaría y lo emplearía para basar sus predicciones. Al estudiar su tasa de aciertos, parecería que el algoritmo anticipa la reincidencia con gran precisión. Sin embargo, fallaría estrepitosamente al aplicarlo a historiales nuevos, ya que los patrones que ha extraído no tienen sentido; es decir, no se corresponden con ningún fenómeno conocido o comprobable.

Abandonar una decisión tan importante como la concesión de libertad condicional a un sistema automático puede llevar a injusticias que, por si fuera poco, permanecerán escondidas en las opacas entrañas de la caja negra. Estas injusticias, no debemos olvidar, son responsabilidad de los seres humanos que se apoyan en una máquina así para tomar tamañas decisiones.

Una decisión relevante nunca debería ser simplemente delegada en una máquina. Antes bien, deberíamos ver la IA solo como una ayuda. Una ayuda valiosa pero solo eso: un dato adicional que nos puede servir de apoyo a la hora de tomar una decisión o que aumenta la rapidez con que podemos acometerla.

Si la IA solo fuera una técnica más para ayudar al ser humano a tomar decisiones, que el aprendizaje automático no aprenda y que las cajas negras no comprendan no debería ser un inconveniente. Sin embargo, sí que presenta un problema adicional que a menudo pasa inadvertido: no es solo que las máquinas no comprendan, sino que tampoco nos dejan comprender.

En este punto resulta clave distinguir entre la comprensión del algoritmo y la comprensión de la decisión que este genera. Podemos tener un acceso total al código del algoritmo y a los pasos que establece para resolver un problema. Sin embargo, de su complejidad interna pronto emergerá una oscuridad total. Aunque sus mecanismos sean simples, el resultado es «complejo», en el sentido en que las ciencias de la complejidad emplean esta palabra: un sistema complejo es uno en el que unas pocas reglas simples dan lugar a fenómenos que no pueden deducirse a partir de esas mismas reglas. Sabemos cómo funciona el algoritmo, pero no somos capaces de predecir ni explicar sus resultados.

Todo esto podría llevarnos al desánimo. A asumir que, o bien renunciamos a nuestra necesidad de comprender y aceptamos dejar nuestro destino en manos de las cajas negras, o bien nos convertimos en neoluditas cerrados a los progresos de la técnica y perdemos las oportunidades que la IA —pese a lo desacertado de su nombre— nos propone. La buena noticia es que lo anterior no es cierto. Hay una tercera vía: pedir explicaciones a la IA. Existen alternativas técnicamente viables a los algoritmos de caja negra, las cuales se desarrollarán al ritmo que la sociedad las demande. De hecho, hay dos maneras principales de «abrir» la caja negra.

La primera consiste en el uso de «modelos subrogados». Estos constituyen versiones simplificadas de la caja negra, pero que tienen el potencial de ser comprendidos por las personas. Sin embargo, el modelo subrogado es distinto de la caja negra y, por tanto, puede dar lugar a decisiones diferentes, por lo que comprender las decisiones de uno no significa haber comprendido las del otro. Además, las técnicas para construir modelos subrogados son tremendamente complejas.

Entonces, ¿por qué no utilizar un modelo simple y que podamos comprender de manera directa? Esto es precisamente lo que pretende la IA interpretable. Las alternativas con mejor potencial de interpretación incluyen los modelos basados en puntuaciones, en los que pasamos lista a una serie de criterios y asignamos puntuaciones según las respuestas a modo de test, que sumamos al final. Contamos también con las regresiones logísticas, muy útiles a la hora de tratar con problemas binarios (aquellos cuya solución es «sí» o «no»), en los cuales una media ponderada de puntuaciones se transforma mediante una función que hace que los resultados encajen dentro del intervalo comprendido entre 0 y 1, con lo que pueden representar la probabilidad de un evento. También son extremadamente útiles los árboles de decisión, en los que varias preguntas encadenadas nos llevan a lo que será el resultado final.

Con frecuencia, desarrollar estos modelos simples requiere un trabajo laborioso de un equipo interdisciplinar, en el que no solo se entrena a una máquina (lo cual suele realizarse mecánicamente en los algoritmos al uso), sino que se interactúa repetidas veces con el modelo hasta encontrar una solución que no solo sea estadísticamente aceptable, sino que tenga también sentido para el experto.

En algunos casos, desarrollar modelos interpretables resulta técnicamente difícil, si no imposible, como ocurre con el procesamiento de imágenes o de voz. Sin embargo, no son éstas las aplicaciones de la IA con mayor impacto en nuestra vida. En datos estructurados, como los de los historiales delictivos o médicos, es con frecuencia posible desarrollar modelos interpretables que funcionan prácticamente igual de bien que las cajas negras. Además, conviene tener en cuenta que, a menudo, cuando parece que las cajas negras realizan predicciones casi perfectas, tras los resultados se esconden los fantasmas del sesgo algorítmico y del sobreajuste.

Por ejemplo, Cynthia Rudin, de la Universidad Duke, desarrolló en 2019 una alternativa a la caja negra de ProPublica. El sistema consistía en un esquema simple de puntuaciones para variables transparentes como la edad, el número total de crímenes y, en especial, de crímenes violentos. Este modelo tiene un poder predictivo muy similar al de la caja negra de ProPublica, pero es completamente transparente y está libre de sesgo algorítmico.

Los modelos interpretables nos ofrecen algo que debemos empezar a exigir a la IA: que solo es válido aquel modelo en el que podemos confiar; y que solo podemos confiar en algo que comprendemos y que, además, tiene sentido cuando lo ponemos en relación con la experiencia previa y el sentido común. Tenemos derecho a —y es nuestra responsabilidad— pedir explicaciones.

Esta nueva etapa de la IA requiere un cambio de paradigma. De la delegación de las decisiones, a las herramientas de apoyo a la decisión; de las cajas negras, a los modelos transparentes; del modelo generado automáticamente, al trabajo de un equipo multidisciplinar. Solo desde esta perspectiva podemos superar la confusión a la que nos enfrentamos y reorientar los avances de este campo para que sirvan al ser humano en libertad y responsabilidad.

Puedes obtener el artículo en...

Los boletines de Investigación y Ciencia

Elige qué contenidos quieres recibir.