Elaborado por Materia para OpenMind Recomendado por Materia
4
Inicio Cómo crear inteligencia artificial que no exhiba prejuicios humanos
13 noviembre 2019

Cómo crear inteligencia artificial que no exhiba prejuicios humanos

Tiempo estimado de lectura Tiempo 4 de lectura

En 2015, Google tuvo que disculparse porque su aplicación de fotos etiquetó como “gorila” a una usuaria negra. Aquel incidente reveló que los algoritmos no están libres de sesgos, a pesar de su aparente objetividad. El desliz del programa informático puso sobre la mesa un problema que llevaba años creciendo en silencio; ya en 2009, usuarios asiáticos denunciaron que una cámara de fotos los reprochaba parpadear cuando se retrataban con los ojos abiertos. El fabricante de la cámara era Nikon, una empresa japonesa.

Dado que la inteligencia artificial se nutre de las decisiones tomadas por los humanos y de los datos recogidos por ellos, no sorprende que pueda exhibir los mismos sesgos que afligen al resto de la sociedad, conscientemente o no. Pero las consecuencias sociales de un prejuicio informático pueden ser más insidiosas que las de uno manifiestamente humano, por la imparcialidad que se asume de los algoritmos. En 2018, por ejemplo, Amazon tuvo que descartar una inteligencia artificial de contratación entrenada con solicitudes de empleo que la empresa había recibido a lo largo de 10 años porque el programa, fiel a la historia del sector tecnológico, discriminaba a las mujeres.

Muchos programas de reconocimiento facial tienen un sesgo racial. Crédito: NIST

Gemma Galdon, fundadora y directora de la consultora Eticas, recuerda el caso de una persona que cambió su nombre masculino por uno femenino en el portal de InfoJobs, una bolsa de empleo online. Sin que hubiera cambiado su currículum, el algoritmo de la página pasó a mostrar ofertas para oficios tradicionalmente feminizados y peor pagados. “Cualquier empresa tiene la obligación de seguir un plan de igualdad: si solo contratan hombres, eso se ve, y es denunciable. ¿Por qué InfoJobs no debe también revisar los sesgos en su algoritmo?”, plantea Galdon.

La inteligencia artificial ya toma decisiones (o ayuda a tomarlas) en finanzas, en el sistema judicial, en sanidad y en temas de seguridad nacional, donde se ensaña con las minorías sociales. Atajar sus prejuicios es cuestión de urgencia. Para algunos servicios digitales, la solución podría ser sencilla: por ejemplo, si un algoritmo de reconocimiento facial tiene dificultades para distinguir caras negras y asiáticas, probablemente haya que diversificar la base de datos con la que se entrena.

Sin embargo, los problemas de mayor calado no tienen una respuesta tan clara. Este año, un estudio publicado en Science ha revelado que un importante algoritmo de triaje empleado en Estados Unidos infravalora las necesidades médicas de los pacientes negros. Lo más sorprendente es que lo hace sin conocer su etnia, y el motivo es que está programado para juzgar el estado de salud en base al gasto médico de cada paciente. Por motivos culturales y por racismo, en Estados Unidos se gasta menos dinero, de media, en la salud de los pacientes negros.

¿Por qué discriminan los robots?

En este caso, los desarrolladores escogieron una variable que consideraban no sesgada —el gasto médico— pero se equivocaron; el algoritmo estaba solucionando correctamente un problema mal definido. “Hay varios motivos por los cuales un algoritmo puede ser injusto o discriminatorio. Primero, porque es eco de la sociedad, refleja las dinámicas injustas que ya existen. También puede ser porque los datos de entrenamiento o la definición del problema se han escogido mal. O puede ser porque los propios ingenieros incorporan su sesgo. Estamos viendo que todos los algoritmos con impacto social presentan sesgos”, resume Galdon.

Varios algoritmos de contratación y de búsqueda de empleo han resultado tener sesgos machistas. Fuente: MaxPixel

El primer reto es identificar estas injusticias, para atajarlas y para evitarlas en el futuro. Nicolas Kayser-Bril, redactor de la organización sin ánimo de lucro AlgorithmWatch, es experto en detectar tecnologías que discriminan. “Los sesgos se perciben ‘a ojo’, pero es muy difícil demostrarlos”, dice. Parte del problema es que el propio código de las inteligencias artificiales suele ser inescrutable, una suerte de caja negra que engulle datos y escupe decisiones pero cuyo funcionamiento se escapa incluso de sus creadores.

“Si sabes el tipo de algoritmo que se ha empleado, sabes qué preguntar”, añade Kayser-Bril: “Por ejemplo, cuando se trata de un programa de machine learning, a mí me interesa ver qué datos lo han entrenado”. Aquí se suele topar con la opacidad de las instituciones y de las empresas desarrolladoras. “Existen inteligencias artificiales para evaluar los sesgos de otras inteligencias artificiales, pero si el algoritmo es propiedad privada, nosotros, los periodistas, no podemos analizarlo”, explica. Para él, la situación es análoga a la inspección sanitaria de un restaurante: “Quieres saber si el establecimiento es higiénico, y para ello puedes inspeccionar los platos que sirven, pero lo que realmente quieres es entrar en la cocina y ver cómo los hacen”.

Cortar los sesgos de raíz

La empresa que lidera Galdon entra en las “cocinas” algorítmicas de sus clientes para ayudarlos a evitar y resolver sesgos. “Auditamos el machine learning, pero es una parte muy pequeña de dónde identificamos problemas”, cuenta Galdon: “quizás un 20% o así”. El 80% restante es un trabajo “más sustancial”, sostiene, que incluye analizar toda la cadena de decisiones, desde la conceptualización del problema, pasando por las suposiciones de los tecnólogos, hasta la formación específica de los usuarios finales, responsables de implementar el algoritmo en su trabajo de cara a la sociedad.

Los tecnólogos perpetúan involuntariamente estereotipos y prejuicios de la sociedad. Fuente: MaxPixel

Según los expertos, la diversidad de perfiles sociales y profesionales en los equipos que desarrollan inteligencia artificial será crucial para construir un ecosistema tecnológico más justo. En Estados Unidos, Google cuenta solo con un 2,5% de empleados negros. Pero además, los tecnólogos no tienen costumbre de trabajar con científicos sociales para contrastar las suposiciones sobre las que edifican sus programas. Galdon opina que, por suerte, esto está cambiando. “Los ingenieros saben que tienen problemas que ellos no están capacitados para resolver, y nuestra intervención siempre es muy bienvenida”, dice sobre su servicio de consultoría.

Más allá de los programas escritos con código discriminatorio, existe una inequidad dominante que establece relaciones desiguales de poder entre los actores del sector tecnológico. En resumen, solo se desarrollan los algoritmos que interesan a quien puede y quiere pagarlos, para el bien o mal de todos. Taryn Southern, directora de I Am Human —una película sobre neurotecnología—, declaró en el medio online Big Think que la creación de interfaces cerebro-máquina para hacernos “más listos, mejores y más rápidos” es reflejo del “sesgo occidental a favor de la productividad y la eficiencia”. ¿Por qué asumir que todo el mundo tiene los mismos valores? “Quizás en otras culturas orientales enfocarían el uso de la neurotecnología hacia crear estados de calma o de mayor empatía”, reflexiona.

Bruno Martín

@TurbanMinor

Comentarios sobre esta publicación

El nombre no debe estar vacío
Escribe un comentario aquí…* (Máximo de 500 palabras)
El comentario no puede estar vacío
*Tu comentario será revisado antes de ser publicado
La comprobación captcha debe estar aprobada