Elaborado por Materia para OpenMind Recomendado por Materia
6
Inicio Sistemas inteligentes de comprensi贸n lectora: Problemas y avances
14 diciembre 2021

Sistemas inteligentes de comprensi贸n lectora: Problemas y avances

Tiempo estimado de lectura Tiempo 6 de lectura

La comprensi贸n lectora es una habilidad que los humanos adquirimos en nuestras primeras etapas de escolarizaci贸n. Se trata de una habilidad que nos permite entender el significado de lo que leemos. Igualmente, se considera una habilidad importante para los sistemas de inteligencia artificial, puesto que cuanto mejor entiendan las necesidades o las intenciones de los usuarios mejor podr谩n interactuar con ellos. Por ejemplo, entendiendo mejor el significado de las consultas que remiten los usuarios en los motores de b煤squeda, 茅stos pueden afinar y ofrecer mejores respuestas. En la actualidad, los motores de b煤squeda responden a las consultas ofreciendo listas de sitios web clasificados seg煤n su importancia ponderada. Sin embargo, estos listados suelen estar plagados de referencias irrelevantes, salvo en aquellos casos en los que el sistema entiende perfectamente el significado y la intenci贸n del usuario. Acceder a informaci贸n precisa en funci贸n del significado adecuado es clave para el 茅xito de los sistemas. Existen muchas otras aplicaciones para las tecnolog铆as de comprensi贸n lectora, como son los chatbots, los asistentes virtuales y la lectura de se帽ales de tr谩fico en los coches aut贸nomos.

BBVA-OpenMind-Keith darlington-AI Reading Comprehension Systems-jerry-wang
La comprensi贸n lectora es una habilidad que nos permite entender el significado de aquellos que leemos

En la actualidad existen algunas aplicaciones de inteligencia artificial de comprensi贸n lectora que han alcanzado un nivel de 茅xito moderado. En este art铆culo, veremos brevemente c贸mo funcionan y describiremos algunas de las pruebas comparativas m谩s utilizadas 鈥 algunas de las cuales han concluido que estos sistemas ya superan las capacidades humanas. Son muchas las voces que se han alzado contra estas afirmaciones, argumentando que los sistemas de IA actuales carecen de capacidades de comprensi贸n sem谩ntica.

EL ABISMO ENTRE LA IA Y LA COMPRENSI脫N HUMANA

La comprensi贸n lectora plantea un desaf铆o extraordinario para el desarrollo de los sistemas de IA, porque refleja el abismo que separa a los humanos de los sistemas de inteligencia artificial: La incapacidad de los sistemas de inteligencia artificial para alcanzar niveles de comprensi贸n similar al de los humanos es una diferencia, seg煤n algunos expertos, insalvable, puesto que una m谩quina jam谩s ser谩 capaz de interpretar la sem谩ntica y las intenciones humanas de la misma manera en que lo hacemos los humanos. Sin embargo, si bien es verdad que los sistemas de inteligencia artificial no son capaces de entender el lenguaje de la misma manera que un humano, pueden simular tareas que permiten alcanzar ciertos niveles de comprensi贸n. Por ejemplo, supongamos que digo que mi amigo puede correr 100 metros en menos de 10 segundos. De esta afirmaci贸n, podemos inferir que mi amigo es un buen deportista. Puede ser tentador creer que una m谩quina necesitar铆a llegar a un nivel de comprensi贸n similar sobre este tipo de situaciones cotidianas para llegar a la misma conclusi贸n. Pero responder a este tipo de preguntas no est谩 fuera del alcance de los sistemas de IA, puesto que se trata de un conocimiento que describe relaciones entre un logro y el nivel de dicho logro. Y este conocimiento es susceptible de codificaci贸n y, por lo tanto, de ser objeto de procesos de inferencia que se asemejen a determinadas formas de comprensi贸n humana. Es posible implementar este tipo de tareas en subconjuntos relativamente acotados de lenguaje natural dentro dominios espec铆ficos, como por ejemplo, en un chatbot que act煤e como asistente de venta.

C脫MO FUNCIONAN LOS SISTEMAS DE COMPRENSI脫N LECTORA DE INTELIGENCIA ARTIFICIAL聽

La mayor铆a de los sistemas de inteligencia artificial de comprensi贸n lectora funcionan analizando y entendiendo las consultas que reciben, para ofrecer respuestas. El usuario plantea preguntas acerca de secciones de texto de un documento concreto (o quiz谩s sobre una b煤squeda en internet), y el sistema ofrece las respuestas en un formato conciso presentable.聽 Existen muchos sistemas de inteligencia artificial en el mercado con diferentes niveles de habilidad a la hora de leer y entender. Algunos de los m谩s conocidos son Alexa y Siri. En el caso de Alexa, es capaz de entender preguntas como: Alexa, 驴durante cu谩nto tiempo fue Lloyd George primer ministro del Reino Unido?. La respuesta de Alexa ser铆a algo as铆 como: 鈥淟loyd George fue Primer Ministro durante cinco a帽os y diez meses鈥. Este ejemplo refleja una de las tareas m谩s simples de comprensi贸n lectora para una IA, porque Alexa puede limitarse a extraer la informaci贸n relevante de texto. El texto se puede cotejar en art铆culos de Wikipedia sobre Lloyd George y presentarse en un formato reordenado de manera concisa.聽 Este tipo de comprensi贸n lectora se denomina extracci贸n de conocimientos y no requiere de un nivel demasiado elevado de comprensi贸n del lenguaje. Otros sistemas online utilizan variaciones mediante consultas escritas. Por ejemplo, Microsoft ha desarrollado un sistema Web que permite pegar un texto en un primer panel e introducir la pregunta en un segundo panel, ofreciendo la respuesta en un tercer panel en la misma pantalla. Una vez m谩s, se trata de un sistema de extracci贸n de conocimientos.

BBVA-OpenMind-Keith darlington-AI Reading Comprehension Systems-web system

Pero en el caso de otras consultas, la comprensi贸n lectora puede suponer un requisito previo imprescindible, en tanto que el significado de la oraci贸n no se exponga de manera perfectamente clara. Veamos, por ejemplo, la siguiente afirmaci贸n:

聽El taladro no cabe en la caja porque es demasiado grande

驴A qu茅 se refiere el verbo “es” en esta afirmaci贸n? Aplicando el sentido com煤n para entender la frase enunciada, la mayor铆a de los lectores humanos asumir铆an que el objeto de referencia aqu铆 es el taladro.

聽El taladro no cabe en la caja porque es demasiado peque帽a

Pero 驴a qu茅 se hace referencia el verbo 鈥渆s” en esta oraci贸n? La 煤nica diferencia entre ambas frases es la palabra al final de cada oraci贸n: grande/peque帽a. En este caso, nuestro sentido com煤n nos permite entender que “es” se refiere a la caja.

Sin embargo, para un sistema de IA que carece de sentido com煤n para entender el mundo (y en concreto para entender el concepto de tama帽o, es decir, la diferencia entre grande y peque帽o) se trata de una decisi贸n muy dif铆cil.

La siguiente oraci贸n ofrece otro ejemplo de los problemas que tienen los sistemas de IA para interpretar el lenguaje natural cuando se enfrentan a ambig眉edades:

We saw her duck ((Vimos su pato/La vimos agacharse)

En ingl茅s, esta oraci贸n podr铆a entenderse de tres maneras: la primera, que el sujeto vio un pato que pertenece a una mujer, que el sujeto vio a una mujer agacharse (duck) para evitar ser golpeada por un objeto arrojado en su direcci贸n, o que el sujeto ha decidido serrar (es decir, cortar con una sierra) el pato. Para entender esta pregunta, un humano prestar铆a atenci贸n al contexto de la oraci贸n. Por ejemplo, si aparece en un p谩rrafo que incluye una oraci贸n donde se hace referencia a un objeto lanzado contra la mujer, entender铆amos que la mujer se ha agachado para esquivarlo.聽 De manera similar, para resolver la ambig眉edad, los sistemas de comprensi贸n lectora de IA prestar铆an atenci贸n al contexto.聽聽聽

Pero el uso de aforismos o met谩foras, incluso la interpretaci贸n de la intenci贸n del escritor, incrementa mucho m谩s el nivel de complejidad para los sistemas de comprensi贸n lectora para de IA, especialmente en la interpretaci贸n de prosa y poes铆a. Las cr铆ticas veladas a terceros, el humor y muchos otros usos del lenguaje cotidiano plantean niveles adicionales de complejidad. Los seres humanos estamos mucho mejor preparados que las m谩quinas para descifrar los retos que plantea la comunicaci贸n en lenguaje natural. Esto es algo que qued贸 claro desde el primer momento en que – en la d茅cada de los 60 del siglo pasado – comenzaron a realizarse las primeras investigaciones en proyectos de traducci贸n de idiomas mediante sistemas de inteligencia artificial. En un inicio, estos proyectos se centraron en desarrollar sistemas de inteligencia artificial definiendo reglas para la interpretaci贸n del uso de sustantivos, verbos, etc.聽 Esta estrategia funcion贸 bien para entender la estructura de las oraciones (es decir, la gram谩tica), pero no tanto en el campo de la sem谩ntica (es decir, el significado de una oraci贸n).

BBVA-OpenMind-Keith darlington-AI reading-olia-gozha

Los seres humanos pueden responder preguntas teniendo en cuenta el contexto

Los sistemas implementados hoy en d铆a utilizan t茅cnicas de aprendizaje profundo. En estos sistemas, el aprendizaje se lleva a cabo a partir del an谩lisis de cientos de miles de p谩rrafos (generalmente tomados de Wikipedia). Como entradas se dispone de un p谩rrafo junto con una serie de preguntas cuya respuesta se le encomienda a una red de aprendizaje profundo. Esta estrategia de aprendizaje profundo ha conseguido superar a los humanos en determinadas tareas de comprensi贸n, seg煤n algunas pruebas desarrolladas para medir la efectividad de los sistemas de comprensi贸n lectora de IA. En 2019, Alibaba, una empresa china de inteligencia artificial, consigui贸 afrontar con 茅xito una prueba sobre una serie de datos desarrollada por Microsoft, superando a los participantes humanos.

PRUEBAS

Se han desarrollado pruebas para medir el rendimiento en comprensi贸n lectora de la IA. Una prueba que se ha consolidado como el est谩ndar de facto, es la llamada prueba SQuAD (Stanford Question Answering Dataset). Se trata de una prueba desarrollada por la Universidad de Stanford, California, que funciona utilizando p谩rrafos tomados de art铆culos de Wikipedia. Cada uno de estos art铆culos contiene preguntas a las que responden trabajadores humanos remunerados, los llamados trabajadores Mechanical Turk.聽 Esta prueba permite comparar las respuestas que ofrece un sistema de inteligencia artificial a las que ofrecen los humanos e incluso otros sistemas de comprensi贸n lectora de inteligencia artificial.

CONCLUSIONES

Los sistemas de inteligencia artificial est谩n mejorando en comprensi贸n lectora, pero todav铆a carecen del nivel de comprensi贸n sem谩ntica necesario para funcionar con solidez. Al igual que sucede con muchos algoritmos de aprendizaje profundo, funcionan bien pero dan muestras de inestabilidad cuando se enfrentan a grupos de datos distintos de los utilizados para entrenarlos. En la actualidad, todav铆a queda mucho por hacer para acercarse a un nivel de comprensi贸n comparable al humano. Sin embargo, estos sistemas permiten ahorrar tiempo y son f谩ciles de usar, especialmente cuando existe la necesidad de entender documentos extensos y, como muchas aplicaciones de aprendizaje autom谩tico, van mejorando de manera constante.

聽Dr Keith Darlington

Publicaciones relacionadas

Comentarios sobre esta publicaci贸n

Escribe un comentario aqu铆鈥* (M谩ximo de 500 palabras)
El comentario no puede estar vac铆o
*Tu comentario ser谩 revisado antes de ser publicado
La comprobaci贸n captcha debe estar aprobada