La comprensión lectora es una habilidad que los humanos adquirimos en nuestras primeras etapas de escolarización. Se trata de una habilidad que nos permite entender el significado de lo que leemos. Igualmente, se considera una habilidad importante para los sistemas de inteligencia artificial, puesto que cuanto mejor entiendan las necesidades o las intenciones de los usuarios mejor podrán interactuar con ellos. Por ejemplo, entendiendo mejor el significado de las consultas que remiten los usuarios en los motores de búsqueda, éstos pueden afinar y ofrecer mejores respuestas. En la actualidad, los motores de búsqueda responden a las consultas ofreciendo listas de sitios web clasificados según su importancia ponderada. Sin embargo, estos listados suelen estar plagados de referencias irrelevantes, salvo en aquellos casos en los que el sistema entiende perfectamente el significado y la intención del usuario. Acceder a información precisa en función del significado adecuado es clave para el éxito de los sistemas. Existen muchas otras aplicaciones para las tecnologías de comprensión lectora, como son los chatbots, los asistentes virtuales y la lectura de señales de tráfico en los coches autónomos.
En la actualidad existen algunas aplicaciones de inteligencia artificial de comprensión lectora que han alcanzado un nivel de éxito moderado. En este artículo, veremos brevemente cómo funcionan y describiremos algunas de las pruebas comparativas más utilizadas – algunas de las cuales han concluido que estos sistemas ya superan las capacidades humanas. Son muchas las voces que se han alzado contra estas afirmaciones, argumentando que los sistemas de IA actuales carecen de capacidades de comprensión semántica.
EL ABISMO ENTRE LA IA Y LA COMPRENSIÓN HUMANA
La comprensión lectora plantea un desafío extraordinario para el desarrollo de los sistemas de IA, porque refleja el abismo que separa a los humanos de los sistemas de inteligencia artificial: La incapacidad de los sistemas de inteligencia artificial para alcanzar niveles de comprensión similar al de los humanos es una diferencia, según algunos expertos, insalvable, puesto que una máquina jamás será capaz de interpretar la semántica y las intenciones humanas de la misma manera en que lo hacemos los humanos. Sin embargo, si bien es verdad que los sistemas de inteligencia artificial no son capaces de entender el lenguaje de la misma manera que un humano, pueden simular tareas que permiten alcanzar ciertos niveles de comprensión. Por ejemplo, supongamos que digo que mi amigo puede correr 100 metros en menos de 10 segundos. De esta afirmación, podemos inferir que mi amigo es un buen deportista. Puede ser tentador creer que una máquina necesitaría llegar a un nivel de comprensión similar sobre este tipo de situaciones cotidianas para llegar a la misma conclusión. Pero responder a este tipo de preguntas no está fuera del alcance de los sistemas de IA, puesto que se trata de un conocimiento que describe relaciones entre un logro y el nivel de dicho logro. Y este conocimiento es susceptible de codificación y, por lo tanto, de ser objeto de procesos de inferencia que se asemejen a determinadas formas de comprensión humana. Es posible implementar este tipo de tareas en subconjuntos relativamente acotados de lenguaje natural dentro dominios específicos, como por ejemplo, en un chatbot que actúe como asistente de venta.
CÓMO FUNCIONAN LOS SISTEMAS DE COMPRENSIÓN LECTORA DE INTELIGENCIA ARTIFICIAL
La mayoría de los sistemas de inteligencia artificial de comprensión lectora funcionan analizando y entendiendo las consultas que reciben, para ofrecer respuestas. El usuario plantea preguntas acerca de secciones de texto de un documento concreto (o quizás sobre una búsqueda en internet), y el sistema ofrece las respuestas en un formato conciso presentable. Existen muchos sistemas de inteligencia artificial en el mercado con diferentes niveles de habilidad a la hora de leer y entender. Algunos de los más conocidos son Alexa y Siri. En el caso de Alexa, es capaz de entender preguntas como: Alexa, ¿durante cuánto tiempo fue Lloyd George primer ministro del Reino Unido?. La respuesta de Alexa sería algo así como: “Lloyd George fue Primer Ministro durante cinco años y diez meses”. Este ejemplo refleja una de las tareas más simples de comprensión lectora para una IA, porque Alexa puede limitarse a extraer la información relevante de texto. El texto se puede cotejar en artículos de Wikipedia sobre Lloyd George y presentarse en un formato reordenado de manera concisa. Este tipo de comprensión lectora se denomina extracción de conocimientos y no requiere de un nivel demasiado elevado de comprensión del lenguaje. Otros sistemas online utilizan variaciones mediante consultas escritas. Por ejemplo, Microsoft ha desarrollado un sistema Web que permite pegar un texto en un primer panel e introducir la pregunta en un segundo panel, ofreciendo la respuesta en un tercer panel en la misma pantalla. Una vez más, se trata de un sistema de extracción de conocimientos.
Pero en el caso de otras consultas, la comprensión lectora puede suponer un requisito previo imprescindible, en tanto que el significado de la oración no se exponga de manera perfectamente clara. Veamos, por ejemplo, la siguiente afirmación:
El taladro no cabe en la caja porque es demasiado grande
¿A qué se refiere el verbo “es” en esta afirmación? Aplicando el sentido común para entender la frase enunciada, la mayoría de los lectores humanos asumirían que el objeto de referencia aquí es el taladro.
El taladro no cabe en la caja porque es demasiado pequeña
Pero ¿a qué se hace referencia el verbo “es” en esta oración? La única diferencia entre ambas frases es la palabra al final de cada oración: grande/pequeña. En este caso, nuestro sentido común nos permite entender que “es” se refiere a la caja.
Sin embargo, para un sistema de IA que carece de sentido común para entender el mundo (y en concreto para entender el concepto de tamaño, es decir, la diferencia entre grande y pequeño) se trata de una decisión muy difícil.
La siguiente oración ofrece otro ejemplo de los problemas que tienen los sistemas de IA para interpretar el lenguaje natural cuando se enfrentan a ambigüedades:
We saw her duck ((Vimos su pato/La vimos agacharse)
En inglés, esta oración podría entenderse de tres maneras: la primera, que el sujeto vio un pato que pertenece a una mujer, que el sujeto vio a una mujer agacharse (duck) para evitar ser golpeada por un objeto arrojado en su dirección, o que el sujeto ha decidido serrar (es decir, cortar con una sierra) el pato. Para entender esta pregunta, un humano prestaría atención al contexto de la oración. Por ejemplo, si aparece en un párrafo que incluye una oración donde se hace referencia a un objeto lanzado contra la mujer, entenderíamos que la mujer se ha agachado para esquivarlo. De manera similar, para resolver la ambigüedad, los sistemas de comprensión lectora de IA prestarían atención al contexto.
Pero el uso de aforismos o metáforas, incluso la interpretación de la intención del escritor, incrementa mucho más el nivel de complejidad para los sistemas de comprensión lectora para de IA, especialmente en la interpretación de prosa y poesía. Las críticas veladas a terceros, el humor y muchos otros usos del lenguaje cotidiano plantean niveles adicionales de complejidad. Los seres humanos estamos mucho mejor preparados que las máquinas para descifrar los retos que plantea la comunicación en lenguaje natural. Esto es algo que quedó claro desde el primer momento en que – en la década de los 60 del siglo pasado – comenzaron a realizarse las primeras investigaciones en proyectos de traducción de idiomas mediante sistemas de inteligencia artificial. En un inicio, estos proyectos se centraron en desarrollar sistemas de inteligencia artificial definiendo reglas para la interpretación del uso de sustantivos, verbos, etc. Esta estrategia funcionó bien para entender la estructura de las oraciones (es decir, la gramática), pero no tanto en el campo de la semántica (es decir, el significado de una oración).
Los seres humanos pueden responder preguntas teniendo en cuenta el contexto
Los sistemas implementados hoy en día utilizan técnicas de aprendizaje profundo. En estos sistemas, el aprendizaje se lleva a cabo a partir del análisis de cientos de miles de párrafos (generalmente tomados de Wikipedia). Como entradas se dispone de un párrafo junto con una serie de preguntas cuya respuesta se le encomienda a una red de aprendizaje profundo. Esta estrategia de aprendizaje profundo ha conseguido superar a los humanos en determinadas tareas de comprensión, según algunas pruebas desarrolladas para medir la efectividad de los sistemas de comprensión lectora de IA. En 2019, Alibaba, una empresa china de inteligencia artificial, consiguió afrontar con éxito una prueba sobre una serie de datos desarrollada por Microsoft, superando a los participantes humanos.
PRUEBAS
Se han desarrollado pruebas para medir el rendimiento en comprensión lectora de la IA. Una prueba que se ha consolidado como el estándar de facto, es la llamada prueba SQuAD (Stanford Question Answering Dataset). Se trata de una prueba desarrollada por la Universidad de Stanford, California, que funciona utilizando párrafos tomados de artículos de Wikipedia. Cada uno de estos artículos contiene preguntas a las que responden trabajadores humanos remunerados, los llamados trabajadores Mechanical Turk. Esta prueba permite comparar las respuestas que ofrece un sistema de inteligencia artificial a las que ofrecen los humanos e incluso otros sistemas de comprensión lectora de inteligencia artificial.
CONCLUSIONES
Los sistemas de inteligencia artificial están mejorando en comprensión lectora, pero todavía carecen del nivel de comprensión semántica necesario para funcionar con solidez. Al igual que sucede con muchos algoritmos de aprendizaje profundo, funcionan bien pero dan muestras de inestabilidad cuando se enfrentan a grupos de datos distintos de los utilizados para entrenarlos. En la actualidad, todavía queda mucho por hacer para acercarse a un nivel de comprensión comparable al humano. Sin embargo, estos sistemas permiten ahorrar tiempo y son fáciles de usar, especialmente cuando existe la necesidad de entender documentos extensos y, como muchas aplicaciones de aprendizaje automático, van mejorando de manera constante.
Comentarios sobre esta publicación