La inteligencia artificial comunica con claridad, pero carece de entendimiento: descubre el concepto de 'comprensión potemkin' recientemente revelado.
Según un estudio reciente, los modelos de inteligencia artificial más avanzados proporcionan respuestas precisas en el 94% de las ocasiones, aunque no logran aplicar ese conocimiento de manera consistente.
La precisión de las respuestas proporcionadas por los modelos de inteligencia artificial (IA) ha alcanzado niveles sobresalientes, pero surge la pregunta: ¿realmente estos sistemas tan avanzados comprenden lo que están comunicando? Un estudio reciente pone en duda esta capacidad, reavivando el debate sobre las habilidades reales de razonamiento de una tecnología que juega un papel cada vez más importante en el futuro humano.
Investigadores del Instituto Tecnológico de Massachusetts (MIT), así como de Harvard y la Universidad de Chicago, han llegado a la conclusión de que ciertos modelos de IA, conocidos como LRM (Large Reasoning Models), no comprenden las respuestas que generan. A pesar de que estos modelos pueden ofrecer respuestas correctas, no son capaces de aplicar ese conocimiento de manera coherente en distintos escenarios.
Para realizar esta investigación, los expertos examinaron el rendimiento de varios modelos, incluyendo Llama-3.3, Claude-3.5, GPT-4o, Gemini, DeepSeek-V3, DeepSeek-R1 y Qwen2-VL, en tareas que requerían no solo definir conceptos, sino también aplicarlos en diferentes ejercicios como clasificación, generación de contenido y edición. Se enfocaron en tres áreas específicas: técnicas literarias, teoría de juegos y sesgos psicológicos.
Los hallazgos arrojaron que, aunque los modelos ofrecieron definiciones precisas en el 94% de los casos, erraron en el 55% al intentar clasificar ejemplos relacionados. Además, cometieron errores en el 40% de las pruebas donde se les pidió generar o editar ejemplos. Este fenómeno ha sido denominado "comprensión potemkin", haciendo referencia a las aldeas ficticias que Grigory Potemkin supuestamente construyó para impresionar a la emperatriz Catalina II. Los investigadores advierten que este concepto no debe confundirse con las "alucinaciones", que son errores factuales generados por IA.
Los investigadores afirman que "los potemkins son al conocimiento conceptual lo que las alucinaciones son al conocimiento fáctico: las alucinaciones crean hechos falsos; los ‘potemkins’ generan una apariencia equivocada de coherencia conceptual". Se proporcionaron ejemplos concretos para ilustrar esta limitación; por ejemplo, aunque los modelos pudieron explicar la estructura de rima ABAB correctamente, fallaron al escribir un poema que siguiera dicho patrón. Aunque identificaron y describieron técnicas literarias en un soneto de Shakespeare con precisión, casi el 50% de los intentos para detectar o modificar un soneto similar resultaron en error.
El estudio también plantea interrogantes sobre la fiabilidad de las pruebas de referencia utilizadas para evaluar las capacidades de la IA. Los autores señalan que estas métricas podrían dar una impresión engañosa de competencia en lugar de reflejar una comprensión auténtica. Remarcan que las pruebas aplicadas a los grandes modelos de lenguaje (LLM) son las mismas que se utilizan para evaluar a los humanos, lo que podría ser inapropiado si los LLM interpretan los conceptos de una manera diferente.
Keyon Vafa, investigador postdoctoral en Harvard y uno de los coautores, comenta la necesidad de desarrollar nuevas estrategias de evaluación que trasciendan el uso de las mismas preguntas para medir el conocimiento humano, o bien que se establezcan métodos para eliminar la ilusión de comprensión en los modelos. Este no es un tema nuevo; un estudio previo de la Universidad Nacional de Educación a Distancia (UNED) en España ya había señalado que modelos como OpenAI o3-mini y DeepSeek R-1 dependían más de la memorización que de un razonamiento verdadero.
El informe también alertó sobre los problemas de confiabilidad asociados a estas pruebas, los cuales se ven exacerbados por la intensa competencia en el sector. Julio Gonzalo, catedrático de Lenguajes y Sistemas Informáticos en la UNED, expresó que, debido a la presión competitiva, se presta excesiva atención a los benchmarks, lo que podría llevar a las empresas a manipular los resultados de forma conveniente. Esto resalta la necesidad de cuestionar la validez de las métricas utilizadas en la evaluación de modelos de IA.
