Demostrando por qué la IA no puede lograr resultados elevados

Sorpresa sorpresa. Con todo el entusiasmo y la ansiedad de que la IA pronto iguale o supere la inteligencia humana, resulta que la IA ha avanzado muy poco desde la década de 1950.

ChatGPT y chatbots similares basados ​​en los últimos y mejores modelos de lenguaje grande todavía no lo entienden: no pasan la prueba de ambigüedad semántica.

Signo de chatbot para el concepto de servicio de soporte.

En mi publicación anterior sobre Yehoshua Bar-Hillel, un pionero de la traducción automática a principios de la década de 1950, conté las historias que contó sobre la domesticación de leones y computadoras en el Primer Simposio Anual de la Sociedad Estadounidense de Cibernética en 1967. En su charla, Bar- Hillel también enumeró tres requisitos para la “inteligencia de las máquinas”: la capacidad de manipular el lenguaje; tener conocimientos previos sobre el mundo; y habilidades de razonamiento e informática, todo al nivel de un graduado de escuela secundaria. El esfuerzo requerido para lograr estos requisitos previos de la inteligencia artificial, dijo Bar-Hillel, “sería incomparablemente mayor que el requerido para poner al hombre en Venus”.

Quince años antes, en su discurso de apertura de la conferencia sobre traducción automática que organizó en el MIT en junio de 1952, Bar-Hillel fue mucho más optimista: “Incluso si resultara que ninguna de las posibles asociaciones máquina-cerebro sería más eficaz que un traductor humano, en el sentido de que no serán ni más rápidos ni más baratos ni más exactos que el traductor humano, en las condiciones actuales o en el futuro próximo, recomendaría firmemente la continuación de esta investigación. Las máquinas electrónicas sin duda serán más baratas y los cerebros humanos probablemente más caros”.

En 1955, sin embargo, Bar-Hillel se volvió muy pesimista. En “Una demostración de la inviabilidad de una traducción totalmente automática de alta calidad”, escribió que la traducción de alta calidad por computadora “es sólo un sueño que no se hará realidad en el futuro previsible”. Los investigadores de traducción automática que no reconocen la “inutilidad práctica de este objetivo”, escribió Bar-Hillel, engañaron a sus patrocinadores al “no estar satisfechos con un sistema de traducción parcialmente automatizado cuyos principios se comprenden bien hoy”, pidiéndoles en cambio que esperaran “Lo real en lo que se creía y se hacía creer estaba a la vuelta de la esquina”.

A la vuelta de la esquina, o como dijo OpenAI en un anuncio reciente, la superinteligencia AI, “la tecnología más impactante que la humanidad haya inventado jamás”, podría llegar en esta década y “podría llevar a la pérdida de poder de la humanidad o incluso a su extinción”.

El ejemplo que Bar-Hillel utilizó en su artículo para demostrar la inutilidad de perseguir el sueño de una traducción automática de alta calidad fue la siguiente frase:

La caja estaba en el bolígrafo.

Y aquí está el contexto lingüístico del que se toma esta frase:

El pequeño John buscaba su caja de juguetes. Finalmente lo encontró. La caja estaba en el bolígrafo. Juan estaba muy feliz.

Bar-Hillel explica este ejemplo de ambigüedad semántica:

Supongamos, en aras de la simplicidad, que pluma en inglés sólo tiene los dos significados siguientes: (1) cierto utensilio de escritura, (2) un recinto donde los niños pequeños pueden jugar. Ahora afirmo que ningún programa existente o imaginable permitirá a una computadora electrónica determinar que la palabra pluma en la oración dada dentro del contexto dado tiene el segundo de los significados anteriores, mientras que todo lector con un conocimiento suficiente del inglés lo hará "automáticamente". ".

Al analizar las soluciones propuestas por otros investigadores de la traducción automática, Bar-Hillel dice: “Es un viejo prejuicio, pero al fin y al cabo un prejuicio, que tomar en consideración un entorno lingüístico suficientemente grande como tal será suficiente para reducir la ambigüedad semántica de una palabra determinada. "

Bueno, ese era el estado del procesamiento del lenguaje natural (PNL) en la década de 1950. Sin embargo, estaba absolutamente seguro de que los modelos de lenguajes grandes (LLM) actuales, entrenados en una cantidad incalculable de textos y capaces de procesarlos (en paralelo), captarían el "contexto lingüístico" y siempre lo harían bien.

Para comprender mejor el estado de la traducción automática BC (antes de ChatGPT), le pedí a Google Translate (que supongo que no es compatible en este momento con el último LLM) que representara el ejemplo de Bar-Hillel en dos idiomas, hebreo y ruso. Google Translate traduce “el bolígrafo” en el sentido de instrumento de escritura, en ambos idiomas. “La caja estaba en el instrumento de escritura” es lo que se perdió en la traducción.

Pero ¿qué pasa con la reciente “revolución” en lo que la IA puede hacer ahora (y lo que la AGI hará “a la vuelta de la esquina”)?

Bard, la respuesta de Google a ChatGPT, era ligeramente "mejor" que Google Translate. Para Bard, la caja estaba en el corral, en el sentido de un recinto para animales.

Le proporcioné a Bard el contexto completo de la frase del artículo de Bar-Hillel, pero aún así entendí "cercado de animales". Cuando protesté, Bard amablemente me proporcionó esto:

Eso es correcto. La palabra hebrea מכלאה (mikhla'ah) significa "recinto, bolígrafo, pliegue". Puede usarse para referirse a un pequeño recinto para animales, como un gallinero o una pocilga. También se puede utilizar para referirse a un recinto más grande, como un zoológico o un santuario de vida silvestre. En el contexto de su oración, la palabra מכלאה se usa para referirse a un pequeño recinto para animales. La caja fue encontrada en este recinto, razón por la cual la traducción usa la palabra hebrea מכלאה.

El uso de “bolígrafo” como pequeño espacio de almacenamiento (es el segundo sentido de la palabra en el diccionario Merriam-Webster, con instrumento de escritura listado como el cuarto sentido), y específicamente para juguetes infantiles, se desprende claramente del contexto lingüístico completo que Le proporcioné a Bard. Aún así, pensando que tal vez este sentido prevalecía más en la década de 1950 que hoy y que tal vez Bard era vago y solo miraba textos recientes, le pedí a Bard ejemplos de la literatura sobre “pluma” como “un recinto donde los niños pequeños pueden jugar”.

En segundos obtuve tres imágenes, las portadas de El jardín secreto, Mujercitas y Las aventuras de Tom Sawyer, y citas relevantes de estos libros. Y esta explicación:

En estos ejemplos, la palabra "bolígrafo" se utiliza para referirse a un área pequeña y cerrada donde los niños pueden jugar. El corral suele estar rodeado por una valla o algún otro tipo de barrera y, a menudo, está lleno de juguetes, juegos u otras actividades que disfrutan los niños.

El conocimiento está ahí, pero Bard no conectó los puntos.

¿Por qué? Esto es lo que dijo Bar-Hillel en 1955:

Lo que hace que un lector humano inteligente capte este significado sin vacilar es... su conocimiento de que los tamaños relativos de los bolígrafos, en el sentido de instrumentos de escritura, las cajas de juguetes y los bolígrafos, en el sentido de los parques, son tales que cuando alguien escribe en circunstancias ordinarias y en algo parecido al contexto dado, "la caja estaba en "el bolígrafo", es casi seguro que se refiere a un parque y ciertamente no a un bolígrafo para escribir. Este conocimiento no está a disposición del ordenador electrónico y ninguno de los diccionarios o programas para la eliminación de la polisemia pone este conocimiento a su disposición.

La IA actual todavía no tiene un conocimiento del mundo al nivel de un niño de tres años. Los LLM son un pequeño paso para el hombre, pero están lejos de ser un gran salto para la humanidad.

Un hombre, Terry Winograd, dio un pequeño paso a finales de la década de 1960 en el largo y difícil camino del procesamiento del lenguaje natural. Al igual que Bar-Hillel, pocos años después de domesticar una computadora para participar en una conversación, se convirtió en un “desertor de alto perfil del mundo de la IA”, en palabras de John Markoff.

En la próxima publicación, discutiré Winograd y el Winograd Schema Challenge, una nueva “prueba de Turing” diseñada para verificar la competencia de la IA para lidiar con la ambigüedad semántica y cuánto entienden (o no entienden) los programas de IA actuales el mundo. ¿ChatGPT puede pasar la prueba?