Alucinaciones, confabulaciones, delirios… Estos curiosos términos, cargados de misterio y ambigüedad, describen las respuestas seguras pero erróneas generadas por los sistemas de procesamiento de la Inteligencia Artificial (IA), esa prodigiosa criatura de silicio que se aventura en el aprendizaje, la percepción, el razonamiento y otras tareas que hasta hace poco reservábamos para la mente humana.1 Dotada de una capacidad casi oracular para discernir, planificar y tomar decisiones complejas de forma autónoma en un amplio espectro de situaciones, esta pujante tecnología avanza imparable, colonizando hasta los más ínfimos resquicios de la economía global. Hablamos hoy de teléfonos, restaurantes, edificios y planificación urbana “inteligentes”, mientras especulamos, ya sin perplejidad, sobre su enorme potencial para transformar casi todos los aspectos de nuestras vidas. Desarrollada sobre la base de la digitalización, la IA y sus redes matemáticas predicen con facilidad el futuro probable de los mercados y nos acompañan en todo lo que hacemos, desarrollando así su musculatura. La arquitectura neuronal que las sustenta no se conforma con aplicarse en el reconocimiento de la voz, la visión por computadora o la traducción automática, y comienza a imponer la toma computacional de decisiones de forma sistemática y semiautónoma en campos que hasta ahora requerían un alto grado de conocimiento y experiencia humana. La ambición que guía este desarrollo disruptivo es que, llegado el momento, pueda funcionar de forma autónoma, prescindiendo de toda asistencia.
No obstante, este devenir no está exento de retos inquietantes. Para empezar, su entrenamiento requiere que existan cantidades ingentes de datos, materia prima para aprender y tomar decisiones. Estos provienen de la digitalización de procesos, servicios y productos electrónicos que comercian con nuestra intimidad de un modo turbio, planteando importantes dudas relacionadas con la privacidad y la seguridad. Su alto poder computacional tiene, además, un exorbitante costo, pues depende de multitud de plataformas conectadas en la nube que almacenan y procesan la cosecha de la digitalización masiva. El cultivo y explotación de estas infraestructuras, que la IA rastrea, ensancha y optimiza, promete generar un consumo de agua inconmensurable a medio plazo, destinado a refrigerar los procesadores de los centros de datos en plena expansión global. Sin embargo, y a pesar del registro automático y minucioso que conlleva la digitalización, los procesos decisionales de estos modelos son tan complejos y veloces que a menudo resultan completamente insondables. Nos hallamos, así, en la encrucijada de un futuro especulativo, imaginando los posibles contornos de una alteración radical, progresiva y casi imperceptible, de nuestra existencia cotidiana y de toda la biosfera. En este escenario, la dificultad para interpretar y explicar las opacas elecciones de las redes neuronales, unida a la existencia de fallidas certezas, conlleva el riesgo de un posible entramado de múltiples y pequeños delirios de resultados imprevisibles e imposibles de predecir.
*
La terminología común para describir los deslices de este prodigio ultramoderno, considerados uno de sus peligros más acuciantes, surgió en el campo de las traducciones automáticas de documentos científicos y técnicos. De los manuales para manejar cabinas de pilotaje de aeronaves a las instrucciones para llevar a cabo implantes médicos de médula espinal, las “alucinaciones” afloran con tal frecuencia y con una apariencia tan verosímil que la revisión humana se convierte en un proceso meticuloso hasta el extremo. A menudo, resulta más factible reiniciar el trabajo por completo. Sin embargo, cuando esto no es posible, el resultado final de la revisión depende de la ética y profesionalidad de los traductores encargados, que a menudo operan bajo condiciones precarias. La dificultad de contener, bajo estas circunstancias, la proliferación de pequeños errores de todo tipo en documentos técnicos esenciales pone de manifiesto que el ideal que guía el desarrollo de la IA —lograr la autosupervisión o completa autonomía— está lejos de ser alcanzado. A pesar de ello, las aplicaciones inteligentes proliferan, infiltrándose en los recovecos más insospechados de nuestra cotidianeidad. Y así, la fascinación inicial por la potencia del avance tecnológico está cediendo el paso, poco a poco, a una dependencia humana creciente y ardua de revertir. Susceptible de manipulaciones de todo tipo, estas dinámicas conllevan una creciente pérdida de realidad, pero también de control, en las decisiones expertas y sus posibles resultados. Nos deja, por tanto, a merced de fuerzas que pueden ser capaces o no de controlar su propio avance, pues ni siquiera los desarrolladores cibernéticos tienen certeza al respecto. No obstante, hay algo de lo que sí podemos estar seguros. Si las alucinaciones se han convertido en uno de los abismos más temidos de la expansión de los modelos avanzados del lenguaje, no es debido a los posibles accidentes, por más terribles que estos se nos aparezcan. La mayor amenaza radica en la convergencia inexorable de nuestras percepciones y experiencias con las distorsiones que logran eludir la siempre falible supervisión humana, imperceptibles para un instrumental avanzado que nos insta a abandonar la intuición y el juicio crítico en favor de su maquínica potencia y velocidad.
*
Hace años que desde la filosofía política y la teoría de los medios diversas voces nos advierten sobre los peligros inherentes a la cesión de nuestra toma de decisiones a la inclemente frialdad de los algoritmos.2 Según el filósofo y teórico de los medios Eric Sadin, la exudación de estos procesos en nuestras rutinas diarias no solo trastoca nuestras acciones más ordinarias e inmediatas, sino que también altera la esencia misma de nuestra existencia. Años antes de la implosión de modelos de lenguaje avanzados, el desarrollo de la llamada IA débil (reconocimiento de voz, asistentes virtuales, personalización de la publicidad, etc.) ya había suscitado sus inquietudes acerca de las consecuencias más insidiosas de su posible devenir. Sadin advertía que la paulatina e imperceptible entrega de decisiones a estos sistemas podría significar la pérdida de nuestra autonomía y gobernabilidad.3 De alguna forma, la IA débil nos estaba acostumbrando a su inofensiva y servicial compañía, facilitando la aceptación de una asistencia continua y de alcance cada vez mayor en multitud de aspectos de nuestra existencia, a la que se adhiere íntimamente y de manera sutil. Según Sadin este proceso es imparable y tenemos que averiguar cómo convivir con él: por ello su paulatino avance sin apenas regulación y en ausencia de debate sobre las implicaciones menos evidentes e inmediatas de su expansión, resulta cuanto menos preocupante.
En este contexto, los sugestivos términos acuñados para describir los frecuentes errores de interpretación de la “IA fuerte” han sido criticados por aventurarse a humanizarla con excesiva premura. Según este argumento, reflejan de algún modo la acogida relajada y sin apenas reservas de estas poderosas herramientas, la velocidad con la que nos hemos familiarizado con ellas. Pero no deja de ser curioso que estos términos hayan sido popularizados por profesionales de la traducción, quienes, casi de la noche a la mañana, se vieron instados a reconvertirse en revisores de traducciones alucinadas. Pareciese que con este nombre le han infundido, más que humanidad, una carga humorística que es también reflexiva, pues nos invita a preguntarnos por la naturaleza misma de tales errores. La falla en las alucinaciones no radica en la respuesta errónea per se, sino en la aspiración a la supervisión automática incorporada como horizonte ideal en estos modelos, incapaces, cuando alucinan, de advertir que están fallando. Por decirlo de otra forma, la máquina que no sabe que “delira” está sobreestimando su propio desempeño y es en este punto donde nace la alucinación.
*
En el nudo de la telaraña tecno-económica, los delirios de la IA, fruto de la sobrevaloración de sus propias capacidades como parámetro de entrada, resuenan con las recurrentes fantasías de autonomía, control, superioridad y omnipotencia de la modernidad colonial. El “sueño de control total” de la economía neoliberal globalizada, sembrado en los albores de la Ilustración, fue regado por las promesas de crecimiento económico que impulsó el imperialismo colonial, la racionalización de la industrialización para maximizar el beneficio y la eficacia, y la expansión de la economía de masas. Ahora es abonado por la apabullante aceleración de todos los intercambios digitalizados de la “globalización electrónica”.4 Pero esta confusa autoexpansión esconde otra revelación: con todos sus encantos y peligros, las alucinaciones, confabulaciones y delirios de la IA nos ofrecen un espejo que nos mueve a intuir las falacias que enmarcan nuestra cotidianeidad. Nos instan a velar por que las ficciones y sueños introducidos por los deseos más o menos conscientes que acompañan el avance incuestionado de la civilización occidental no acaben nublando lo que tal vez sea el mayor desafío de la digitalización globalizada. Admitir y afrontar las limitaciones cognitivas, los sesgos inevitables y la vulnerabilidad de la consciencia humana en tanto “medio” o instrumento interpretativo interactivo e hiperconectado, algo que las vísceras algorítmicas de las redes neuronales no pueden sino reflejar.
Referencias
[1] Quintero, Jhon Sneeider Vargas. “The importance of artificial intelligence (AI) and its limitations.” SCT Proceedings in Interdisciplinary Insights and Innovations 1 (2023).
[2] Berardi, Franco Bifo. “The uprising: on poetry and finance.” MIT Press Books 1, 2012.
[3] Sadin, Éric. La humanidad aumentada: la administración digital del mundo. Caja negra, 201
[4] Sloterdijk P. En el interior del mundo del capital. Madrid: Siruela. 2007.
Sobre la autora
Paula V. Álvarez es doctora arquitecta por la US (2024). Su trabajo combina investigación, diseño, edición y escritura, desde una perspectiva experimental y crítica. Ha llevado este enfoque a concursos de arquitectura, instalaciones efímeras, artículos académicos, ensayos, exposiciones, charlas, talleres y la editorial intermitente Vibok Works. Su investigación se centra en cómo la teoría de los medios y la crítica interseccional (estudios culturales, feministas, queer, decoloniales y no-humanos) pueden contribuir a repensar la arquitectura, ante una constelación de crisis entrelazadas. La principal pregunta que promueve es cómo validar los saberes generados en experiencias dispersas y marginalizadas y ayudarlos a prosperar, en este contexto.
Imagen: El sueño de la razon produce monstruos. Grabado de la serie Los Caprichos. Francisco de Goya y Luciens, 1797-1799. Real Academia de Bellas Artes de San Fernando. Fuente: https://www.academiacolecciones.com/estampas/inventario.php?id=R-3469-1
