KATE CRAWFORD
Desde mediados de la década de 2000, la inteligencia artificial (IA) se ha expandido a gran velocidad a nivel mundial, como campo académico y como industria. Pero ¿es posible crear inteligencia? ¿Cómo son los sistemas de IA que se desarrollan a escala planetaria? ¿Qué tipos de políticas están contenidas en el modo en que esos sistemas cartografían e interpretan el mundo? ¿Cuáles son las consecuencias de incluir la IA en los sistemas de toma de decisiones en los lugares de trabajo, la educación, la salud, las finanzas, la justicia y el gobierno?.
Atlas de inteligencia artificial demuestra que la IA no es una innovación tecnológica neutral u objetiva ni una fuerza espectral o incorpórea, sino una verdadera industria de extracción global. De hecho, la creación de los sistemas de IA contemporáneos dependen de la explotación de los recursos energéticos y minerales del planeta, de la mano de obra barata y de los datos a gran escala.
De manera crítica, advierte cómo la IA altera la forma en que el mundo es visto y entendido, e impulsa un cambio hacia gobiernos antidemocráticos, una mayor desigualdad y enormes daños medioambientales.
De modo contundente, Kate Crawford sostiene: “La IA no es artificial ni inteligente. Más bien existe de forma corpórea, como algo material, hecho de recursos naturales, combustible, mano de obra, infraestructuras, logística, historias y clasificaciones. Los sistemas de IA no son autónomos, racionales ni capaces de discernir algo sin un entrenamiento extenso e intensivo”. Se trata de sistemas diseñados para servir a los intereses dominantes ya existentes: son, finalmente, un certificado de poder.
El caballo más inteligente del mundo.
A fines del siglo xix, Europa se encontraba embelesada por un caballo llamado Hans. “Clever Hans”* era una verdadera maravilla: podía resolver problemas matemáticos, decir la hora, identificar días en el calendario, diferenciar tonos musicales y deletrear palabras y frases. La gente acudía en masa a ver al semental alemán golpeteando con el casco las respuestas a problemas complejos y dando consistentemente las respuestas correctas. “¿Cuánto es dos más tres?” De manera diligente, Hans chocaba un casco contra el suelo cinco veces. “¿Qué día de la semana es?” El caballo entonces se acercaba a un tablero especialmente diseñado y deletreaba la respuesta correcta usando el mismo método. Hans llegó incluso a dominar preguntas más complejas: “Estoy pensando en un número. Si le quito nueve, me quedan tres. ¿De qué número se trata?”. Para 1904, Clever Hans ya era famoso en el mundo entero, y The New York Times promovía sus habilidades con el siguiente titular: “El maravilloso caballo de Berlín. ¡Solo le falta hablar!”. El entrenador de Hans, Wilhelm von Osten —un profesor de matemáticas retirado—, había estado fascinado por la inteligencia animal durante mucho tiempo. Intentó sin éxito enseñarles a gatitos y crías de oso los números cardinales, y solo triunfó cuando empezó a trabajar con su propio caballo. Primero, le enseñó a contar sujetándole la pata, mostrándole un número y luego golpeteando con el casco el número correcto de veces.
Pronto Hans fue capaz de realizar sumas simples. A continuación, Von Osten incorporó un pizarrón que tenía escrito el abecedario, de modo que el caballo pudiera hacer chocar un casco sobre un número para cada letra. Después de dos años de entrenamiento, Von Osten estaba asombrado por la capacidad del animal para comprender conceptos intelectuales avanzados. Así que se lo llevó de gira para probarle al mundo que los animales podían razonar. Hans se viralizó durante la Belle Époque.
Pero había muchos escépticos, y el consejo educativo alemán creó una comisión de investigación para comprobar la validez de las declaraciones científicas hechas por Von Osten. La Comisión Hans estaba dirigida por el psicólogo y filósofo Carl Stumpf y su asistente Oskar Pfungst, e incluía a un director de circo, un profesor retirado, un zoólogo, un veterinario y un oficial de caballería. Sin embargo, después de que interrogaran largamente a Hans, tanto con su entrenador presente como sin él, el caballo mantuvo su registro de respuestas correctas, y la comisión no fue capaz de encontrar evidencia alguna de fraude. Como escribiría más tarde Pfungst, Hans actuó frente a “miles de espectadores, aficionados a los caballos, entrenadores de calibre, y ninguno de ellos, durante el transcurso de observaciones que duraron muchos meses, descubrió algún tipo de señal secreta regular” entre el interrogador y el caballo.
La comisión descubrió que los métodos enseñados a Hans se asemejaban más a “la enseñanza en la educación básica” que al entrenamiento de animales, y eran “dignos de estudiarse
científicamente”. Pero Stumpf y Pfungst todavía tenían algunas dudas. Un hallazgo en particular los preocupaba: cuando el mismo interrogador no sabía la respuesta a la pregunta que estaba for mulando o cuando estaba muy lejos de Hans, este rara vez acertaba. Esto los llevó a considerar que quizás alguna señal involuntaria le estuviera dando las respuestas a Hans.
Como Pfungst describió en su libro de 1911, no se equivocaban: la postura del interrogador, así como su respiración y expresión facial, cambiaban sutilmente cuando los golpeteos de
Hans alcanzaban la respuesta correcta, lo que lo hacía parar justo en ese momento. Pfungst probó esta hipótesis más tarde en sujetos humanos y confirmó sus resultados. Para él, la parte deslumbrante de este descubrimiento era que, por lo general, los interrogadores no sabían que le estaban dando pistas al caballo. La solución al enigma de Clever Hans, escribió Pfungst, eran las indicaciones inconscientes de los interrogadores. El caballo estaba entrenado para producir los resultados que su dueño quería ver, pero el público se sintió estafado porque esta no era la inteligencia extraordinaria que se habían imaginado.
La historia de Clever Hans es cautivante por muchos motivos: la relación entre el deseo, la ilusión y la acción; el negocio del espectáculo; la manera en que antropomorfizamos lo no humano; cómo emergen los sesgos y la política de la inteligencia. Hans inspiró un término en psicología que se usa para un tipo especial de trampa conceptual, el efecto Clever Hans, también llamado sesgo de expectativa, que describe la influencia que tienen las pistas involuntarias que los investigadores dan a los sujetos de investigación. La relación entre Hans y Von Osten tiene que ver con los complejos mecanismos a través de los cuales los sesgos se abren camino en los sistemas y cómo la gente termina enredada con los fenómenos que estudia. En la actualidad, la historia de Hans se usa en aprendizaje automático como un recordatorio admonitorio de que no siempre se puede estar seguro de lo que ha aprendido un modelo a partir de los datos que se le han dado.
Incluso un sistema que parece funcionar de forma espectacular durante las prácticas puede hacer predicciones terribles cuando se le presentan datos nuevos en el mundo real.
Esto nos lleva a la pregunta central de este libro: ¿cómo se “hace” la inteligencia y con qué trampas nos podemos encontrar a partir de este proceso? A primera vista, la historia de Clever Hans es la historia de un hombre que construyó inteligencia entrenando a un caballo para que siguiera pistas y emulara la cognición humana. Pero, en otro nivel, podemos observar que la práctica de crear inteligencia se extendió considerablemente más allá de esta situación. El empeño requirió la validación de múltiples instituciones, incluida la academia, la educación, la ciencia, el público y las fuerzas armadas. Luego, está el mercado en el que se insertaron Von Osten y su notable caballo: inversiones tanto emocionales como económicas que estaban detrás de las giras, los artículos periodísticos, las charlas. Autoridades burocráticas congregadas para sopesar y analizar las habilidades del caballo. Una constelación de intereses financieros, culturales y científicos que cumplieron un rol en la construcción de la inteligencia de Hans y que tenían un interés tangible en que esta fuera realmente notable.
Aquí podemos ver dos mitologías distintas. El primer mito es que los sistemas no humanos (sean computadoras o caballos) son análogos a la mente humana. Esta perspectiva presupone que, con el entrenamiento adecuado o los recursos suficientes, una inteligencia parecida a la de un ser humano se puede crear de cero sin tener en consideración las maneras fundamentales en que las personas se encarnan, se relacionan y se ubican dentro de contextos más amplios. El segundo mito es que la inteligencia es algo que existe de forma independiente, como algo+natural y separado de las fuerzas sociales, culturales, históricas y políticas. Este concepto de inteligencia ha causado un daño enorme durante siglos y se ha usado para justificar relaciones de dominación desde la esclavitud hasta la eugenesia.
Estas mitologías prevalecen particularmente en el campo de la inteligencia artificial (ia), donde la creencia de que las máquinas pueden formalizar y reproducir la inteligencia humana
ha sido axiomática desde mediados del siglo xx. Así como se consideraba la inteligencia de Hans equiparable a la de un ser humano, cuidadosamente fomentada como la de un niño durante su educación básica, en muchas ocasiones se han descripto los sistemas de ia como formas simples de inteligencia pero parecidas a la humana. En 1950, Alan Turing predijo que “para el fin de siglo el uso de palabras y opiniones generales razonadas habrá cambiado tanto que uno podrá hablar de máquinas pensantes sin esperar a que lo contradigan”.8 En 1958, el matemático John von Neumann aseguró que el sistema nervioso de los seres humanos es, “a primera vista, digital”. En cierta ocasión, ante la pregunta de si las máquinas podían pensar, el profesor del Massachusetts Institute of Technology (mit) Marvin Minsky respondió: “Por supuesto que las máquinas pueden pensar; nosotros podemos pensar y somos ‘máquinas hechas de carne’”. Pero no todo el mundo estaba tan convencido. Uno de los precursores de la invención de la ia, Joseph Weizenbaum, creador de eliza, el primer programa conversacional, creía que la idea de que los seres humanos son meros sistemas procesadores de información involucraba una noción demasiado simplista de la inteligencia, y que esa noción estaba detrás de la “perversa fantasía de proporciones” que suponía pensar que los científicos de la ia llegarían a crear una máquina que aprendiera “al igual que un niño”. Esta ha sido una de las discusiones centrales en la historia de la ia. En 1961, el mit fue sede de una serie de importantes conferencias con el título de “Administración de empresas y la computadora del futuro”. El programa incluía la participación de una serie estelar de científicos informáticos, entre los que se encontraban Grace Hopper, Joseph Carl Robnett Licklider Marvin Minsky, Allen Newell, Herbert Simon y Norbert Wiener, para discutir los rápidos avances que se estaban produciendo en la computación digital. En su osada conclusión, John McCarthy argumentó que las diferencias entre las tareas humanas y las de las máquinas eran ilusorias. Se trataba simplemente de que las máquinas requerirían más tiempo para formalizar y resolver algunas de las tareas humanas más complicadas. Pero el profesor de filosofía Hubert Dreyfus contraargumentó, preocupado por el hecho de que los ingenieros en su conjunto “ni siquiera consideraran la posibilidad de que el cerebro pudiera procesar información de una manera completamente diferente a una computadora”.En una obra posterior, What Computers Can’t Do, Dreyfus señala que la inteligencia y la pericia humanas dependen en gran medida de muchos procesos, inconscientes y subconscientes, mientras que las computadoras requieren que todos los procesos y los datos sean explícitos y estén formalizados. Como resultado, los aspectos menos formales de la inteligencia tienen que ser abstraídos, eliminados y aproximados, lo que vuelve a las computadoras incapaces de procesar información sobre situaciones como lo harían los seres humanos.
Mucho ha cambiado en la ia desde la década de 1960, incluido un giro de los sistemas simbólicos a la más reciente ola hiperbólica sobre las técnicas de aprendizaje automático. En varios sentidos, las primeras discusiones sobre lo que puede hacer la ia han sido olvidadas y el escepticismo se ha desvanecido. Desde mediados de la década de 2000, la ia se ha expandido rápidamente, como campo académico y como industria. Hoy en día, un pequeño número de compañías tecnológicas poderosas hace uso de sistemas de ia a escala planetaria, y sus sistemas son aclamados, una vez más, como similares o incluso superiores a la inteligencia humana.
Sin embargo, la historia de Clever Hans también nos recuerda cuán estrechamente consideramos o reconocemos la inteligencia. A Hans se le enseñó a imitar tareas dentro de un rango muy acotado: sumar, restar y deletrear. Esto refleja una perspectiva limitada de lo que los caballos o los seres humanos pueden hacer. En términos de comunicación entre especies, Hans llevaba a cabo hazañas notables, además de actuar frente al público y tener una considerable paciencia; sin embargo, ninguna de estas acciones se reconocía como inteligencia. En palabras de la autora e ingeniera Ellen Ullman, esta creencia de que la mente es como una computadora, y viceversa, ha “infectado décadas de pensamiento en las ciencias de la computación y cognitivas”, y se volvió una especie de pecado original en el campo. Se trata de la ideología del dualismo cartesiano en la ia, en la que esta se limita a ser entendida como una inteligencia incorpórea, liberada de cualquier relación con el mundo material.
¿Qué es la inteligencia artificial?
Ni artificial ni inteligente. Hagamos la pregunta, en apariencia simple, de qué es la ia. Si le preguntas a alguien en la calle, puede que mencione a Siri de
Apple, la nube de Amazon, los autos de Tesla o el algoritmo de búsqueda de Google. Si les preguntas a los expertos en aprendizaje profundo, puede que te den una respuesta técnica acerca….