INTELIGENCIA ARTIFICIAL: LA INSISTENCIA EN NO VER EL ELEFANTE EN LA HABITACIÓN

En este momento, raro es el día en que no sale una nueva inteligencia artificial que nos promete distintos tipos de maravillas. Bien; digamos que durante el llamado “invierno” de la inteligencia artificial, se han ignorado los progresos que se estaban haciendo mientras que, ahora, nos encontramos en la situación opuesta: Disponibilidad para maravillarnos ante cualquier cosa que pueda aparecer.

Quizás convendría hacer una pausa y preguntarse en qué momento estamos respecto a la llamada “singularidad”, es decir, el momento en que un ordenador será capaz de superar a una persona en cualquier tipo de reto imaginable donde la inteligencia tenga un papel.

En esa pausa, es forzoso reconocer que la inteligencia artificial y la inteligencia humana funcionan de modo radicalmente distinto. Una vez que esto se entienda con claridad, se podrá entender otra cosa:

Hay terrenos en los que la “singularidad” ha llegado hace tiempo; hay otros en los que cabe esperar que llegue en un tiempo relativamente breve y hay otros en los que nunca llegará y es en estos últimos donde reside nuestro ignorado “elefante”.

Si decimos que un ordenador es capaz de manejar enormes bases de datos y hacerlo en muy poco tiempo, estaremos enunciado un hecho cierto pero, al mismo tiempo, estaremos ignorando otro: Cuando un cambio cuantitativo se produce en varios órdenes de magnitud, deja de ser cuantitativo para ser cualitativo.

Permítaseme utilizar un ejemplo de hace pocos días y que resulta bastante revelador sobre las diferencias de funcionamiento:

Al preguntarle a una de las múltiples inteligencias artificiales de acceso público -LuzIA en este caso- si Tina Turner estaba viva en 1980, su respuesta fue Sí. Tina Turner estaba viva en 1980. En ese año, lanzó su quinto álbum de estudio en solitario, “Private Dancer”, que fue un gran éxito y contribuyó a su éxito en la década de 1980.

Nótese que la pregunta era simplemente si estaba viva y la respuesta incluyó unos datos que no había solicitado pero que, al mismo tiempo, fueron bastante reveladores sobre su funcionamiento.

Naturalmente, si le hacemos esta pregunta a un humano, antes de responder, habría recordado que Tina Turner había fallecido muy recientemente con una edad en el entorno de los noventa años y, por tanto, en 1980 estaba viva.

La inteligencia artificial, al menos en ese momento, no tenía almacenado el hecho de que una persona está viva entre las fechas de su nacimiento y su muerte y, al hacer una pregunta sobre una fecha específica, busca en su enorme base de datos alguna actividad de esa persona en esa fecha y, al encontrarla, concluye que está viva y, en este caso, añade además la información que le ha servido para concluir que está viva.

Al encontrar que la inteligencia artificial podía llegar a la misma conclusión -correcta- a través de un camino totalmente distinto a la inteligencia humana, probé a tenderle una pequeña trampa: Al parecer, si ejerce alguna actividad, está viva. Veámoslo. Siguiente pregunta:

Si decimos que Tina Turner lleva varias semanas criando malvas ¿podemos afirmar que Tina Turner está viva?

La respuesta no se hizo esperar:

Por supuesto. Si está criando malvas, significa que está viva.

No se trata en este caso de enfatizar el error sino, muy al contrario, de mostrar cómo, a través de procesos completamente distintos, la inteligencia artificial puede llegar a conclusiones que en la mayoría de los casos son correctas.

En ese manejo de ingentes cantidades de datos, no sólo puede llegar a conclusiones similares a las humanas sino que puede cruzar los datos de forma que alcancen conclusiones no alcanzables por ningún ser humano. Son muchos los ámbitos en que se puede producir esta situación, no sólo juegos como el ajedrez o el Go, y por ello sería justo decir que hay terrenos en que la singularidad ya se ha producido. No debe perderse de vista, sin embargo, que, gracias a esos distintos métodos, de vez en cuando la inteligencia artificial producirá respuestas extrañas o simplemente se bloqueará.

Hay otros casos en que no se ha llegado al nivel humano; aquellos casos en que el manejo de bases de datos va multiplicando las opciones en forma exponencial y, por tanto, ni siquiera los ordenadores más potentes son capaces de manejar el número de opciones resultante.

Por ejemplo, el sistema AlphaZero fue entrenado para distintos juegos que, para cada movimiento, abría tal cantidad de opciones que hacía imposible procesarlas todas. Sus programadores resolvieron el problema mediante el llamado método Monte Carlo que permitía asignar probabilidades a las distintas opciones. No obstante, pueden encontrarse situaciones que no permitan ese atajo.

Otro caso difícil se encuentra cuando a un sistema se le solicita que imite a un cerebro humano pero no se pide que lo haga en sus aspectos más perfectos sino en lo que podrían denominarse “imperfecciones funcionales”. Llamamos imperfecciones funcionales a aquellas situaciones en las que, siendo la percepción incorrecta, el cerebro se encarga de corregirla. Ejemplos:

  • ¿Cómo es posible que, si nos tapamos un ojo, vemos cierta desviación pero seguimos viendo en relieve cuando hemos perdido la visión estereoscópica? El cerebro.
  • ¿Cómo es posible que, cuando tratamos de demostrar la existencia del punto ciego mediante los ejercicios al efecto, visualizando un objeto o una imagen, desaparece de nuestra visión el objeto frente al punto ciego pero su lugar aparece ocupado por el fondo en lugar de aparecer vacío? El cerebro.
  • ¿Cómo es posible que un piloto, cuando va a despegar, no se asuste al percibir que está entre dos líneas convergentes a los extremos de la pista y que, por tanto, debe despegar antes de llegar a la intersección de tales líneas? El cerebro es quien le informa de que las líneas son, en realidad, paralelas y la pista no se va a ir estrechando.

No hablemos ya de otros casos como la imagen invertida en la retina. Las imperfecciones funcionales son muy difíciles de imitar porque estamos tan habituados a ellas que nos resulta muy difícil convertirlas en conscientes e incluirlas en el proceso perceptivo de un sistema pero, aún así, no podemos descartar que se avance por ese camino lo suficiente para superar ese escollo.

Llegamos, por fin, a nuestro elefante en la habitación: La conciencia. La mayor parte de los investigadores en inteligencia artificial han optado por ignorarla, no por negar su existencia, lo que sería claramente absurdo, sino por entender que no aportaba nada a la solución de problemas.

Las explicaciones sobre su origen son oscuras o simplistas e incluso autores como Steven Pinker, que estira hasta el máximo posible las posibilidades de la teoría de la evolución, acaba afirmando que, en su faceta principal, se trata de un misterio.

Dejémoslo ahí. ¿Tiene ese misterio alguna relación con la resolución de problemas? ¿Hay problemas que una inteligencia artificial no puede resolver por carecer de conciencia? La respuesta es que sí.

Jeff Hawkins, autor a medio camino entre la inteligencia artificial y la neurología, se asombraba de que, incluso en las áreas de proyección en el cerebro -áreas que se supone que simplemente recogerían una fotografía fiel de lo que ocurre en el exterior- había muchas más fibras procedentes de otras partes del cerebro que del órgano del que supuestamente recibían los datos.

Es cierto que cualquier sistema puede tener sensores relativos a estados internos, incluso sin necesidad de que exista una inteligencia artificial: Un termostato, por ejemplo, puede referirse tanto a una temperatura externa como a una temperatura interna del sistema pero la conciencia con sus implicaciones representa algo cualitativamente diferente:

Son numerosos los casos en que la conciencia repentina de un hecho es la que dispara un proceso de resolución de problemas. Una de las mejores escenas de la película “Una mente maravillosa” se produce cuando Nash se da cuenta de que la niña no crece y, por tanto, es una alucinación. Algo parecido se produce cuando Alan Turing, el padre de la inteligencia artificial, advierte que los mensajes de Enigma probablemente estarán originalmente escritos en alemán y, si en un caso específico, llega a saber de qué están hablando, podría tener elementos que le ayudarían a desencriptar la clave.

Los dos casos mostrados son muy conocidos pero nuestra vida diaria está llena de ellos: Sin ningún cambio exterior visible, es la conciencia interna quien pone en marcha el proceso de resolución de problemas. Sin temor a exagerar, podría decirse que gran parte de los descubrimientos científicos nacen en ese proceso.

No puede ni debe minusvalorarse el impacto que puede tener en el futuro el desarrollo de la inteligencia artificial; sus posibilidades son realmente importantes y la “singularidad”, entendida como fenómeno parcial, hace mucho que ha llegado en bastantes terrenos. En otros, parece imposible que pueda llegar en ningún momento y el fenómeno responsable de ello es un elefante en la habitación que se han empeñado en negar. Quizás, para evitar llegar a un punto muerto en el futuro, debería comenzarse por darle carta de naturaleza y admitir su relevancia en la resolución de algunos problemas.

Inteligencia Artificial y eventos «Zero Day»

USO DE LA INTELIGENCIA ARTIFICIAL EN AVIACIÓN

Con la llegada de una nueva generación de asistentes digitales, como ChatGPT o Bard, la inteligencia artificial ha adquirido una popularidad que antes no tenía; su uso, ya generalizado, ha deslumbrado a algunos e incluso ya se habla del siguiente paso –AGIArtificial General Intelligence- como una evolución capaz de aprender autónomamente y sobre cualquier cosa.

El punto de inflexión o, si se prefiere, la salida del llamado invierno de la inteligencia artificial, que abarcaría la década de los 80 y gran parte de los 90, no aparece ni con Deep Blue, la máquina que derrotó a Kasparov en 1998, ni con el reciente ChatGPT; aparece con Alpha Zero, sucesor del AlphaGo que derrotaría al campeón mundial de Go, y con fuertes diferencias sobre su antecesor:

La diferencia fundamental está en que a AlphaGo, además de las reglas del juego, se le dio una enorme cantidad de información sobre situaciones y partidas jugadas por humanos; por el contrario, a Alpha Zero se le dieron las reglas, una instrucción específica de conseguir la victoria en el juego y un algoritmo de aprendizaje. Con estos recursos, Alpha Zero empezaría a jugar contra sí mismo y a generar un número de situaciones posibles inaccesible a un aprendizaje humano. ¿El resultado? El aprendiz Alpha Zero derrotó consistentemente al experto AlphaGo; el proceso se repitió con distintos juegos y el resultado siempre fue el mismo: Puede decirse que en ese momento nacía una nueva etapa para la inteligencia artificial.

A menudo se ha tratado de extrapolar este resultado a otros ámbitos, como ocurrió con Watson, sistema capaz de vencer a humanos en el concurso Jeopardize sobre conocimiento general, y que fracasó estrepitosamente cuando se creyó que su “conocimiento general” podía servir para aplicarlo a tareas como el diagnóstico médico. Aplicaciones como el ajedrez o el Go representan el terreno ideal para el uso de la inteligencia artificial: Reglas invariables, entornos cerrados y una cantidad de combinaciones virtualmente infinita. Pocas dudas caben sobre su utilidad en este tipo de entornos y su capacidad para superar ampliamente a la inteligencia humana.

Sin embargo, las cosas cambian mucho cuando se intenta aplicar la inteligencia artificial a entornos abiertos en los que un error puede tener consecuencias de una magnitud importante. Esta eventualidad se agrava cuando no es posible seguir la lógica de un sistema que es totalmente opaco a su usuario y que, ocasionalmente, puede actuar de formas que no son subóptimas sino abiertamente absurdas.

As Marcus and Davis[1] say, “A neural network that learns a particular task might score, say, 95 percent correct on some test. But then what? It’s often very difficult to figure out why the network is making mistakes on the other 5 percent, even when some of those mistakes are dramatic errors that no human would ever make, like the confusión…between a refrigerator and a parking sign. And if those mistakes matter and we can’t understand why the system is making them, we have a problem”.

Efectivamente, tenemos un problema. Cuando el sistema da una respuesta absurda, no sólo es inútil o peligrosa sino que no se sabe cómo ha llegado a ella ni, probablemente, es capaz de dar alternativas viables debido a un aspecto al que no se le suele prestar atención y que, sin embargo, es la clave que puede aconsejar mucha precaución en su uso en entornos críticos como la aviación:

La inteligencia artificial tiene una estricta separación entre aprendizaje y ejecución.

Dicho de otra forma, mientras está aprendiendo, está modificando sus algoritmos y acumulando situaciones previstas y, mientras está trabajando, no está mejorando los algoritmos sino que, en todo caso, está guardándose situaciones para utilizarlas en un futuro proceso de aprendizaje que dará lugar a una nueva versión mejorada.

En aviación, la inteligencia artificial cuenta con una oposición importante en distintas actividades en las que un error puede tener graves consecuencias, como es el caso de los pilotos o los controladores. Sin embargo, llama la atención que haya un desconocimiento generalizado del hecho de que la inteligencia artificial YA está ahí desde hace tiempo.

Por ejemplo, se dice que un Boeing 787 lleva unos 10 millones de líneas de código. ¿Alguien cree que esas líneas de código han sido desarrolladas por un ejército de programadores funcionando al estilo Crimson Permanent Assurance? No es así.

La mayor parte del código ha sido desarrollada por algoritmos de aprendizaje a los que se ha dotado de objetivos, han generado las líneas de código correspondientes y, una vez comprobado su funcionamiento, se han cargado al avión. La mejora de las distintas versiones proviene de añadir toda la experiencia operativa de los aviones en vuelo, generar nuevas soluciones, corregir fallos…y generar una nueva versión que se carga en esos mismos aviones.

¿Se ha perdido algo por el camino? Seguro que sí: La característica señalada por la que el sistema que aprende no ejecuta y el que ejecuta no aprende. Ésa es precisamente una de las características más típicas de la inteligencia artificial: Un sistema diseñado para aprender produce unas soluciones que se encargan de la ejecución; la ejecución realimenta el sistema que aprende que, a su vez, produce una nueva solución y el ciclo se repite indefinidamente.

Como ejemplo, el ya archiconocido Chat-GPT se apoya sobre una base de datos cerrada en 2021; todo lo que esté después de esa fecha simplemente no existe. Es de esperar que en algún momento se actualice y se ampliará el ámbito de soluciones, pero seguirá habiendo una separación entre aprendizaje y ejecución. El modelo de inteligencia artificial de Google, Bard, tiene acceso a Internet pero ello no garantiza que no exista la separación entre aprendizaje y ejecución ni que los criterios de selección de fuentes no estén mediatizados por intereses en el ámbito de la publicidad u otros.

¿Qué importancia tiene la separación entre aprendizaje y ejecución? Muy sencillo; la versión operativa del sistema no se diferencia de un sistema complejo basado en algoritmos y automatización. No es “inteligente” en el sentido de que la capacidad de aprendizaje está en otro sitio y, si la situación que afrontamos es nueva y no ha sido prevista en el proceso de aprendizaje -algo nada extraño en entornos muy dinámicos- el sistema será incapaz de proporcionar una respuesta; hará peticiones imposibles de recursos o entrará en un bucle sin posibilidad de dar una respuesta.

¿Cuál es la razón para este funcionamiento? El sistema capaz de aprender es la parte “pesada” de la inteligencia artificial en términos de requerimientos de capacidad de procesamiento y de acceso a información. No cabe pensar, por ejemplo, que tal sistema vaya embarcado en un avión; sin embargo, el producto resultante del aprendizaje es un sistema con un catálogo de soluciones muy superior al que tiene un piloto humano como consecuencia de su entrenamiento y éste sí puede ir embarcado. Eso sí, esta división hace que el sistema no tenga respuesta a un evento que no haya sido recogido en el proceso de aprendizaje y no tiene la posibilidad de lanzar tal proceso ante una situación desconocida.

Por su parte, el piloto humano no tiene esa separación entre aprendizaje y ejecución; su “catálogo” de situaciones previstas es mucho más escaso pero, ante una situación desconocida, puede recurrir a procesos de simulación mental y de experimentación que conduzcan a resolver un problema, aunque éste sea nuevo. El piloto humano puede resolver una situación para la que, en el momento de iniciar el vuelo, no conocía la solución.

Hay muchos casos que demuestran que este mecanismo aprendizaje/ejecución no es una mera hipótesis, sino que ha sido utilizado en eventos para los que el piloto, en el momento de afrontarlos, no conocía la solución. Casos como AA96, U232, US1549, QF32, AC143 y tantos otros han mostrado que la conjunción entre ejecución y aprendizaje en el humano permite salvar situaciones consideradas insalvables puesto que eran desconocidas en el momento de producirse. Esta opción, hoy, no está al alcance de la inteligencia artificial.

Los fabricantes, con frecuencia, se han orientado hacia una solución aparentemente viable: Tratar al piloto como un recurso de emergencia para las situaciones no previstas que, como tales, no pueden ser afrontadas por el sistema.

Stuart Russell[2] , co-autor del libro que podríamos considerer la Biblia de la inteligencia artificial[3], señaló que “handing control to the human when the vehicle is confused or out of its safe operating conditions simply doesn’t work. When the car is driving itself , humans quickly become disengaged from the immediate driving circumstances and cannot regain context quickly enough to take over safely”. Si bien Russell estaba hablando de automóviles, la cita es perfectamente aplicable al ámbito de la aviación; al piloto arrinconado por el sistema le faltarán claves para entender qué está ocurriendo y resolverlo si, previamente, ha sido expulsado de la participación en la operación o ésta se ha limitado a la ejecución de procedimientos elementales.

Buena parte de las claves para la solución de un evento anómalo pueden encontrarse en su desarrollo, es decir, qué cosas han ido pasando y en qué orden. Si el piloto se encuentra ausente de ese desarrollo, ausencia que es incluso promovida por tendencias de diseño como el dark cockpit, no puede esperarse que, una vez se presenta el evento inesperado, el piloto pueda afrontarlo con garantías de éxito. Por añadidura, si no es capaz de proponer y ejecutar una solución adecuada en unas condiciones que distan mucho de ser óptimas, cabe esperar que se utilice el conocido sello de “error humano”. Recuérdese en este sentido que casos como los B737MAX, AF447 o XL888T fueron inmediatamente atribuidos a este factor, ignorando, hasta que fue inevitable afrontarlos, los elementos de diseño que había debajo de ese error, real en unos casos y supuesto en otros.

Además de esa limitada capacidad para atender un evento en cuyo desarrollo no se ha estado presente, una solución que prime el elemento tecnológico sobre el humano está eliminando escalones necesarios para el aprendizaje. La experiencia resultante quedaría empobrecida y encontramos, corregida y aumentada, una situación como la actual en la que se anima a los pilotos a mantener la habilidad manual mientras se limitan progresivamente los momentos en que ésta puede ejercitarse.

La evolución tecnológica, incluido el uso de la inteligencia artificial, puede ayudar pero es conveniente ser muy conscientes tanto de sus limitaciones como de las necesidades del piloto humano si, realmente, se pretende que mantenga el control en situaciones normales y anormales. La vieja idea de utilizar al piloto como un fusible del sistema que, a costa de quemarse, impide el daño al sistema nunca ha servido ni desde el punto de vista funcional ni desde el ético. Ahora tampoco.


[1] Marcus, G. and Davis, E., 2019. Rebooting AI: Building artificial intelligence we can trust. Vintage.

[2] Russell, S., 2019. Human compatible: Artificial intelligence and the problem of control. Penguin.

[3] Russell, P.N., 2010. Artificial intelligence: a modern approach by stuart. Russell and Peter Norvig contributing writers, Ernest Davis…[et al.].

Una lección básica de seguridad en aviación: Los no-eventos son eventos.

Hace poco tiempo, publicaba un análisis sobre la conveniencia o no de tener un solo piloto en la fase de crucero. Incidentalmente, utilicé como ejemplo el caso AF447, donde el comandante se encontraba fuera de la cabina cuando se iniciaron los problemas y, aunque los diagnosticó correctamente, no tuvo tiempo suficiente para resolverlos.

Alguien, en tono amistoso, me criticó la selección del ejemplo puesto que, en ese caso, no se trataba precisamente de una tripulación con un único piloto sino, muy al contrario, una tripulación reforzada y, por tanto, el argumento podía no ser válido.

La crítica tiene fundamento, especialmente si consideramos que, en caso de haber habido un único piloto y ser precisamente el que percibió con claridad la situación, tal vez el accidente no se habría producido.

Es posible, pero no hay ninguna garantía de que ése hubiera sido el resultado: Una tripulación compuesta por dos pilotos expertos puede encontrarse en una situación de resolución de problemas; las ideas de uno realimentan las del otro y, tal vez, de ese proceso podría nacer alguna solución que a ninguno de ellos se le habría ocurrido de forma individual. Al fin y al cabo, en este proceso y en cómo manejarlo de la mejor forma posible se fundamenta toda la práctica de CRM.

Podemos dar razones que hacen no aconsejable dejar sólo a un piloto en la cabina con el hipotético soporte de un sistema de información más avanzado que los actuales; una de ellas, fundamental y claramente perceptible, es la aparición de un evento de rápido desarrollo que pueda requerir la contribución de, como mínimo, dos personas pero…no hay datos. ¿Por qué no hay datos?

Aquí es donde tendríamos que entrar en el hecho de que un no-evento es un evento: Un accidente es un evento dramático y de alta visibilidad. Una situación que de lugar a un incidente grave puede lograr visibilidad a través de los sistemas de reporte -si es reportada- pero ¿cuántas situaciones no llegan a ser reportadas porque, simplemente, los pilotos perciben una anomalía y, al buscar su origen, encuentran un problema con capacidad para generar un problema serio?

Ahí están los no-eventos; al no ser visibles no entran en el proceso de toma de decisiones y, simplemente, son ignorados. Quizás se debería hacer el esfuerzo de darles visibilidad a los no-eventos para conseguir que sean tenidos en cuenta.

Hay sistemas de reporte excelentes como, por ejemplo, el ASRS pero, por su propia naturaleza, no están enfocados a la toma de decisiones regulatorias como admitir o no la posibilidad de que un avión a altitud de crucero tenga sólo un piloto en cabina.

Proyectos como el eMCO de EASA están enfocados a la realización de distintos análisis que permitan una conclusión final sobre la conveniencia o no de esta práctica pero, por mucha sabiduría académica que se les quiera poner a estos proyectos, les seguirán faltando datos y, sin embargo, estos datos serían muy fáciles de obtener. Bastaría con un esfuerzo por parte de los profesionalmente implicados en el asunto:

La aviación se ha distinguido por tener un conjunto de medios de información y gestión específicos para casi cualquier cosa imaginable: FDM, OBM, LOFT, LOSA, sistemas de reporte, seguimiento individualizado de elementos críticos del avión, reconocimientos médicos, grupos de soporte psicológico…

Sin embargo, en toda esa masa de información todavía falta algo que sería crítico para aceptar o rechazar una decisión tan importante como la de tener un único piloto en crucero:

Una base de datos de no-eventos, es decir, detección de señales débiles o no-señales en las que el disparador de un proceso de solución de problemas es, precisamente, que no hay disparador y, sin embargo, pueden tener el potencial de un rápido desarrollo hacia una situación crítica, evitada mediante la colaboración entre los dos pilotos en cabina.

No se trata de “jugar a la contra” sino de asegurarse de que datos muy relevantes son tenidos en cuenta en el momento de tomar una decisión final. Sin embargo, para esto, se necesitarían varias cosas:

  1. La más obvia: Recoger información sobre casos con ese perfil: Señales débiles o no-señales con potencial para derivar a situaciones críticas y que requieran la intervención de los dos pilotos.
  2. Evaluación de los reportes recibidos, estableciendo si cumplen las condiciones requeridas y si son susceptibles de ser atendidos con soporte tecnológico.
  3. Utilización de los datos en la discusión correspondiente con los reguladores.

Un último apartado es la necesidad de requerir que no haya trampas desde el lado tecnológico. “Trampas” en este caso significaría utilizar los sucesos reportados para añadirlos uno a uno al sistema que, supuestamente, serviría de soporte al piloto único.

Podríamos plantearnos si eso es realmente una trampa o, simplemente, es una forma de aprendizaje tecnológico perfectamente legítima; en tal caso, la respuesta sería simple y clara: Es una trampa. ¿Por qué?

Simplemente, se trata de situaciones poco comunes y no previstas; a medida que se van reportando, se pueden ir introduciendo en un sistema como “previstas” pero seguirá habiendo muchas más que puedan aparecer y que no estarán presentes entre las previstas.

El piloto humano -cualquier humano- tiene como característica propia la capacidad para detectar un entorno completo y, al hacerlo, una señal débil o una ausencia de señal le permitirá entrar en un proceso de solución de problemas. Un sistema, por avanzado que sea, no tiene esa capacidad y se limita a las situaciones previstas: Alimentarlo con los resultados de un sistema de reporte encaminado a evaluar la conveniencia o no de tener un solo piloto en crucero contribuye a disimular pero no a eliminar un simple hecho: La tecnología puede ejecutar pero carece de sentido común y de respuesta situaciones no previstas.

Un sistema, por avanzado que sea, no tiene esa capacidad y se limita a situaciones previstas: alimentarlo con los resultados de un sistema de informes destinado a evaluar la conveniencia de contar con un solo piloto a nivel de crucero contribuye a disimular pero no a eliminar un hecho simple:

La tecnología puede realizar tareas -algunas de ellas con más precisión que los humanos y sin fatiga- pero sigue careciendo de sentido común y de la posibilidad de responder a situaciones imprevistas. Los humanos, en cambio, pueden resolver situaciones que no estaban en su «base de datos» personal.


Estos hechos deberían bastar para ser extremadamente cuidadosos a la hora de decidir los lugares en los que la tecnología tendrá un papel importante.

¿Es suficiente un piloto a altitud de crucero?

Permítaseme comenzar con un apartado autobiográfico: Antes de entrar de lleno al área de factores humanos, allá para los inicios de los 2000, me dedicaba al área de recursos humanos y, entre otras cosas, tenía que encargarme de análisis, planificación y adecuación de plantillas.

Un estándar muy común en planificación de plantillas es el 80%, es decir, considerar que, si el 80% de la jornada de trabajo se están realizando tareas propias del puesto, la plantilla estará bien dimensionada. Es un estándar que tiene numerosas excepciones; una de ellas vinculada con la irregularidad en el flujo de tareas. ¿Podríamos pensar en una plantilla de bomberos definida de modo que el 80% de su tiempo esté apagando incendios? ¿Y una plantilla de policías definida de modo que el 80% de su tiempo esté deteniendo delincuentes? Evidentemente, tales plantillas estarían infradotadas puesto que no tendrían capacidad para atender a un pico de trabajo.

¿Y los pilotos? Resulta curioso que la sugerencia de tener sólo un piloto a altitud de crucero aparezca precisamente en un momento en que se intenta tratar al piloto como un recurso de emergencia, dejando en la medida de lo posible, el vuelo en manos de la tecnología.

Sigamos, pues, la lógica de tratar el puesto de trabajo del piloto como un puesto cuya justificación, en buena parte, durante la fase de crucero está en la atención a posibles emergencias: Su carga de trabajo es muy alta cuando se encuentran en tierra o en las proximidades de tierra mientras que, en crucero, esta carga de trabajo normalmente disminuye mucho, pero…subrayemos el “normalmente”. Una búsqueda de eventos críticos en crucero en la base de datos de la ASRS nos devuelve 5.553 situaciones de crisis, como muestra la figura al inicio.

 Añadamos que un evento grave en aviación puede desarrollarse en un tiempo extremadamente corto y su gestión puede requerir la atención plena de, como mínimo, dos personas.

Distintos eventos han demostrado que dos personas representan un mínimo absoluto que, en algunos casos, puede verse sobrepasado. Pensemos en casos como el Swissair 111, donde un incendio a bordo obligó a preparar un desvío a un aeropuerto cercano y desconocido, búsqueda de frecuencias de radio y rutas de aproximación, arrojar combustible para disminuir el peso del avión y, además, ver si había alguna forma de extinguir el incendio. No la hubo. ¿Habrían sido distintas las cosas con una persona más? Imposible saberlo.

Otros casos más afortunados como el AC143, el QF32 o el U232 nos dicen que, en una fase del vuelo en que la carga de trabajo suele ser baja, pueden presentarse situaciones que necesiten más de dos manos cualificadas para atenderlas, es decir, idéntica situación a la de los policías, los bomberos o cualquier otra profesión que, por su naturaleza, atienda a situaciones de emergencia.

Los promotores de la idea de piloto único en fase de crucero la justifican en la carencia de pilotos y tranquilizan al público hablando de un soporte tecnológico avanzado para ese único piloto. ¿Puede utilizarse la lógica de la carencia para reducir de uno a ninguno el número de pilotos a bordo?.

En cuanto al soporte tecnológico, éste cuenta con una interesante peculiaridad que se refleja en un viejo chiste: Hay quien define a un banquero como un señor que nos presta un paraguas y, cuando empieza a llover, nos pide que se lo devolvamos. De igual manera, la tecnología suele facilitar las tareas cuando, ya en origen, son fáciles y puede convertirse en un problema añadido cuando la situación es difícil y no permite realizar acciones que serían necesarias o tiene comportamientos anómalos.

La popularización de la inteligencia artificial es sólo una vuelta de tuerca más a una situación en la que ya se producían estos efectos. Con o sin inteligencia artificial, aunque más cuando ésta está presente, los sistemas pueden tener conductas extrañas derivadas de su programación y, cuando éstas aparecen, en lugar de facilitar las tareas al piloto humano, le añaden una nueva que no es precisamente menor.

-Cuando una alarma deja de sonar cuando el avión está a una velocidad tan baja que el sistema interpreta que el avión está en tierra, está añadiendo confusión.

-Cuando interpreta una pasada como un aterrizaje y corta la potencia, está añadiendo confusión.

-Cuando, muy próximo al suelo, el sistema reacciona a un aviso de pérdida y fuerza hacia abajo el morro del avión, está provocando un accidente.

-Cuando interpreta una aproximación como un sobrevuelo de un aeropuerto y borra todos los datos de la aproximación programada, está añadiendo carga de trabajo.

-Cuando las características orográficas de un aeropuerto obligan a que los pilotos tengan que “engañar” al sistema para hacer factible el aterrizaje en una pista corta, éste puede producir reacciones no previstas…

No puede olvidarse que los sistemas de información carecen de sentido común y dejar a un único piloto en sus manos como alternativa a una discusión entre expertos de una situación desconocida y a la gestión subsiguiente de esa situación, no es algo que tranquilice o represente una garantía de seguridad.

Se puede argumentar que hay otro piloto dentro del avión y que, bajo este modelo, lo único que se hace es evitar llevar tripulaciones de refuerzo. Sea, pero en ese caso, permítaseme recordar un evento: AF447: El comandante se encontraba fuera de la cabina y, cuando regresó, se encontró una situación tan inmanejable que, incluso cuando fue capaz de diagnosticar correctamente qué era lo que estaba pasando, ya fue demasiado tarde para recuperar el avión: Un suceso que no debería haber llegado demasiado lejos -la congelación de un sensor- provocó reacciones anómalas en el sistema y éstas confundieron por completo a los pilotos que se encontraban en la cabina; cuando alguien con más experiencia entró en ella, su mayor conocimiento no fue acompañado de la disponibilidad del tiempo que habría sido necesario para resolver el problema.  

El último tema es el más obvio: ¿Qué ocurre en caso de incapacitación? ¿Van a utilizar prácticas como el “pedal de hombre muerto” de los ferrocarriles? No funcionó en el caso de Waterfall en Australia y podría no funcionar en un avión donde un evento puede alcanzar rápidamente el nivel que lo convierta en no manejable. Por otro lado ¿cómo se compagina la idea de piloto único a la altitud de crucero con la de que el piloto no se quede solo en la cabina, puesta en marcha tras el caso GermanWings 9525? ¿Tiene que ir acompañado por un tripulante de cabina? ¿No tiene más sentido que sea acompañado por alguien que, ante una emergencia, pueda contribuir a evaluarla y resolverla cuando, si es grave, va a requerir el concurso de ambos?

La inteligencia artificial y el error de Kasparov

Hay quien sitúa el renacimiento de la inteligencia artificial en 1998, cuando una máquina llamada Deep Blue fue capaz de derrotar al campeón mundial de ajedrez, Kasparov.

No es cierto; Deep Blue puede calificarse de humano incompleto o, si se prefiere, de idiot savant, es decir, alguien que es capaz de procesar en muy poco tiempo una gran cantidad de información que le han suministrado sobre partidas de ajedrez y sus resultados. Dicho de otro modo, el aprendizaje de Deep Blue es demasiado humano para poder catalogarse seriamente como inteligencia artificial.

Unos años después apareció Alpha Zero con un planteamiento completamente distinto: Se le daban las reglas del juego e instrucciones de ganar y, a partir de ahí, entraba en un proceso de aprendizaje jugando contra sí mismo. Con toda probabilidad, las opciones que habría tenido Kasparov o cualquier otro jugador de su nivel contra Alpha Zero habrían sido nulas y, sin embargo, en 1998, un mal manejo por parte de Kasparov de sus opciones le llevó a una derrota que, entonces, podría haber sido evitada.

Kasparov no era consciente de una importante debilidad de la inteligencia artificial, entonces y ahora: La fase de aprendizaje requiere una potencia de procesamiento espectacular aplicada, alternativamente, sobre bases de datos de contenidos (caso de Deep Blue) o sobre contenidos autogenerados (caso de Alpha Zero); el proceso de aprendizaje genera un programa mucho más sencillo, con menos requerimientos de potencia y éste es el que se enfrenta, en nuestro caso, a Kasparov.

Quizás este detalle puede parecer irrelevante pero no lo es en absoluto: Kasparov estaba jugando contra un programa sofisticado y capacidad para generar un nivel de juego equivalente a un jugador de primera línea pero…sin capacidad de aprendizaje. La capacidad de aprendizaje estaba en otro sitio y Kasparov tuvo en su mano la posibilidad de permitir o no su utilización.

Al principio de la competición, se establecieron las reglas de ésta y, entre ellas, estaba la posibilidad de admitir asesores externos por ambas partes. Kasparov podía haber prescindido de ellos y, al hacerlo así, habría obligado a que Deep Blue tampoco los tuviera, es decir, se habría quedado enfrentado a la parte operativa de Deep Blue que, teniendo un buen nivel de juego, probablemente habría sido insuficiente para derrotar a Kasparov.

Sin embargo, éste aceptó que hubiera asesores externos y ¿quiénes podían ser los asesores externos de Deep Blue? Especialistas en tecnología de la información que podían hacer el enlace entre la parte generadora de aprendizaje y la parte usuaria de ese aprendizaje. De esta forma, situaciones de difícil salida por no haber sido previstas podían ser manejadas recurriendo al primo de Zumosol, es decir, al sistema capaz de aprender. Ese acceso no habría existido si se hubiera cerrado a ambas partes la posibilidad de tener asesores y Kasparov posiblemente se habría ahorrado una derrota frente a un programa mucho menos evolucionado que los que vinieron después.

En términos prácticos, el asunto no tiene mayor importancia. Quizás Kasparov habría vencido en 1998 pero habría sido derrotado unos años más tarde con la aparición de sistemas capaces de aprender de forma “no humana” como el mencionado Alpha Zero.

Sin embargo, a pesar de esa irrelevancia en términos prácticos, lo que le falló a Kasparov es la explotación de una debilidad de la inteligencia artificial que hoy sigue existiendo, es decir, la estricta separación entre la parte del sistema que aprende y la parte del sistema que utiliza lo aprendido.

Gary Klein señalaba como las personas, en su proceso para tomar una decisión, podían realizar simulaciones mentales que les daban información sobre si una opción funcionaría o no. Puede decirse que, en el caso de las personas, no hay una separación entre el proceso de aprendizaje y el proceso de ejecución sino que ambos van indisolublemente unidos.

En el caso de la inteligencia artificial, las cosas son distintas: El sistema dispone de una gran cantidad de opciones de respuesta pero, si la situación que afronta no está contemplada entre las opciones disponibles -cosa no descartable en entornos abiertos- no dispone de esa capacidad de simulación mental que le permita aprender y, a la vez, ejecutar una tarea que no se encontraba en su catálogo de soluciones previo.

Esta diferencia, vital pero poco conocida salvo para los especialistas, hace que en determinados entornos donde las consecuencias de un error pueden ser muy elevadas, la inteligencia artificial pueda ser cuestionable, salvo en un papel complementario.

Kasparov no supo, o no dio la relevancia adecuada, a este factor y le supuso una derrota que, tal vez, habría sido evitable. Hoy, esto sigue siendo ignorado con mucha frecuencia y, como resultado, se podría llegar a utilizar la inteligencia artificial en entornos para los que no está preparada.

Los requerimientos de tiempo, capacidad de procesamiento y acceso a ingentes bases de datos de un sistema capaz de aprender hace que su inclusión en el sistema que ejecuta las tareas, sea un juego de ajedrez o manejar un avión, sea inviable. El sistema que utiliza el producto del aprendizaje, mucho más ligero, puede tener preparada la respuesta para una enorme cantidad de situaciones pero, si la que se produce no está entre ellas, no cabe esperar respuesta.

Este aspecto, frecuentemente ignorado, debería estar muy presente en muchas de las decisiones que se toman sobre dónde utilizar la inteligencia artificial y dónde no hacerlo.

La inteligencia artificial como vehículo para la degradación del conocimiento

Mucho antes de la eclosión de la inteligencia artificial, era fácil ver que en un momento en que la acumulación de conocimiento había alcanzado sus mayores niveles, se estaba produciendo una degradación del conocimiento humano en muchos terrenos.

En la primera fase, la degradación se produce a través de una especialización a ultranza y, en la segunda, se produce pasando de un conocimiento en profundidad a uno puramente procedimental.

Gary Klein nos previno contra la “segunda singularidad”, es decir, el hecho de que antes de que un ordenador sea capaz de superar a un ser humano – la llamada “singularidad”- éste haya sufrido un proceso de degradación de conocimiento tal que facilite la llegada de la singularidad original.

En la adquisición de conocimiento funciona una ley muy conocida por los expertos en calidad:

El coste del conocimiento está sujeto a una ley de rendimientos marginales decrecientes.

Cualquiera que haya recurrido a un centro de atención telefónica, sabe muy bien lo que es hablar con un robot humano, es decir, alguien dotado de un conocimiento estrictamente procedimental y que, cuando cualquier situación excede de su escaso ámbito de competencia, transferirá la petición a un experto o, misteriosamente, se cortará la llamada.

Una parodia, no exenta de una buena carga de realidad, sobre esta falta de conocimiento y sus efectos puede encontrarse aquí:

La unión de un conocimiento estrictamente procedimental junto con el uso de la realidad virtual también podía encontrarse antes de la popularización de la inteligencia artificial en ejemplos como éste:

Por supuesto, recorrer el camino inverso y pasar de un conocimiento procedimental a un conocimiento a fondo y a la posesión de las habilidades asociadas a éste, es un paso mucho más costoso, y aquí es donde entraría en juego la inteligencia artificial porque muestra una alternativa precisamente para evitarlo:

Se trata de una opción de menor calidad pero también de mucho menor coste que tiene muchas posibilidades de profundizar en un proceso de degradación iniciado hace tiempo.

Un mundo dominado por la inteligencia artificial daría lugar a varios tipos de situaciones distintas:

  • Situaciones en que podríamos resolver problemas con rapidez, ahorrando trabajo y de una forma brillante.
  • Situaciones en que la respuesta obtenida fuera mediocre pero un análisis coste-beneficio la convirtiese en aceptable.
  • Situaciones en las que nos haría peticiones imposibles de recursos de memoria o capacidad de procesamiento o entraría en un bucle infinito sin llegar nunca a una solución.

Estos tres tipos de situación abren tres preguntas derivadas de ellas y de gran relevancia para la evolución del futuro conocimiento:

  • ¿Quién y para qué se va a molestar en aprender algo que una inteligencia artificial siempre hará mejor?
  • ¿Quién se va a molestar en aprender algo que una inteligencia artificial hará igual o peor, pero con un proceso de aprendizaje mucho más rápido y barato?
  • Asumiendo que la adquisición de conocimiento profundo es cara en tiempo y dinero ¿a quién le va a merecer la pena adquirir los conocimientos necesarios para resolver esas situaciones para las que la inteligencia artificial no tiene respuesta?

Por cualquiera de los tres caminos llegamos al mismo sitio: Degradación del conocimiento humano. Sin embargo, puesto que la inteligencia artificial no es capaz de generar sus propios objetivos, se necesita un conocimiento humano de un nivel alto -y no sólo relativo al funcionamiento de la inteligencia artificial- para ser capaz de proveer los objetivos adecuados.

Alguien podría pensar que la tarea de poner los objetivos es fácil y lo difícil es precisamente lo que hace la inteligencia artificial, es decir, aprender pero la realidad es muy distinta:

Asimov escribió una divertida novela, “Azazel”, en la que un demonio hacía una interpretación literal de todo lo que se le pedía y se presentaban situaciones imprevistas en las que, habitualmente, todo empezaba bien pero, gracias a la interpretación literal, quien le planteó el objetivo al demonio acababa deseando no haberlo hecho jamás.

Asimov plantea el problema en una forma divertida, pero la vida real nos ha dado numerosos ejemplos; así, se han producido casos como las acusaciones de racismo a Amazon por el sistema utilizado para el reclutamiento; al parecer, Amazon había identificado a sus trabajadores de mayor rendimiento para buscar perfiles parecidos y, al hacerlo así, había introducido involuntariamente diversos sesgos que fueron objeto de denuncia. En una actividad muy distinta, los taxis sin conductor de San Francisco están provocando numerosas quejas, especialmente por parte de servicios de emergencia, debido a una conducción cada vez más agresiva.

Hay distintos tipos de algoritmos de aprendizaje y, en ausencia de un “Master Algorithm”, como lo denominó Pedro Domingos, cada tipo de problema tiene un algoritmo que es más adecuado que los demás pero, supuesto que el algoritmo haya sido correctamente seleccionado, la definición de los objetivos y las limitaciones a la actuación son quienes definen la corrección de lo que se aprende y de las actuaciones resultantes.

Sin embargo, la definición de objetivos y sus limitaciones requiere un conocimiento profundo, ni accesible al sistema ni exclusivamente acerca del sistema; ese conocimiento es costoso de adquirir y ese coste es difícil de asumir, especialmente cuando hay sucedáneos de más bajo nivel que pueden dar una respuesta, aunque sea mediocre.

Se podría argumentar que una máquina podría fijarle objetivos a otra, de modo parecido a cómo se están utilizando sistemas de inteligencia artificial para interpretar a otros sistemas y, de esta forma, hacer comprensibles sus resultados a la persona que tiene que asegurarse de que el sistema aprende lo correcto.

 Tal vez, en cierto modo la opción de tener sistemas poniendo objetivos a otros sistemas sería una buena noticia, pero un eventual fallo en la formulación de objetivos se arrastraría a través de distintas generaciones de inteligencia artificial y, probablemente, no quedaría nadie capaz de corregir el error: La discusión estaría ya a un nivel inalcanzable para un humano cuyo conocimiento había sido degradado.

La situación, tal como está definida hoy, presenta dos problemas:

  • ¿Quién, por qué y para qué va a tratar de adquirir un conocimiento profundo sobre cualquier materia cuando se dispone de un conocimiento superficial infinitamente más barato y rápido de obtener?
  • En el supuesto de que quisiéramos adquirir ese nivel de conocimiento ¿vamos a tener la posibilidad de hacerlo o, al estar su adquisición mediatizada por sistemas de inteligencia artificial, nunca llegaremos al nivel de conocimiento profundo necesario para retar y mejorar los sistemas?

El problema no es la inteligencia artificial; éste es un proceso en marcha desde hace mucho tiempo. Sowell lo identificó correctamente, como demuestra la cita inicial, pero se detuvo en la especialización y no siguió profundizando en la espiral de degradación del conocimiento y sus efectos.

La inteligencia artificial sólo ha puesto el elemento tecnológico que se necesitaba para carta de naturaleza y, tal vez, para dotar de irreversibilidad al proceso.

Inteligencia Artificial: ¿El nuevo «Camino de Servidumbre»?

Ante los ojos del colectivista hay siempre un objetivo superior a cuya consecución sirven estos actos y que los justifican para aquél, porque la prosecución del fin común de la sociedad no puede someterse a limitaciones por respeto a ningún derecho o valor individual.

Camino de servidumbre, Hayek

Cuando una tecnología o una herramienta es suficientemente poderosa, los cambios que produce en la sociedad no son cuantitativos sino cualitativos. No producen mejoras acumulativas sino que producen cambios sociales profundos.

Hoy podemos preguntarnos si la inteligencia artificial tiene potencial suficiente para alterar el modelo social y llevarnos a un nuevo camino de servidumbre, en términos muy semejantes a los que en su día reflejó Hayek. Probablemente sí; nótese que Hayek se oponía la planificación central por el efecto que ésta suponía sobre la libertad individual. Sin embargo, veremos que un mundo en el que la inteligencia artificial pase a tener un papel relevante es difícilmente separable del concepto de planificación central.

Resulta difícil mantener una discusión racional sobre la inteligencia artificial, sus capacidades, sus limitaciones y sus potenciales efectos. Para algunos, tiene un poder mágico y no hay nada que se le pueda resistir; otros preferirán refugiarse en un esencialismo de lo humano y negarán que nos pueda desplazar.

Entre los iluminados tecnológicos, se da un argumento muy común: Los esencialistas humanos siempre han puesto un límite que, supuestamente, nunca se iba a superar y el desarrollo tecnológico ha superado una y otra vez esos límites; este argumento ha sido utilizado concretamente por Rodney Brooks, uno de los personajes presentes en la primera y fallida etapa de la inteligencia artificial, quien, curiosamente, no percibió que su argumento tenía el mismo fallo que denunciaba: Del hecho de que el progreso tecnológico haya sido capaz de saltar todas las barreras que los esencialistas señalaban como inamovibles no puede deducirse que no exista ningún límite, como parecería concluirse de la crítica al esencialismo humano.

Éste es el terreno en el que nos movemos desde hace mucho tiempo; Aristóteles decía que en el término medio está la virtud…y, en la mayoría de los casos, se equivocaba: Es difícil que la verdad sobre cualquier cosa pueda salir triunfante de una contraposición de absurdos y, tal vez, lo que debe hacerse no es buscar el hipotéticamente virtuoso término medio sino cambiar el modelo de análisis y, sobre todo, que las partes en conflicto no estén defendiendo intereses propios sino que estén buscando la mejora desde distintas perspectivas.

La inteligencia artificial de hoy está muy lejos de la llamada GOFAI (Good Old Fashioned Artificial Intelligence) siempre hambrienta de una memoria y de una capacidad de procesamiento que acabarían siendo las excusas perfectas para justificar la lentitud o la ausencia de avances.

Cuando, hoy, nos definen a los utility-based agents (Norvig y Russell) como an agent that possesses an explicit utility function can make rational decisions with a general-purpose algorithm that does not depend on the specific utility function being maximized es inevitable preguntarnos si está hablando de nosotros y si esa definición no es aplicable a todos y cada uno de los seres humanos. Si es así ¿por qué nos debería preocupar la inteligencia artificial, más allá del hecho de ser un competidor? Si conseguimos a alguien/algo con una capacidad intelectual capaz de romper todos los límites conocidos y que, además, no trae su propio equipaje de intereses bastardos ¿no deberíamos alegrarnos?

Tal vez no, aunque muchos críticos de la inteligencia artificial yerran el tiro: Cuando se habla de sistemas críticos -aviación, industria nuclear y otros- donde el comportamiento correcto es clave para el mantenimiento de la seguridad, dirigen su crítica más hacia lo que les resulta más familiar, es decir, sistemas complejos dotados de reacciones automáticas, cuya complejidad los hace difíciles de entender para quienes los operan y difíciles de utilizar de forma eficaz cuando se presentan eventos no previstos en su diseño.

Cierto es que un sistema dotado de inteligencia artificial no mejoraría esa situación sino que, muy probablemente, la empeoraría y habría que contar con eventos en los que el avanzadísimo sistema entrase en un bucle infinito, en una petición imposible de recursos o requiriese unos tiempos de proceso inasumibles en una situación de urgencia. El piloto, el operador nuclear y otros tienen en estas situaciones el papel de Alejandro Magno deshaciendo el nudo gordiano por el simple procedimiento de cortarlo, sin dejarse enredar por su complejidad; eso sí, para lograrlo necesita una espada y muchos de los sistemas actuales lo primero que hacen es arrebatarle el equivalente metafórico de la espada, es decir, conciencia situacional plena y autoridad indiscutible sobre el sistema que está manejando.

La moderna inteligencia artificial va mucho más allá de la complejidad de automatismos ciegos en los que la complejidad proviene de una lógica interna con multitud de ramas no conocidas y de una interacción con sensores y efectores no conocida en detalle por quien los maneja. No es ésa la complejidad de la inteligencia artificial; ésta evoluciona y es capaz de mejorar pero…

  • ¿Le han marcado correctamente las prioridades de forma que el propio proceso de aprendizaje no pueda hackearlas y producir resultados inesperados?
  • ¿Es capaz de atender a situaciones cambiantes donde la respuesta correcta implica una revisión de las prioridades y los criterios de éxito?
  • ¿Puede enredarse en situaciones que requieran un aumento inasumible de memoria o tiempo de procesamiento?
  • ¿Puede enredarse en situaciones donde no sea capaz de encontrar una respuesta válida y continúe buscándola indefinidamente?

Cada una de estas preguntas puede desarrollarse en otras preguntas de rango inferior y más próximas a la operativa concreta pero, desde un punto de vista estrictamente funcional, son las preguntas a responder y no son fáciles.

Una persona, que conozca a fondo el área de conocimiento a la que se aplica la inteligencia artificial, no tendrá ninguno de estos problemas, sin que ello implique que no pueda ser superada en terrenos donde las reglas son fijas y los objetivos no están sujetos a cambios.

Así, la inteligencia artificial representa un desarrollo tecnológico capaz de competir con ventaja contra humanos en los terrenos en que ha desarrollado su aprendizaje y siempre que disponga de reglas fijas; al mismo tiempo, ese mismo desarrollo es una mala caricatura de un experto cuando las situaciones son ambiguas y cambiantes.

Pueden encontrarse situaciones en que programas de inteligencia artificial ya ampliamente populares son utilizados para realizar tareas en las que se ahorra un buen número de horas de trabajo; al mismo tiempo, hay ocasiones en que las soluciones proporcionadas distan mucho de tener una calidad medianamente buena; lo peor de todo es que no siempre es fácil entender por qué en un caso ha dado una respuesta excelente y en otro, aparentemente muy parecido, ha contestado una trivialidad o ha dado una información errónea.

Sin embargo, su utilización va creciendo de forma bastante acrítica porque, a pesar de estos inconvenientes, la inteligencia artificial puede dar soluciones rápidas y que, incluso en los casos en que su calidad sea cuestionable, pueden pasar como suficientes. Un fenómeno habitual es que la calidad de las respuestas sea vista de forma muy distinta por alguien que es nuevo en el ámbito de conocimiento y por un experto en ese mismo ámbito.

¿Por qué el grado de aceptación es superior a lo que justifican los resultados? Los expertos en calidad nos han enseñado que el coste de la mejora marginal crece exponencialmente; ello puede conducir a conformarse con un resultado mediocre si éste resulta mucho más fácil de conseguir que un resultado excelente y éste sería uno de los primeros peligros de la inteligencia artificial:

Disminuir el valor asociado al conocimiento humano, mucho más lento costoso de adquirir, y preferir una versión degradada de éste conduce a una degradación del conocimiento humano y, con ello, no sólo de la capacidad asociada a la utilización de tal conocimiento sino de la capacidad para marcarle objetivos adecuados a la inteligencia artificial. En otras palabras, podría producirse un parón en la generación de conocimiento y en el desarrollo resultante; además, ese parón no afectaría sólo al conocimiento humano sino también a la capacidad de desarrollo de la inteligencia artificial.

Otro aspecto esperable es una situación de desempleo masivo en todo el mundo; en muchas actividades, la inteligencia artificial podría llevar a cabo las tareas necesarias, en unos casos con mayor calidad que su contraparte humana y en otros, con menor calidad, pero siempre con mucho menor coste de procesamiento.

Normalmente, cuando se utiliza este argumento, cabe esperar como respuesta una referencia a la Revolución Industrial y cómo hubo cambios de tipos de trabajo, pero, globalmente, la cantidad de trabajo existente no sólo no disminuyó, sino que aumentó. ¿Cabe esperar algo parecido ahora? No; debe tenerse en cuenta que la reproducción de sistemas digitales tiene un coste cercano a cero y, por tanto, el número de especialistas en inteligencia artificial no es, en absoluto, proporcional a la cantidad de potencia instalada. De igual modo y por la misma lógica, no se necesita un número de programadores de Windows proporcional al número de unidades en funcionamiento.

Alguien podría pensar que esto vale para el diseño básico, pero no para la adaptación y la implantación. Si es así, recordemos la diferencia entre los sistemas AlphaGo y AlphaZero: El primero fue diseñado específicamente para jugar al Go y competir con el campeón mundial del momento al que derrotó; el segundo fue diseñado para aprender de cualquier conjunto de dato que se le facilitase; cuando le facilitaron un conjunto de datos sobre Go, AlphaZero aprendió el juego con una calidad suficiente para derrotar a AlphaGo, que a su vez había derrotado a un campeón mundial, y aprendió otros juegos en los que también fue capaz de derrotar a programas especializados. ¿De verdad, en ese contexto, alguien puede creer que la adaptación individual y la implantación va a proporcionar el número de puestos de trabajo que produzca un nuevo efecto Revolución Industrial?

¿Puede funcionar un mundo donde el trabajo sea algo cuantitativamente marginal? En teoría, sí. Los aumentos de productividad en actividades donde el trabajo humano sería mínimo o inexistente podrían permitir soluciones como los subsidios universales, en su día defendidos por el propio Keynes, pero ¿quién los controlaría? Una sociedad en la que el trabajo es algo realizado por unos pocos y, probablemente, durante un corto tiempo es una sociedad que, casi por fuerza, funciona mediante una planificación central, es decir, el modelo que Hayek criticaba en “Camino de servidumbre”.

Naturalmente, éste sería el primer paso. Los pasos siguientes consistirían en determinar cuántas personas pueden ser mantenidas por ese sistema centralizado, eliminando toda libertad individual en cuestiones como tener o no hijos y prácticas como la eugenesia y la eutanasia formarían parte del paisaje, con carácter obligatorio.

Curiosamente, este sistema de planificación central apoyado en una eclosión de la inteligencia artificial caería en el mismo problema que todos los sistemas de planificación central anteriores: ¿Cuál es el incentivo para conseguir una mayor productividad? ¿No llegaríamos a una especie de “planeta de los simios”, viviendo del progreso realizado por otros en épocas anteriores?

Cuando alguien dice que la inteligencia artificial puede significar el fin de la humanidad, no es previsible que piense en una nueva edición de “Terminator”, sino en el fin de una humanidad donde el individuo tiene un valor intrínseco y no es una mera pieza de un Leviatán digital.

Si el trabajo desaparece, es previsible que los demás elementos -planificación central, pérdida de valor del individuo, determinación de cuántos habitantes tiene que haber, eugenesia, eutanasia, etc.- aparezcan como una consecuencia lógica.

Por otra parte, puesto que la inteligencia artificial necesita que le faciliten objetivos y la experiencia demuestra que ésta no es una tarea fácil, la regresión hacia la mediocridad del conocimiento humano haría difícil el progreso, incluso si éste se pretende que esté basado en la inteligencia artificial. Llegados aquí, efectivamente, la humanidad tal como la conocemos, habría desaparecido.

Aviation: The other war

Published in Linkedin: Spanish Translation at the end

Nowadays, it is easy to recognize who are the two dominant powers among aviation manufacturers: Airbus and Boeing. However, these manufacturers have two powerful partners that are decisive in shaping the global aviation landscape: the European and North American regulators EASA and FAA.

The relationship between both regulators has always been one of collaboration not without some conflicts due to support for «their» reference manufacturer that may have led them in subtle ways to take sides in the market. However, anyone entering the aviation world knows that they must go through the certifications and audits of one or both world’s two largest regulators.

That situation could be changing in a slow and probably intentional way by a third player that does not seem to be in a hurry: The first indication of that change was the appearance of the Chinese manufacturer COMAC: COMAC, taking advantage of the size of the Chinese domestic market, decided to manufacture an aircraft with no intention of certifying it for flight on world markets but simply for use on domestic flights (ARJ21). This aircraft would serve the manufacturer to gain experience and, subsequently, to be able to compete with the major manufacturers with its C919 model.

Airbus and Boeing, apparently at least, did not attach much importance to the first move because of its restriction to the Chinese market, nor to the second since, technologically, they found it to be a far inferior product to those manufactured by Airbus and Boeing. However, both manufacturers may be losing sight of something: Perhaps it is not about competing with Airbus and Boeing but with FAA and EASA. In other words, CAAC (Civil Aviation Administration of China) might try to be the one setting the global aviation standards in the next future.

In addition to COMAC’s activity, in recent months there has been another movement that, perhaps, has not been appreciated for its real significance since it has been attributed to the political tensions between China and the USA: CAAC’s refusal to certify the Boeing 737MAX following EASA and FAA.

Both, EASA and FAA know that 737MAX should never have been certified, at least under the type certificate for the Boeing 737 issued in 1967 and doing so revealed a clear collusion between Boeing and FAA. However, they were faced with a very difficult situation: If thousands of aircraft, including already manufactured and those ordered by various airlines were not allowed to fly, a crisis in the aviation market could be triggered with consequences that are difficult to calculate: Boeing’s eventual bankruptcy could trigger the bankruptcy of many airlines with aircraft they could not use and, in addition, there would be an undersupplied market, since the other major manufacturer would not have the production capacity to fill the gap.

CAAC had fewer commitments since it has a large domestic market and much greater control over it than accessible to its FAA and EASA equivalents. Therefore,  it simply denied authorization to fly the 737MAX and did not follow the big regulators in their compromise solution.
At this point, many countries that are not under the authority of EASA or FAA accept those regulators as their own references and simply adopt the regulations and standards coming from them. What would be the incentive to change their reference to CAAC? Let’s go back to COMAC:

An aircraft certified to fly only in China under CAAC authority could be automatically cleared to fly also in countries that adopted CAAC as their reference authority. Africa, Central, and South America, and large parts of Asia, where China has a strong influence, could look favorably on the ARJ21 for their domestic flights or for flights between countries that had also accepted CAAC as a reference.

The later model, C919, has been manufactured with the purpose of being certified for worldwide use and, if this objective is achieved, its lower technological level could be more than compensated by favorable pricing policies that would make it accessible both to those same markets that could be interested in the ARJ21 and to the low-cost segment of aviation in countries with a higher level of development.

The moves are slow but seem to have a clear direction, aimed at establishing the Chinese aviation authority as a world reference. The possibility of a contingency that could accelerate this process, such as a new serious event involving a 737MAX, cannot be excluded. If this were to happen, the performance and motives of the still world reference aviation authorities would be called into question and, with that, the position of the third party in waiting would be favored.

The situation suggests that in the near future, global aviation will not be a matter of two but of three and, in the long term, it is still to be defined who will prevail.

AVIACIÓN: LA OTRA GUERRA

A fecha de hoy, es fácil reconocer quiénes son las dos potencias dominantes entre los fabricantes de aviación: Airbus y Boeing. Sin embargo, estas dos potencias tienen dos poderosos asociados que son decisivas para configurar el panorama de la aviación mundial: los reguladores europeo y norteamericano EASA y FAA.

La relación entre ambos reguladores ha sido siempre de colaboración no exenta de algunos conflictos debido al apoyo a “su” fabricante de referencia que les puede haber llevado en formas más o menos sutiles a tomar partido en el mercado. Sin embargo, en términos generales, cualquiera que entre en el mundo de la aviación sabe que tiene que pasar por las certificaciones y las auditorías de uno o de los dos mayores reguladores mundiales.

Esa situación podría estar cambiando de una forma lenta y probablemente intencionada por parte de un tercer actor que no parece tener prisa: El primer indicio de ese cambio fue la aparición del fabricante chino COMAC: COMAC, aprovechando el tamaño del mercado interno chino, decidió fabricar un avión sin intención de certificarlo para su vuelo en los mercados mundiales sino, simplemente, para utilizarlo en vuelos interiores (ARJ21). Este avión le serviría al fabricante para ganar experiencia y, posteriormente, poder lanzarse a competir con los grandes fabricantes con su modelo C919.

Airbus y Boeing, aparentemente al menos, no dieron mayor importancia al primer movimiento por su restricción al mercado chino ni al segundo ya que, tecnológicamente, encontraban que era un producto muy inferior a los fabricados por Airbus y Boeing. Sin embargo, ambos fabricantes podrían estar perdiendo algo de vista: Tal vez no se trata de competir con Airbus y Boeing sino con FAA y EASA. En otros términos, CAAC (Civil Aviation Administration of China) podría intentar ser quien fije los estándares mundiales de aviación en el próximo futuro.

Además de la actividad de COMAC, en los últimos meses se ha producido otro movimiento que, tal vez, no ha sido valorado en su trascendencia real y se ha atribuido a las tensiones políticas entre China y USA: La negativa por CAAC de certificar el Boeing 737MAX siguiendo a EASA y FAA.

 EASA y FAA saben muy bien que el 737MAX nunca se debió certificar, al menos bajo el certificado de tipo correspondiente al Boeing 737 emitido en 1967. Sin embargo, se encontraron con una situación de hecho con muy difícil salida: Si no se permitía volar a los miles de aviones ya fabricados más los pedidos por distintas aerolíneas, se podía desencadenar una crisis en el mercado de la aviación de consecuencias difíciles de calcular: La eventual bancarrota de Boeing podía arrastrar la bancarrota de muchas aerolíneas con aviones que no podían utilizar y, además, habría que contar con un mercado desabastecido, ya que el otro gran fabricante no tendría capacidad de producción para cubrir el hueco. CAAC tenía menos compromisos, puesto que tiene un gran mercado interno y un control sobre él mucho mayor que el accesible a sus equivalentes FAA y EASA. Por ello, simplemente, denegó la autorización para volar al 737MAX y no siguió a los grandes reguladores en su solución de compromiso.

En este momento, muchos países que no están bajo la autoridad de EASA o FAA aceptan a dichos reguladores como sus propias referencias y, simplemente, adoptan la normativa y estándares procedentes de éstos. ¿Cuál sería el incentivo para cambiar su referencia a la CAAC? Volvamos a COMAC:

Un avión certificado para volar sólo en China bajo la autoridad de la CAAC podría quedar automáticamente autorizado para volar también en países que adoptasen a la CAAC como su autoridad de referencia. Gran parte de África, de América Central y del Sur o de grandes zonas de Asia, donde China tiene una fuerte influencia, podía ver con buenos ojos al ARJ21 para sus vuelos internos o para vuelos entre países que hubieran aceptado también a la CAAC como referencia.

El modelo posterior, C919, ha sido fabricado con el propósito de ser certificado para su uso en todo el mundo y, si este objetivo se consigue, su menor nivel tecnológico podría ser sobradamente compensado mediante políticas favorables de precios que lo hicieran accesible tanto a esos mismos mercados que podrían tener interés en el ARJ21 como al segmento low-cost de la aviación en países con mayor nivel de desarrollo.

Los movimientos son lentos pero parecen tener una dirección clara, encaminada a establecer a la autoridad de aviación china como una referencia mundial. No puede excluirse la posibilidad de alguna contingencia que pueda acelerar ese proceso como, por ejemplo, un nuevo evento grave relacionado con un 737MAX. Si así ocurriera, quedarían en entredicho la actuación y los motivos de las aún autoridades de referencia mundial en aviación y, con ello, se favorecería la posición del tercero en espera.

La situación, vista en su conjunto, invita a pensar que en el próximo futuro la aviación mundial no será cosa de dos sino de tres y, en el largo plazo, está por definir cuál de los tres prevalecerá.

Behavioral Economics: Cuando los tecnólogos se enamoraron de la psicología

(Published in my newsletter and profile in Linkedin. English Version after the Spanish text)

No es casualidad que el primer psicólogo en obtener un premio Nobel, Daniel Kahneman, haya hecho una contribución muy apreciada por los tecnólogos de la información, especialmente los dedicados a la inteligencia artificial.

Pocas cosas más atractivas para un tecnólogo que la idea de que existen sesgos inherentes al procesamiento humano de información y que estos sesgos se producen por la necesidad de conseguir resultados rápidos, aunque contengan errores. Por añadidura, tales sesgos se deben a carencias para procesar grandes cantidades de información rápidamente. Dicho de otra forma, las personas procesan información incorrectamente porque no tienen la capacidad de un ordenador para hacerlo. Saltar desde ahí a “Si tengo la suficiente capacidad de procesamiento de información, eso no ocurrirá con una máquina” es muy tentador -aunque recuerda los viejos tiempos de Minsky y la llamada GOFAI (Good Old-Fashioned Artificial Intelligence)- y, de ahí, que la corriente de Behavioral Economics haya tenido gran aceptación en el mundo de la tecnología. Sin embargo, las cosas no son tan claras.

Kahneman y Tversky, principales autores de referencia dentro de esta línea, descubrieron un conjunto de sesgos y, además, los nombraron de formas bastante ingeniosas y los recopilaron en “Pensar rápido, pensar despacio”. Tras ello, fueron aplaudidos y criticados aunque tal vez no lo hayan sido por los motivos adecuados o, para precisar más, tal vez no hayan sido totalmente entendidos ni por quienes los aplauden ni por quienes los critican.

Si comenzamos por la parte crítica, se suele aducir que los sesgos se han probado en condiciones de laboratorio y que, en la vida normal, esas situaciones no se dan o simplemente los sesgos no aparecen. Es verdad; las condiciones de laboratorio fuerzan la aparición del sesgo y en el mundo real, en el que habitualmente se opera dentro de un contexto, no aparecen o lo hacen de forma muy reducida. Tomemos como ejemplo, una de las historias más populares de “Pensar rápido, pensar despacio”, la historia de “Linda, la cajera”:

Linda es una mujer de 31 años de edad, soltera, extrovertida y muy brillante. Estudió filosofía en la universidad. En su época de estudiante mostró preocupación por temas de discriminación y justicia social y participó en manifestaciones en contra del uso de la energía nuclear. De acuerdo con la descripción dada, ordene las siguientes ocho afirmaciones en orden de probabilidad de ser ciertas. Asigne el número 1 a la frase que considere con más probabilidad de ser cierta, dos a la siguiente y así sucesivamente hasta asignar 8 a la frase menos probable de ser cierta.

o Linda es una trabajadora social en el área psiquiátrica.

 o Linda es agente vendedora de seguros.

o Linda es maestra en una escuela primaria.

o Linda es cajera de un banco y participa en movimientos feministas.

o Linda es miembro de una asociación que promueve la participación política de la mujer.

o Linda es cajera de un banco.

o Linda participa en movimientos feministas. o Linda trabaja en una librería y toma clases de yoga.

Obsérvense las opciones cuarta y sexta: Obviamente, la cuarta es un subconjunto de la sexta y, sin embargo, la cuarta aparecía de forma generalizada como más probable que la sexta. Un claro error de lógica pero, al mismo tiempo, ignora un hecho elemental en las relaciones humanas: Entendemos que, cuando una persona nos aporta un dato -en este caso, el perfil que dibuja de Linda como activista social- lo hace porque entiende que dicho dato es relevante, no con el exclusivo propósito de engañar. Más aún: A los sesgos de Kahneman y Tversky les ocurre algo parecido a la ley de la gravitación universal de Newton: Se trata de formas de procesamiento de la información que funcionan bien en su contexto y sólo fallan fuera de éste y, por tanto, los modelos de procesamiento subyacentes no pueden ser rechazados sino, en todo caso, asumir que tienen una validez limitada a un contexto.

Veamos qué ocurre en el extremo que aplaude la Behavioral Economics: Aun admitiendo que hay un forzamiento hacia el extremo por las condiciones experimentales, se demuestra la existencia del sesgo y, con ello, que el modelo de procesamiento humano no es universalmente aplicable, sino que sólo funciona dentro de un contexto. Retomando el ejemplo de Newton, los tecnólogos creen disponer del equivalente a una teoría de la relatividad, con un ámbito de aplicación más amplio que el modelo de Newton y con capacidad para sustituir a éste. La corriente de Behavioral Economics y sus derivaciones suministró todos los argumentos requeridos para llegar a esta conclusión.

Sin embargo, tanto críticos como partidarios parecen aceptar que el razonamiento humano es “quick-and-dirty” y el elogio o la crítica obedece a la importancia o falta de ella que se concede a ese hecho.

La pregunta no respondida ni por los que aceptan el modelo ni por los que lo rechazan es si ese modelo de procesamiento sujeto a sesgos es el único modelo posible de razonamiento humano o si hay otros distintos y que no estén recogidos. Los propios Kahneman y Tversky trataron de responder a esta pregunta aduciendo la existencia de un sistema uno, automático, y un sistema dos, deliberativo. El primero estaría sujeto a los sesgos identificados y el segundo procesaría información en una forma parecida a cómo lo hace un ordenador, es decir, siguiendo las reglas estrictas de la lógica formal aunque -matizan- siempre es susceptible de ser engañado por el sistema uno. Al proclamar la existencia de un sistema lento, racional y seguro, volvieron a dar argumentos a los tecnólogos para promover la inteligencia artificial como alternativa a la humana. No sólo es una cuestión de tecnólogos de la información; si se revisan los textos desclasificados por la CIA sobre técnica de análisis de información puede encontrarse una oda al procesamiento racional que evalúa múltiples opciones y asigna pesos a las variables mientras ignora la intuición y la experiencia del analista basándose en que puede introducir sesgos. El procesamiento de información siguiendo los cauces estrictamente racionales está de moda pero…

¿Y si existiera un “sistema tres” e incluso un “sistema cuatro”, ajenos a los sesgos de la Behavioral Economics pero, al mismo tiempo, no empeñados en reproducir un modelo de procesamiento racional canónico? ¿Y si esos sistemas fueran capaces de conseguir resultados tal vez inalcanzables para un modelo lógico formal, especialmente si tales resultados se requieren con restricciones de tiempo y ante situaciones no previstas?

Esos sistemas existen y, tal vez, uno de los autores que más claramente los ha identificado es Gary Klein: No se trata de procesos “quick-and-dirty” motivados por la falta de capacidad de procesamiento o de memoria ni de un proceso reproducible por una máquina sino de algo distinto, que introduce en la ecuación elementos de experiencia pasada, extrapolaciones de situaciones tomadas de otros ámbitos y experiencias sensoriales no accesibles a la máquina.

Resulta paradójico que uno de los pioneros de la inteligencia artificial, Alan Turing, fuese la prueba viviente de ese modelo de procesamiento no accesible a la máquina: Turing redujo espectacularmente el número de variaciones teóricamente posibles en la máquina de claves Enigma introduciendo una variable en la que nadie había pensado -que el idioma original en que estaba emitido el mensaje era el alemán- y ello permitió trabajar con las estructuras del idioma y reducir opciones..

Cuando un piloto de velero -o del US1549- concluye que no puede llegar a la pista, no lo hace después de calcular velocidad y dirección del viento, y el coeficiente de planeo del avión corregido por el peso y la configuración sino observando la cabecera de la pista y viendo si asciende o desciende sobre un punto de referencia en el parabrisas: Si la cabecera asciende sobre el punto de referencia, no llega. Si desciende, sí puede llegar. Así de fácil.

Cuando un jugador de baseball intenta llegar al punto donde va a llegar la pelota y al mismo tiempo que ésta, no calcula trayectorias angulares ni velocidades, sino que ajusta la velocidad de su carrera para mantener un ángulo constante con la pelota.

Cuando un avión ve afectados sus sistemas por la explosión de un motor -QF32- y lanza centenares de mensajes de error, los pilotos tratan de atenderlos hasta que descubren uno muy probablemente falso: Fallo de un motor en el extremo del ala contraria. Los pilotos concluyen que, si la metralla del motor que explotó hubiera llegado al otro extremo del avión, tendría que haber pasado a través del fuselaje y, a partir de ahí, deciden volar el avión a la antigua usanza, ignorando los mensajes de error del sistema.

Cuando, en plena II Guerra Mundial, a pesar de haber descifrado el sistema de claves japonés, los norteamericanos no saben de qué punto están hablando, aunque tienen la sospecha de que podría tratarse de Midway, lanzan un mensaje indicando que tienen problemas de agua en Midway. Cuando, tras recibirlo, los japoneses se refieren a las dificultades con el agua en el punto al que se referían sus mensajes previos, quedó claro a qué se referían. La preparación de la batalla de Midway tiene origen en ese simple hecho difícil de imitar por una máquina.

Incluso en el cine disponemos de un caso, no sabemos si real o apócrifo, en la película “Una mente maravillosa” sobre la vida de John Nash: En un momento especialmente dramático, Nash concluye que los personajes que está viendo son imaginarios porque observa que una niña, que formaba parte de las alucinaciones, no ha crecido a lo largo de varios años y permanece exactamente igual que las primeras veces que la vio.

Todos ellos son casos muy conocidos a los que se podría añadir muchos más; incidentalmente, uno de los ámbitos donde más ejemplos pueden encontrarse es en la actividad de los hackers. En cualquier caso, todas las situaciones tienen algo en común: El procesamiento de información que no sigue el modelo racional canónico no siempre es un modelo a rechazar por estar sujeto a sesgos sino que también introduce elementos propios no accesibles a un sistema de información, bien porque le falta el aparato sensorial capaz de detectarlo o bien porque le falta la experiencia que permite extrapolar situaciones pasadas y llegar a conclusiones distintas y, por supuesto, mucho más rápidas de lo accesible a un avanzado sistema de información.

Los tecnólogos han visto en la Behavioral Economics un reconocimiento casi explícito de la superioridad de la máquina y, por tanto, la han acogido con entusiasmo. Sin embargo, para los psicólogos, la Behavioral Economics tiene un punto ya conocido: Adolece del mismo problema que otras corrientes anteriores en psicología: Así, el psicoanálisis puede alardear de descubrir fenómenos inconscientes…pero hacer de éstos el núcleo del psiquismo humano tiene poco recorrido; la psicología del aprendizaje ha trabajado intensivamente con los mecanismos de condicionamiento clásico y operante…pero tratar de convertir el aprendizaje en el único motor del psiquismo no tiene mucho sentido. La Gestalt descubrió un conjunto de leyes relativas a la percepción…pero tratar de extrapolarlas al conjunto del funcionamiento humano parece excesivo. Ahora la toca a la Behavioral Economics. ¿Existen los sesgos cognitivos? Por supuesto que existen. ¿Representa ese modelo de procesamiento quick-and-dirty lleno de errores la única alternativa a un supuestamente siempre deseable procesamiento racional canónico, susceptible de enlatar en una máquina? No.

No olvidemos que incluso el procesamiento “quick-and-dirty” funciona correctamente en la mayoría de los casos aunque no lo haga en el vacío; necesita hacerlo en un contexto conocido por el sujeto. En segundo lugar, hay otro modelo de procesamiento que hace uso de una experiencia cristalizada en conocimiento tácito que, como tal, es difícil de expresar y más aún de “enlatar” en algoritmos, y de un aparato sensorial que es específicamente humano. Reducir el procesamiento humano de información a los estrechos cauces marcados por la Behavioral Economics no deja de ser una forma de caricaturizar a un adversario, en este caso el humano,  al que se pretende contraponer la potencia de la máquina. Eso sí; no dejaremos de recordar a Edgar Morin y su idea de que la máquina-máquina siempre es superior al hombre-máquina. Si insistimos en despojar al humano de sus capacidades específicas o en despreciarlas, mejor quedémonos con la máquina.

BEHAVIORAL ECONOMICS: WHEN TECHNOLOGISTS FELL IN LOVE WITH PSYCHOLOGY

It is no coincidence that the first psychologist to win a Nobel Prize, Daniel Kahneman, has contributed something much appreciated by information technologists, especially those dedicated to artificial intelligence.

Few things are more attractive to a technologist than the idea that there are inherent biases in human information processing and that these biases are produced by the need to achieve fast results, even if they contain errors. Moreover, such biases are due to shortcomings in processing large amounts of information quickly. Put another way, people process information incorrectly because they do not have the capacity of a computer to do so. Jumping from there to «If I have sufficient information processing capacity, that won’t happen with a machine» is very tempting -although it reminds of the old days of Minsky and the so-called GOFAI (Good Old-Fashioned Artificial Intelligence)– and, hence, the Behavioral Economics current has had great acceptance in the world of technology. However, things are not so clear-cut.

Kahneman and Tversky, the main authors of reference in this line, discovered a set of biases and, moreover, named them in rather ingenious ways and compiled them in «Thinking fast and slow». After that, they were applauded and criticized, although perhaps not for the right reasons or, to be more precise, perhaps they were not fully understood by those who applaud them nor by those who criticize them.

If we start with the critical part, it is often argued that the biases have been tested under laboratory conditions and that, in normal life, such situations do not occur, or the biases simply do not appear. It is true; laboratory conditions force the appearance of the bias and in the real world, in which we usually operate within a context, they do not appear or do so in a very reduced form. Take, for example, one of the most popular «Thinking fast and slow» stories, the story of «Linda, the cashier»:

Linda is a 31-year-old woman, single, outgoing, and very bright. She studied philosophy at university. As a student, she was concerned about discrimination and social justice issues and participated in demonstrations against the use of nuclear energy. According to the description given, rank the following eight statements in order of probability of being true. Assign the number 1 to the statement you think is most likely to be true, two to the next one, and so on until you assign 8 to the statement least likely to be true.

o Linda is a social worker in the psychiatric field.

 o Linda is an insurance sales agent.

o Linda is an elementary school teacher.

o Linda is a bank teller and participates in feminist movements.

o Linda is a member of an association that promotes women’s political participation.

o Linda is a bank teller.

o Linda participates in feminist movements. o Linda works in a bookstore and takes yoga classes.

Note the fourth and sixth options: Obviously, the fourth is a subset of the sixth and, nevertheless, the fourth appeared in a generalized way as more probable than the sixth. A clear error of logic but, at the same time, it ignores an elementary fact in human relations: We understand that, when a person gives us a piece of information – in this case, the profile of Linda as a social activist – it is because that person understands that such information is relevant, not with the exclusive purpose of deceiving us. Moreover: Kahneman’s and Tversky’s biases are like Newton’s law of universal gravitation: They are showing information processing strategies that work well in context and only fail out of context. Therefore, the underlying processing models cannot be rejected but, in any case, assumed to have a validity limited to a context.

Let us see what happens at the extreme that applauds Behavioral Economics: Even admitting that there is not a natural setting, and they are forcing the conditions towards the extreme through the experimental design, the existence of the bias is demonstrated and, with it, it seems that the human processing model is not universally applicable, but limited to a context. Taking Newton’s example, technologists believe that they have the equivalent of a theory of relativity, with a broader scope of application than Newton’s model and with the capacity to replace it. Behavioral Economics and its derivations provided all the arguments required to reach this conclusion.

However, both critics and supporters seem to accept that human reasoning is «quick-and-dirty» and the praise or criticism is due to the importance or lack of it that is given to that fact. The unanswered question, neither by those who accept the model nor by those who reject it, is whether this model of processing subject to biases is the only possible model of human reasoning or whether there are others that are different and not captured. Kahneman and Tversky themselves tried to answer this question by adducing the existence of a system one, automatic, and a system two, deliberative. The first would be subject to the identified biases and the second would process information in a manner like that of a computer, i.e., following the strict rules of formal logic, although -they argue- it is always susceptible to being fooled by system one.

By proclaiming the existence of a slow, rational, and safe system, they once again gave technologists arguments to promote artificial intelligence as an alternative to human intelligence. It is not only a matter of information technologists; if one reviews the declassified CIA texts on information analysis technique one can find an ode to rational processing that evaluates multiple options and assigns weights to variables while ignoring the analyst’s intuition and experience on the grounds that it may introduce bias. Processing information along strictly rational lines is all the rage but… what if there was a different and valid way?

What if there were a «system three» and even a «system four», unbiased by the proclaimed Behavioral Economics biases but, at the same time, not trying to reproduce a canonical rational processing model? What if such systems could achieve results perhaps unattainable for a formal logical model, especially if such results are required under time constraints and in the face of unforeseen situations?

Such systems do exist, and perhaps one of the authors who has identified them most clearly is Gary Klein: They are not «quick-and-dirty» processes motivated by a lack of processing capacity or memory, nor are they a machine-reproducible process, but rather something different, which introduces into the equation elements of past experience, extrapolations of situations taken from other fields and sensory experiences not accessible to the machine.

It is paradoxical that one of the pioneers of artificial intelligence, Alan Turing, was the living proof of this model of processing not accessible to the machine: Turing spectacularly reduced the number of theoretically possible variations in the Enigma key machine by introducing a variable that no one had thought of – that the original language in which the message was issued was German – and this allowed working with the language structures and reducing options.

When a glider -or US1549- pilot concludes that he cannot reach the runway, he does so not after calculating wind speed and direction, and the glide ratio of the aircraft corrected for weight and configuration, but by looking at the runway threshold and seeing if it ascends or descends over a reference point on the windshield: If the threshold ascends over the reference point, he will not reach it. If it descends, he will arrive. It’s that easy.

When a baseball player tries to get to the point where the ball is going to arrive and at the same time as the ball, he does not calculate angular trajectories and velocities but adjusts his running speed to maintain a constant angle to the ball.

When an aircraft’s systems are affected by an engine explosion -QF32- and it sends hundreds of error messages, pilots try to deal with them until they discover a most probably false one: Failure of an engine on the opposite wing tip. The pilots conclude that if the shrapnel from the exploding engine had reached the other end of the plane, it would have passed through the fuselage, and so they decide to fly the plane the old-fashioned way, ignoring the system error messages.

When, in the middle of World War II, despite having deciphered the Japanese key system, the Americans do not know what point they are talking about, although they suspect it might be Midway, they send a message indicating that they have water problems at Midway. When, after receiving it, the Japanese refer to the water difficulties at the point to which their previous messages referred, it became clear what they were referring to. The preparation for the battle of Midway has its origin in that simple fact which is difficult for a machine to imitate.

Even in the cinema, we have a case, we do not know if it is real or apocryphal, in the movie «A Beautiful Mind» about the life of John Nash: In a particularly dramatic moment, Nash concludes that the characters he is seeing are imaginary because he observes that a little girl, who was part of the hallucinations, has not grown over several years and remains exactly the same as the first times he saw her.

These are all well-known cases to which many more could be added; incidentally, one of the areas where most examples can be found is in the activity of hackers. In any case, all situations have something in common: Information processing that does not follow the canonical rational model is not always a model to be rejected because it is subject to biases. Actually, it also introduces elements that are not accessible to an information system, either because it lacks the sensory apparatus capable of detecting it or because it lacks the experience that allows extrapolating past situations and reaching conclusions that are different and, of course, much faster than what is accessible to an advanced information system.

Technologists have seen in Behavioral Economics an almost explicit recognition of the superiority of the machine and have therefore welcomed it with enthusiasm. However, for psychologists, Behavioral Economics has a well-known point: it suffers from the same problem as other previous currents in psychology: Thus, Psychoanalysis may boast of discovering unconscious phenomena…but making these the core of the human psyche is a long shot; the Psychology of Learning has worked intensively with the mechanisms of classical and operant conditioning…but trying to make learning the only engine of the psyche does not make much sense. Gestalt discovered a set of laws related to perception…but trying to extrapolate them to the whole of human functioning seems excessive. Now it is the turn of Behavioral Economics. Do cognitive biases exist? Of course, they exist. Does that error-ridden quick-and-dirty processing model represent the only alternative to a supposedly always desirable canonical rational processing, amenable to canning in a machine? No.

Let us not forget that even quick-and-dirty processing works correctly in most cases even if it does not do so in a vacuum; it needs to do so in a context known to the subject. Secondly, there is another processing model that uses an experience crystallized in tacit knowledge that, as such, is difficult to express and even more difficult to be «canned» in algorithms, and of a sensory apparatus that is specifically human. Reducing the human processing of information to the narrow channels set by Behavioral Economics is nothing more than a way of caricaturing an adversary, in this case, the human, against which the power of the machine is intended to be set. Of course, we will not fail to remember Edgar Morin and his idea that the machine-machine is always superior to the man-machine. If we insist on stripping humans of their specific capacities or despising them, we should stick with the machine.

THE HIDDEN SIDE-EFFECTS OF ARTIFICIAL INTELLIGENCE

(English Translation below)

La Inteligencia Artificial, desde su inicio, ha traído un enorme entusiasmo tanto a favor como en contra. Tanto unos como otros incurren en un esencialismo difícil de justificar: Los primeros porque, al equiparar al ser humano con un procesador, llegan a la conclusión de que el estado del arte de la tecnología de la información permite tener mejores opciones. Los segundos porque consideran que el ser humano aporta elementos que son imposibles de conseguir para la máquina.

Sin embargo, en el estado actual, esa discusión que aún sigue vigente peca de superficialidad: ¿La tecnología de la información es capaz de procesar infinitamente más información y mucho más rápidamente que cualquier humano? Claramente, sí. ¿El ser humano es capaz de atender a situaciones que son imposibles para los más avanzados productos tecnológicos? Claramente también. ¿Puede entonces encontrarse un nicho de especialización en el que convivan ambos? Eso ya es más discutible y de ahí la idea de efectos escondidos.

Pongamos un ejemplo conocido: La previsión meteorológica. Un meteorólogo experto es capaz de detectar pautas que se le pueden escapar a un sistema de información avanzado; sin embargo, el sistema de información avanzado es capaz de procesar muchas más fuentes de información de las que puede procesar el meteorólogo, especialmente si contamos con limitaciones temporales que van a definir la validez de la previsión.

El meteorólogo experto puede equivocarse pero también puede conseguir resultados superiores a los accesibles a un sistema de información gracias a su conocimiento de pautas y a su capacidad para “construir” una evolución esperable. Sin embargo, contradecir al sistema encargado de las previsiones puede representar un compromiso importante porque, en caso de error, alguien le estará señalando que el sistema se lo estaba avisando.

Un meteorólogo menos experto, ya formado en un entorno de sistemas de información, será más proclive a aceptar pasivamente los resultados del sistema y le resultará más difícil adquirir el conocimiento de un meteorólogo experto. Le faltará capacidad para seleccionar las fuentes de datos relevantes y alcanzar conclusiones propias y lo que es peor: La experiencia trabajando con un sistema de información no le dotará de esa capacidad. Nunca alcanzará el nivel de experto sino, como máximo, el de operador avanzado de sistemas de información. Por añadidura, un cambio de sistema de información puede representar la pérdida de un conjunto de ”trucos del oficio” aprendidos de la observación; se trata de un conocimiento operativo que no es susceptible de trasladar a otro entorno, incluso cuando ese nuevo entorno no signifique otra cosa que un cambio de proveedor tecnológico.

Por supuesto, la meteorología es un mero ejemplo que se puede extrapolar a la aviación, a la navegación marítima, a la mecánica, a las finanzas y virtualmente a cualquier terreno imaginable.

La “toma racional de decisiones” se ha convertido en un estándar incluso en aquellos terrenos en que no es la práctica adecuada; algunos autores como Gigerenzer, Klein o Flach han señalado entornos en que ese modelo de procesamiento de información no sirve y, en su lugar, se utilizan modelos de procesamiento heurístico que hacen uso de la experiencia acumulada en forma de conocimiento tácito, difícil de expresar y más difícil aún de formalizar, y que son los que han resuelto situaciones en las que un modelo “racional” habría llegado a la parálisis por el análisis, incluso aunque se requiriese una respuesta urgente y se tratase de un caso de vida o muerte.

Casos muy conocidos en aviación como el American Airlines 96, United 232, QF32, US1549, Gimli glider y muchos otros muestran claramente cuál es el valor del experto. Sin embargo, el riesgo que se está corriendo hoy es que las generaciones formadas en entornos de tecnología de la información avanzada nunca alcancen ese nivel de experto.

El sociólogo francés Edgar Morin advertía de que la máquina-máquina siempre será superior al hombre-máquina. Sin embargo, al privar al ser humano de la capacidad para adquirir conocimiento real, lo estamos convirtiendo en hombre-máquina.

¿Puede convivir la inteligencia artificial con la generación de expertos capaces de cubrir las insuficiencias de la primera? En teoría, sí. Los hechos están demostrando que esa opción tiene una gran dificultad porque no son desarrollos independientes.

La persona formada en una disciplina donde ha entrado la inteligencia artificial tiene cada vez más difícil el camino para convertirse en un experto real, es decir, elegir los datos que necesita, procesarlos en la forma que un humano experto lo haría y llegar a sus propias conclusiones.

El advenimiento de la nueva generación de sistemas de información dotados de inteligencia artificial está conduciendo a que el conocimiento tácito se esté tratando como conocimiento obsoleto, aunque se trata de dos cosas completamente distintas. Se está destruyendo la escala que permite acceder al grado de experto, atendiendo a cantidad y diversidad de situaciones vividas y, con ello, podemos perder capacidad para atender a situaciones imposibles para cualquier sistema de información por avanzado que éste sea.

No es la única situación posible, pero escenarios en los que hay que actuar de forma inmediata y con unos datos fragmentarios y a menudo contradictorios no son precisamente el ámbito en que se desenvuelven bien los sistemas de información. El ser humano muestra en estas situaciones capacidades que están más allá de las de los sistemas de información -porque procesa esas situaciones de forma radicalmente distinta- pero, para que esto ocurra, es necesario disponer de expertos y no de los hombres-máquina mencionados por Morin.

El gran problema y el efecto colateral oculto de los sistemas de información avanzados es precisamente que está destruyendo la capacidad de generar expertos y, en su lugar, está estableciendo un reino de mediocridad tecnológicamente avanzada. Cuando un avanzadísimo sistema de inteligencia artificial basado en la computación cuántica tenga que tomar una decisión en una situación como las señaladas más arriba, nos acordaremos de los expertos desaparecidos.

THE HIDDEN SIDE-EFFECTS OF ARTIFICIAL INTELLIGENCE

Artificial Intelligence, since its inception, has brought enormous enthusiasm both for and against. Both incur in an essentialism that is difficult to justify: The former because, by equating the human being with a processor, conclude that the state of the art of Information Technology allows for better options. The latter because they consider that the human being provides elements that are impossible for the machine to achieve.

However, in the current state of the art, this discussion, which is still going on, is superficial:

Is information technology capable of processing infinitely more information and much faster than any human being? Clearly, yes.

Is a human being capable of dealing with situations that are impossible for the most advanced technological products? Clearly, yes.

Can a niche of specialization be found in which both can coexist? That is more debatable and hence the idea of hidden effects.

Let’s take a well-known example: weather forecasting. An expert meteorologist can detect patterns that may escape an advanced information system; however, the advanced information system is able to process many more sources of information than the expert meteorologist can process, especially if we have temporal limitations that will define the validity of the forecast.

The expert meteorologist can be wrong, but he can also achieve results superior to those accessible to an information system thanks to his knowledge of patterns and his ability to «construct» an expected evolution. However, contradicting the forecasting system may represent a major compromise because, in case of error, someone will be pointing out to him that the system was warning him.

A less experienced meteorologist, already trained in an information systems environment, will be more likely to passively accept the results of the system and will find it more difficult to acquire the knowledge of an expert meteorologist. He will lack the ability to select relevant data sources and reach his own conclusions and worse: His experience working with an information system will not give him that ability. He will never reach the level of an expert but, at most, that of an advanced information system operator. Moreover, a change of information system may represent the loss of a set of «tricks of the trade» learned from observation; this would be operational knowledge not transferable to another environment, even if “new environment” means nothing more than a change of technological supplier.

Of course, meteorology is only an example of something that happens in aviation, maritime navigation, mechanics, finance, and virtually any imaginable terrain.

Rational decision making» has become a standard even in those fields where it is not the proper practice; some authors such as Gigerenzer, Klein or Flach have pointed out environments where such an information processing model does not work. Instead, heuristic processing that make use of accumulated experience in the form of tacit knowledge are used; they are difficult to express and even more difficult to formalize and, despite that, these are the models that have solved situations where a «rational» model would have reached paralysis by analysis, even if an urgent response was required and it was a case of life and death.

Well known cases in aviation such as American Airlines 96, United 232, QF32, US1549, Gimli glider and many others clearly show what the value of the expert is. However, the risk today is that generations trained in advanced information technology environments will never reach that level of expert.

The French sociologist Edgar Morin warned that the machine-machine will always be superior to the man-machine. However, by depriving human beings of the ability to acquire real knowledge, we are turning them into man-machines.

Can artificial intelligence coexist with the generation of experts capable of covering the inadequacies of the former? In theory, yes. The facts are showing that this option is very difficult because they are not independent developments.

The person trained in a discipline where Artificial Intelligence has entered has an increasingly difficult path to become a real expert, i.e., to choose the data he needs, process it in the way a human expert would and come to his own conclusions.

The advent of the new generation of information systems equipped with artificial intelligence is leading to the fact that tacit knowledge is being treated as obsolete knowledge, although these are two completely different things. The scale that allows access to the level of expert, based on the number and diversity of situations experienced, is being destroyed and, as a result, we may lose the capacity to deal with situations that are impossible for any information system, no matter how advanced it may be.

Scenarios requiring immediate action, with fragmentary and often contradictory data are not exactly the area in which information systems excel. In these situations, human beings show capabilities that are beyond those of information systems -because they process these situations in a radically different way- but for this to happen, it is necessary to have experts and not the machine-men mentioned by Morin.

The great problem and the hidden side effect of advanced information systems is precisely that it is destroying the capacity to generate experts. In its place, it is establishing a reign of technologically advanced mediocrity. When a highly advanced artificial intelligence system based on quantum computing must make a decision in a situation like the ones described above, we will remember the missing experts.