Categoría: Ciencia y tecnología

INTELIGENCIA ARTIFICIAL: LA INSISTENCIA EN NO VER EL ELEFANTE EN LA HABITACIÓN

En este momento, raro es el día en que no sale una nueva inteligencia artificial que nos promete distintos tipos de maravillas. Bien; digamos que durante el llamado “invierno” de la inteligencia artificial, se han ignorado los progresos que se estaban haciendo mientras que, ahora, nos encontramos en la situación opuesta: Disponibilidad para maravillarnos ante cualquier cosa que pueda aparecer.

Quizás convendría hacer una pausa y preguntarse en qué momento estamos respecto a la llamada “singularidad”, es decir, el momento en que un ordenador será capaz de superar a una persona en cualquier tipo de reto imaginable donde la inteligencia tenga un papel.

En esa pausa, es forzoso reconocer que la inteligencia artificial y la inteligencia humana funcionan de modo radicalmente distinto. Una vez que esto se entienda con claridad, se podrá entender otra cosa:

Hay terrenos en los que la “singularidad” ha llegado hace tiempo; hay otros en los que cabe esperar que llegue en un tiempo relativamente breve y hay otros en los que nunca llegará y es en estos últimos donde reside nuestro ignorado “elefante”.

Si decimos que un ordenador es capaz de manejar enormes bases de datos y hacerlo en muy poco tiempo, estaremos enunciado un hecho cierto pero, al mismo tiempo, estaremos ignorando otro: Cuando un cambio cuantitativo se produce en varios órdenes de magnitud, deja de ser cuantitativo para ser cualitativo.

Permítaseme utilizar un ejemplo de hace pocos días y que resulta bastante revelador sobre las diferencias de funcionamiento:

Al preguntarle a una de las múltiples inteligencias artificiales de acceso público -LuzIA en este caso- si Tina Turner estaba viva en 1980, su respuesta fue Sí. Tina Turner estaba viva en 1980. En ese año, lanzó su quinto álbum de estudio en solitario, “Private Dancer”, que fue un gran éxito y contribuyó a su éxito en la década de 1980.

Nótese que la pregunta era simplemente si estaba viva y la respuesta incluyó unos datos que no había solicitado pero que, al mismo tiempo, fueron bastante reveladores sobre su funcionamiento.

Naturalmente, si le hacemos esta pregunta a un humano, antes de responder, habría recordado que Tina Turner había fallecido muy recientemente con una edad en el entorno de los noventa años y, por tanto, en 1980 estaba viva.

La inteligencia artificial, al menos en ese momento, no tenía almacenado el hecho de que una persona está viva entre las fechas de su nacimiento y su muerte y, al hacer una pregunta sobre una fecha específica, busca en su enorme base de datos alguna actividad de esa persona en esa fecha y, al encontrarla, concluye que está viva y, en este caso, añade además la información que le ha servido para concluir que está viva.

Al encontrar que la inteligencia artificial podía llegar a la misma conclusión -correcta- a través de un camino totalmente distinto a la inteligencia humana, probé a tenderle una pequeña trampa: Al parecer, si ejerce alguna actividad, está viva. Veámoslo. Siguiente pregunta:

Si decimos que Tina Turner lleva varias semanas criando malvas ¿podemos afirmar que Tina Turner está viva?

La respuesta no se hizo esperar:

Por supuesto. Si está criando malvas, significa que está viva.

No se trata en este caso de enfatizar el error sino, muy al contrario, de mostrar cómo, a través de procesos completamente distintos, la inteligencia artificial puede llegar a conclusiones que en la mayoría de los casos son correctas.

En ese manejo de ingentes cantidades de datos, no sólo puede llegar a conclusiones similares a las humanas sino que puede cruzar los datos de forma que alcancen conclusiones no alcanzables por ningún ser humano. Son muchos los ámbitos en que se puede producir esta situación, no sólo juegos como el ajedrez o el Go, y por ello sería justo decir que hay terrenos en que la singularidad ya se ha producido. No debe perderse de vista, sin embargo, que, gracias a esos distintos métodos, de vez en cuando la inteligencia artificial producirá respuestas extrañas o simplemente se bloqueará.

Hay otros casos en que no se ha llegado al nivel humano; aquellos casos en que el manejo de bases de datos va multiplicando las opciones en forma exponencial y, por tanto, ni siquiera los ordenadores más potentes son capaces de manejar el número de opciones resultante.

Por ejemplo, el sistema AlphaZero fue entrenado para distintos juegos que, para cada movimiento, abría tal cantidad de opciones que hacía imposible procesarlas todas. Sus programadores resolvieron el problema mediante el llamado método Monte Carlo que permitía asignar probabilidades a las distintas opciones. No obstante, pueden encontrarse situaciones que no permitan ese atajo.

Otro caso difícil se encuentra cuando a un sistema se le solicita que imite a un cerebro humano pero no se pide que lo haga en sus aspectos más perfectos sino en lo que podrían denominarse “imperfecciones funcionales”. Llamamos imperfecciones funcionales a aquellas situaciones en las que, siendo la percepción incorrecta, el cerebro se encarga de corregirla. Ejemplos:

  • ¿Cómo es posible que, si nos tapamos un ojo, vemos cierta desviación pero seguimos viendo en relieve cuando hemos perdido la visión estereoscópica? El cerebro.
  • ¿Cómo es posible que, cuando tratamos de demostrar la existencia del punto ciego mediante los ejercicios al efecto, visualizando un objeto o una imagen, desaparece de nuestra visión el objeto frente al punto ciego pero su lugar aparece ocupado por el fondo en lugar de aparecer vacío? El cerebro.
  • ¿Cómo es posible que un piloto, cuando va a despegar, no se asuste al percibir que está entre dos líneas convergentes a los extremos de la pista y que, por tanto, debe despegar antes de llegar a la intersección de tales líneas? El cerebro es quien le informa de que las líneas son, en realidad, paralelas y la pista no se va a ir estrechando.

No hablemos ya de otros casos como la imagen invertida en la retina. Las imperfecciones funcionales son muy difíciles de imitar porque estamos tan habituados a ellas que nos resulta muy difícil convertirlas en conscientes e incluirlas en el proceso perceptivo de un sistema pero, aún así, no podemos descartar que se avance por ese camino lo suficiente para superar ese escollo.

Llegamos, por fin, a nuestro elefante en la habitación: La conciencia. La mayor parte de los investigadores en inteligencia artificial han optado por ignorarla, no por negar su existencia, lo que sería claramente absurdo, sino por entender que no aportaba nada a la solución de problemas.

Las explicaciones sobre su origen son oscuras o simplistas e incluso autores como Steven Pinker, que estira hasta el máximo posible las posibilidades de la teoría de la evolución, acaba afirmando que, en su faceta principal, se trata de un misterio.

Dejémoslo ahí. ¿Tiene ese misterio alguna relación con la resolución de problemas? ¿Hay problemas que una inteligencia artificial no puede resolver por carecer de conciencia? La respuesta es que sí.

Jeff Hawkins, autor a medio camino entre la inteligencia artificial y la neurología, se asombraba de que, incluso en las áreas de proyección en el cerebro -áreas que se supone que simplemente recogerían una fotografía fiel de lo que ocurre en el exterior- había muchas más fibras procedentes de otras partes del cerebro que del órgano del que supuestamente recibían los datos.

Es cierto que cualquier sistema puede tener sensores relativos a estados internos, incluso sin necesidad de que exista una inteligencia artificial: Un termostato, por ejemplo, puede referirse tanto a una temperatura externa como a una temperatura interna del sistema pero la conciencia con sus implicaciones representa algo cualitativamente diferente:

Son numerosos los casos en que la conciencia repentina de un hecho es la que dispara un proceso de resolución de problemas. Una de las mejores escenas de la película “Una mente maravillosa” se produce cuando Nash se da cuenta de que la niña no crece y, por tanto, es una alucinación. Algo parecido se produce cuando Alan Turing, el padre de la inteligencia artificial, advierte que los mensajes de Enigma probablemente estarán originalmente escritos en alemán y, si en un caso específico, llega a saber de qué están hablando, podría tener elementos que le ayudarían a desencriptar la clave.

Los dos casos mostrados son muy conocidos pero nuestra vida diaria está llena de ellos: Sin ningún cambio exterior visible, es la conciencia interna quien pone en marcha el proceso de resolución de problemas. Sin temor a exagerar, podría decirse que gran parte de los descubrimientos científicos nacen en ese proceso.

No puede ni debe minusvalorarse el impacto que puede tener en el futuro el desarrollo de la inteligencia artificial; sus posibilidades son realmente importantes y la “singularidad”, entendida como fenómeno parcial, hace mucho que ha llegado en bastantes terrenos. En otros, parece imposible que pueda llegar en ningún momento y el fenómeno responsable de ello es un elefante en la habitación que se han empeñado en negar. Quizás, para evitar llegar a un punto muerto en el futuro, debería comenzarse por darle carta de naturaleza y admitir su relevancia en la resolución de algunos problemas.

Anuncio publicitario

Inteligencia Artificial y eventos «Zero Day»

USO DE LA INTELIGENCIA ARTIFICIAL EN AVIACIÓN

Con la llegada de una nueva generación de asistentes digitales, como ChatGPT o Bard, la inteligencia artificial ha adquirido una popularidad que antes no tenía; su uso, ya generalizado, ha deslumbrado a algunos e incluso ya se habla del siguiente paso –AGIArtificial General Intelligence- como una evolución capaz de aprender autónomamente y sobre cualquier cosa.

El punto de inflexión o, si se prefiere, la salida del llamado invierno de la inteligencia artificial, que abarcaría la década de los 80 y gran parte de los 90, no aparece ni con Deep Blue, la máquina que derrotó a Kasparov en 1998, ni con el reciente ChatGPT; aparece con Alpha Zero, sucesor del AlphaGo que derrotaría al campeón mundial de Go, y con fuertes diferencias sobre su antecesor:

La diferencia fundamental está en que a AlphaGo, además de las reglas del juego, se le dio una enorme cantidad de información sobre situaciones y partidas jugadas por humanos; por el contrario, a Alpha Zero se le dieron las reglas, una instrucción específica de conseguir la victoria en el juego y un algoritmo de aprendizaje. Con estos recursos, Alpha Zero empezaría a jugar contra sí mismo y a generar un número de situaciones posibles inaccesible a un aprendizaje humano. ¿El resultado? El aprendiz Alpha Zero derrotó consistentemente al experto AlphaGo; el proceso se repitió con distintos juegos y el resultado siempre fue el mismo: Puede decirse que en ese momento nacía una nueva etapa para la inteligencia artificial.

A menudo se ha tratado de extrapolar este resultado a otros ámbitos, como ocurrió con Watson, sistema capaz de vencer a humanos en el concurso Jeopardize sobre conocimiento general, y que fracasó estrepitosamente cuando se creyó que su “conocimiento general” podía servir para aplicarlo a tareas como el diagnóstico médico. Aplicaciones como el ajedrez o el Go representan el terreno ideal para el uso de la inteligencia artificial: Reglas invariables, entornos cerrados y una cantidad de combinaciones virtualmente infinita. Pocas dudas caben sobre su utilidad en este tipo de entornos y su capacidad para superar ampliamente a la inteligencia humana.

Sin embargo, las cosas cambian mucho cuando se intenta aplicar la inteligencia artificial a entornos abiertos en los que un error puede tener consecuencias de una magnitud importante. Esta eventualidad se agrava cuando no es posible seguir la lógica de un sistema que es totalmente opaco a su usuario y que, ocasionalmente, puede actuar de formas que no son subóptimas sino abiertamente absurdas.

As Marcus and Davis[1] say, “A neural network that learns a particular task might score, say, 95 percent correct on some test. But then what? It’s often very difficult to figure out why the network is making mistakes on the other 5 percent, even when some of those mistakes are dramatic errors that no human would ever make, like the confusión…between a refrigerator and a parking sign. And if those mistakes matter and we can’t understand why the system is making them, we have a problem”.

Efectivamente, tenemos un problema. Cuando el sistema da una respuesta absurda, no sólo es inútil o peligrosa sino que no se sabe cómo ha llegado a ella ni, probablemente, es capaz de dar alternativas viables debido a un aspecto al que no se le suele prestar atención y que, sin embargo, es la clave que puede aconsejar mucha precaución en su uso en entornos críticos como la aviación:

La inteligencia artificial tiene una estricta separación entre aprendizaje y ejecución.

Dicho de otra forma, mientras está aprendiendo, está modificando sus algoritmos y acumulando situaciones previstas y, mientras está trabajando, no está mejorando los algoritmos sino que, en todo caso, está guardándose situaciones para utilizarlas en un futuro proceso de aprendizaje que dará lugar a una nueva versión mejorada.

En aviación, la inteligencia artificial cuenta con una oposición importante en distintas actividades en las que un error puede tener graves consecuencias, como es el caso de los pilotos o los controladores. Sin embargo, llama la atención que haya un desconocimiento generalizado del hecho de que la inteligencia artificial YA está ahí desde hace tiempo.

Por ejemplo, se dice que un Boeing 787 lleva unos 10 millones de líneas de código. ¿Alguien cree que esas líneas de código han sido desarrolladas por un ejército de programadores funcionando al estilo Crimson Permanent Assurance? No es así.

La mayor parte del código ha sido desarrollada por algoritmos de aprendizaje a los que se ha dotado de objetivos, han generado las líneas de código correspondientes y, una vez comprobado su funcionamiento, se han cargado al avión. La mejora de las distintas versiones proviene de añadir toda la experiencia operativa de los aviones en vuelo, generar nuevas soluciones, corregir fallos…y generar una nueva versión que se carga en esos mismos aviones.

¿Se ha perdido algo por el camino? Seguro que sí: La característica señalada por la que el sistema que aprende no ejecuta y el que ejecuta no aprende. Ésa es precisamente una de las características más típicas de la inteligencia artificial: Un sistema diseñado para aprender produce unas soluciones que se encargan de la ejecución; la ejecución realimenta el sistema que aprende que, a su vez, produce una nueva solución y el ciclo se repite indefinidamente.

Como ejemplo, el ya archiconocido Chat-GPT se apoya sobre una base de datos cerrada en 2021; todo lo que esté después de esa fecha simplemente no existe. Es de esperar que en algún momento se actualice y se ampliará el ámbito de soluciones, pero seguirá habiendo una separación entre aprendizaje y ejecución. El modelo de inteligencia artificial de Google, Bard, tiene acceso a Internet pero ello no garantiza que no exista la separación entre aprendizaje y ejecución ni que los criterios de selección de fuentes no estén mediatizados por intereses en el ámbito de la publicidad u otros.

¿Qué importancia tiene la separación entre aprendizaje y ejecución? Muy sencillo; la versión operativa del sistema no se diferencia de un sistema complejo basado en algoritmos y automatización. No es “inteligente” en el sentido de que la capacidad de aprendizaje está en otro sitio y, si la situación que afrontamos es nueva y no ha sido prevista en el proceso de aprendizaje -algo nada extraño en entornos muy dinámicos- el sistema será incapaz de proporcionar una respuesta; hará peticiones imposibles de recursos o entrará en un bucle sin posibilidad de dar una respuesta.

¿Cuál es la razón para este funcionamiento? El sistema capaz de aprender es la parte “pesada” de la inteligencia artificial en términos de requerimientos de capacidad de procesamiento y de acceso a información. No cabe pensar, por ejemplo, que tal sistema vaya embarcado en un avión; sin embargo, el producto resultante del aprendizaje es un sistema con un catálogo de soluciones muy superior al que tiene un piloto humano como consecuencia de su entrenamiento y éste sí puede ir embarcado. Eso sí, esta división hace que el sistema no tenga respuesta a un evento que no haya sido recogido en el proceso de aprendizaje y no tiene la posibilidad de lanzar tal proceso ante una situación desconocida.

Por su parte, el piloto humano no tiene esa separación entre aprendizaje y ejecución; su “catálogo” de situaciones previstas es mucho más escaso pero, ante una situación desconocida, puede recurrir a procesos de simulación mental y de experimentación que conduzcan a resolver un problema, aunque éste sea nuevo. El piloto humano puede resolver una situación para la que, en el momento de iniciar el vuelo, no conocía la solución.

Hay muchos casos que demuestran que este mecanismo aprendizaje/ejecución no es una mera hipótesis, sino que ha sido utilizado en eventos para los que el piloto, en el momento de afrontarlos, no conocía la solución. Casos como AA96, U232, US1549, QF32, AC143 y tantos otros han mostrado que la conjunción entre ejecución y aprendizaje en el humano permite salvar situaciones consideradas insalvables puesto que eran desconocidas en el momento de producirse. Esta opción, hoy, no está al alcance de la inteligencia artificial.

Los fabricantes, con frecuencia, se han orientado hacia una solución aparentemente viable: Tratar al piloto como un recurso de emergencia para las situaciones no previstas que, como tales, no pueden ser afrontadas por el sistema.

Stuart Russell[2] , co-autor del libro que podríamos considerer la Biblia de la inteligencia artificial[3], señaló que “handing control to the human when the vehicle is confused or out of its safe operating conditions simply doesn’t work. When the car is driving itself , humans quickly become disengaged from the immediate driving circumstances and cannot regain context quickly enough to take over safely”. Si bien Russell estaba hablando de automóviles, la cita es perfectamente aplicable al ámbito de la aviación; al piloto arrinconado por el sistema le faltarán claves para entender qué está ocurriendo y resolverlo si, previamente, ha sido expulsado de la participación en la operación o ésta se ha limitado a la ejecución de procedimientos elementales.

Buena parte de las claves para la solución de un evento anómalo pueden encontrarse en su desarrollo, es decir, qué cosas han ido pasando y en qué orden. Si el piloto se encuentra ausente de ese desarrollo, ausencia que es incluso promovida por tendencias de diseño como el dark cockpit, no puede esperarse que, una vez se presenta el evento inesperado, el piloto pueda afrontarlo con garantías de éxito. Por añadidura, si no es capaz de proponer y ejecutar una solución adecuada en unas condiciones que distan mucho de ser óptimas, cabe esperar que se utilice el conocido sello de “error humano”. Recuérdese en este sentido que casos como los B737MAX, AF447 o XL888T fueron inmediatamente atribuidos a este factor, ignorando, hasta que fue inevitable afrontarlos, los elementos de diseño que había debajo de ese error, real en unos casos y supuesto en otros.

Además de esa limitada capacidad para atender un evento en cuyo desarrollo no se ha estado presente, una solución que prime el elemento tecnológico sobre el humano está eliminando escalones necesarios para el aprendizaje. La experiencia resultante quedaría empobrecida y encontramos, corregida y aumentada, una situación como la actual en la que se anima a los pilotos a mantener la habilidad manual mientras se limitan progresivamente los momentos en que ésta puede ejercitarse.

La evolución tecnológica, incluido el uso de la inteligencia artificial, puede ayudar pero es conveniente ser muy conscientes tanto de sus limitaciones como de las necesidades del piloto humano si, realmente, se pretende que mantenga el control en situaciones normales y anormales. La vieja idea de utilizar al piloto como un fusible del sistema que, a costa de quemarse, impide el daño al sistema nunca ha servido ni desde el punto de vista funcional ni desde el ético. Ahora tampoco.


[1] Marcus, G. and Davis, E., 2019. Rebooting AI: Building artificial intelligence we can trust. Vintage.

[2] Russell, S., 2019. Human compatible: Artificial intelligence and the problem of control. Penguin.

[3] Russell, P.N., 2010. Artificial intelligence: a modern approach by stuart. Russell and Peter Norvig contributing writers, Ernest Davis…[et al.].

Una lección básica de seguridad en aviación: Los no-eventos son eventos.

Hace poco tiempo, publicaba un análisis sobre la conveniencia o no de tener un solo piloto en la fase de crucero. Incidentalmente, utilicé como ejemplo el caso AF447, donde el comandante se encontraba fuera de la cabina cuando se iniciaron los problemas y, aunque los diagnosticó correctamente, no tuvo tiempo suficiente para resolverlos.

Alguien, en tono amistoso, me criticó la selección del ejemplo puesto que, en ese caso, no se trataba precisamente de una tripulación con un único piloto sino, muy al contrario, una tripulación reforzada y, por tanto, el argumento podía no ser válido.

La crítica tiene fundamento, especialmente si consideramos que, en caso de haber habido un único piloto y ser precisamente el que percibió con claridad la situación, tal vez el accidente no se habría producido.

Es posible, pero no hay ninguna garantía de que ése hubiera sido el resultado: Una tripulación compuesta por dos pilotos expertos puede encontrarse en una situación de resolución de problemas; las ideas de uno realimentan las del otro y, tal vez, de ese proceso podría nacer alguna solución que a ninguno de ellos se le habría ocurrido de forma individual. Al fin y al cabo, en este proceso y en cómo manejarlo de la mejor forma posible se fundamenta toda la práctica de CRM.

Podemos dar razones que hacen no aconsejable dejar sólo a un piloto en la cabina con el hipotético soporte de un sistema de información más avanzado que los actuales; una de ellas, fundamental y claramente perceptible, es la aparición de un evento de rápido desarrollo que pueda requerir la contribución de, como mínimo, dos personas pero…no hay datos. ¿Por qué no hay datos?

Aquí es donde tendríamos que entrar en el hecho de que un no-evento es un evento: Un accidente es un evento dramático y de alta visibilidad. Una situación que de lugar a un incidente grave puede lograr visibilidad a través de los sistemas de reporte -si es reportada- pero ¿cuántas situaciones no llegan a ser reportadas porque, simplemente, los pilotos perciben una anomalía y, al buscar su origen, encuentran un problema con capacidad para generar un problema serio?

Ahí están los no-eventos; al no ser visibles no entran en el proceso de toma de decisiones y, simplemente, son ignorados. Quizás se debería hacer el esfuerzo de darles visibilidad a los no-eventos para conseguir que sean tenidos en cuenta.

Hay sistemas de reporte excelentes como, por ejemplo, el ASRS pero, por su propia naturaleza, no están enfocados a la toma de decisiones regulatorias como admitir o no la posibilidad de que un avión a altitud de crucero tenga sólo un piloto en cabina.

Proyectos como el eMCO de EASA están enfocados a la realización de distintos análisis que permitan una conclusión final sobre la conveniencia o no de esta práctica pero, por mucha sabiduría académica que se les quiera poner a estos proyectos, les seguirán faltando datos y, sin embargo, estos datos serían muy fáciles de obtener. Bastaría con un esfuerzo por parte de los profesionalmente implicados en el asunto:

La aviación se ha distinguido por tener un conjunto de medios de información y gestión específicos para casi cualquier cosa imaginable: FDM, OBM, LOFT, LOSA, sistemas de reporte, seguimiento individualizado de elementos críticos del avión, reconocimientos médicos, grupos de soporte psicológico…

Sin embargo, en toda esa masa de información todavía falta algo que sería crítico para aceptar o rechazar una decisión tan importante como la de tener un único piloto en crucero:

Una base de datos de no-eventos, es decir, detección de señales débiles o no-señales en las que el disparador de un proceso de solución de problemas es, precisamente, que no hay disparador y, sin embargo, pueden tener el potencial de un rápido desarrollo hacia una situación crítica, evitada mediante la colaboración entre los dos pilotos en cabina.

No se trata de “jugar a la contra” sino de asegurarse de que datos muy relevantes son tenidos en cuenta en el momento de tomar una decisión final. Sin embargo, para esto, se necesitarían varias cosas:

  1. La más obvia: Recoger información sobre casos con ese perfil: Señales débiles o no-señales con potencial para derivar a situaciones críticas y que requieran la intervención de los dos pilotos.
  2. Evaluación de los reportes recibidos, estableciendo si cumplen las condiciones requeridas y si son susceptibles de ser atendidos con soporte tecnológico.
  3. Utilización de los datos en la discusión correspondiente con los reguladores.

Un último apartado es la necesidad de requerir que no haya trampas desde el lado tecnológico. “Trampas” en este caso significaría utilizar los sucesos reportados para añadirlos uno a uno al sistema que, supuestamente, serviría de soporte al piloto único.

Podríamos plantearnos si eso es realmente una trampa o, simplemente, es una forma de aprendizaje tecnológico perfectamente legítima; en tal caso, la respuesta sería simple y clara: Es una trampa. ¿Por qué?

Simplemente, se trata de situaciones poco comunes y no previstas; a medida que se van reportando, se pueden ir introduciendo en un sistema como “previstas” pero seguirá habiendo muchas más que puedan aparecer y que no estarán presentes entre las previstas.

El piloto humano -cualquier humano- tiene como característica propia la capacidad para detectar un entorno completo y, al hacerlo, una señal débil o una ausencia de señal le permitirá entrar en un proceso de solución de problemas. Un sistema, por avanzado que sea, no tiene esa capacidad y se limita a las situaciones previstas: Alimentarlo con los resultados de un sistema de reporte encaminado a evaluar la conveniencia o no de tener un solo piloto en crucero contribuye a disimular pero no a eliminar un simple hecho: La tecnología puede ejecutar pero carece de sentido común y de respuesta situaciones no previstas.

Un sistema, por avanzado que sea, no tiene esa capacidad y se limita a situaciones previstas: alimentarlo con los resultados de un sistema de informes destinado a evaluar la conveniencia de contar con un solo piloto a nivel de crucero contribuye a disimular pero no a eliminar un hecho simple:

La tecnología puede realizar tareas -algunas de ellas con más precisión que los humanos y sin fatiga- pero sigue careciendo de sentido común y de la posibilidad de responder a situaciones imprevistas. Los humanos, en cambio, pueden resolver situaciones que no estaban en su «base de datos» personal.


Estos hechos deberían bastar para ser extremadamente cuidadosos a la hora de decidir los lugares en los que la tecnología tendrá un papel importante.

¿Es suficiente un piloto a altitud de crucero?

Permítaseme comenzar con un apartado autobiográfico: Antes de entrar de lleno al área de factores humanos, allá para los inicios de los 2000, me dedicaba al área de recursos humanos y, entre otras cosas, tenía que encargarme de análisis, planificación y adecuación de plantillas.

Un estándar muy común en planificación de plantillas es el 80%, es decir, considerar que, si el 80% de la jornada de trabajo se están realizando tareas propias del puesto, la plantilla estará bien dimensionada. Es un estándar que tiene numerosas excepciones; una de ellas vinculada con la irregularidad en el flujo de tareas. ¿Podríamos pensar en una plantilla de bomberos definida de modo que el 80% de su tiempo esté apagando incendios? ¿Y una plantilla de policías definida de modo que el 80% de su tiempo esté deteniendo delincuentes? Evidentemente, tales plantillas estarían infradotadas puesto que no tendrían capacidad para atender a un pico de trabajo.

¿Y los pilotos? Resulta curioso que la sugerencia de tener sólo un piloto a altitud de crucero aparezca precisamente en un momento en que se intenta tratar al piloto como un recurso de emergencia, dejando en la medida de lo posible, el vuelo en manos de la tecnología.

Sigamos, pues, la lógica de tratar el puesto de trabajo del piloto como un puesto cuya justificación, en buena parte, durante la fase de crucero está en la atención a posibles emergencias: Su carga de trabajo es muy alta cuando se encuentran en tierra o en las proximidades de tierra mientras que, en crucero, esta carga de trabajo normalmente disminuye mucho, pero…subrayemos el “normalmente”. Una búsqueda de eventos críticos en crucero en la base de datos de la ASRS nos devuelve 5.553 situaciones de crisis, como muestra la figura al inicio.

 Añadamos que un evento grave en aviación puede desarrollarse en un tiempo extremadamente corto y su gestión puede requerir la atención plena de, como mínimo, dos personas.

Distintos eventos han demostrado que dos personas representan un mínimo absoluto que, en algunos casos, puede verse sobrepasado. Pensemos en casos como el Swissair 111, donde un incendio a bordo obligó a preparar un desvío a un aeropuerto cercano y desconocido, búsqueda de frecuencias de radio y rutas de aproximación, arrojar combustible para disminuir el peso del avión y, además, ver si había alguna forma de extinguir el incendio. No la hubo. ¿Habrían sido distintas las cosas con una persona más? Imposible saberlo.

Otros casos más afortunados como el AC143, el QF32 o el U232 nos dicen que, en una fase del vuelo en que la carga de trabajo suele ser baja, pueden presentarse situaciones que necesiten más de dos manos cualificadas para atenderlas, es decir, idéntica situación a la de los policías, los bomberos o cualquier otra profesión que, por su naturaleza, atienda a situaciones de emergencia.

Los promotores de la idea de piloto único en fase de crucero la justifican en la carencia de pilotos y tranquilizan al público hablando de un soporte tecnológico avanzado para ese único piloto. ¿Puede utilizarse la lógica de la carencia para reducir de uno a ninguno el número de pilotos a bordo?.

En cuanto al soporte tecnológico, éste cuenta con una interesante peculiaridad que se refleja en un viejo chiste: Hay quien define a un banquero como un señor que nos presta un paraguas y, cuando empieza a llover, nos pide que se lo devolvamos. De igual manera, la tecnología suele facilitar las tareas cuando, ya en origen, son fáciles y puede convertirse en un problema añadido cuando la situación es difícil y no permite realizar acciones que serían necesarias o tiene comportamientos anómalos.

La popularización de la inteligencia artificial es sólo una vuelta de tuerca más a una situación en la que ya se producían estos efectos. Con o sin inteligencia artificial, aunque más cuando ésta está presente, los sistemas pueden tener conductas extrañas derivadas de su programación y, cuando éstas aparecen, en lugar de facilitar las tareas al piloto humano, le añaden una nueva que no es precisamente menor.

-Cuando una alarma deja de sonar cuando el avión está a una velocidad tan baja que el sistema interpreta que el avión está en tierra, está añadiendo confusión.

-Cuando interpreta una pasada como un aterrizaje y corta la potencia, está añadiendo confusión.

-Cuando, muy próximo al suelo, el sistema reacciona a un aviso de pérdida y fuerza hacia abajo el morro del avión, está provocando un accidente.

-Cuando interpreta una aproximación como un sobrevuelo de un aeropuerto y borra todos los datos de la aproximación programada, está añadiendo carga de trabajo.

-Cuando las características orográficas de un aeropuerto obligan a que los pilotos tengan que “engañar” al sistema para hacer factible el aterrizaje en una pista corta, éste puede producir reacciones no previstas…

No puede olvidarse que los sistemas de información carecen de sentido común y dejar a un único piloto en sus manos como alternativa a una discusión entre expertos de una situación desconocida y a la gestión subsiguiente de esa situación, no es algo que tranquilice o represente una garantía de seguridad.

Se puede argumentar que hay otro piloto dentro del avión y que, bajo este modelo, lo único que se hace es evitar llevar tripulaciones de refuerzo. Sea, pero en ese caso, permítaseme recordar un evento: AF447: El comandante se encontraba fuera de la cabina y, cuando regresó, se encontró una situación tan inmanejable que, incluso cuando fue capaz de diagnosticar correctamente qué era lo que estaba pasando, ya fue demasiado tarde para recuperar el avión: Un suceso que no debería haber llegado demasiado lejos -la congelación de un sensor- provocó reacciones anómalas en el sistema y éstas confundieron por completo a los pilotos que se encontraban en la cabina; cuando alguien con más experiencia entró en ella, su mayor conocimiento no fue acompañado de la disponibilidad del tiempo que habría sido necesario para resolver el problema.  

El último tema es el más obvio: ¿Qué ocurre en caso de incapacitación? ¿Van a utilizar prácticas como el “pedal de hombre muerto” de los ferrocarriles? No funcionó en el caso de Waterfall en Australia y podría no funcionar en un avión donde un evento puede alcanzar rápidamente el nivel que lo convierta en no manejable. Por otro lado ¿cómo se compagina la idea de piloto único a la altitud de crucero con la de que el piloto no se quede solo en la cabina, puesta en marcha tras el caso GermanWings 9525? ¿Tiene que ir acompañado por un tripulante de cabina? ¿No tiene más sentido que sea acompañado por alguien que, ante una emergencia, pueda contribuir a evaluarla y resolverla cuando, si es grave, va a requerir el concurso de ambos?

La inteligencia artificial y el error de Kasparov

Hay quien sitúa el renacimiento de la inteligencia artificial en 1998, cuando una máquina llamada Deep Blue fue capaz de derrotar al campeón mundial de ajedrez, Kasparov.

No es cierto; Deep Blue puede calificarse de humano incompleto o, si se prefiere, de idiot savant, es decir, alguien que es capaz de procesar en muy poco tiempo una gran cantidad de información que le han suministrado sobre partidas de ajedrez y sus resultados. Dicho de otro modo, el aprendizaje de Deep Blue es demasiado humano para poder catalogarse seriamente como inteligencia artificial.

Unos años después apareció Alpha Zero con un planteamiento completamente distinto: Se le daban las reglas del juego e instrucciones de ganar y, a partir de ahí, entraba en un proceso de aprendizaje jugando contra sí mismo. Con toda probabilidad, las opciones que habría tenido Kasparov o cualquier otro jugador de su nivel contra Alpha Zero habrían sido nulas y, sin embargo, en 1998, un mal manejo por parte de Kasparov de sus opciones le llevó a una derrota que, entonces, podría haber sido evitada.

Kasparov no era consciente de una importante debilidad de la inteligencia artificial, entonces y ahora: La fase de aprendizaje requiere una potencia de procesamiento espectacular aplicada, alternativamente, sobre bases de datos de contenidos (caso de Deep Blue) o sobre contenidos autogenerados (caso de Alpha Zero); el proceso de aprendizaje genera un programa mucho más sencillo, con menos requerimientos de potencia y éste es el que se enfrenta, en nuestro caso, a Kasparov.

Quizás este detalle puede parecer irrelevante pero no lo es en absoluto: Kasparov estaba jugando contra un programa sofisticado y capacidad para generar un nivel de juego equivalente a un jugador de primera línea pero…sin capacidad de aprendizaje. La capacidad de aprendizaje estaba en otro sitio y Kasparov tuvo en su mano la posibilidad de permitir o no su utilización.

Al principio de la competición, se establecieron las reglas de ésta y, entre ellas, estaba la posibilidad de admitir asesores externos por ambas partes. Kasparov podía haber prescindido de ellos y, al hacerlo así, habría obligado a que Deep Blue tampoco los tuviera, es decir, se habría quedado enfrentado a la parte operativa de Deep Blue que, teniendo un buen nivel de juego, probablemente habría sido insuficiente para derrotar a Kasparov.

Sin embargo, éste aceptó que hubiera asesores externos y ¿quiénes podían ser los asesores externos de Deep Blue? Especialistas en tecnología de la información que podían hacer el enlace entre la parte generadora de aprendizaje y la parte usuaria de ese aprendizaje. De esta forma, situaciones de difícil salida por no haber sido previstas podían ser manejadas recurriendo al primo de Zumosol, es decir, al sistema capaz de aprender. Ese acceso no habría existido si se hubiera cerrado a ambas partes la posibilidad de tener asesores y Kasparov posiblemente se habría ahorrado una derrota frente a un programa mucho menos evolucionado que los que vinieron después.

En términos prácticos, el asunto no tiene mayor importancia. Quizás Kasparov habría vencido en 1998 pero habría sido derrotado unos años más tarde con la aparición de sistemas capaces de aprender de forma “no humana” como el mencionado Alpha Zero.

Sin embargo, a pesar de esa irrelevancia en términos prácticos, lo que le falló a Kasparov es la explotación de una debilidad de la inteligencia artificial que hoy sigue existiendo, es decir, la estricta separación entre la parte del sistema que aprende y la parte del sistema que utiliza lo aprendido.

Gary Klein señalaba como las personas, en su proceso para tomar una decisión, podían realizar simulaciones mentales que les daban información sobre si una opción funcionaría o no. Puede decirse que, en el caso de las personas, no hay una separación entre el proceso de aprendizaje y el proceso de ejecución sino que ambos van indisolublemente unidos.

En el caso de la inteligencia artificial, las cosas son distintas: El sistema dispone de una gran cantidad de opciones de respuesta pero, si la situación que afronta no está contemplada entre las opciones disponibles -cosa no descartable en entornos abiertos- no dispone de esa capacidad de simulación mental que le permita aprender y, a la vez, ejecutar una tarea que no se encontraba en su catálogo de soluciones previo.

Esta diferencia, vital pero poco conocida salvo para los especialistas, hace que en determinados entornos donde las consecuencias de un error pueden ser muy elevadas, la inteligencia artificial pueda ser cuestionable, salvo en un papel complementario.

Kasparov no supo, o no dio la relevancia adecuada, a este factor y le supuso una derrota que, tal vez, habría sido evitable. Hoy, esto sigue siendo ignorado con mucha frecuencia y, como resultado, se podría llegar a utilizar la inteligencia artificial en entornos para los que no está preparada.

Los requerimientos de tiempo, capacidad de procesamiento y acceso a ingentes bases de datos de un sistema capaz de aprender hace que su inclusión en el sistema que ejecuta las tareas, sea un juego de ajedrez o manejar un avión, sea inviable. El sistema que utiliza el producto del aprendizaje, mucho más ligero, puede tener preparada la respuesta para una enorme cantidad de situaciones pero, si la que se produce no está entre ellas, no cabe esperar respuesta.

Este aspecto, frecuentemente ignorado, debería estar muy presente en muchas de las decisiones que se toman sobre dónde utilizar la inteligencia artificial y dónde no hacerlo.

La inteligencia artificial como vehículo para la degradación del conocimiento

Mucho antes de la eclosión de la inteligencia artificial, era fácil ver que en un momento en que la acumulación de conocimiento había alcanzado sus mayores niveles, se estaba produciendo una degradación del conocimiento humano en muchos terrenos.

En la primera fase, la degradación se produce a través de una especialización a ultranza y, en la segunda, se produce pasando de un conocimiento en profundidad a uno puramente procedimental.

Gary Klein nos previno contra la “segunda singularidad”, es decir, el hecho de que antes de que un ordenador sea capaz de superar a un ser humano – la llamada “singularidad”- éste haya sufrido un proceso de degradación de conocimiento tal que facilite la llegada de la singularidad original.

En la adquisición de conocimiento funciona una ley muy conocida por los expertos en calidad:

El coste del conocimiento está sujeto a una ley de rendimientos marginales decrecientes.

Cualquiera que haya recurrido a un centro de atención telefónica, sabe muy bien lo que es hablar con un robot humano, es decir, alguien dotado de un conocimiento estrictamente procedimental y que, cuando cualquier situación excede de su escaso ámbito de competencia, transferirá la petición a un experto o, misteriosamente, se cortará la llamada.

Una parodia, no exenta de una buena carga de realidad, sobre esta falta de conocimiento y sus efectos puede encontrarse aquí:

La unión de un conocimiento estrictamente procedimental junto con el uso de la realidad virtual también podía encontrarse antes de la popularización de la inteligencia artificial en ejemplos como éste:

Por supuesto, recorrer el camino inverso y pasar de un conocimiento procedimental a un conocimiento a fondo y a la posesión de las habilidades asociadas a éste, es un paso mucho más costoso, y aquí es donde entraría en juego la inteligencia artificial porque muestra una alternativa precisamente para evitarlo:

Se trata de una opción de menor calidad pero también de mucho menor coste que tiene muchas posibilidades de profundizar en un proceso de degradación iniciado hace tiempo.

Un mundo dominado por la inteligencia artificial daría lugar a varios tipos de situaciones distintas:

  • Situaciones en que podríamos resolver problemas con rapidez, ahorrando trabajo y de una forma brillante.
  • Situaciones en que la respuesta obtenida fuera mediocre pero un análisis coste-beneficio la convirtiese en aceptable.
  • Situaciones en las que nos haría peticiones imposibles de recursos de memoria o capacidad de procesamiento o entraría en un bucle infinito sin llegar nunca a una solución.

Estos tres tipos de situación abren tres preguntas derivadas de ellas y de gran relevancia para la evolución del futuro conocimiento:

  • ¿Quién y para qué se va a molestar en aprender algo que una inteligencia artificial siempre hará mejor?
  • ¿Quién se va a molestar en aprender algo que una inteligencia artificial hará igual o peor, pero con un proceso de aprendizaje mucho más rápido y barato?
  • Asumiendo que la adquisición de conocimiento profundo es cara en tiempo y dinero ¿a quién le va a merecer la pena adquirir los conocimientos necesarios para resolver esas situaciones para las que la inteligencia artificial no tiene respuesta?

Por cualquiera de los tres caminos llegamos al mismo sitio: Degradación del conocimiento humano. Sin embargo, puesto que la inteligencia artificial no es capaz de generar sus propios objetivos, se necesita un conocimiento humano de un nivel alto -y no sólo relativo al funcionamiento de la inteligencia artificial- para ser capaz de proveer los objetivos adecuados.

Alguien podría pensar que la tarea de poner los objetivos es fácil y lo difícil es precisamente lo que hace la inteligencia artificial, es decir, aprender pero la realidad es muy distinta:

Asimov escribió una divertida novela, “Azazel”, en la que un demonio hacía una interpretación literal de todo lo que se le pedía y se presentaban situaciones imprevistas en las que, habitualmente, todo empezaba bien pero, gracias a la interpretación literal, quien le planteó el objetivo al demonio acababa deseando no haberlo hecho jamás.

Asimov plantea el problema en una forma divertida, pero la vida real nos ha dado numerosos ejemplos; así, se han producido casos como las acusaciones de racismo a Amazon por el sistema utilizado para el reclutamiento; al parecer, Amazon había identificado a sus trabajadores de mayor rendimiento para buscar perfiles parecidos y, al hacerlo así, había introducido involuntariamente diversos sesgos que fueron objeto de denuncia. En una actividad muy distinta, los taxis sin conductor de San Francisco están provocando numerosas quejas, especialmente por parte de servicios de emergencia, debido a una conducción cada vez más agresiva.

Hay distintos tipos de algoritmos de aprendizaje y, en ausencia de un “Master Algorithm”, como lo denominó Pedro Domingos, cada tipo de problema tiene un algoritmo que es más adecuado que los demás pero, supuesto que el algoritmo haya sido correctamente seleccionado, la definición de los objetivos y las limitaciones a la actuación son quienes definen la corrección de lo que se aprende y de las actuaciones resultantes.

Sin embargo, la definición de objetivos y sus limitaciones requiere un conocimiento profundo, ni accesible al sistema ni exclusivamente acerca del sistema; ese conocimiento es costoso de adquirir y ese coste es difícil de asumir, especialmente cuando hay sucedáneos de más bajo nivel que pueden dar una respuesta, aunque sea mediocre.

Se podría argumentar que una máquina podría fijarle objetivos a otra, de modo parecido a cómo se están utilizando sistemas de inteligencia artificial para interpretar a otros sistemas y, de esta forma, hacer comprensibles sus resultados a la persona que tiene que asegurarse de que el sistema aprende lo correcto.

 Tal vez, en cierto modo la opción de tener sistemas poniendo objetivos a otros sistemas sería una buena noticia, pero un eventual fallo en la formulación de objetivos se arrastraría a través de distintas generaciones de inteligencia artificial y, probablemente, no quedaría nadie capaz de corregir el error: La discusión estaría ya a un nivel inalcanzable para un humano cuyo conocimiento había sido degradado.

La situación, tal como está definida hoy, presenta dos problemas:

  • ¿Quién, por qué y para qué va a tratar de adquirir un conocimiento profundo sobre cualquier materia cuando se dispone de un conocimiento superficial infinitamente más barato y rápido de obtener?
  • En el supuesto de que quisiéramos adquirir ese nivel de conocimiento ¿vamos a tener la posibilidad de hacerlo o, al estar su adquisición mediatizada por sistemas de inteligencia artificial, nunca llegaremos al nivel de conocimiento profundo necesario para retar y mejorar los sistemas?

El problema no es la inteligencia artificial; éste es un proceso en marcha desde hace mucho tiempo. Sowell lo identificó correctamente, como demuestra la cita inicial, pero se detuvo en la especialización y no siguió profundizando en la espiral de degradación del conocimiento y sus efectos.

La inteligencia artificial sólo ha puesto el elemento tecnológico que se necesitaba para carta de naturaleza y, tal vez, para dotar de irreversibilidad al proceso.

Inteligencia Artificial: ¿El nuevo «Camino de Servidumbre»?

Ante los ojos del colectivista hay siempre un objetivo superior a cuya consecución sirven estos actos y que los justifican para aquél, porque la prosecución del fin común de la sociedad no puede someterse a limitaciones por respeto a ningún derecho o valor individual.

Camino de servidumbre, Hayek

Cuando una tecnología o una herramienta es suficientemente poderosa, los cambios que produce en la sociedad no son cuantitativos sino cualitativos. No producen mejoras acumulativas sino que producen cambios sociales profundos.

Hoy podemos preguntarnos si la inteligencia artificial tiene potencial suficiente para alterar el modelo social y llevarnos a un nuevo camino de servidumbre, en términos muy semejantes a los que en su día reflejó Hayek. Probablemente sí; nótese que Hayek se oponía la planificación central por el efecto que ésta suponía sobre la libertad individual. Sin embargo, veremos que un mundo en el que la inteligencia artificial pase a tener un papel relevante es difícilmente separable del concepto de planificación central.

Resulta difícil mantener una discusión racional sobre la inteligencia artificial, sus capacidades, sus limitaciones y sus potenciales efectos. Para algunos, tiene un poder mágico y no hay nada que se le pueda resistir; otros preferirán refugiarse en un esencialismo de lo humano y negarán que nos pueda desplazar.

Entre los iluminados tecnológicos, se da un argumento muy común: Los esencialistas humanos siempre han puesto un límite que, supuestamente, nunca se iba a superar y el desarrollo tecnológico ha superado una y otra vez esos límites; este argumento ha sido utilizado concretamente por Rodney Brooks, uno de los personajes presentes en la primera y fallida etapa de la inteligencia artificial, quien, curiosamente, no percibió que su argumento tenía el mismo fallo que denunciaba: Del hecho de que el progreso tecnológico haya sido capaz de saltar todas las barreras que los esencialistas señalaban como inamovibles no puede deducirse que no exista ningún límite, como parecería concluirse de la crítica al esencialismo humano.

Éste es el terreno en el que nos movemos desde hace mucho tiempo; Aristóteles decía que en el término medio está la virtud…y, en la mayoría de los casos, se equivocaba: Es difícil que la verdad sobre cualquier cosa pueda salir triunfante de una contraposición de absurdos y, tal vez, lo que debe hacerse no es buscar el hipotéticamente virtuoso término medio sino cambiar el modelo de análisis y, sobre todo, que las partes en conflicto no estén defendiendo intereses propios sino que estén buscando la mejora desde distintas perspectivas.

La inteligencia artificial de hoy está muy lejos de la llamada GOFAI (Good Old Fashioned Artificial Intelligence) siempre hambrienta de una memoria y de una capacidad de procesamiento que acabarían siendo las excusas perfectas para justificar la lentitud o la ausencia de avances.

Cuando, hoy, nos definen a los utility-based agents (Norvig y Russell) como an agent that possesses an explicit utility function can make rational decisions with a general-purpose algorithm that does not depend on the specific utility function being maximized es inevitable preguntarnos si está hablando de nosotros y si esa definición no es aplicable a todos y cada uno de los seres humanos. Si es así ¿por qué nos debería preocupar la inteligencia artificial, más allá del hecho de ser un competidor? Si conseguimos a alguien/algo con una capacidad intelectual capaz de romper todos los límites conocidos y que, además, no trae su propio equipaje de intereses bastardos ¿no deberíamos alegrarnos?

Tal vez no, aunque muchos críticos de la inteligencia artificial yerran el tiro: Cuando se habla de sistemas críticos -aviación, industria nuclear y otros- donde el comportamiento correcto es clave para el mantenimiento de la seguridad, dirigen su crítica más hacia lo que les resulta más familiar, es decir, sistemas complejos dotados de reacciones automáticas, cuya complejidad los hace difíciles de entender para quienes los operan y difíciles de utilizar de forma eficaz cuando se presentan eventos no previstos en su diseño.

Cierto es que un sistema dotado de inteligencia artificial no mejoraría esa situación sino que, muy probablemente, la empeoraría y habría que contar con eventos en los que el avanzadísimo sistema entrase en un bucle infinito, en una petición imposible de recursos o requiriese unos tiempos de proceso inasumibles en una situación de urgencia. El piloto, el operador nuclear y otros tienen en estas situaciones el papel de Alejandro Magno deshaciendo el nudo gordiano por el simple procedimiento de cortarlo, sin dejarse enredar por su complejidad; eso sí, para lograrlo necesita una espada y muchos de los sistemas actuales lo primero que hacen es arrebatarle el equivalente metafórico de la espada, es decir, conciencia situacional plena y autoridad indiscutible sobre el sistema que está manejando.

La moderna inteligencia artificial va mucho más allá de la complejidad de automatismos ciegos en los que la complejidad proviene de una lógica interna con multitud de ramas no conocidas y de una interacción con sensores y efectores no conocida en detalle por quien los maneja. No es ésa la complejidad de la inteligencia artificial; ésta evoluciona y es capaz de mejorar pero…

  • ¿Le han marcado correctamente las prioridades de forma que el propio proceso de aprendizaje no pueda hackearlas y producir resultados inesperados?
  • ¿Es capaz de atender a situaciones cambiantes donde la respuesta correcta implica una revisión de las prioridades y los criterios de éxito?
  • ¿Puede enredarse en situaciones que requieran un aumento inasumible de memoria o tiempo de procesamiento?
  • ¿Puede enredarse en situaciones donde no sea capaz de encontrar una respuesta válida y continúe buscándola indefinidamente?

Cada una de estas preguntas puede desarrollarse en otras preguntas de rango inferior y más próximas a la operativa concreta pero, desde un punto de vista estrictamente funcional, son las preguntas a responder y no son fáciles.

Una persona, que conozca a fondo el área de conocimiento a la que se aplica la inteligencia artificial, no tendrá ninguno de estos problemas, sin que ello implique que no pueda ser superada en terrenos donde las reglas son fijas y los objetivos no están sujetos a cambios.

Así, la inteligencia artificial representa un desarrollo tecnológico capaz de competir con ventaja contra humanos en los terrenos en que ha desarrollado su aprendizaje y siempre que disponga de reglas fijas; al mismo tiempo, ese mismo desarrollo es una mala caricatura de un experto cuando las situaciones son ambiguas y cambiantes.

Pueden encontrarse situaciones en que programas de inteligencia artificial ya ampliamente populares son utilizados para realizar tareas en las que se ahorra un buen número de horas de trabajo; al mismo tiempo, hay ocasiones en que las soluciones proporcionadas distan mucho de tener una calidad medianamente buena; lo peor de todo es que no siempre es fácil entender por qué en un caso ha dado una respuesta excelente y en otro, aparentemente muy parecido, ha contestado una trivialidad o ha dado una información errónea.

Sin embargo, su utilización va creciendo de forma bastante acrítica porque, a pesar de estos inconvenientes, la inteligencia artificial puede dar soluciones rápidas y que, incluso en los casos en que su calidad sea cuestionable, pueden pasar como suficientes. Un fenómeno habitual es que la calidad de las respuestas sea vista de forma muy distinta por alguien que es nuevo en el ámbito de conocimiento y por un experto en ese mismo ámbito.

¿Por qué el grado de aceptación es superior a lo que justifican los resultados? Los expertos en calidad nos han enseñado que el coste de la mejora marginal crece exponencialmente; ello puede conducir a conformarse con un resultado mediocre si éste resulta mucho más fácil de conseguir que un resultado excelente y éste sería uno de los primeros peligros de la inteligencia artificial:

Disminuir el valor asociado al conocimiento humano, mucho más lento costoso de adquirir, y preferir una versión degradada de éste conduce a una degradación del conocimiento humano y, con ello, no sólo de la capacidad asociada a la utilización de tal conocimiento sino de la capacidad para marcarle objetivos adecuados a la inteligencia artificial. En otras palabras, podría producirse un parón en la generación de conocimiento y en el desarrollo resultante; además, ese parón no afectaría sólo al conocimiento humano sino también a la capacidad de desarrollo de la inteligencia artificial.

Otro aspecto esperable es una situación de desempleo masivo en todo el mundo; en muchas actividades, la inteligencia artificial podría llevar a cabo las tareas necesarias, en unos casos con mayor calidad que su contraparte humana y en otros, con menor calidad, pero siempre con mucho menor coste de procesamiento.

Normalmente, cuando se utiliza este argumento, cabe esperar como respuesta una referencia a la Revolución Industrial y cómo hubo cambios de tipos de trabajo, pero, globalmente, la cantidad de trabajo existente no sólo no disminuyó, sino que aumentó. ¿Cabe esperar algo parecido ahora? No; debe tenerse en cuenta que la reproducción de sistemas digitales tiene un coste cercano a cero y, por tanto, el número de especialistas en inteligencia artificial no es, en absoluto, proporcional a la cantidad de potencia instalada. De igual modo y por la misma lógica, no se necesita un número de programadores de Windows proporcional al número de unidades en funcionamiento.

Alguien podría pensar que esto vale para el diseño básico, pero no para la adaptación y la implantación. Si es así, recordemos la diferencia entre los sistemas AlphaGo y AlphaZero: El primero fue diseñado específicamente para jugar al Go y competir con el campeón mundial del momento al que derrotó; el segundo fue diseñado para aprender de cualquier conjunto de dato que se le facilitase; cuando le facilitaron un conjunto de datos sobre Go, AlphaZero aprendió el juego con una calidad suficiente para derrotar a AlphaGo, que a su vez había derrotado a un campeón mundial, y aprendió otros juegos en los que también fue capaz de derrotar a programas especializados. ¿De verdad, en ese contexto, alguien puede creer que la adaptación individual y la implantación va a proporcionar el número de puestos de trabajo que produzca un nuevo efecto Revolución Industrial?

¿Puede funcionar un mundo donde el trabajo sea algo cuantitativamente marginal? En teoría, sí. Los aumentos de productividad en actividades donde el trabajo humano sería mínimo o inexistente podrían permitir soluciones como los subsidios universales, en su día defendidos por el propio Keynes, pero ¿quién los controlaría? Una sociedad en la que el trabajo es algo realizado por unos pocos y, probablemente, durante un corto tiempo es una sociedad que, casi por fuerza, funciona mediante una planificación central, es decir, el modelo que Hayek criticaba en “Camino de servidumbre”.

Naturalmente, éste sería el primer paso. Los pasos siguientes consistirían en determinar cuántas personas pueden ser mantenidas por ese sistema centralizado, eliminando toda libertad individual en cuestiones como tener o no hijos y prácticas como la eugenesia y la eutanasia formarían parte del paisaje, con carácter obligatorio.

Curiosamente, este sistema de planificación central apoyado en una eclosión de la inteligencia artificial caería en el mismo problema que todos los sistemas de planificación central anteriores: ¿Cuál es el incentivo para conseguir una mayor productividad? ¿No llegaríamos a una especie de “planeta de los simios”, viviendo del progreso realizado por otros en épocas anteriores?

Cuando alguien dice que la inteligencia artificial puede significar el fin de la humanidad, no es previsible que piense en una nueva edición de “Terminator”, sino en el fin de una humanidad donde el individuo tiene un valor intrínseco y no es una mera pieza de un Leviatán digital.

Si el trabajo desaparece, es previsible que los demás elementos -planificación central, pérdida de valor del individuo, determinación de cuántos habitantes tiene que haber, eugenesia, eutanasia, etc.- aparezcan como una consecuencia lógica.

Por otra parte, puesto que la inteligencia artificial necesita que le faciliten objetivos y la experiencia demuestra que ésta no es una tarea fácil, la regresión hacia la mediocridad del conocimiento humano haría difícil el progreso, incluso si éste se pretende que esté basado en la inteligencia artificial. Llegados aquí, efectivamente, la humanidad tal como la conocemos, habría desaparecido.

THE HIDDEN SIDE-EFFECTS OF ARTIFICIAL INTELLIGENCE

(English Translation below)

La Inteligencia Artificial, desde su inicio, ha traído un enorme entusiasmo tanto a favor como en contra. Tanto unos como otros incurren en un esencialismo difícil de justificar: Los primeros porque, al equiparar al ser humano con un procesador, llegan a la conclusión de que el estado del arte de la tecnología de la información permite tener mejores opciones. Los segundos porque consideran que el ser humano aporta elementos que son imposibles de conseguir para la máquina.

Sin embargo, en el estado actual, esa discusión que aún sigue vigente peca de superficialidad: ¿La tecnología de la información es capaz de procesar infinitamente más información y mucho más rápidamente que cualquier humano? Claramente, sí. ¿El ser humano es capaz de atender a situaciones que son imposibles para los más avanzados productos tecnológicos? Claramente también. ¿Puede entonces encontrarse un nicho de especialización en el que convivan ambos? Eso ya es más discutible y de ahí la idea de efectos escondidos.

Pongamos un ejemplo conocido: La previsión meteorológica. Un meteorólogo experto es capaz de detectar pautas que se le pueden escapar a un sistema de información avanzado; sin embargo, el sistema de información avanzado es capaz de procesar muchas más fuentes de información de las que puede procesar el meteorólogo, especialmente si contamos con limitaciones temporales que van a definir la validez de la previsión.

El meteorólogo experto puede equivocarse pero también puede conseguir resultados superiores a los accesibles a un sistema de información gracias a su conocimiento de pautas y a su capacidad para “construir” una evolución esperable. Sin embargo, contradecir al sistema encargado de las previsiones puede representar un compromiso importante porque, en caso de error, alguien le estará señalando que el sistema se lo estaba avisando.

Un meteorólogo menos experto, ya formado en un entorno de sistemas de información, será más proclive a aceptar pasivamente los resultados del sistema y le resultará más difícil adquirir el conocimiento de un meteorólogo experto. Le faltará capacidad para seleccionar las fuentes de datos relevantes y alcanzar conclusiones propias y lo que es peor: La experiencia trabajando con un sistema de información no le dotará de esa capacidad. Nunca alcanzará el nivel de experto sino, como máximo, el de operador avanzado de sistemas de información. Por añadidura, un cambio de sistema de información puede representar la pérdida de un conjunto de ”trucos del oficio” aprendidos de la observación; se trata de un conocimiento operativo que no es susceptible de trasladar a otro entorno, incluso cuando ese nuevo entorno no signifique otra cosa que un cambio de proveedor tecnológico.

Por supuesto, la meteorología es un mero ejemplo que se puede extrapolar a la aviación, a la navegación marítima, a la mecánica, a las finanzas y virtualmente a cualquier terreno imaginable.

La “toma racional de decisiones” se ha convertido en un estándar incluso en aquellos terrenos en que no es la práctica adecuada; algunos autores como Gigerenzer, Klein o Flach han señalado entornos en que ese modelo de procesamiento de información no sirve y, en su lugar, se utilizan modelos de procesamiento heurístico que hacen uso de la experiencia acumulada en forma de conocimiento tácito, difícil de expresar y más difícil aún de formalizar, y que son los que han resuelto situaciones en las que un modelo “racional” habría llegado a la parálisis por el análisis, incluso aunque se requiriese una respuesta urgente y se tratase de un caso de vida o muerte.

Casos muy conocidos en aviación como el American Airlines 96, United 232, QF32, US1549, Gimli glider y muchos otros muestran claramente cuál es el valor del experto. Sin embargo, el riesgo que se está corriendo hoy es que las generaciones formadas en entornos de tecnología de la información avanzada nunca alcancen ese nivel de experto.

El sociólogo francés Edgar Morin advertía de que la máquina-máquina siempre será superior al hombre-máquina. Sin embargo, al privar al ser humano de la capacidad para adquirir conocimiento real, lo estamos convirtiendo en hombre-máquina.

¿Puede convivir la inteligencia artificial con la generación de expertos capaces de cubrir las insuficiencias de la primera? En teoría, sí. Los hechos están demostrando que esa opción tiene una gran dificultad porque no son desarrollos independientes.

La persona formada en una disciplina donde ha entrado la inteligencia artificial tiene cada vez más difícil el camino para convertirse en un experto real, es decir, elegir los datos que necesita, procesarlos en la forma que un humano experto lo haría y llegar a sus propias conclusiones.

El advenimiento de la nueva generación de sistemas de información dotados de inteligencia artificial está conduciendo a que el conocimiento tácito se esté tratando como conocimiento obsoleto, aunque se trata de dos cosas completamente distintas. Se está destruyendo la escala que permite acceder al grado de experto, atendiendo a cantidad y diversidad de situaciones vividas y, con ello, podemos perder capacidad para atender a situaciones imposibles para cualquier sistema de información por avanzado que éste sea.

No es la única situación posible, pero escenarios en los que hay que actuar de forma inmediata y con unos datos fragmentarios y a menudo contradictorios no son precisamente el ámbito en que se desenvuelven bien los sistemas de información. El ser humano muestra en estas situaciones capacidades que están más allá de las de los sistemas de información -porque procesa esas situaciones de forma radicalmente distinta- pero, para que esto ocurra, es necesario disponer de expertos y no de los hombres-máquina mencionados por Morin.

El gran problema y el efecto colateral oculto de los sistemas de información avanzados es precisamente que está destruyendo la capacidad de generar expertos y, en su lugar, está estableciendo un reino de mediocridad tecnológicamente avanzada. Cuando un avanzadísimo sistema de inteligencia artificial basado en la computación cuántica tenga que tomar una decisión en una situación como las señaladas más arriba, nos acordaremos de los expertos desaparecidos.

THE HIDDEN SIDE-EFFECTS OF ARTIFICIAL INTELLIGENCE

Artificial Intelligence, since its inception, has brought enormous enthusiasm both for and against. Both incur in an essentialism that is difficult to justify: The former because, by equating the human being with a processor, conclude that the state of the art of Information Technology allows for better options. The latter because they consider that the human being provides elements that are impossible for the machine to achieve.

However, in the current state of the art, this discussion, which is still going on, is superficial:

Is information technology capable of processing infinitely more information and much faster than any human being? Clearly, yes.

Is a human being capable of dealing with situations that are impossible for the most advanced technological products? Clearly, yes.

Can a niche of specialization be found in which both can coexist? That is more debatable and hence the idea of hidden effects.

Let’s take a well-known example: weather forecasting. An expert meteorologist can detect patterns that may escape an advanced information system; however, the advanced information system is able to process many more sources of information than the expert meteorologist can process, especially if we have temporal limitations that will define the validity of the forecast.

The expert meteorologist can be wrong, but he can also achieve results superior to those accessible to an information system thanks to his knowledge of patterns and his ability to «construct» an expected evolution. However, contradicting the forecasting system may represent a major compromise because, in case of error, someone will be pointing out to him that the system was warning him.

A less experienced meteorologist, already trained in an information systems environment, will be more likely to passively accept the results of the system and will find it more difficult to acquire the knowledge of an expert meteorologist. He will lack the ability to select relevant data sources and reach his own conclusions and worse: His experience working with an information system will not give him that ability. He will never reach the level of an expert but, at most, that of an advanced information system operator. Moreover, a change of information system may represent the loss of a set of «tricks of the trade» learned from observation; this would be operational knowledge not transferable to another environment, even if “new environment” means nothing more than a change of technological supplier.

Of course, meteorology is only an example of something that happens in aviation, maritime navigation, mechanics, finance, and virtually any imaginable terrain.

Rational decision making» has become a standard even in those fields where it is not the proper practice; some authors such as Gigerenzer, Klein or Flach have pointed out environments where such an information processing model does not work. Instead, heuristic processing that make use of accumulated experience in the form of tacit knowledge are used; they are difficult to express and even more difficult to formalize and, despite that, these are the models that have solved situations where a «rational» model would have reached paralysis by analysis, even if an urgent response was required and it was a case of life and death.

Well known cases in aviation such as American Airlines 96, United 232, QF32, US1549, Gimli glider and many others clearly show what the value of the expert is. However, the risk today is that generations trained in advanced information technology environments will never reach that level of expert.

The French sociologist Edgar Morin warned that the machine-machine will always be superior to the man-machine. However, by depriving human beings of the ability to acquire real knowledge, we are turning them into man-machines.

Can artificial intelligence coexist with the generation of experts capable of covering the inadequacies of the former? In theory, yes. The facts are showing that this option is very difficult because they are not independent developments.

The person trained in a discipline where Artificial Intelligence has entered has an increasingly difficult path to become a real expert, i.e., to choose the data he needs, process it in the way a human expert would and come to his own conclusions.

The advent of the new generation of information systems equipped with artificial intelligence is leading to the fact that tacit knowledge is being treated as obsolete knowledge, although these are two completely different things. The scale that allows access to the level of expert, based on the number and diversity of situations experienced, is being destroyed and, as a result, we may lose the capacity to deal with situations that are impossible for any information system, no matter how advanced it may be.

Scenarios requiring immediate action, with fragmentary and often contradictory data are not exactly the area in which information systems excel. In these situations, human beings show capabilities that are beyond those of information systems -because they process these situations in a radically different way- but for this to happen, it is necessary to have experts and not the machine-men mentioned by Morin.

The great problem and the hidden side effect of advanced information systems is precisely that it is destroying the capacity to generate experts. In its place, it is establishing a reign of technologically advanced mediocrity. When a highly advanced artificial intelligence system based on quantum computing must make a decision in a situation like the ones described above, we will remember the missing experts.

Life after a Black Swan

COVID-19 or coronavirus could be considered, at least partially, as a genuine Black Swan. It’s true that the first condition to qualify as a Black Swan is to be impossible to foresee. In this case, we can find a TED conference by Bill Gates in 2015, where he warned that we were not prepared to manage it. Five years later, facts have shown that we were not ready and, at practical effects, it can be named a Black Swan, a false one if we want but a Black Swan anyway.

black-swan-4553166_640

The behavior of many Governments in front of the outbreak can be qualified from poor management to openly criminal and, as a consequence, we have entered a new situation whose consequences are hard to foresee.

Unless a vaccination or a treatment can be found in a very short time, something is sure: The world won’t come back to the zero-day. No Government will have the «Black Swan» excuse anymore before the next outbreak but, beyond that, some changes in the common behavior can point to other changes that could last well beyond the end of the outbreak.

Probably, the restrictions of the movements are going to enforce the real dawn of teleworking, training on-line and many other related activities that, during the outbreak, have been used as an emergency resource but, now, it could become the standard way. Of course, it can change our work habits but, at the same time, it will have a major impact on real estate, traveling and…it has shown that Internet, basic tool for so many activities, is far from being as strong as pretended: Actually, the increased use of digital platforms like Netflix, Amazon or others during quarantine periods challenged the capacity of some of the main nodes.

However, these facts together with the impact on the world economy could be read as the trivial lessons to be obtained from the Black Swan. There are other potential effects that could be far higher.

One of them is related to the start of the outbreak.  As it happened with Chernobyl, where the Soviet Government denied everything until the pollution went out of their borders, the denial of the Chinese Government, allowing massive feasts that contributed to spread the virus once they knew of its existence could have internal and external consequences.

Could it drive to a major internal turmoil? If so, the consequences are hard to foresee, since China is nowadays the factory of the world. What about the external situation? Some Governments are pointing to China as responsible for the outbreak and its consequences due to the behavior shown during the first 20 critical days. Will these accusations go beyond public statements or will they remain inconsequential?

There is still a third kind of effect in the future world: Many optimists say that the world never was better and, to defend this position, they show statistical reports about hunger, health, life expectations, wars, and many others. They think that all the media focus on the negative side because it sells better than the positive side and it gives a distorted view of the world. It could be but there is still another option:

There is a lot of powder magazines in the world and we do not know which one will explode and, if so, what will be the consequences of the explosion and if they could start new explosions. We should remind that, when IWW started, not many people were conscious of it, due to the uncommon links of the facts that came after an assassination in Sarajevo. Actually, the IWW name came after the war itself.

To use the same term, we are running a farm of black swans and we do not know the consequences that could come from that. Then, without denying that the material side could be better than it was in any other Human age, the stability of that situation is very questionable.

Peter Turchin warned about this instability and how we should expect a major change in the world as we know it. Turchin is prone to mathematical models and, as such, he has defined nice algorithms and graphics. However, for those who think that numbers are a language and, as such, they can misguide people under the flag of «objectivity», the real value of the Turchin model is not in the algorithms; it’s in the dynamics. He was very original, observing variables that passed unnoticed for many other researchers and explaining why these variables could be used as indicators of a major trend.

Turchin expected a major change in the 2020 decade as a consequence of being in the final stage of the decomposition. Being conscious that I’m simplifying his model perhaps beyond any legitimate limit, a major event -like a war- brings a kind of vaccination that can last for two generations driving to a prosperity period. After that, the decomposition starts driven by people who did not live that major event, driving to others and repeating the cycle.

Covid-19 and its consequences will be for many people a major event in their lives. The question, hard to answer, is if it will accelerate the decomposition process or, instead, it will reset the model starting a new positive cycle driven by people that, suddenly, discovered that there are real problems, far more important than the invented by some political leaders.

Some changes, even in the language of politicians, during the outbreak and how people rebuke those who try to attract the attention to the issues in their political agendas are quite revealing. Something is already changing; it’s not the virus. It’s the meaning of the change in the life conditions for many of us and how this change made many people build a new hierarchy of values.

Nietzsche said that what does not kill us makes us stronger. At this moment, we do not know if we will die -as a society- because of this crisis or we will become stronger, at least for a time. Something is sure: It will not be inconsequential.

Artificial Intelligence, Privacy and Google: An explosive mix

A few days ago, I knew about a big company using AI in the recruiting processes. Not a big deal since it has become a common practice and if something can be criticized, is the fact that AI commits the same error that human recruiters: The false-negative danger; a danger that goes far beyond recruiting.

The system can have more and more filters, learning from them but…what about the candidates that were eliminated despite they could have been successful? Usually, we will never know about them and, hence, we cannot learn from our errors rejecting good candidates. We know of cases like Clark Gable or Harrison Ford that were rejected by Hollywood but, usually, following the rejected candidates is not feasible and, then, the system -and the human recruiter- learns to improve the filters but it’s not possible learning from the wrong rejections.

That’s a luxury that companies can afford while it affects to jobs where the supply of candidates and the demand for jobs is clearly favorable. However, this error is much more serious if the same practice applies to highly demanded profiles. Eliminating a good candidate is, in this case, much more expensive but both, AI system and human recruiters, don’t have the opportunity to learn from this error type.

Only companies like Google, Amazon or Facebook with an impressive amount of information about many of us could afford to learn from the failures of the system. It’s true that, as a common practice, many recruiters “google” the names of the candidates to get more information, but these companies keep much more information about us than the offered when someone searches for us in Google.

Then, since these companies have a feature that cannot be reached by other companies, including big corporations, we could expect them to be hired in the next future to perform recruiting, evaluate insurance or credit proposals, evaluation about potential business partners and many others.

These companies having so much information about us can share Artificial Intelligence practices with their potential clients but, at the same time, they keep a treasure of information that their potential clients cannot have.

Of course, they have this information because we voluntarily give it in exchange for some advantages in our daily life. At the end of the day, if we are not involved in illegitimate or dangerous activities and we don’t have the intention of doing it, is it so important having a Google, Amazon, Facebook or whoever knowing what we do and even listening to us through their “personal assistants”? Perhaps it is:

The list of companies sharing this feature -almost unlimited access to personal information- is very short. Then, any outcome from them could affect us in many activities, since any company trying to get an advantage from these data is not going to find many potential suppliers.

Now, suppose a dark algorithm that nobody knows exactly how it works deciding that you are not a good option to get a job, insurance, a credit…whatever. Since the list of suppliers of information is very short, you will be rejected once and again, even though nobody will be able to give you a clear explanation of the reasons for the rejection. The algorithm could have chosen an irrelevant action that happens to keep a high correlation with a potential problem and, hence, you would be rejected.

Should this danger be disregarded? Companies like Amazon had their own problems with their recruiting systems when, unintendedly, they introduced racial and genre biases. There is not a valid reason to suppose that this cannot happen again with much more data and affecting many more activities.

Let me share a recent personal experience related to this error type: Recently, I was blacklisted by a supplier of information security. The apparent reason was having a page, opening automatically every time I opened Chrome, without further action. That generated repeated accesses; it was read by the website as an attempt to spy and they blacklisted me. The problem was that the supplier of information security had many clients: Banks, transportation companies…and even my own ISP. All of them denied my access to their websites based on the wrong information.

This is, of course, a minor sample of what can happen if Artificial Intelligence is applied over a vast amount of data by the few companies that have access to them and, because of reasons that nobody could explain, we must confront rejection in many activities; a rejection that would be at the same time universal and unexplained.

Perhaps the future was not defined in «1984» by Orwell but in “The process” by Kafka.