Categoría: Gestión de conocimiento

INTELIGENCIA ARTIFICIAL: LA INSISTENCIA EN NO VER EL ELEFANTE EN LA HABITACIÓN

En este momento, raro es el día en que no sale una nueva inteligencia artificial que nos promete distintos tipos de maravillas. Bien; digamos que durante el llamado “invierno” de la inteligencia artificial, se han ignorado los progresos que se estaban haciendo mientras que, ahora, nos encontramos en la situación opuesta: Disponibilidad para maravillarnos ante cualquier cosa que pueda aparecer.

Quizás convendría hacer una pausa y preguntarse en qué momento estamos respecto a la llamada “singularidad”, es decir, el momento en que un ordenador será capaz de superar a una persona en cualquier tipo de reto imaginable donde la inteligencia tenga un papel.

En esa pausa, es forzoso reconocer que la inteligencia artificial y la inteligencia humana funcionan de modo radicalmente distinto. Una vez que esto se entienda con claridad, se podrá entender otra cosa:

Hay terrenos en los que la “singularidad” ha llegado hace tiempo; hay otros en los que cabe esperar que llegue en un tiempo relativamente breve y hay otros en los que nunca llegará y es en estos últimos donde reside nuestro ignorado “elefante”.

Si decimos que un ordenador es capaz de manejar enormes bases de datos y hacerlo en muy poco tiempo, estaremos enunciado un hecho cierto pero, al mismo tiempo, estaremos ignorando otro: Cuando un cambio cuantitativo se produce en varios órdenes de magnitud, deja de ser cuantitativo para ser cualitativo.

Permítaseme utilizar un ejemplo de hace pocos días y que resulta bastante revelador sobre las diferencias de funcionamiento:

Al preguntarle a una de las múltiples inteligencias artificiales de acceso público -LuzIA en este caso- si Tina Turner estaba viva en 1980, su respuesta fue Sí. Tina Turner estaba viva en 1980. En ese año, lanzó su quinto álbum de estudio en solitario, “Private Dancer”, que fue un gran éxito y contribuyó a su éxito en la década de 1980.

Nótese que la pregunta era simplemente si estaba viva y la respuesta incluyó unos datos que no había solicitado pero que, al mismo tiempo, fueron bastante reveladores sobre su funcionamiento.

Naturalmente, si le hacemos esta pregunta a un humano, antes de responder, habría recordado que Tina Turner había fallecido muy recientemente con una edad en el entorno de los noventa años y, por tanto, en 1980 estaba viva.

La inteligencia artificial, al menos en ese momento, no tenía almacenado el hecho de que una persona está viva entre las fechas de su nacimiento y su muerte y, al hacer una pregunta sobre una fecha específica, busca en su enorme base de datos alguna actividad de esa persona en esa fecha y, al encontrarla, concluye que está viva y, en este caso, añade además la información que le ha servido para concluir que está viva.

Al encontrar que la inteligencia artificial podía llegar a la misma conclusión -correcta- a través de un camino totalmente distinto a la inteligencia humana, probé a tenderle una pequeña trampa: Al parecer, si ejerce alguna actividad, está viva. Veámoslo. Siguiente pregunta:

Si decimos que Tina Turner lleva varias semanas criando malvas ¿podemos afirmar que Tina Turner está viva?

La respuesta no se hizo esperar:

Por supuesto. Si está criando malvas, significa que está viva.

No se trata en este caso de enfatizar el error sino, muy al contrario, de mostrar cómo, a través de procesos completamente distintos, la inteligencia artificial puede llegar a conclusiones que en la mayoría de los casos son correctas.

En ese manejo de ingentes cantidades de datos, no sólo puede llegar a conclusiones similares a las humanas sino que puede cruzar los datos de forma que alcancen conclusiones no alcanzables por ningún ser humano. Son muchos los ámbitos en que se puede producir esta situación, no sólo juegos como el ajedrez o el Go, y por ello sería justo decir que hay terrenos en que la singularidad ya se ha producido. No debe perderse de vista, sin embargo, que, gracias a esos distintos métodos, de vez en cuando la inteligencia artificial producirá respuestas extrañas o simplemente se bloqueará.

Hay otros casos en que no se ha llegado al nivel humano; aquellos casos en que el manejo de bases de datos va multiplicando las opciones en forma exponencial y, por tanto, ni siquiera los ordenadores más potentes son capaces de manejar el número de opciones resultante.

Por ejemplo, el sistema AlphaZero fue entrenado para distintos juegos que, para cada movimiento, abría tal cantidad de opciones que hacía imposible procesarlas todas. Sus programadores resolvieron el problema mediante el llamado método Monte Carlo que permitía asignar probabilidades a las distintas opciones. No obstante, pueden encontrarse situaciones que no permitan ese atajo.

Otro caso difícil se encuentra cuando a un sistema se le solicita que imite a un cerebro humano pero no se pide que lo haga en sus aspectos más perfectos sino en lo que podrían denominarse “imperfecciones funcionales”. Llamamos imperfecciones funcionales a aquellas situaciones en las que, siendo la percepción incorrecta, el cerebro se encarga de corregirla. Ejemplos:

  • ¿Cómo es posible que, si nos tapamos un ojo, vemos cierta desviación pero seguimos viendo en relieve cuando hemos perdido la visión estereoscópica? El cerebro.
  • ¿Cómo es posible que, cuando tratamos de demostrar la existencia del punto ciego mediante los ejercicios al efecto, visualizando un objeto o una imagen, desaparece de nuestra visión el objeto frente al punto ciego pero su lugar aparece ocupado por el fondo en lugar de aparecer vacío? El cerebro.
  • ¿Cómo es posible que un piloto, cuando va a despegar, no se asuste al percibir que está entre dos líneas convergentes a los extremos de la pista y que, por tanto, debe despegar antes de llegar a la intersección de tales líneas? El cerebro es quien le informa de que las líneas son, en realidad, paralelas y la pista no se va a ir estrechando.

No hablemos ya de otros casos como la imagen invertida en la retina. Las imperfecciones funcionales son muy difíciles de imitar porque estamos tan habituados a ellas que nos resulta muy difícil convertirlas en conscientes e incluirlas en el proceso perceptivo de un sistema pero, aún así, no podemos descartar que se avance por ese camino lo suficiente para superar ese escollo.

Llegamos, por fin, a nuestro elefante en la habitación: La conciencia. La mayor parte de los investigadores en inteligencia artificial han optado por ignorarla, no por negar su existencia, lo que sería claramente absurdo, sino por entender que no aportaba nada a la solución de problemas.

Las explicaciones sobre su origen son oscuras o simplistas e incluso autores como Steven Pinker, que estira hasta el máximo posible las posibilidades de la teoría de la evolución, acaba afirmando que, en su faceta principal, se trata de un misterio.

Dejémoslo ahí. ¿Tiene ese misterio alguna relación con la resolución de problemas? ¿Hay problemas que una inteligencia artificial no puede resolver por carecer de conciencia? La respuesta es que sí.

Jeff Hawkins, autor a medio camino entre la inteligencia artificial y la neurología, se asombraba de que, incluso en las áreas de proyección en el cerebro -áreas que se supone que simplemente recogerían una fotografía fiel de lo que ocurre en el exterior- había muchas más fibras procedentes de otras partes del cerebro que del órgano del que supuestamente recibían los datos.

Es cierto que cualquier sistema puede tener sensores relativos a estados internos, incluso sin necesidad de que exista una inteligencia artificial: Un termostato, por ejemplo, puede referirse tanto a una temperatura externa como a una temperatura interna del sistema pero la conciencia con sus implicaciones representa algo cualitativamente diferente:

Son numerosos los casos en que la conciencia repentina de un hecho es la que dispara un proceso de resolución de problemas. Una de las mejores escenas de la película “Una mente maravillosa” se produce cuando Nash se da cuenta de que la niña no crece y, por tanto, es una alucinación. Algo parecido se produce cuando Alan Turing, el padre de la inteligencia artificial, advierte que los mensajes de Enigma probablemente estarán originalmente escritos en alemán y, si en un caso específico, llega a saber de qué están hablando, podría tener elementos que le ayudarían a desencriptar la clave.

Los dos casos mostrados son muy conocidos pero nuestra vida diaria está llena de ellos: Sin ningún cambio exterior visible, es la conciencia interna quien pone en marcha el proceso de resolución de problemas. Sin temor a exagerar, podría decirse que gran parte de los descubrimientos científicos nacen en ese proceso.

No puede ni debe minusvalorarse el impacto que puede tener en el futuro el desarrollo de la inteligencia artificial; sus posibilidades son realmente importantes y la “singularidad”, entendida como fenómeno parcial, hace mucho que ha llegado en bastantes terrenos. En otros, parece imposible que pueda llegar en ningún momento y el fenómeno responsable de ello es un elefante en la habitación que se han empeñado en negar. Quizás, para evitar llegar a un punto muerto en el futuro, debería comenzarse por darle carta de naturaleza y admitir su relevancia en la resolución de algunos problemas.

Anuncio publicitario

Inteligencia Artificial y eventos «Zero Day»

USO DE LA INTELIGENCIA ARTIFICIAL EN AVIACIÓN

Con la llegada de una nueva generación de asistentes digitales, como ChatGPT o Bard, la inteligencia artificial ha adquirido una popularidad que antes no tenía; su uso, ya generalizado, ha deslumbrado a algunos e incluso ya se habla del siguiente paso –AGI o  Artificial General Intelligence- como una evolución capaz de aprender autónomamente y sobre cualquier cosa.

El punto de inflexión o, si se prefiere, la salida del llamado invierno de la inteligencia artificial, que abarcaría la década de los 80 y gran parte de los 90, no aparece ni con Deep Blue, la máquina que derrotó a Kasparov en 1998, ni con el reciente ChatGPT; aparece con Alpha Zero, sucesor del AlphaGo que derrotaría al campeón mundial de Go, y con fuertes diferencias sobre su antecesor:

La diferencia fundamental está en que a AlphaGo, además de las reglas del juego, se le dio una enorme cantidad de información sobre situaciones y partidas jugadas por humanos; por el contrario, a Alpha Zero se le dieron las reglas, una instrucción específica de conseguir la victoria en el juego y un algoritmo de aprendizaje. Con estos recursos, Alpha Zero empezaría a jugar contra sí mismo y a generar un número de situaciones posibles inaccesible a un aprendizaje humano. ¿El resultado? El aprendiz Alpha Zero derrotó consistentemente al experto AlphaGo; el proceso se repitió con distintos juegos y el resultado siempre fue el mismo: Puede decirse que en ese momento nacía una nueva etapa para la inteligencia artificial.

A menudo se ha tratado de extrapolar este resultado a otros ámbitos, como ocurrió con Watson, sistema capaz de vencer a humanos en el concurso Jeopardize sobre conocimiento general, y que fracasó estrepitosamente cuando se creyó que su “conocimiento general” podía servir para aplicarlo a tareas como el diagnóstico médico. Aplicaciones como el ajedrez o el Go representan el terreno ideal para el uso de la inteligencia artificial: Reglas invariables, entornos cerrados y una cantidad de combinaciones virtualmente infinita. Pocas dudas caben sobre su utilidad en este tipo de entornos y su capacidad para superar ampliamente a la inteligencia humana.

Sin embargo, las cosas cambian mucho cuando se intenta aplicar la inteligencia artificial a entornos abiertos en los que un error puede tener consecuencias de una magnitud importante. Esta eventualidad se agrava cuando no es posible seguir la lógica de un sistema que es totalmente opaco a su usuario y que, ocasionalmente, puede actuar de formas que no son subóptimas sino abiertamente absurdas.

As Marcus and Davis[1] say, “A neural network that learns a particular task might score, say, 95 percent correct on some test. But then what? It’s often very difficult to figure out why the network is making mistakes on the other 5 percent, even when some of those mistakes are dramatic errors that no human would ever make, like the confusión…between a refrigerator and a parking sign. And if those mistakes matter and we can’t understand why the system is making them, we have a problem”.

Efectivamente, tenemos un problema. Cuando el sistema da una respuesta absurda, no sólo es inútil o peligrosa sino que no se sabe cómo ha llegado a ella ni, probablemente, es capaz de dar alternativas viables debido a un aspecto al que no se le suele prestar atención y que, sin embargo, es la clave que puede aconsejar mucha precaución en su uso en entornos críticos como la aviación:

La inteligencia artificial tiene una estricta separación entre aprendizaje y ejecución.

Dicho de otra forma, mientras está aprendiendo, está modificando sus algoritmos y acumulando situaciones previstas y, mientras está trabajando, no está mejorando los algoritmos sino que, en todo caso, está guardándose situaciones para utilizarlas en un futuro proceso de aprendizaje que dará lugar a una nueva versión mejorada.

En aviación, la inteligencia artificial cuenta con una oposición importante en distintas actividades en las que un error puede tener graves consecuencias, como es el caso de los pilotos o los controladores. Sin embargo, llama la atención que haya un desconocimiento generalizado del hecho de que la inteligencia artificial YA está ahí desde hace tiempo.

Por ejemplo, se dice que un Boeing 787 lleva unos 10 millones de líneas de código. ¿Alguien cree que esas líneas de código han sido desarrolladas por un ejército de programadores funcionando al estilo Crimson Permanent Assurance? No es así.

La mayor parte del código ha sido desarrollada por algoritmos de aprendizaje a los que se ha dotado de objetivos, han generado las líneas de código correspondientes y, una vez comprobado su funcionamiento, se han cargado al avión. La mejora de las distintas versiones proviene de añadir toda la experiencia operativa de los aviones en vuelo, generar nuevas soluciones, corregir fallos…y generar una nueva versión que se carga en esos mismos aviones.

¿Se ha perdido algo por el camino? Seguro que sí: La característica señalada por la que el sistema que aprende no ejecuta y el que ejecuta no aprende. Ésa es precisamente una de las características más típicas de la inteligencia artificial: Un sistema diseñado para aprender produce unas soluciones que se encargan de la ejecución; la ejecución realimenta el sistema que aprende que, a su vez, produce una nueva solución y el ciclo se repite indefinidamente.

Como ejemplo, el ya archiconocido Chat-GPT se apoya sobre una base de datos cerrada en 2021; todo lo que esté después de esa fecha simplemente no existe. Es de esperar que en algún momento se actualice y se ampliará el ámbito de soluciones, pero seguirá habiendo una separación entre aprendizaje y ejecución. El modelo de inteligencia artificial de Google, Bard, tiene acceso a Internet pero ello no garantiza que no exista la separación entre aprendizaje y ejecución ni que los criterios de selección de fuentes no estén mediatizados por intereses en el ámbito de la publicidad u otros.

¿Qué importancia tiene la separación entre aprendizaje y ejecución? Muy sencillo; la versión operativa del sistema no se diferencia de un sistema complejo basado en algoritmos y automatización. No es “inteligente” en el sentido de que la capacidad de aprendizaje está en otro sitio y, si la situación que afrontamos es nueva y no ha sido prevista en el proceso de aprendizaje -algo nada extraño en entornos muy dinámicos- el sistema será incapaz de proporcionar una respuesta; hará peticiones imposibles de recursos o entrará en un bucle sin posibilidad de dar una respuesta.

¿Cuál es la razón para este funcionamiento? El sistema capaz de aprender es la parte “pesada” de la inteligencia artificial en términos de requerimientos de capacidad de procesamiento y de acceso a información. No cabe pensar, por ejemplo, que tal sistema vaya embarcado en un avión; sin embargo, el producto resultante del aprendizaje es un sistema con un catálogo de soluciones muy superior al que tiene un piloto humano como consecuencia de su entrenamiento y éste sí puede ir embarcado. Eso sí, esta división hace que el sistema no tenga respuesta a un evento que no haya sido recogido en el proceso de aprendizaje y no tiene la posibilidad de lanzar tal proceso ante una situación desconocida.

Por su parte, el piloto humano no tiene esa separación entre aprendizaje y ejecución; su “catálogo” de situaciones previstas es mucho más escaso pero, ante una situación desconocida, puede recurrir a procesos de simulación mental y de experimentación que conduzcan a resolver un problema, aunque éste sea nuevo. El piloto humano puede resolver una situación para la que, en el momento de iniciar el vuelo, no conocía la solución.

Hay muchos casos que demuestran que este mecanismo aprendizaje/ejecución no es una mera hipótesis, sino que ha sido utilizado en eventos para los que el piloto, en el momento de afrontarlos, no conocía la solución. Casos como AA96, U232, US1549, QF32, AC143 y tantos otros han mostrado que la conjunción entre ejecución y aprendizaje en el humano permite salvar situaciones consideradas insalvables puesto que eran desconocidas en el momento de producirse. Esta opción, hoy, no está al alcance de la inteligencia artificial.

Los fabricantes, con frecuencia, se han orientado hacia una solución aparentemente viable: Tratar al piloto como un recurso de emergencia para las situaciones no previstas que, como tales, no pueden ser afrontadas por el sistema.

Stuart Russell[2] , co-autor del libro que podríamos considerer la Biblia de la inteligencia artificial[3], señaló que “handing control to the human when the vehicle is confused or out of its safe operating conditions simply doesn’t work. When the car is driving itself , humans quickly become disengaged from the immediate driving circumstances and cannot regain context quickly enough to take over safely”. Si bien Russell estaba hablando de automóviles, la cita es perfectamente aplicable al ámbito de la aviación; al piloto arrinconado por el sistema le faltarán claves para entender qué está ocurriendo y resolverlo si, previamente, ha sido expulsado de la participación en la operación o ésta se ha limitado a la ejecución de procedimientos elementales.

Buena parte de las claves para la solución de un evento anómalo pueden encontrarse en su desarrollo, es decir, qué cosas han ido pasando y en qué orden. Si el piloto se encuentra ausente de ese desarrollo, ausencia que es incluso promovida por tendencias de diseño como el dark cockpit, no puede esperarse que, una vez se presenta el evento inesperado, el piloto pueda afrontarlo con garantías de éxito. Por añadidura, si no es capaz de proponer y ejecutar una solución adecuada en unas condiciones que distan mucho de ser óptimas, cabe esperar que se utilice el conocido sello de “error humano”. Recuérdese en este sentido que casos como los B737MAX, AF447 o XL888T fueron inmediatamente atribuidos a este factor, ignorando, hasta que fue inevitable afrontarlos, los elementos de diseño que había debajo de ese error, real en unos casos y supuesto en otros.

Además de esa limitada capacidad para atender un evento en cuyo desarrollo no se ha estado presente, una solución que prime el elemento tecnológico sobre el humano está eliminando escalones necesarios para el aprendizaje. La experiencia resultante quedaría empobrecida y encontramos, corregida y aumentada, una situación como la actual en la que se anima a los pilotos a mantener la habilidad manual mientras se limitan progresivamente los momentos en que ésta puede ejercitarse.

La evolución tecnológica, incluido el uso de la inteligencia artificial, puede ayudar pero es conveniente ser muy conscientes tanto de sus limitaciones como de las necesidades del piloto humano si, realmente, se pretende que mantenga el control en situaciones normales y anormales. La vieja idea de utilizar al piloto como un fusible del sistema que, a costa de quemarse, impide el daño al sistema nunca ha servido ni desde el punto de vista funcional ni desde el ético. Ahora tampoco.

[1] Marcus, G. and Davis, E., 2019. Rebooting AI: Building artificial intelligence we can trust. Vintage.

[2] Russell, S., 2019. Human compatible: Artificial intelligence and the problem of control. Penguin.

[3] Russell, P.N., 2010. Artificial intelligence: a modern approach by stuart. Russell and Peter Norvig contributing writers, Ernest Davis…[et al.].

Una lección básica de seguridad en aviación: Los no-eventos son eventos.

Hace poco tiempo, publicaba un análisis sobre la conveniencia o no de tener un solo piloto en la fase de crucero. Incidentalmente, utilicé como ejemplo el caso AF447, donde el comandante se encontraba fuera de la cabina cuando se iniciaron los problemas y, aunque los diagnosticó correctamente, no tuvo tiempo suficiente para resolverlos.

Alguien, en tono amistoso, me criticó la selección del ejemplo puesto que, en ese caso, no se trataba precisamente de una tripulación con un único piloto sino, muy al contrario, una tripulación reforzada y, por tanto, el argumento podía no ser válido.

La crítica tiene fundamento, especialmente si consideramos que, en caso de haber habido un único piloto y ser precisamente el que percibió con claridad la situación, tal vez el accidente no se habría producido.

Es posible, pero no hay ninguna garantía de que ése hubiera sido el resultado: Una tripulación compuesta por dos pilotos expertos puede encontrarse en una situación de resolución de problemas; las ideas de uno realimentan las del otro y, tal vez, de ese proceso podría nacer alguna solución que a ninguno de ellos se le habría ocurrido de forma individual. Al fin y al cabo, en este proceso y en cómo manejarlo de la mejor forma posible se fundamenta toda la práctica de CRM.

Podemos dar razones que hacen no aconsejable dejar sólo a un piloto en la cabina con el hipotético soporte de un sistema de información más avanzado que los actuales; una de ellas, fundamental y claramente perceptible, es la aparición de un evento de rápido desarrollo que pueda requerir la contribución de, como mínimo, dos personas pero…no hay datos. ¿Por qué no hay datos?

Aquí es donde tendríamos que entrar en el hecho de que un no-evento es un evento: Un accidente es un evento dramático y de alta visibilidad. Una situación que de lugar a un incidente grave puede lograr visibilidad a través de los sistemas de reporte -si es reportada- pero ¿cuántas situaciones no llegan a ser reportadas porque, simplemente, los pilotos perciben una anomalía y, al buscar su origen, encuentran un problema con capacidad para generar un problema serio?

Ahí están los no-eventos; al no ser visibles no entran en el proceso de toma de decisiones y, simplemente, son ignorados. Quizás se debería hacer el esfuerzo de darles visibilidad a los no-eventos para conseguir que sean tenidos en cuenta.

Hay sistemas de reporte excelentes como, por ejemplo, el ASRS pero, por su propia naturaleza, no están enfocados a la toma de decisiones regulatorias como admitir o no la posibilidad de que un avión a altitud de crucero tenga sólo un piloto en cabina.

Proyectos como el eMCO de EASA están enfocados a la realización de distintos análisis que permitan una conclusión final sobre la conveniencia o no de esta práctica pero, por mucha sabiduría académica que se les quiera poner a estos proyectos, les seguirán faltando datos y, sin embargo, estos datos serían muy fáciles de obtener. Bastaría con un esfuerzo por parte de los profesionalmente implicados en el asunto:

La aviación se ha distinguido por tener un conjunto de medios de información y gestión específicos para casi cualquier cosa imaginable: FDM, OBM, LOFT, LOSA, sistemas de reporte, seguimiento individualizado de elementos críticos del avión, reconocimientos médicos, grupos de soporte psicológico…

Sin embargo, en toda esa masa de información todavía falta algo que sería crítico para aceptar o rechazar una decisión tan importante como la de tener un único piloto en crucero:

Una base de datos de no-eventos, es decir, detección de señales débiles o no-señales en las que el disparador de un proceso de solución de problemas es, precisamente, que no hay disparador y, sin embargo, pueden tener el potencial de un rápido desarrollo hacia una situación crítica, evitada mediante la colaboración entre los dos pilotos en cabina.

No se trata de “jugar a la contra” sino de asegurarse de que datos muy relevantes son tenidos en cuenta en el momento de tomar una decisión final. Sin embargo, para esto, se necesitarían varias cosas:

  1. La más obvia: Recoger información sobre casos con ese perfil: Señales débiles o no-señales con potencial para derivar a situaciones críticas y que requieran la intervención de los dos pilotos.
  2. Evaluación de los reportes recibidos, estableciendo si cumplen las condiciones requeridas y si son susceptibles de ser atendidos con soporte tecnológico.
  3. Utilización de los datos en la discusión correspondiente con los reguladores.

Un último apartado es la necesidad de requerir que no haya trampas desde el lado tecnológico. “Trampas” en este caso significaría utilizar los sucesos reportados para añadirlos uno a uno al sistema que, supuestamente, serviría de soporte al piloto único.

Podríamos plantearnos si eso es realmente una trampa o, simplemente, es una forma de aprendizaje tecnológico perfectamente legítima; en tal caso, la respuesta sería simple y clara: Es una trampa. ¿Por qué?

Simplemente, se trata de situaciones poco comunes y no previstas; a medida que se van reportando, se pueden ir introduciendo en un sistema como “previstas” pero seguirá habiendo muchas más que puedan aparecer y que no estarán presentes entre las previstas.

El piloto humano -cualquier humano- tiene como característica propia la capacidad para detectar un entorno completo y, al hacerlo, una señal débil o una ausencia de señal le permitirá entrar en un proceso de solución de problemas. Un sistema, por avanzado que sea, no tiene esa capacidad y se limita a las situaciones previstas: Alimentarlo con los resultados de un sistema de reporte encaminado a evaluar la conveniencia o no de tener un solo piloto en crucero contribuye a disimular pero no a eliminar un simple hecho: La tecnología puede ejecutar pero carece de sentido común y de respuesta situaciones no previstas.

Un sistema, por avanzado que sea, no tiene esa capacidad y se limita a situaciones previstas: alimentarlo con los resultados de un sistema de informes destinado a evaluar la conveniencia de contar con un solo piloto a nivel de crucero contribuye a disimular pero no a eliminar un hecho simple:

La tecnología puede realizar tareas -algunas de ellas con más precisión que los humanos y sin fatiga- pero sigue careciendo de sentido común y de la posibilidad de responder a situaciones imprevistas. Los humanos, en cambio, pueden resolver situaciones que no estaban en su «base de datos» personal.


Estos hechos deberían bastar para ser extremadamente cuidadosos a la hora de decidir los lugares en los que la tecnología tendrá un papel importante.

¿Es suficiente un piloto a altitud de crucero?

Permítaseme comenzar con un apartado autobiográfico: Antes de entrar de lleno al área de factores humanos, allá para los inicios de los 2000, me dedicaba al área de recursos humanos y, entre otras cosas, tenía que encargarme de análisis, planificación y adecuación de plantillas.

Un estándar muy común en planificación de plantillas es el 80%, es decir, considerar que, si el 80% de la jornada de trabajo se están realizando tareas propias del puesto, la plantilla estará bien dimensionada. Es un estándar que tiene numerosas excepciones; una de ellas vinculada con la irregularidad en el flujo de tareas. ¿Podríamos pensar en una plantilla de bomberos definida de modo que el 80% de su tiempo esté apagando incendios? ¿Y una plantilla de policías definida de modo que el 80% de su tiempo esté deteniendo delincuentes? Evidentemente, tales plantillas estarían infradotadas puesto que no tendrían capacidad para atender a un pico de trabajo.

¿Y los pilotos? Resulta curioso que la sugerencia de tener sólo un piloto a altitud de crucero aparezca precisamente en un momento en que se intenta tratar al piloto como un recurso de emergencia, dejando en la medida de lo posible, el vuelo en manos de la tecnología.

Sigamos, pues, la lógica de tratar el puesto de trabajo del piloto como un puesto cuya justificación, en buena parte, durante la fase de crucero está en la atención a posibles emergencias: Su carga de trabajo es muy alta cuando se encuentran en tierra o en las proximidades de tierra mientras que, en crucero, esta carga de trabajo normalmente disminuye mucho, pero…subrayemos el “normalmente”. Una búsqueda de eventos críticos en crucero en la base de datos de la ASRS nos devuelve 5.553 situaciones de crisis, como muestra la figura al inicio.

 Añadamos que un evento grave en aviación puede desarrollarse en un tiempo extremadamente corto y su gestión puede requerir la atención plena de, como mínimo, dos personas.

Distintos eventos han demostrado que dos personas representan un mínimo absoluto que, en algunos casos, puede verse sobrepasado. Pensemos en casos como el Swissair 111, donde un incendio a bordo obligó a preparar un desvío a un aeropuerto cercano y desconocido, búsqueda de frecuencias de radio y rutas de aproximación, arrojar combustible para disminuir el peso del avión y, además, ver si había alguna forma de extinguir el incendio. No la hubo. ¿Habrían sido distintas las cosas con una persona más? Imposible saberlo.

Otros casos más afortunados como el AC143, el QF32 o el U232 nos dicen que, en una fase del vuelo en que la carga de trabajo suele ser baja, pueden presentarse situaciones que necesiten más de dos manos cualificadas para atenderlas, es decir, idéntica situación a la de los policías, los bomberos o cualquier otra profesión que, por su naturaleza, atienda a situaciones de emergencia.

Los promotores de la idea de piloto único en fase de crucero la justifican en la carencia de pilotos y tranquilizan al público hablando de un soporte tecnológico avanzado para ese único piloto. ¿Puede utilizarse la lógica de la carencia para reducir de uno a ninguno el número de pilotos a bordo?.

En cuanto al soporte tecnológico, éste cuenta con una interesante peculiaridad que se refleja en un viejo chiste: Hay quien define a un banquero como un señor que nos presta un paraguas y, cuando empieza a llover, nos pide que se lo devolvamos. De igual manera, la tecnología suele facilitar las tareas cuando, ya en origen, son fáciles y puede convertirse en un problema añadido cuando la situación es difícil y no permite realizar acciones que serían necesarias o tiene comportamientos anómalos.

La popularización de la inteligencia artificial es sólo una vuelta de tuerca más a una situación en la que ya se producían estos efectos. Con o sin inteligencia artificial, aunque más cuando ésta está presente, los sistemas pueden tener conductas extrañas derivadas de su programación y, cuando éstas aparecen, en lugar de facilitar las tareas al piloto humano, le añaden una nueva que no es precisamente menor.

-Cuando una alarma deja de sonar cuando el avión está a una velocidad tan baja que el sistema interpreta que el avión está en tierra, está añadiendo confusión.

-Cuando interpreta una pasada como un aterrizaje y corta la potencia, está añadiendo confusión.

-Cuando, muy próximo al suelo, el sistema reacciona a un aviso de pérdida y fuerza hacia abajo el morro del avión, está provocando un accidente.

-Cuando interpreta una aproximación como un sobrevuelo de un aeropuerto y borra todos los datos de la aproximación programada, está añadiendo carga de trabajo.

-Cuando las características orográficas de un aeropuerto obligan a que los pilotos tengan que “engañar” al sistema para hacer factible el aterrizaje en una pista corta, éste puede producir reacciones no previstas…

No puede olvidarse que los sistemas de información carecen de sentido común y dejar a un único piloto en sus manos como alternativa a una discusión entre expertos de una situación desconocida y a la gestión subsiguiente de esa situación, no es algo que tranquilice o represente una garantía de seguridad.

Se puede argumentar que hay otro piloto dentro del avión y que, bajo este modelo, lo único que se hace es evitar llevar tripulaciones de refuerzo. Sea, pero en ese caso, permítaseme recordar un evento: AF447: El comandante se encontraba fuera de la cabina y, cuando regresó, se encontró una situación tan inmanejable que, incluso cuando fue capaz de diagnosticar correctamente qué era lo que estaba pasando, ya fue demasiado tarde para recuperar el avión: Un suceso que no debería haber llegado demasiado lejos -la congelación de un sensor- provocó reacciones anómalas en el sistema y éstas confundieron por completo a los pilotos que se encontraban en la cabina; cuando alguien con más experiencia entró en ella, su mayor conocimiento no fue acompañado de la disponibilidad del tiempo que habría sido necesario para resolver el problema.  

El último tema es el más obvio: ¿Qué ocurre en caso de incapacitación? ¿Van a utilizar prácticas como el “pedal de hombre muerto” de los ferrocarriles? No funcionó en el caso de Waterfall en Australia y podría no funcionar en un avión donde un evento puede alcanzar rápidamente el nivel que lo convierta en no manejable. Por otro lado ¿cómo se compagina la idea de piloto único a la altitud de crucero con la de que el piloto no se quede solo en la cabina, puesta en marcha tras el caso GermanWings 9525? ¿Tiene que ir acompañado por un tripulante de cabina? ¿No tiene más sentido que sea acompañado por alguien que, ante una emergencia, pueda contribuir a evaluarla y resolverla cuando, si es grave, va a requerir el concurso de ambos?

La inteligencia artificial y el error de Kasparov

Hay quien sitúa el renacimiento de la inteligencia artificial en 1998, cuando una máquina llamada Deep Blue fue capaz de derrotar al campeón mundial de ajedrez, Kasparov.

No es cierto; Deep Blue puede calificarse de humano incompleto o, si se prefiere, de idiot savant, es decir, alguien que es capaz de procesar en muy poco tiempo una gran cantidad de información que le han suministrado sobre partidas de ajedrez y sus resultados. Dicho de otro modo, el aprendizaje de Deep Blue es demasiado humano para poder catalogarse seriamente como inteligencia artificial.

Unos años después apareció Alpha Zero con un planteamiento completamente distinto: Se le daban las reglas del juego e instrucciones de ganar y, a partir de ahí, entraba en un proceso de aprendizaje jugando contra sí mismo. Con toda probabilidad, las opciones que habría tenido Kasparov o cualquier otro jugador de su nivel contra Alpha Zero habrían sido nulas y, sin embargo, en 1998, un mal manejo por parte de Kasparov de sus opciones le llevó a una derrota que, entonces, podría haber sido evitada.

Kasparov no era consciente de una importante debilidad de la inteligencia artificial, entonces y ahora: La fase de aprendizaje requiere una potencia de procesamiento espectacular aplicada, alternativamente, sobre bases de datos de contenidos (caso de Deep Blue) o sobre contenidos autogenerados (caso de Alpha Zero); el proceso de aprendizaje genera un programa mucho más sencillo, con menos requerimientos de potencia y éste es el que se enfrenta, en nuestro caso, a Kasparov.

Quizás este detalle puede parecer irrelevante pero no lo es en absoluto: Kasparov estaba jugando contra un programa sofisticado y capacidad para generar un nivel de juego equivalente a un jugador de primera línea pero…sin capacidad de aprendizaje. La capacidad de aprendizaje estaba en otro sitio y Kasparov tuvo en su mano la posibilidad de permitir o no su utilización.

Al principio de la competición, se establecieron las reglas de ésta y, entre ellas, estaba la posibilidad de admitir asesores externos por ambas partes. Kasparov podía haber prescindido de ellos y, al hacerlo así, habría obligado a que Deep Blue tampoco los tuviera, es decir, se habría quedado enfrentado a la parte operativa de Deep Blue que, teniendo un buen nivel de juego, probablemente habría sido insuficiente para derrotar a Kasparov.

Sin embargo, éste aceptó que hubiera asesores externos y ¿quiénes podían ser los asesores externos de Deep Blue? Especialistas en tecnología de la información que podían hacer el enlace entre la parte generadora de aprendizaje y la parte usuaria de ese aprendizaje. De esta forma, situaciones de difícil salida por no haber sido previstas podían ser manejadas recurriendo al primo de Zumosol, es decir, al sistema capaz de aprender. Ese acceso no habría existido si se hubiera cerrado a ambas partes la posibilidad de tener asesores y Kasparov posiblemente se habría ahorrado una derrota frente a un programa mucho menos evolucionado que los que vinieron después.

En términos prácticos, el asunto no tiene mayor importancia. Quizás Kasparov habría vencido en 1998 pero habría sido derrotado unos años más tarde con la aparición de sistemas capaces de aprender de forma “no humana” como el mencionado Alpha Zero.

Sin embargo, a pesar de esa irrelevancia en términos prácticos, lo que le falló a Kasparov es la explotación de una debilidad de la inteligencia artificial que hoy sigue existiendo, es decir, la estricta separación entre la parte del sistema que aprende y la parte del sistema que utiliza lo aprendido.

Gary Klein señalaba como las personas, en su proceso para tomar una decisión, podían realizar simulaciones mentales que les daban información sobre si una opción funcionaría o no. Puede decirse que, en el caso de las personas, no hay una separación entre el proceso de aprendizaje y el proceso de ejecución sino que ambos van indisolublemente unidos.

En el caso de la inteligencia artificial, las cosas son distintas: El sistema dispone de una gran cantidad de opciones de respuesta pero, si la situación que afronta no está contemplada entre las opciones disponibles -cosa no descartable en entornos abiertos- no dispone de esa capacidad de simulación mental que le permita aprender y, a la vez, ejecutar una tarea que no se encontraba en su catálogo de soluciones previo.

Esta diferencia, vital pero poco conocida salvo para los especialistas, hace que en determinados entornos donde las consecuencias de un error pueden ser muy elevadas, la inteligencia artificial pueda ser cuestionable, salvo en un papel complementario.

Kasparov no supo, o no dio la relevancia adecuada, a este factor y le supuso una derrota que, tal vez, habría sido evitable. Hoy, esto sigue siendo ignorado con mucha frecuencia y, como resultado, se podría llegar a utilizar la inteligencia artificial en entornos para los que no está preparada.

Los requerimientos de tiempo, capacidad de procesamiento y acceso a ingentes bases de datos de un sistema capaz de aprender hace que su inclusión en el sistema que ejecuta las tareas, sea un juego de ajedrez o manejar un avión, sea inviable. El sistema que utiliza el producto del aprendizaje, mucho más ligero, puede tener preparada la respuesta para una enorme cantidad de situaciones pero, si la que se produce no está entre ellas, no cabe esperar respuesta.

Este aspecto, frecuentemente ignorado, debería estar muy presente en muchas de las decisiones que se toman sobre dónde utilizar la inteligencia artificial y dónde no hacerlo.

La inteligencia artificial como vehículo para la degradación del conocimiento

Mucho antes de la eclosión de la inteligencia artificial, era fácil ver que en un momento en que la acumulación de conocimiento había alcanzado sus mayores niveles, se estaba produciendo una degradación del conocimiento humano en muchos terrenos.

En la primera fase, la degradación se produce a través de una especialización a ultranza y, en la segunda, se produce pasando de un conocimiento en profundidad a uno puramente procedimental.

Gary Klein nos previno contra la “segunda singularidad”, es decir, el hecho de que antes de que un ordenador sea capaz de superar a un ser humano – la llamada “singularidad”- éste haya sufrido un proceso de degradación de conocimiento tal que facilite la llegada de la singularidad original.

En la adquisición de conocimiento funciona una ley muy conocida por los expertos en calidad:

El coste del conocimiento está sujeto a una ley de rendimientos marginales decrecientes.

Cualquiera que haya recurrido a un centro de atención telefónica, sabe muy bien lo que es hablar con un robot humano, es decir, alguien dotado de un conocimiento estrictamente procedimental y que, cuando cualquier situación excede de su escaso ámbito de competencia, transferirá la petición a un experto o, misteriosamente, se cortará la llamada.

Una parodia, no exenta de una buena carga de realidad, sobre esta falta de conocimiento y sus efectos puede encontrarse aquí:

La unión de un conocimiento estrictamente procedimental junto con el uso de la realidad virtual también podía encontrarse antes de la popularización de la inteligencia artificial en ejemplos como éste:

Por supuesto, recorrer el camino inverso y pasar de un conocimiento procedimental a un conocimiento a fondo y a la posesión de las habilidades asociadas a éste, es un paso mucho más costoso, y aquí es donde entraría en juego la inteligencia artificial porque muestra una alternativa precisamente para evitarlo:

Se trata de una opción de menor calidad pero también de mucho menor coste que tiene muchas posibilidades de profundizar en un proceso de degradación iniciado hace tiempo.

Un mundo dominado por la inteligencia artificial daría lugar a varios tipos de situaciones distintas:

  • Situaciones en que podríamos resolver problemas con rapidez, ahorrando trabajo y de una forma brillante.
  • Situaciones en que la respuesta obtenida fuera mediocre pero un análisis coste-beneficio la convirtiese en aceptable.
  • Situaciones en las que nos haría peticiones imposibles de recursos de memoria o capacidad de procesamiento o entraría en un bucle infinito sin llegar nunca a una solución.

Estos tres tipos de situación abren tres preguntas derivadas de ellas y de gran relevancia para la evolución del futuro conocimiento:

  • ¿Quién y para qué se va a molestar en aprender algo que una inteligencia artificial siempre hará mejor?
  • ¿Quién se va a molestar en aprender algo que una inteligencia artificial hará igual o peor, pero con un proceso de aprendizaje mucho más rápido y barato?
  • Asumiendo que la adquisición de conocimiento profundo es cara en tiempo y dinero ¿a quién le va a merecer la pena adquirir los conocimientos necesarios para resolver esas situaciones para las que la inteligencia artificial no tiene respuesta?

Por cualquiera de los tres caminos llegamos al mismo sitio: Degradación del conocimiento humano. Sin embargo, puesto que la inteligencia artificial no es capaz de generar sus propios objetivos, se necesita un conocimiento humano de un nivel alto -y no sólo relativo al funcionamiento de la inteligencia artificial- para ser capaz de proveer los objetivos adecuados.

Alguien podría pensar que la tarea de poner los objetivos es fácil y lo difícil es precisamente lo que hace la inteligencia artificial, es decir, aprender pero la realidad es muy distinta:

Asimov escribió una divertida novela, “Azazel”, en la que un demonio hacía una interpretación literal de todo lo que se le pedía y se presentaban situaciones imprevistas en las que, habitualmente, todo empezaba bien pero, gracias a la interpretación literal, quien le planteó el objetivo al demonio acababa deseando no haberlo hecho jamás.

Asimov plantea el problema en una forma divertida, pero la vida real nos ha dado numerosos ejemplos; así, se han producido casos como las acusaciones de racismo a Amazon por el sistema utilizado para el reclutamiento; al parecer, Amazon había identificado a sus trabajadores de mayor rendimiento para buscar perfiles parecidos y, al hacerlo así, había introducido involuntariamente diversos sesgos que fueron objeto de denuncia. En una actividad muy distinta, los taxis sin conductor de San Francisco están provocando numerosas quejas, especialmente por parte de servicios de emergencia, debido a una conducción cada vez más agresiva.

Hay distintos tipos de algoritmos de aprendizaje y, en ausencia de un “Master Algorithm”, como lo denominó Pedro Domingos, cada tipo de problema tiene un algoritmo que es más adecuado que los demás pero, supuesto que el algoritmo haya sido correctamente seleccionado, la definición de los objetivos y las limitaciones a la actuación son quienes definen la corrección de lo que se aprende y de las actuaciones resultantes.

Sin embargo, la definición de objetivos y sus limitaciones requiere un conocimiento profundo, ni accesible al sistema ni exclusivamente acerca del sistema; ese conocimiento es costoso de adquirir y ese coste es difícil de asumir, especialmente cuando hay sucedáneos de más bajo nivel que pueden dar una respuesta, aunque sea mediocre.

Se podría argumentar que una máquina podría fijarle objetivos a otra, de modo parecido a cómo se están utilizando sistemas de inteligencia artificial para interpretar a otros sistemas y, de esta forma, hacer comprensibles sus resultados a la persona que tiene que asegurarse de que el sistema aprende lo correcto.

 Tal vez, en cierto modo la opción de tener sistemas poniendo objetivos a otros sistemas sería una buena noticia, pero un eventual fallo en la formulación de objetivos se arrastraría a través de distintas generaciones de inteligencia artificial y, probablemente, no quedaría nadie capaz de corregir el error: La discusión estaría ya a un nivel inalcanzable para un humano cuyo conocimiento había sido degradado.

La situación, tal como está definida hoy, presenta dos problemas:

  • ¿Quién, por qué y para qué va a tratar de adquirir un conocimiento profundo sobre cualquier materia cuando se dispone de un conocimiento superficial infinitamente más barato y rápido de obtener?
  • En el supuesto de que quisiéramos adquirir ese nivel de conocimiento ¿vamos a tener la posibilidad de hacerlo o, al estar su adquisición mediatizada por sistemas de inteligencia artificial, nunca llegaremos al nivel de conocimiento profundo necesario para retar y mejorar los sistemas?

El problema no es la inteligencia artificial; éste es un proceso en marcha desde hace mucho tiempo. Sowell lo identificó correctamente, como demuestra la cita inicial, pero se detuvo en la especialización y no siguió profundizando en la espiral de degradación del conocimiento y sus efectos.

La inteligencia artificial sólo ha puesto el elemento tecnológico que se necesitaba para carta de naturaleza y, tal vez, para dotar de irreversibilidad al proceso.

THE HIDDEN SIDE-EFFECTS OF ARTIFICIAL INTELLIGENCE

(English Translation below)

La Inteligencia Artificial, desde su inicio, ha traído un enorme entusiasmo tanto a favor como en contra. Tanto unos como otros incurren en un esencialismo difícil de justificar: Los primeros porque, al equiparar al ser humano con un procesador, llegan a la conclusión de que el estado del arte de la tecnología de la información permite tener mejores opciones. Los segundos porque consideran que el ser humano aporta elementos que son imposibles de conseguir para la máquina.

Sin embargo, en el estado actual, esa discusión que aún sigue vigente peca de superficialidad: ¿La tecnología de la información es capaz de procesar infinitamente más información y mucho más rápidamente que cualquier humano? Claramente, sí. ¿El ser humano es capaz de atender a situaciones que son imposibles para los más avanzados productos tecnológicos? Claramente también. ¿Puede entonces encontrarse un nicho de especialización en el que convivan ambos? Eso ya es más discutible y de ahí la idea de efectos escondidos.

Pongamos un ejemplo conocido: La previsión meteorológica. Un meteorólogo experto es capaz de detectar pautas que se le pueden escapar a un sistema de información avanzado; sin embargo, el sistema de información avanzado es capaz de procesar muchas más fuentes de información de las que puede procesar el meteorólogo, especialmente si contamos con limitaciones temporales que van a definir la validez de la previsión.

El meteorólogo experto puede equivocarse pero también puede conseguir resultados superiores a los accesibles a un sistema de información gracias a su conocimiento de pautas y a su capacidad para “construir” una evolución esperable. Sin embargo, contradecir al sistema encargado de las previsiones puede representar un compromiso importante porque, en caso de error, alguien le estará señalando que el sistema se lo estaba avisando.

Un meteorólogo menos experto, ya formado en un entorno de sistemas de información, será más proclive a aceptar pasivamente los resultados del sistema y le resultará más difícil adquirir el conocimiento de un meteorólogo experto. Le faltará capacidad para seleccionar las fuentes de datos relevantes y alcanzar conclusiones propias y lo que es peor: La experiencia trabajando con un sistema de información no le dotará de esa capacidad. Nunca alcanzará el nivel de experto sino, como máximo, el de operador avanzado de sistemas de información. Por añadidura, un cambio de sistema de información puede representar la pérdida de un conjunto de ”trucos del oficio” aprendidos de la observación; se trata de un conocimiento operativo que no es susceptible de trasladar a otro entorno, incluso cuando ese nuevo entorno no signifique otra cosa que un cambio de proveedor tecnológico.

Por supuesto, la meteorología es un mero ejemplo que se puede extrapolar a la aviación, a la navegación marítima, a la mecánica, a las finanzas y virtualmente a cualquier terreno imaginable.

La “toma racional de decisiones” se ha convertido en un estándar incluso en aquellos terrenos en que no es la práctica adecuada; algunos autores como Gigerenzer, Klein o Flach han señalado entornos en que ese modelo de procesamiento de información no sirve y, en su lugar, se utilizan modelos de procesamiento heurístico que hacen uso de la experiencia acumulada en forma de conocimiento tácito, difícil de expresar y más difícil aún de formalizar, y que son los que han resuelto situaciones en las que un modelo “racional” habría llegado a la parálisis por el análisis, incluso aunque se requiriese una respuesta urgente y se tratase de un caso de vida o muerte.

Casos muy conocidos en aviación como el American Airlines 96, United 232, QF32, US1549, Gimli glider y muchos otros muestran claramente cuál es el valor del experto. Sin embargo, el riesgo que se está corriendo hoy es que las generaciones formadas en entornos de tecnología de la información avanzada nunca alcancen ese nivel de experto.

El sociólogo francés Edgar Morin advertía de que la máquina-máquina siempre será superior al hombre-máquina. Sin embargo, al privar al ser humano de la capacidad para adquirir conocimiento real, lo estamos convirtiendo en hombre-máquina.

¿Puede convivir la inteligencia artificial con la generación de expertos capaces de cubrir las insuficiencias de la primera? En teoría, sí. Los hechos están demostrando que esa opción tiene una gran dificultad porque no son desarrollos independientes.

La persona formada en una disciplina donde ha entrado la inteligencia artificial tiene cada vez más difícil el camino para convertirse en un experto real, es decir, elegir los datos que necesita, procesarlos en la forma que un humano experto lo haría y llegar a sus propias conclusiones.

El advenimiento de la nueva generación de sistemas de información dotados de inteligencia artificial está conduciendo a que el conocimiento tácito se esté tratando como conocimiento obsoleto, aunque se trata de dos cosas completamente distintas. Se está destruyendo la escala que permite acceder al grado de experto, atendiendo a cantidad y diversidad de situaciones vividas y, con ello, podemos perder capacidad para atender a situaciones imposibles para cualquier sistema de información por avanzado que éste sea.

No es la única situación posible, pero escenarios en los que hay que actuar de forma inmediata y con unos datos fragmentarios y a menudo contradictorios no son precisamente el ámbito en que se desenvuelven bien los sistemas de información. El ser humano muestra en estas situaciones capacidades que están más allá de las de los sistemas de información -porque procesa esas situaciones de forma radicalmente distinta- pero, para que esto ocurra, es necesario disponer de expertos y no de los hombres-máquina mencionados por Morin.

El gran problema y el efecto colateral oculto de los sistemas de información avanzados es precisamente que está destruyendo la capacidad de generar expertos y, en su lugar, está estableciendo un reino de mediocridad tecnológicamente avanzada. Cuando un avanzadísimo sistema de inteligencia artificial basado en la computación cuántica tenga que tomar una decisión en una situación como las señaladas más arriba, nos acordaremos de los expertos desaparecidos.

THE HIDDEN SIDE-EFFECTS OF ARTIFICIAL INTELLIGENCE

Artificial Intelligence, since its inception, has brought enormous enthusiasm both for and against. Both incur in an essentialism that is difficult to justify: The former because, by equating the human being with a processor, conclude that the state of the art of Information Technology allows for better options. The latter because they consider that the human being provides elements that are impossible for the machine to achieve.

However, in the current state of the art, this discussion, which is still going on, is superficial:

Is information technology capable of processing infinitely more information and much faster than any human being? Clearly, yes.

Is a human being capable of dealing with situations that are impossible for the most advanced technological products? Clearly, yes.

Can a niche of specialization be found in which both can coexist? That is more debatable and hence the idea of hidden effects.

Let’s take a well-known example: weather forecasting. An expert meteorologist can detect patterns that may escape an advanced information system; however, the advanced information system is able to process many more sources of information than the expert meteorologist can process, especially if we have temporal limitations that will define the validity of the forecast.

The expert meteorologist can be wrong, but he can also achieve results superior to those accessible to an information system thanks to his knowledge of patterns and his ability to «construct» an expected evolution. However, contradicting the forecasting system may represent a major compromise because, in case of error, someone will be pointing out to him that the system was warning him.

A less experienced meteorologist, already trained in an information systems environment, will be more likely to passively accept the results of the system and will find it more difficult to acquire the knowledge of an expert meteorologist. He will lack the ability to select relevant data sources and reach his own conclusions and worse: His experience working with an information system will not give him that ability. He will never reach the level of an expert but, at most, that of an advanced information system operator. Moreover, a change of information system may represent the loss of a set of «tricks of the trade» learned from observation; this would be operational knowledge not transferable to another environment, even if “new environment” means nothing more than a change of technological supplier.

Of course, meteorology is only an example of something that happens in aviation, maritime navigation, mechanics, finance, and virtually any imaginable terrain.

Rational decision making» has become a standard even in those fields where it is not the proper practice; some authors such as Gigerenzer, Klein or Flach have pointed out environments where such an information processing model does not work. Instead, heuristic processing that make use of accumulated experience in the form of tacit knowledge are used; they are difficult to express and even more difficult to formalize and, despite that, these are the models that have solved situations where a «rational» model would have reached paralysis by analysis, even if an urgent response was required and it was a case of life and death.

Well known cases in aviation such as American Airlines 96, United 232, QF32, US1549, Gimli glider and many others clearly show what the value of the expert is. However, the risk today is that generations trained in advanced information technology environments will never reach that level of expert.

The French sociologist Edgar Morin warned that the machine-machine will always be superior to the man-machine. However, by depriving human beings of the ability to acquire real knowledge, we are turning them into man-machines.

Can artificial intelligence coexist with the generation of experts capable of covering the inadequacies of the former? In theory, yes. The facts are showing that this option is very difficult because they are not independent developments.

The person trained in a discipline where Artificial Intelligence has entered has an increasingly difficult path to become a real expert, i.e., to choose the data he needs, process it in the way a human expert would and come to his own conclusions.

The advent of the new generation of information systems equipped with artificial intelligence is leading to the fact that tacit knowledge is being treated as obsolete knowledge, although these are two completely different things. The scale that allows access to the level of expert, based on the number and diversity of situations experienced, is being destroyed and, as a result, we may lose the capacity to deal with situations that are impossible for any information system, no matter how advanced it may be.

Scenarios requiring immediate action, with fragmentary and often contradictory data are not exactly the area in which information systems excel. In these situations, human beings show capabilities that are beyond those of information systems -because they process these situations in a radically different way- but for this to happen, it is necessary to have experts and not the machine-men mentioned by Morin.

The great problem and the hidden side effect of advanced information systems is precisely that it is destroying the capacity to generate experts. In its place, it is establishing a reign of technologically advanced mediocrity. When a highly advanced artificial intelligence system based on quantum computing must make a decision in a situation like the ones described above, we will remember the missing experts.

WHEN THE WORLD IS FASTER THAN ITS RULES

Anyone in touch with dynamic fields can find this phenomenon: Things are faster than the rules intending to control them. Hence, if the capacity to be enforced is very strong, old rules can stop the advancement. By the same token, if that capacity is weak, rules are simply ignored, and the world evolves following different paths.

The same fact can be observed in many different fields:

Three months ago, an article was titled “POR QUÉ ALBERT EINSTEIN NO PODRÍA SER PROFESOR EN ESPAÑA” (Why Albert Einstein could not be a professor in Spain) and, basically, the reason was in a bureaucratic model tailored for the “average” teacher. This average teacher, just after becoming a Bachelor, starts with the doctorate entering a career path that will finish with the retirement in the University. External experience is not required and, very often, is not welcome.

The age, the publications and the length of the doctoral dissertation (17 pages) could have made impossible for Einstein to teach in Spain. The war for talent means in some environments fighting it wherever it can be found.

If we go to specific and fast evolving fields, things can be worse:

Cybersecurity can be a good example. There is a clear shortage of professionals in the field and it is worsening. The slowness to accept an official curriculum means that, once the curriculum is accepted, is already out-of-date. Then, a diploma is not worth and, instead, certification agencies are taking its place, enforcing up-to-date knowledge for both, getting and keeping the certification.

Financial regulators? Companies are faster than regulators and a single practice can appear as a savings plan, as an insurance product or many other options. If we go to derivative markets, the speed introduces different parameters or practices like high-frequency trading hard to follow.

What about cryptocurrencies? They are sidestepping control by the Governments and, still worse, they can break one of the easiest ways for the States to get funds. Governments would like to break them and, in a few weeks, EU will have a new rule to “protect privacy” that could affect the blockchain process, key for the security of cryptocurrencies and…many Banks operations.

Aviation? The best-selling airplane in the Aviation history -Boeing 737- was designed in 1964 and it started to fly in 1968. The last versions of this plane don’t have some features that could be judged as basic modifications because the process is so long and expensive (more and more long and expensive) that Boeing prefers to keep attached to some features designed more than 50 years ago.

In any of these fields or many others that could be mentioned, the rules are not meeting its intended function, that is, to keep functionality and, in the fields where it is required, safety as a part of the functionality. Whatever the rule can be ignored or can be a heavy load to be dragged in the development, it does not work.

We can laugh at the old “1865 Locomotive Act” with delicious rules such as this: The most draconic restrictions and speed limits were imposed by the 1865 act (the «Red Flag Act»), which required all road locomotives, which included automobiles, to travel at a maximum of 4 mph (6.4 km/h) in the country and 2 mph (3.2 km/h) in the city, as well as requiring a man carrying a red flag to walk in front of road vehicles hauling multiple wagons (Wikipedia).

However, things were evolving in 1865 far slower than now. Non-functional rules like that could be easily identified and removed before becoming a serious problem. That does not happen anymore. We try to get more efficient organizations and more efficient technology, but the architecture of the rules should be re-engineered too.

Perhaps the next revolution is not technologic despite it can be fueled by technology. It could be in the Law: The governing rules -not the specific rules but the process to create, modify, change or cancel rules- should be modified. Rules valid for a world already gone are so useful as a weather forecast for the past week.

Useless diplomas, lost talent, uncontrolled or under-controlled new activities or product design where the adaptation to the rules are a major part of the development cost and time are pointing to a single fact: The rules governing the world are unable to keep the pace of the world itself.

Air Safety and Hacker Frame of Mind

If we ask anyone what a hacker is, we could get answers going from cyberpiracy, cyberdelincuency, cybersecurity…and any other cyberthing. However, it’s much more than that.

Hackers are classified depending of the “color of their hats”. White hat hacker means individual devoted to security, black hat hacker means cybercriminal and grey hat hacker means something in the middle. That can be interesting as a matter of curiosity but…what do they have in common? Furthermore, what do they have in common that can be relevant for Air Safety?

Simonyi, the creator of WYSIWYG, warned long ago about an abstraction scale that was adding more and more steps. Speaking about Information Technology, that means that programmers don’t program a machine. They instruct a program to make a program to be run by a machine. Higher programming levels mean longer distance from the real thing and more steps between the human action and the machine action.

Of course, Simonyi warned of this as a potential problem while he was speaking about Information Technology but…Information Technology is now ubiquitous and this problem can be found anywhere including, of course, Aviation.

We could say that any IT-intensive system has different layers and the number of layers defines how advanced the system is. So far so good, if we assume that there is a perfect correspondance between layers, that is, every layer is a symbolic representation of the former one and that representation should be perfect. That should be all…but it isn’t.

Every information layer that we put over the real thing is not a perfect copy -it should be nonsense- but, instead, it tries to improve something in safety, efficiency or, very often, it claims to be improving both. However, avoiding flaws in that process is something that is almost impossible. That is the point where problems start and when hacker-type knowledge and frame of mind should be highly desirable for a pilot.

The symbolic nature of IT-based systems makes its flaws to be hard to diagnose since their behavior can be very different to mechanic or electric systems. Hackers, good or bad, try to identify these flaws, that is, they are very conscious of this symbolic layer approach instead of assuming an enhanced but perfect representation of the reality below.

What means a hacker frame of mind as a way to improve safety? Let me show two examples:

  • From cinema: The movie “A beautiful mind”, devoted to John Nash and showing his mental health problems shows at a moment how and why he was able to control these problems: He was confusing reality and fiction until a moment where he found something that did not fit. It happened to be a little girl that, after many years, continued being a little girl instead of an adult woman. That gave him the clue to know which part of his life was created by his own brain.
  • From Air Safety: A reflection taken from the book “QF32” by Richard de Crespigny: Engine 4 was mounted to our extreme right. The fuselage separated Engine 4 from Engines 1 and 2. So how could shrapnel pass over or under the fuselage, then travel all that way and damage Engine 4? The answer is clear. It can’t. However, once arrived there, a finding appears crystal-clear: Information coming from the plane is not trustable because in any of the IT-layers the correspondance reality-representation has been lost.

Detecting these problems is not easy. It implies much more than operating knowledge and, at the same time, we know that nobody has full knowledge about the whole system but only partial knowledge. That partial knowledge should be enough to define key indicators -as it happens in the mentioned examples- to know when we work with information that should not be trusted.

The hard part of this: The indicators should not be permanent but adapted to every situation, that is, the pilot should decide about which indicator should be used in situations that are not covered by procedures. That should bring us to other issue: If a hacker frame of mind is positive for Air Safety, how to create, nurture and train it? Let’s use again the process followed by a hacker to become such a hacker:

First, hackers look actively for information. They don’t go to formal courses expecting the information to be given. Instead, they look for resources allowing them to increase their knowledge level. Then, applying this model to Aviation should suppose a wide access to information sources beyond the information provided in formal courses.

Second, hackers training is more similar to military training than academic training, that is, they fight to intrude or to defend a system and they show their skills by opposing an active enemy. To replay a model such as this, simulators should include situations that trainers can imagine. Then, the design should be much more flexible and, instead of simulators behaving as a plane is supposed to do, they should have room to include potential situations coming from information misrepresentation or from situations coming from automatic answers to defective sensors.

Asking for a full knowledge of all the information layers and their potential pitfalls can be utopic since nobody has that kind of knowledge, including designers and engineers. Everybody has a partial knowledge. Then, how can we do our best with this partial knowledge? Looking for a different frame of mind in involved people -mainly pilots- and providing the information and training resources that allow that frame of mind to be created and developed. That could mean a fully new training model.

Published originally in my Linkedin profile

Sterile discussions about competencies, Emotional Intelligence and others…

When «Emotional Intelligence» fashion arrived with Daniel Goleman, I was among the discordant voices affirming that the concept and, especially, the use of it, was nonsense. Nobody can seriously reject that personal features are a key for success or failure. If we want to call it Emotional Intelligence that’s fine. It’s a marketing born name not very precise but, anyway, we can accept it.

However, losing the focus is not acceptable…and some people lose the focus with statements like «80% of success is due to Emotional Intelligence, well above the percentage due to «classic» intelligence. We lose focus too with statements comparing competencies with academic degress and the role of each part in professional success. These problems should be analyzed in a different and simpler way: It’s a matter of sequence instead of percentage.

An easy example: What is more important for a surgeon to be successful? The academic degree or the skills shown inside the OR? Of course, this is a tricky question where the trick is highly visible. To enter the OR armed with an scalpel, the surgeon needs an academic recognition and/or a specific license. Hence, the second filter -skills- is applied over the ones who passed the first one -academic recognition- and we cannot compare in percentage terms skills and academic recognition.

Of course, this is an extreme situation but we can apply it to the concepts where some sterile discussions appear. Someone can perform well thank to Emotional Intelligence but the entrance to the field is guaranteed with intelligence in the most common used meaning. Could we say that, once passed an IQ threshold we should better improve our interaction skills than -if possible- improve 10 more IQ points? Possibly…but things don’t work that way, that is, we define the access level through a threshold value and performance with other criteria, always comparing people that share something: They all are above the threshold value. Then…how can I say «Emotional Intelligence is in the root of 80% of success»? It should be false but we can convert it into true by adding  «if the comparison is made among people whose IQ is, at least medium-high level». The problem is that, with this addition, it is not false anymore but this kind of statement should be a simple-mindedness proof.

We cannot compare the relative importance of two factors if one of them is referred to job access while the other is referred to job performance once in the job. It’s like comparing bacon with speed but using percentages to appear more «scientific».

A %d blogueros les gusta esto: