Un ciudadano británico, Mr. Holmes, recibió en los días previos a la Navidad un regalo no deseado: una multa de aparcamiento. La primera noticia sobre la sanción fue una carta del Ayuntamiento en su buzón.  Según la misiva, después de las 18:05 del 15 de diciembre, su coche había bloqueado una parada de autobús en una ciudad británica y había sido fotografiado por una cámara montada en un vehículo de control de tráfico. Un ordenador había identificado (¿?) el número de matrícula, buscó en una base de datos y encontró la dirección del Sr. Holmes. Se generó un «paquete de pruebas» automáticamente, incluyendo el vídeo de la escena con los datos de fecha, hora y lugar.

La carta del ayuntamiento de la ciudad exigiendo al Sr. Holmes que pagara la multa o se enfrentaría a una acción judicial estaba compuesta, impresa y enviada por correo por un proceso totalmente informatizado. Sólo había un fallo: Holmes no había estacionado ilegalmente en absoluto porque estaba atrapado en un atasco de tráfico.

En principio, esta tecnología no debería ser víctima de la paradoja de la automatización. Está creada, supuestamente, para ayudar a los humanos a hacer el trabajo más eficiente, interesante y variado. Como, por ejemplo, la comprobación de los casos anómalos tales como la queja de Holmes, que debería ser investigada para conocer la causa y no repetir el fallo. Y no actuar de forma rutinaria, buscando otra placa de matrícula parecida y emitiendo una nueva sanción, probablemente errónea de nuevo.

Pero la tendencia a asumir que la tecnología sabe lo que está haciendo se aplica tanto a los pilotos como a la burocracia. Como es habitual, el Ayuntamiento de la ciudad desestimó inicialmente la denuncia de Holmes, admitiendo su error sólo cuando los amenazó con una demanda judicial con la aportación de las pruebas pertinentes que probaban el error, apoyada por los datos almacenados en su GPS.

La situación más extraña que pueda suceder consigue, al igual que el fly-by-wire, que seamos incapaces para entenderla y solucionarla. Suponemos que el ordenador siempre tiene razón, y cuando alguien dice que ha cometido un error, le acusamos de estar equivocado o mentir. ¿Qué pasa cuando los guardias de seguridad privados te expulsan de un centro comercial debido a que una computadora de reconocimiento facial ha confundido su cara con la de un ladrón conocido? (Tecnología que actualmente está siendo modificada para señalar a los comerciantes la presencia de ciertos clientes aptos para ofertas especiales en el momento que entran en el centro). Y cuando su cara, o su nombre, están por error en una lista de delincuentes, ¿es fácil lograr que se quite de la misma? En absoluto,  es un proceso engorroso y difícil, casi kafkiano.

Estamos en la actualidad en más listas que nunca, y las computadoras se han convertido en archivadores atestados de datos, bancos de datos de información disponible de forma instantánea. Cada vez más, los ordenadores gestionan esas bases de datos, sin necesidad de que los seres humanos se involucren ni siquiera para comprender lo que está sucediendo. Y las computadoras no son responsables de sus actos: el algoritmo que valora y clasifica a los profesores, las escuelas, a los conductores de Uber o los taxistas y los establecimientos de todo tipo en las búsquedas de Google o Tryp Advisor, es confidencial. Sean cualesquiera los errores o ideas preconcebidas contenidas en el algoritmo, sobre los que han sido programados, están a salvo de escrutinios: los errores y prejuicios serán difíciles de cuestionar.

A pesar del poder y la utilidad de los datos, todavía no hemos reconocido las imperfecciones con las que una base de datos trata de ordenar y estructurar un mundo, por naturaleza, desordenado. No queremos asumir  que un equipo que es cien veces más preciso que un ser humano, y un millón de veces más rápido, puede cometer, al menos, 10.000 veces más errores. Esto no quiere decir que debemos condenar a muerte las bases de datos y los algoritmos. Por supuesto que hay aplicaciones legítimas para investigar a  presuntos delincuentes o para ordenar y mantener el tráfico fluido de forma computarizada.  Pero la base de datos y el algoritmo, como el piloto automático, deben estar presentes para apoyar la correcta toma de decisiones humana, no para sustituirla. Si confiamos por completo en los ordenadores, la catástrofe nos espera.

Gary Klein, un psicólogo especializado en el estudio de la toma de decisiones por expertos, o de forma intuitiva, resume así el problema: «Cuando los algoritmos toman las decisiones, las personas dejan a menudo de tratar de mejorar. Al tiempo, los algoritmos hacen que sea más difícil diagnosticar las causas del fracaso. A medida que las personas se vuelven más dependientes de algoritmos, su capacidad de enjuiciar situaciones se puede reducir, haciéndolas cada vez más dependientes de los algoritmos. Ese proceso crea un círculo vicioso. La gente se hace más pasiva y menos atenta cuando son los algoritmos quienes toman las decisiones».

Expertos en decisiones tales como Klein se quejan de que muchos ingenieros de software empeoran deliberadamente el problema diseñando sistemas para suplantar deliberadamente la experiencia humana como única alternativa; si deseamos utilizarlos para apoyar la experiencia humana, tenemos que luchar con el sistema. Dispositivos GPS, por ejemplo, podrían proporcionar todo tipo de apoyo a las decisiones, permitiendo a un conductor humano explorar opciones, ver mapas y alterar una ruta. Sin embargo, estas funciones tienden a estar escondidas en lo más profundo de la aplicación. Se esfuerzan en llevarnos a pulsar el botón de “empezar la navegación” y confiar en el equipo para hacer el resto. Creo que todos hemos sufrido alguna vez la experiencia que nos ha llevado a situaciones incómodas y, a veces, peligrosas.

Es posible resistir el canto de sirena de los algoritmos. Rebecca Pliske, psicóloga, encontró que los meteorólogos veteranos hacían las previsiones meteorológicas, analizando primero los datos y a partir de ellos aplicando su juicio de expertos; sólo entonces miraban el pronóstico del ordenador para comprobar si el equipo había visto algo que ellos hubieran pasado por alto. (Por lo general, la respuesta era negativa). Al hacer su pronóstico inicial por los sistemas tradicionales primero, estos veteranos mantuvieron intactas sus habilidades, a diferencia de los pilotos del Airbus 330. Sin embargo, la generación más joven de los meteorólogos tiende más a confiar en los ordenadores. Una vez que los veteranos se retiren, la experiencia humana que puede intuir si el ordenador se ha equivocado o tiene un problema de funcionamiento, podría perderse.

Muchos de nosotros hemos experimentado problemas con nuestros GPS, y hemos intuido el problema del piloto automático. Ponga las dos ideas juntas y se obtiene el automóvil auto conducido. Chris Urmson, que dirige el programa de vehículos de auto-conducción de Google, espera que los coches estarán pronto disponibles. Por tanto, nuestros hijos no necesitaran una licencia de conducir. Hay una implicación reveladora del objetivo que se persigue: que, a diferencia del piloto automático de un avión, un automóvil de auto-conducción nunca necesitará ceder el control a un ser humano.

Raj Rajkumar, un experto en auto-conducción en la Universidad Carnegie Mellon, piensa en vehículos totalmente autónomos en un horizonte de 10 a 20 años. Hasta entonces, podemos mirar hacia un proceso gradual de dejar que el auto se auto conduzca en condiciones fáciles, y los humanos tomaran el control en momentos más difíciles.

«El número de escenarios que son automatizables aumentará con el tiempo, y un buen día, el vehículo será capaz de controlarse a sí mismo por completo, pero ese último paso será un paso menor, y apenas nos daremos cuenta de que haya sucedido realmente».  Incluso entonces, dice, «Siempre habrá algunos casos extremos donde las cosas irán más allá del control de cualquier sujeto»

Si esto no le parece un mal augurio, tal vez debería parecerle. A primera vista, parece razonable que el coche ceda el control al conductor humano cuando las cosas son difíciles. Esto, sin embargo, plantea dos problemas inmediatos. Si esperamos que sea el coche el que valore cuándo hay que ceder el control, estamos esperando que sea el auto el que conozca los límites de su propia competencia para entender cuando es capaz y cuando no lo es. Eso es una cosa difícil de pedir incluso de un ser humano, y mucho menos a un ordenador.

ENTORNO PERFECTO PARA PROBAR UN VEHICULO AUTO CONDUCIDO

Además, si se espera que el humano se haga cargo en ese momento del control, ¿cómo sabrá el ser humano como reaccionar de manera adecuada? Dado lo que sabemos acerca de la dificultad que los pilotos altamente entrenados pueden tener para determinar y manejar una situación inusual cuando el piloto automático se desconecta, tenemos que ser escépticos sobre la capacidad de los seres humanos para detectar cuando el equipo está a punto de cometer un error.

«Los seres humanos no se utilizan para la conducción de vehículos automatizados, así que realmente no sabemos cómo los conductores van a reaccionar cuando la conducción es asumida por el coche», dice Anuj K. Pradhan, de la Universidad de Michigan. Parece probable que pasaremos el tiempo jugando un juego de ordenador o manteniendo un chat en un video teléfono, en lugar de vigilar como halcones la forma en que el equipo está conduciendo. Tal vez no lo hagamos en nuestro primer viaje en un coche autónomo, pero sin duda si lo haremos en cuanto tomemos confianza.

Y cuando el equipo le ceda el control al conductor, bien puede hacerlo en las situaciones más extremas y desafiantes. Los tres pilotos de Air France tenían dos o tres minutos para decidir qué hacer cuando su piloto automático les pidió que tomaran el control del A330.  ¿Qué posibilidades tendremos Vd. o yo cuando el ordenador en el coche nos diga, «Modo automático desactivado» y veamos en la pantalla de nuestro ordenador un bus a toda velocidad hacia nosotros?

Anuj Pradhan ha planteado la idea de que los seres humanos deberán adquirir varios años de experiencia en conducción manual antes de que se les permita conducir un coche autónomo. Pero ni así parece fácil resolver el problema. Porque, no importa cuántos años de experiencia tenga un conductor, sus habilidades se erosionarán lentamente si permite que habitualmente sea el equipo quien se haga cargo. La propuesta de Pradhan nos da lo peor de ambos mundos: dejamos a los conductores adolescentes conduciendo coches manuales, cuando son más propensos a tener accidentes. Incluso cuando han adquirido experiencia en la carretera, no pasará mucho tiempo, si maneja un coche autónomo generalmente fiable, antes de que sus habilidades comiencen a desvanecerse. Precisamente debido a que los dispositivos digitales detectan los pequeños errores que crean las condiciones para los grandes. Privados de cualquier sistema de memorización y procesamiento de situaciones anormales que nos permitiría mantener nuestras habilidades, cuando llega una complicación, nos encontraremos, lamentablemente sin preparación para reaccionar.

Algunos pilotos de alto nivel instan a los más jóvenes para apagar los pilotos automáticos de vez en cuando, con el fin de mantener sus habilidades. Eso suena como un buen consejo. Pero si los pilotos jóvenes sólo desconectan el piloto automático cuando las condiciones son absolutamente seguras, no están practicando sus habilidades para una situación difícil. Y, si desconectan el piloto automático en una situación difícil para practicar, pueden provocar el accidente que a través de su práctica intentan evitar.

Una solución alternativa es invertir el papel del ordenador y el ser humano. En lugar de dejar que el equipo vuele el avión y el ser humano asuma el control cuando el equipo no puede hacerle frente, tal vez sería mejor tener al humano pilotando con la computadora monitorizando el vuelo y dispuesta a actuar en caso necesario. Los ordenadores, después de todo, son incansables, pacientes y no necesitan la práctica. ¿Por qué, entonces, dedicamos a las personas para vigilar las máquinas y no al revés?

Cuando se encarga a los seres humanos vigilar los ordenadores, por ejemplo, en la operación de aviones no tripulados, los propios ordenadores deben ser programados para permitir ligeros desvíos ocasionales. Aún mejor podría ser un sistema automatizado que exigiera más órdenes y más a menudo del humano, incluso cuando no fueran estrictamente necesarias. Si ocasionalmente se necesita repentinamente la habilidad humana para navegar en una situación sumamente complicada, puede tener sentido crear artificialmente pequeños problemas, sólo para mantener a las personas en estado de alerta.

Hasta aquí, de momento, un vistazo a la situación actual de invasión y predominio de los ordenadores. Son, o deberían ser, sin duda una herramienta útil para el desarrollo humano y sin los cuales no se habrían alcanzado grandes metas, como la exploración del espacio y muchos otros, pero que no deben de sustituir TOTALMENTE al individuo. Estoy seguro de que volveré al tema.

Me llamó la atención recientemente un titular de prensa que me llevó a entrar a fondo en el artículo: “Si quiere que sus nietos desarrollen plenamente su inteligencia, regale un instrumento musical y que aprenda a utilizarlo”. Ante ese provocativo enunciado entré a fondo en el cuerpo del artículo. En él se comentaba que cada día más, las personas de cierta edad, nos vemos sorprendidos por la soltura con que niños de corta edad manejan teléfonos, tabletas y otros artilugios electrónicos y comentamos orgullosos que son muy inteligentes. Pero lo que se exponía era el resultado de un estudio de un prestigioso centro de Boston que había evaluado a miles de niños y adolescentes llegando a determinar que lo que los sujetos objeto de estudio habían aprendido eran unas rutinas de manejo, sin tener la más mínima idea de los procesos que les hacían llegar a los resultados. Comparaba el proceso, casi mecánico, con el manejo de un instrumento musical que requiere en primer lugar el aprendizaje de conocimientos musicales y solfeo; en segundo lugar, el manejo del propio instrumento que requiere una coordinación, de ambas manos ejecutando movimientos distintos y, por último, combinar simultáneamente todo los conocimientos y habilidades para interpretar una melodía. Cualquier instrumento: piano, guitarra, violín, cualquier instrumento de cuerda o de viento, requiere de todas esas habilidades combinadas y un esfuerzo mental notable…

¿Cuál de las dos actividades expuestas piensan que desarrolla más la capacidad cognitiva y mental, la coordinación de los sentidos y habilidades para tocar un instrumento, o apretar los botones de un teléfono, Tablet u ordenador de forma rutinaria?

Que cada uno se responda según su apreciación personal…

FUENTES DOCUMENTALES.-

# “The Guardian Long Reads”. Publicación digital semanal.

# Wikipedia acerca de los avances en vehículos auto conducidos e imágenes.