IA, la CF y el efecto McKittrick

Los seguidores de la cf de larga data saben que las inteligencias artificiales (IA) son tema habitual en el género. Desde la primera mención específica de un robot con inteligencia humana en Erewhon, de Samuel Butler, en 1872, se ha especulado con los efectos de la existencia de esa creación, si inteligencias de ese tipo nos declararán obsoletos, si corremos riesgo de ser desplazados o extinguidos. Esa obsesión, el complejo de Frankenstein, como lo llamaba Asimov, del robot y la IA inteligentes que se vuelven contra sus creadores, nos persigue hasta nuestros días. La vemos en AM de No tengo boca y debo gritar, en HAL 9000 de 2001 Odisea del espacio, en la IA Skynet de las varias versiones de Terminator, y la vemos en las robots ginoides de Ex Machina y Companion. También hemos imaginado a las IA como indiferentes; Wintermute en Neuromante es un ejemplo notorio.

Quizá para reconfortarnos ante estas amenazas, o como contraparte lógica de este lugar común universal, hemos imaginado IAs benévolas con similar frecuencia. Un lógico llamado Joe, los robots asimovianos controlados por las Tres Leyes de la Robótica, la IA que controlaba los sistemas de la Luna en el cuento de John Varley «El fantasma de Kansas» (parte de su universo medicánico).

Todas ellas presentan capacidades que igualan o superan a la mente humana. El caso de los robots de Asimov es particularmente notable. Se nos describen las leyes de la robótica, que están grabadas en los cerebros positrónicos de todo robot, como frases que tienen significado evidente, pero que requieren una mente singularmente equipada para entender abstracciones y evaluar categorías complejas, de otro modo esas formulaciones tan generales (la primera ley dice «Un robot no podrá causar daño a un ser humano, ni siquiera con su inacción») serían enteramente inútiles. Ciertamente, Asimov reconoció esta dificultad, ya que varias de sus historias de robots se basan en conflictos de interpretación de una o más de las Tres Leyes, en muchos casos debidas a la imprecisión del lenguaje humano, a la polisemia o a diferencias de interpretación de otros conceptos asociados.

Ninguna de las hoy llamadas «inteligencias artificiales generativas» se acercan siquiera remotamente a la complejidad de la mente humana. El abuso del nombre «IA» en el mundo real es de larga data, y hoy no nos asombra la perplejidad de Stanley Weizembaum cuando los usuarios de ELIZA le atribuían al programa una comprensión de la que era incapaz. Nuestra tendencia a antropomorfizar sistemas que simulan el lenguaje y la expresión humanos le facilita la tarea a quienes confunden la hacienda con terminología vaga y vendedora. Todo esto hizo necesario crear términos como IAG («Inteligencia Artificial General») para referirse a una hipotética IA que iguale o exceda a la inteligencia humana promedio.

Un documento reciente del Instituto de Docencia Universitaria de la Pontificia Universidad Católica Del Perú resalta las cinco limitaciones o riesgos más notables de las IA:

• Alucinaciones (información sin base real o completamente ficticia)
• Generación de información incorrecta (datos factualmente erróneos o engañosos)
• Sesgos (prejuicios reflejados en los resultados, derivados de los datos con los que fue entrenada)
• Uso de datos personales o institucionales (riesgo de exposición de datos sensibles cargados)
• Propiedad intelectual (dificultad para determinar la autoría de los contenidos generados por IA y la protección de obras generadas para entrenarla)

Los sesgos son especialmente peligrosos, porque generan puntos ciegos que pueden llegar a ser graves. Son resonantes los casos de identificación errónea de personas de grupos étnicos mal representados en las bases de datos (al tener pocos datos las IA no pueden identificar correctamente individuos) y disciplinas enteras en las que la falta de datos sobre mujeres conducen a conclusiones equivocadas que pueden generar incluso riesgo de vida (el libro La mujer invisible de Caroline Criado-Perez describe en detalle el alarmante panorama en este sentido).

Hay un factor más, que los que somos parte del mundo de la informática deberíamos tener siempre presente, y que con cierta malicia he dado en llamar efecto McKittrick.

Quienes hayan visto la película Juegos de Guerra de 1983 recordarán que en ella la principal causa del conflicto es un sistema experto, manejado por una versión ficcionalizada de una IA, al que se había entrenado para simular, enseñándole previamente conceptos de estategia de diversos juegos, distintos escenarios de guerras nucleares para que calculara sus posibles desenlaces. Este sistema experto, diseñado por un matemático, fue instalado en un hardware mucho más potente y se lo conectó a los sistemas de lanzamiento de misiles, reemplazando en la toma de decisiones a los militares que eran la última línea de defensa para impedir errores o problemas en la línea de mando. El problema se generó básicamente porque el sistema original no tenía idea de la diferencia entre realidad y simulación, y el ingeniero que le propuso el sistema a NORAD, el asistente del matemático (John McKittrick), no tenía conocimiento completo del sistema al que estaba dándole el control de las armas más poderosas del mundo.

Y aquí me parece que reside la importancia del paralelo. Hay muchas empresas brindando servicios de IA, con motores de inferencia y análisis de lenguaje, que son «cajas negras», y que adolecen de las limitaciones que vimos (y, seguramente, otras), a las que por error podría asignárseles responsabilidad final para tomar decisiones que afecten a muchísimas personas. El efecto McKittrick sería la actitud de recortar puntos de control o capacidad decisoria de las personas y reemplazarlos, sin verificaciones, por los resultados emitidos por una IA, con el afán de generar rápido un producto vendible. Quienes conocemos las circunstancias relacionadas con la elaboración de un sistema informático somos conscientes de que tales presiones y prisas son reales y significativas.

Sólo puedo esperar, con inquietud, que prevalezcan la razón y el sentido común, y que el diseño de sistemas que tengan impacto significativo en la vida de las personas sea completado con un poco más de sensatez que la que mostró John McKittrick. En la vida real no podemos darnos el lujo de esperar que la IA se dé cuenta de que la mejor decisión en un caso de riesgo es abstenerse de actuar.