Cuando una empresa se prepara para introducir tecnologías de inteligencia artificial (IA) en su negocio, el análisis que ha de realizar es el siguiente: ¿Qué podría salir mal? ¿Qué se espera que haga nuestro producto o servicio? ¿Qué pasaría si no lo hiciera? ¿Tenemos un plan de mitigación de riesgos y daños? Recuerde la embarazosa situación en la que se encontró Microsoft tras el fiasco de su bot de conversación con IA, Tay. Unos troles de internet se aprovecharon de las vulnerabilidades del código del bot para nutrirlo con contenidos racistas, homófobos y sexistas que después leyeron millones de usuarios en las redes sociales.

Los accidentes, incluidos los mortales, provocados por software o robots industriales se remontan a los orígenes de estas tecnologías. Sin embargo, no son necesariamente el resultado de los propios sistemas. Es más, los fallos de los sistemas basados en inteligencia artificial están directamente relacionados con los errores cometidos por la inteligencia que imitan. Podemos clasificar estas disfunciones como "errores cometidos durante la fase de aprendizaje" y "errores cometidos durante la fase de funcionamiento". Un sistema puede errar al aprender lo que sus diseñadores quieren que aprenda y en su lugar incorporar una función diferente, aunque correlacionada.

Un ejemplo citado con frecuencia es un sistema de visión automática que el ejército de Estados Unidos esperaba utilizar para detectar automáticamente tanques enemigos camuflados. El sistema debía clasificar las fotografías de diferentes modelos de tanque, pero en su lugar aprendió a distinguir el fondo de las mismas. Otros ejemplos incluyen problemas causados por funcionalidades mal diseñadas que premian a los sistemas de IA por comportamientos solo parcialmente deseables, como pausar una partida para evitar perderla y tocar una pelota de fútbol repetidamente para aumentar la puntuación obtenida por la posesión del balón.

Para comprender las implicaciones de estas situaciones, puede ayudar estudiar algunos ejemplos recientes de fallos de sistemas de IA para entender mejor qué problemas pueden surgir y qué se puede hacer para prevenirlos, o, al menos, para solucionarlos con rapidez una vez ocurran. Tenga en mente estos ejemplos de errores de IA en los últimos años:

  • 2015: Un sistema de respuesta automática para el correo electrónico envía mensajes inapropiados, como "Te quiero" a un compañero de trabajo.
  • 2015: Un robot diseñado para asir piezas automovilísticas mata a un hombre.
  • 2015: Un software de etiquetado de imágenes clasifica a las personas de color como gorilas.
  • 2015: Un sistema médico con inteligencia artificial categoriza pacientes asmáticos como personas con pocas probabilidades de morir de neumonía.
  • 2015: Un software de filtrado de contenidos para adultos obvia eliminar contenidos inapropiados y expone a los más pequeños a contenidos violentos y sexuales.
  • 2016: Un sistema de IA diseñado para predecir la reincidencia delictiva actúa de manera racista.
  • 2016: Un agente de IA se aprovecha de una señal de recompensa para ganar una partida sin terminarla.  
  • 2016: Los personajes no jugadores de un videojuego (cualquier personaje no controlado por un humano) diseñan superarmas no autorizadas.  
  • 2016: Un agente de IA participa como juez en un concurso de belleza y puntúa más bajo a las participantes de tez oscura.
  • 2016: Un guardia de seguridad robótico de un centro comercial choca y lesiona a un niño pequeño.  
  • 2016: El programa de IA Alpha Go pierde contra un humano al juego Go en una partida nivel campeonato mundial.  
  • 2016: Un coche autónomo provocó un accidente letal.

Cada día que pasa, usuarios y consumidores experimentan más carencias de la inteligencia artificial: filtros de correo basura que bloquean correos importantes, sistemas de GPS que facilitan indicaciones erróneas, traducciones automáticas que pervierten el sentido de las frases, funciones de autocorrección que sustituyen la palabra deseada por una incorrecta, sistemas biométricos que no reconocen a las personas, software de transcripción que obvia recoger lo que se dice...; en general, resulta más complicado encontrar ejemplos de IA que no fallen.  

Al analizar la lista de fallos de IA, podemos llegar a una sencilla generalización: un sistema de inteligencia artificial diseñado para hacer X algún día obviará hacer X. Aunque puede parecer una reflexión trivial, es una potente herramienta de generalización que puede emplearse para predecir los futuros fracasos de la IA. Por ejemplo, si nos fijamos en los sistemas y técnicas de IA más vanguardistas actuales y futuros, podemos predecir que:

  • La inteligencia artificial médica ofrecerá diagnósticos equivocados para algunos pacientes de formas en las que un médico humano no se equivocaría.
  • El software de descripción de vídeo malinterpretará el argumento de las películas.
  • El software para generar chistes no logrará en ocasiones que tengan gracia.
  • El software de detección del sarcasmo confundirá expresiones sarcásticas con otras sinceras.
  • El software de selección de empleados estará sistemáticamente sesgado y contratará por tanto a personas de peor rendimiento.
  • El robot explorador de Marte juzgará mal su entorno y se caerá dentro de un cráter.
  • El software para gestionar impuestos y rentas ignorará desgravaciones importantes y aplicará otras menos ventajosas.

¿Qué se debería aprender de estos ejemplos y análisis? ¡Los fallos se materializarán! Es inevitable. Pero, aun así, podemos establecer mejores prácticas, como:

  • Controlar la información y datos que los usuarios pueden introducir en el sistema y limitar el aprendizaje de éste a puntos de datos verificados.
  • Buscar de forma exhaustiva sesgos raciales, de género, de edad y otros tipos habituales en los algoritmos.
  • Analizar de manera explícita cómo podría fallar el software para crear un mecanismo de seguridad para cada problema potencial.
  • Disponer de una versión del producto o servicio "menos inteligente".
  • Establecer por adelantado un plan de comunicación y crisis para dirigirse a los medios de comunicación en caso de que se produzca cualquier tipo de fallo embarazoso. (Una pista: empiece por una disculpa).

Preveo que tanto la frecuencia como la gravedad de los problemas de los sistemas de IA aumentarán de manera continua a medida que estos se vuelvan más avanzados. Los fallos en los reducidos campos de acción actuales de la IA solo representan la punta del iceberg; una vez desarrollemos una inteligencia artificial capaz de funcionar entre diferentes campos, una posible humillación pública será la menor de nuestras preocupaciones.