Cada día la tecnología tiene un mayor impacto en la vida diaria de las personas. La mayor parte de ese impacto es positivo, pero la innovación puede también crear nuevos retos. Hoy en día, las organizaciones de todos los sectores utilizan cada vez más la inteligencia artificial. Como ejemplo tenemos la conocida compañía NotCo, que usa IA para reformular recetas tradicionales con ingredientes veganos. La adopción y el uso continuo de sistemas de IA requiere la confianza de las personas que trabajan con ellos y para establecer y mantener esa confianza, las empresas deben garantizar que sus sistemas de IA no tengan sesgos y sean fiables, explicables, éticos, justos, responsables, seguros, que preserven la privacidad. Pero, además, que sean robustos frente a los ataques maliciosos.
En este aspecto, muchos enfoques de aprendizaje automático (Machine Learning) y de aprendizaje profundo (Deep learning) utilizados hoy en día son vulnerables a lo que llamamos “ataques de adversarios” (adversarial attack). Un aspecto clave de como funcionan los sistemas de IA es que deben ser enseñados, entrenados, para que cumplan con el objetivo deseado. Y ahí está uno de los nuevos retos que esta tecnología trae: los adversarios utilizan datos de entrada modificados para hacer que un algoritmo de aprendizaje automático se comporte de forma inesperada. Los casos de Tay, o más reciente de PULSE, nos permiten entender cuán sesgado puede ser el entrenamiento de una IA. Otro ejemplo es que un atacante puede engañar a los sistemas de reconocimiento facial llevando unas gafas especiales, haciendo que el algoritmo lo confunda con una celebridad. Otras investigaciones han demostrado que se puede engañar a algoritmos de visión de vehículos autónomos para que confundan las señales de stop con las de límite de velocidad, y estos son sólo los primeros ejemplos de lo que se ha denominado IA adversa (Adversarial AI o Adversarial Machine Learning en algunos papers).
Además, muchos modelos de aprendizaje automático se entrenan con conjuntos de datos públicos o de fuentes que no son totalmente fiables. Esto aumenta la posibilidad de que los adversarios pongan en peligro los modelos y manipulen sus resultados: pueden interrumpir el proceso de entrenamiento introduciendo muestras de datos cuidadosamente elaboradas. Este tipo de ataque, conocido como ataque de envenenamiento (poisoning attack), permite a los adversarios insertar puertas traseras en el propio modelo de aprendizaje automático.
Si estamos entrenando a un algoritmo de IA para vehículos autónomos para que reconozca señales de tráfico, un adversario puede poner ciertos set de entrenamientos de señales de stop con cuadrados amarillos, etiquetando cada señal como una señal de límite de velocidad en lugar de una de stop. De esa forma, un atacante consigue interrumpir el proceso de entrenamiento y nuestro adversario podrá hacer que el vehículo autónomo confunda una señal de stop con una de límite de velocidad, simplemente poniendo una nota adhesiva amarilla sobre ella. Un humano que viera una señal de stop con una nota adhesiva sabría que tiene que parar; un sistema de IA entrenado con los datos envenenados aprendió que esa señal con un cuadrado amarillo era una señal de límite de velocidad y pasaría de largo.
Si bien, no todos los tipos de inteligencia artificial son igualmente vulnerables a los ataques de adversarios, el aprendizaje automático y, más significativamente, los algoritmos de aprendizaje profundo son vulnerables, por lo ya explicado. Se han demostrado ataques adversarios contra sistemas diseñados para algoritmos de filtrado de spam, sistemas de detección de intrusos e incluso autenticación biométrica. A medida que las organizaciones busquen aplicar soluciones de IA en más espacios, el alcance de este tipo de ataques sólo aumentará. Los algoritmos de aprendizaje automático vulnerables han introducido una superficie de ataque totalmente nueva para las organizaciones, que no está protegida mediante las defensas clásicas de seguridad de las aplicaciones y de la red.
En los laboratorios de Accenture hemos realizado una prueba que demuestra la vulnerabilidad de la IA en pequeñas disrupciones de los datos de entrada. Por ejemplo, al depositar un cheque, una aplicación en el cajero automático, o una aplicación de banca móvil, escanea el cheque o una foto del mismo y reconoce el monto del pago en el cheque. Pero un atacante puede elaborar cuidadosamente una nueva imagen del cheque con algo de “ruido” visual añadido. El ruido hace que el monto a pagar no cambie para el ojo humano, mientras que sí engaña al sistema de reconocimiento óptico de caracteres (OCR) para que reconozca un monto a pagar diferente elegido por el atacante. El ataque es posible simplemente cambiando ciertos píxeles de la imagen del cheque, y lo que es peor, hay más de una forma de hacerlo. Un atacante puede cambiar la imagen digital del cheque comprometiendo el sistema OCR del cajero automático o la aplicación móvil del banco, o incluso cambiando directamente el propio cheque físico.
Esta prueba muestra los riesgos a los que ya se enfrentan las empresas hoy en día. De cara al futuro, estamos desarrollando formas de reducir el riesgo del uso de la IA para nuestros clientes y de defender la inteligencia artificial de los ataques de los adversarios. Puede que esta superficie de ataque apenas esté emergiendo, pero es fundamental que las organizaciones tengan en cuenta la IA adversa en sus estrategias de seguridad a medida que integran la inteligencia artificial cada vez más en sus organizaciones. Como ocurre con cualquier tecnología, aparecen nuevos retos a medida que la inteligencia artificial se generaliza y la IA adversa es un reto que las empresas deben afrontar hoy.
Imagen: @wallup/Wallhere
