EFE.- El dato posiblemente ya llegó a tus oídos: en febrero de 2021 un padre envió fotos de las partes íntimas de su hijo al pediatra (a pedido del médico, en plena pandemia), fotos que habían sido tomadas a su vez por su madre y en una de las cuales se veía la mano del padre (llamado Mark). Como resultado ocurrieron dos cosas. Una buena y previsible: el médico recetó unos antibióticos y el chico se curó.
La segunda fue despóticamente cruel: el sistema de inteligencia artificial que Google usa para detectar abuso sexual infantil entendió que las fotos que Mark le envió al médico calificaban como tal crimen aberrante y no solo le cerró todas las cuentas y el servicio de telefonía (llamado Google Fi), sino que además dio parte a la policía, que, como corresponde inició una investigación.
La policía notificó de la investigación en curso a Mark, en el que debe haber sido uno de los peores días de la vida de este programador, pero luego no encontró razones para seguir adelante y cerró el caso. Google, sin embargo, hasta ahora no reactivó la cuenta, y no solo asegura según The New York Times, que fue quien primero dio a conocer esta historia que la decisión que tomó fue la correcta, sino que no reabrirá la cuenta de Mark.
Todo bien, todo mal y ninguna de las dos cosas
La historia es así: todas las empresas que brindan servicios en internet escanean nuestras imágenes toda vez que las colocamos en la nube. ¿Por qué? Básicamente, para evitarse problemas con la ley, y muy probablemente también porque los crímenes que intentan detectar son aberrantes, con el abuso sexual infantil a la cabeza.
Lo lógico y lo que se venía haciendo hasta hace poco era algo semejante a lo que hace Shazam para decirte el nombre de una canción que está sonando: comparar las imágenes con una base de datos de imágenes probadamente asociadas a abuso sexual infantil..
Por supuesto, ese método tiene un problema. No puede detectar nuevas imágenes de pedofilia, porque no las mira (esto entre comillas), sino que compara hashes. Para intentar resolver esto, Google desarrolló en 2018 un software de inteligencia artificial (IA) que analiza las imágenes en busca de signos de abuso, aun cuando sean completamente nuevas. En teoría, una herramienta excepcional.
Pero, sin darse cuenta, sin siquiera imaginar lo que pasaría, preocupados por la salud de su hijo, Mark y su esposa sacaron una foto que tenía todos los signos para darle a pensar a la IA (un moderador humano la habría descartado en medio segundo) que se trataba de un acto criminal horrendo.
Los pedófilos han encontrado en internet y en la digitalización un número de facilitadores para sus prácticas, que son monstruosas. Los responsables de perseguir a estos criminales también realizan su trabajo echando mano de herramientas de alta tecnología, como la ya mencionada PhotoDNA, de Microsoft, y lo hacen en general en condiciones adversas y silenciosamente, como el que lucha contra el narcotráfico o la mafia.
Pero el caso de Mark, que más de un año y medio después todavía no se recupera del incidente, deja en evidencia los límites de la IA. Google conoce bien esos límites, pero cuando dice que se mantiene en sus trece admite que prefiere crearle una pesadilla y eventualmente una causa penal injustificada) a un cliente antes que dejar pasar una imagen de pedofilia sin detectar. Lo que suena más que aceptable.
Aparte del tema de la privacidad, que abordaré en un segundo, sí, definitivamente es más grave el abuso de un chico que perder tu cuenta de Gmail.
El único pequeño problema es que este razonamiento es inválido. Si la IA se equivoca produciendo un falso positivo, puede asimismo dejar pasar verdaderas imágenes de abuso sin detectarlas. Simplemente, en su estado actual, la IA ha demostrado ser incapaz de interpretar correctamente la realidad.
Es decir: el caso de Mark ofusca el escenario opuesto, uno en el que la visión artificial es incapaz de detectar los signos de abuso en una imagen, y la deja pasar .
