Tribunal de garantías frente a los algoritmos discriminatorios

En los últimos tiempos son habituales, y en un futuro muy cercano formarán parte de la normalidad, los escenarios en donde empresas privadas o instituciones públicas llevan a acciones comerciales –caso de empresas– o políticas públicas –caso de gobiernos– apoyándose en la recogida masiva de datos digitales. Esos acopios masivos de datos se efectúan por medios tecnológicos asociados a todo tipo de dispositivos móviles conectados y al comportamiento de navegación de las personas a través de sitios web o de apps móviles.

Esos medios tecnológicos son tanto activos como pasivos, encontrándose entre los primeros, por ejemplo, los permisos que el usuario concede a las aplicaciones para obtener datos de geo-localización del dispositivo, o las cookies de los sitios web; y entre los pasivos, todo el análisis cruzado de datos que pueda hacerse entre movimientos del giróscopo de un teléfono celular y visitas de ese mismo dispositivo a webs de contenido deportivo, por poner sólo un caso de entre los posibles.

En esa recogida masiva de datos por parte de empresas y gobiernos, a los usuarios no se les suele informar 'a priori' más que genéricamente: en los términos y condiciones de los servicios al visitar una web o instalar una 'app', se les comunica podrán ser recogidos datos del dispositivo del usuario, que serán compartidos con otros, y que se utilizarán purgados de identificadores personales y desindividualizados, es decir, agrupados estadísticamente.

[Recibe diariamente los análisis de más actualidad en tu correo electrónico o en tu teléfono a través de nuestro canal de Telegram]

No se les aclara, en cambio, qué uso se le va a dar a esos datos estadísticamente agregados; y, mucho menos, que aunque se desindividualicen en la recogida masiva, el uso posterior que el agregado de datos puede tener por parte de algoritmos automáticos de decisión puede afectar, esta vez sí muy individualmente, a cada ciudadano particular del que se están recogiendo.

Escenarios habituales de esa recogida masiva y desindividualizada de dispositivos electrónicos de ciudadanos en países democráticos son los estudios de datos de geo-posicionamiento de teléfonos celulares proporcionados (por lo general, vendidos) por parte de operadores de telecomunicaciones a otras empresas para hacer estudios de mercadotecnia, o a gobiernos para desarrollar políticas públicas de movilidad o de transporte; los ya consabidos perfilados de contenidos en redes sociales para alimentar el microtargeting (micro-focalización) en campañas de publicidad en línea, o en campañas políticas durante procesos electorales.

En todos esos escenarios, se nos dice que los datos que aportarán operadoras de telecomunicaciones o de webs de comercio electrónico con un elevado número de visitas en muchos países serán agregados estadísticos; es decir, información desprovista de datos personales identificativos. Es de suponer que esta anominización para realizar una función estadística, por parte de las empresas u organismos públicos que los compran para utilizarlos en sus estudios, es respetuosa con las legislaciones nacionales y supranacionales de protección de datos personales, puesto que éstos están despersonalizados y a partir de ellos no se puede identificar a ningún usuario individual. En tanto que son datos agregados, se nos dice, únicamente servirán para conocer patrones de comportamiento colectivo, que podrán servir para diseñar políticas públicas o para mejorar la experiencia de los usuarios en servicios comerciales.

Sin embargo, con la emergencia de algoritmos de clasificación y análisis automático de grandes volúmenes de datos poblacionales (big data), el verdadero terreno de nadie, el auténtico campo minado para los derechos civiles –y me atrevería a decir fundamentales– no es tanto la cesión de datos recogidos por dispositivos electrónicos, sino cómo son empleados con un software sofisticado para diseñar y construir herramientas que decidirán, literalmente en tanto máquinas, sobre la vida de los ciudadanos.

Tanto los marcos regulatorios nacionales como algunos supranacionales (por ejemplo, el europeo con el Reglamento General de Protección de Datos) están poniendo el acento en la protección de los datos personales identificativos: cómo se recogen, cómo se almacenan, cómo se ceden y cómo se utilizan. Sin embargo, en esa utilización final la legislación se limita a fiscalizar el uso que se le va a dar al dato en concreto; pongamos por caso, para una estadística general sobre movilidad. Sin embargo, por robusta que sea la legislación al principio de la secuencia (recogida, almacenamiento y uso de los datos en bruto), el Derecho todavía no ha abarcado el instante en que dejan de ser datos (ya sean personales o anonimizados) y se convierten en 'células' de un 'cuerpo' electrónico autónomo, ése sí ya desregulado, que es el algoritmo automático, 'hormonado' o no con inteligencia artificial. Ahí, de momento, los derechos de la ciudadanía están en un limbo.

Apliquemos ese prisma algorítmico al escenario que hemos mencionado de venta, a empresas o gobiernos, de datos de geo-posicionamiento agrupados estadísticamente (por tanto, desindividualizados) de teléfonos celulares por parte de empresas de telecomunicaciones, al objeto de realizar –entre otros– estudios de movilidad urbana o incluso de dinámicas poblacionales de otro tipo.

Imaginemos que los datos que proporcionen las operadoras de telefonía se utilizan, en efecto, con propósitos estadísticos; digamos, por ejemplo, que para establecer un mapa de densidad de tráfico a lo largo del día. No nos escandalicemos, porque eso ya lo hace Google con los datos que le cedemos al utilizar Google Maps u otros servicios del mismo proveedor, principalmente si tenemos un dispositivo Android: cuando conectamos con una ruta en Google Maps y el mapa nos marca en color rojo que hay saturación de tráfico en un punto lo hace utilizando los datos de la misma manera, más o menos, que hacen instituciones gubernamentales que compran datos a empresas de telecomunicaciones: geo-posicionamiento (en el caso de Google, en tiempo real) de dispositivos móviles. Hasta aquí, no parece haber problemas de privacidad.

Ahora bien, pongamos que igual que una institución pública dedicada al transporte contrata mercantilmente a empresas de telefonía para obtener los datos de geo-posicionamiento de teléfonos celulares, es otro actor mercantil el que las contrata y pide los mismos datos. Imagine que es usted una persona que reside en un barrio, digamos, de marcadores socioeconómicos humildes, o directamente deprimidos. Supongamos que una gran empresa de seguros o de análisis crediticio contrata a los mismos operadores de telecomunicaciones, o incluso partidos políticos para sus campañas electorales

Conjeturemos entonces que esa gran empresa de nuestra hipótesis no utiliza los datos con fines estrictamente estadísticos, sino para alimentar un conjunto de algoritmos automáticos basados en inteligencia artificial que, introduciéndole un código postal de residencia, proporciona un factor de ponderación positivo o negativo, o simplemente un color –verde, amarillo o rojo–; y que queda asociado a una persona sencillamente por vivir en un determinado territorio sobre el que un algoritmo entiende que, a partir del análisis del big data, se dan condiciones de prospectiva negativa para realizar una inversión o conceder un crédito. Actualmente el funcionamiento de ese tipo de algoritmos, que pueden tener efectos discriminatorios sobre personas para nada anónimas a partir del tratamiento de volúmenes masivos de datos perfectamente anonimizados, no está regulado, y su posible colisión con derechos civiles o derechos fundamentales no está fiscalizada.

Es cierto que para cuestiones de vulneración de las leyes de protección de datos numerosos gobiernos han establecido agencias de protección. Sin embargo, ¿tenemos alguna institución pública que verifique que el comportamiento de algoritmos automáticos no lesiona derechos? A priori, parece que ni siquiera lo hemos pensado, y puede ser el momento, pues si en algo se está distinguiendo el espacio común europeo es en situarse como vanguardia en la regulación de las nuevas realidades digitales.

En ese contexto, mientras las agencias gubernamentales de protección de datos son efectivas en la salvaguarda del ciudadano en esas etapas iniciales del dato digital que tenga propiedades de identificación personal, no parece que nadie se haya fijado en la operativa de los algoritmos automáticos que operan con datos: ¿están programados con un sesgo discriminatorio que pudiera ser ilegal?; el resultado que arrojan, ¿tiene supervisión humana? ¿El modelo matemático en que están sustentados, y su posterior operativa computacional, han pasado por una auditoría de cumplimiento debido respecto de derechos civiles y fundamentales? Si esos algoritmos están adoptando decisiones con influencia en la sociedad y en el ciudadano, estas preguntas no deberían quedar sin respuesta en un Estado de derecho.

Es bastante intuitivo pensar que la labor que, con el dato en bruto, ejercen las agencias gubernamentales de protección de datos debiera desempeñarla un órgano de garantías de protección de derechos en el caso de los algoritmos que operan con procesamiento de datos. Y en nuestra cultura del Derecho, las garantías de protección las ejercen los jueces: todavía más cuando los bienes jurídicos a proteger en un caso y en otro son distintos: con la fiscalización del dato se protege la intimidad del ciudadano, pero con la de los algoritmos con potencial discriminatorio, el bien jurídico a salvaguardar es la igualdad.

Que jueces entiendan de la protección de derechos en un ámbito concreto no es ni siquiera algo extraño a nuestra realidad: las juntas electorales centrales son, precisamente, un órgano de garantías que establece en qué condiciones un comportamiento es lesivo o no para el libre ejercicio de los derechos políticos de los ciudadanos en un escenario de elecciones democráticas. Podría hacerse de la misma forma con los algoritmos automáticos con potencial discriminatorio en la sociedad: vigilar que se atengan a cumplir, tanto en su modelización matemática como en su operativa computacional, con comportamientos que no sean lesivos de derechos civiles ni fundamentales.