ONG y asociaciones civiles cargan contra la ley de IA por abrir la puerta a la vigilancia biométrica en tiempo real

“Momento histórico”, “estamos muy orgullosos” o “marcará estándares globales”. Con estas palabras gruesas celebraron en Bruselas el acuerdo para fijar las reglas con las que se limitarán los riesgos de la inteligencia artificial. Tras una negociación maratoniana de 35 horas entre Europarlamento, Comisión Europea y Consejo, la UE dio luz verde a la primera regulación en el mundo sobre esta tecnología en auge que hace solo un año sonaba a capítulo de Black Mirror y que ahora ya está presente en nuestro día a día con los deepfakes o ChatGPT. La nueva ley nace tras dos años de trabajo con el objetivo de proteger “la democracia, el Estado de derecho y el medio ambiente”.

“De lo poco que se sabe, la UE acierta. Es una declaración de intenciones, pero en algunos aspectos se queda corta”, reconoce Lucía Ortiz de Zárate, investigadora en Ética y Gobernanza de la Inteligencia Artificial en la Universidad Autónoma de Madrid. “Europa ha querido adelantarse y ser los primeros en regular una tecnología nueva, pero creo que se han apresurado porque hasta que se desarrolle totalmente es difícil de legislar“, explica Miguel Angel Román, doctor en Inteligencia Artificial, ingeniero de Telecomunicaciones e Informática y cofundador del Instituto de Inteligencia Artificial (IIA), que asegura que el mejor ejemplo de esto es la irrupción hace solo un año de ChatGPT ya que “lo cambió todo”: “Va a ser una regulación que va a tener que ir evolucionando y eso es muy complejo”.

Aunque desde Bruselas se vendieron unos vistosos fuegos artificiales en forma de pomposas declaraciones, lo cierto es que existe una triquiñuela: el acuerdo existe, pero a nivel político. Por esta razón, el texto final de la ley aún no se conoce —todo lo que tenemos es una nota de prensa y posteriores declaraciones— porque faltan los últimos flecos técnicos que se cerrarán en futuras reuniones en las que se pueden cambiar o introducir matices. No obstante, este último empujón podría ser más largo de lo esperado. Según adelantó Político esta misma semana, desde el Gobierno de Emmanuel Macron ya se ha deslizado que no está terminada. Y, según Financial Times, Francia junto a los de Alemania e Italia estarían buscando alternativas para evitar que sea aprobada.

Y aquí está escondido el riesgo porque lo que ha salido de Bruselas hasta ahora no termina de convencer a ONG y asociaciones civiles, y podría empeorar. “Hay excepciones lo suficientemente ambiguas y amplias que son preocupantes”, sostiene Ortiz de Zárate. La nueva regulación ofrece un enfoque basado en el riesgo categorizando los niveles de riesgo y las restricciones que deben acompañar en función de la escala. Esto implica la prohibición en casos de riesgo “inasumible”. En esta escala se encuentran, entre otros muchos, los sistemas de categorización biométrica, el reconocimiento de emociones o los sistemas de puntuación social.  “Son de alto riesgo y tendrán que pasar controles y requisitos”, explica Román.

Esta vigilancia biométrica fue, sin lugar a dudas, el gran obstáculo de las negociaciones. “El escollo principal ha sido cómo dotar con ella a la seguridad de los estados y que la puedan utilizar cuando sea necesario”, afirma Román. El acuerdo llegó a buen puerto con los eurodiputados cediendo en una de sus líneas rojas: su uso en tiempo real en espacios públicos. En su posición de junio, el Parlamento Europeo la prohibía totalmente, con una sola excepción: para el caso que sea posterior, es decir que se tenga que hacer una revisión por un delito que ya sucedió.

Pero, vayamos por partes. La identificación biométrica permite el reconocimiento de una persona a través de aquellos rasgos físicos únicos de cada individuo como la cara, el iris de los ojos, las huellas dactilares o la voz. “Se abre la puerta a un sistema de vigilancia perpetua“, reconoce Ortiz de Zárate que apunta que implica “una potencial violación del derecho a la privacidad”. Esta experta también pone el foco en “muchos sesgos” que se pueden colar en este uso de la inteligencia artificial, como los de raza o género. Una investigación española publicada en 2022 ya alertaba que tanto los algoritmos como los procedimientos de reconocimiento facial identifican y clasifican mejor a los hombres, en concreto a los hombres blancos.

Y es que esta tecnología puede usarse para un uso tan inocente y habitual como desbloquear un teléfono móvil con la cara o la huella del dedo. Sin embargo, también se utiliza para pagar usando el reconocimiento facial, para comprobar en un control fronterizo la identidad de una persona o para localizar a un individuo entre una multitud. “Tenemos que saber si se están recopilando datos en espacios públicos porque puede ser una vulneración de nuestra privacidad y libertad“, defiende Ortiz de Zarate.

Desde la UE, explican que “la precisión de los sistemas de reconocimiento facial puede variar significativamente según una amplia gama de factores, como la calidad de la cámara, la luz, la distancia, la base de datos, el algoritmo y el origen étnico, la edad o el sexo del sujeto”. Bruselas también reconoce en la documentación sobre la ley de inteligencia artificial que aunque la tasa de error sea del 0,1% es “mucho si se trata de decenas de miles de personas” y es peligroso cuando el resultado “lleva a sospechar de una persona inocente”.

Sin embargo, y aquí empiezan los problemas, la norma resultante establece una serie de excepciones que permitirán el uso de sistemas de vigilancia biométrica en espacios públicos por “seguridad nacional” siempre que haya una orden judicial previa y para una lista de delitos estrictamente definidos. Esta vigilancia tendría que ir precedida de “una evaluación previa del impacto sobre los derechos fundamentales y debería notificarse a la autoridad pertinente y a la autoridad de protección de datos”.

La UE establece diferencias entre la vigilancia post-remota y la realizada en tiempo real. Así, el reconocimiento biométrico posterior se podrá usar en la búsqueda selectiva de una persona condenada o sospechosa de haber cometido un delito grave. Esta excepción era la que ya estipulaba el Parlamento Europeo.

La novedad se encuentra en aquella que se produce en vivo. “Esta información, si no es estrictamente necesaria es un abuso de la privacidad”, reconoce Román que defiende que, aunque es una “tecnología muy útil”, choca con “algunos derechos fundamentales”. “Este tipo de identificación sirve para tener controlado a los individuos en todo momento. Es un sistema de control y en las democracias liberales debería ser inaceptable“, argumenta Ortiz de Zárate que recuerda que en China este uso está extendido y desde la UE se “critica este modelo”.

En concreto, y como detalló el comisario de Industria y Servicios Digitales, Thierry Breton, para la identificación en tiempo real se establecen tres excepciones. Por un lado, para la búsqueda de desaparecidos o víctimas de secuestro, trata o explotación sexual. También para la “prevención de amenazas a la vida o la seguridad física” ante un atentado terrorista “específico y presente”. Y, por último, la localización o identificación de sospechos por alguno de los 16 delitos específicos y que van desde el tráfico de drogas, armas o órganos humanos, pasando por el asesinato, la violación, el secuestro hasta robos organizados o sabotajes.

¿Son apropiadas estas tres excepciones? “Es una pregunta difícil porque, obviamente, hay motivos de seguridad nacional que pueden justificar su uso particular en ciertos momentos”, expone Ortiz de Zárate que se hace también dos cuestiones: “¿Cómo justificas que mal justifica este uso? ¿Cuánto estamos dispuestos a ceder de nuestra libertad por la seguridad?”.

Para Miguel Angel Román, estas excepciones son “apropiadas”. “Estoy a favor de que se utilicen a favor del bien común, aunque es cierto que me preocupa que se aprovechen de alguna laguna para invadir nuestra privacidad o que se salten los controles para hacer un mal uso de esta tecnología”, sostiene este experto.

Otro de los puntos que levantan las dudas de ONG y asociaciones civiles es el reconocimiento de emociones, que analizan la voz y las expresiones faciales de un individuo además de  las palabras que expresa o escribe. Este tipo de tecnología se puede usar en áreas como la seguridad para detectar violencia o en atención al cliente para medir el grado de satisfacción. “No entran en nuestros cerebros y las emociones se pueden fingir. Desde ese punto de vista, no lo veo peligroso ya que si se avisa a la persona se pueden falsificar”, defiende Román. .

En la nota, Bruselas detalla que se prohibirá en los ámbitos laborales y educativos, pero, tal y como denuncia Access Now, se omite su uso en contextos policiales, fronterizos y migratorios, matices que sí que se encontraban en la propuesta del Parlamento Europeo. “Demuestra perfectamente el enfoque de dos niveles de la ley respecto de los derechos fundamentales, que considera a los migrantes y a las personas ya marginadas menos merecedoras de protección”, detallan. Además, según denuncian, también se permitirían excepciones con fines médicos o de seguridad: “Una laguna enorme que podría resultar extremadamente peligrosa”.

“Obviamente tiene que estar prohibido su uso en estos contextos porque es un sistema que falla muchísimo y cuyo uso está plagado de cuestiones ideológicas y eugenésicas“, admite Ortiz Zárate que reconoce que con su uso “se abre la puerta a situaciones peligrosas”. “Es arriesgado que se hagan interpretaciones de las emociones, que perjudiquen a los ciudadanos”, asegura Román que sólo los ve útiles para tiendas o establecimientos que vendan productos para medir el grado de satisfacción.

Y la misma senda peligrosa se ha tomado con el rastreo de datos biométricos, como imágenes faciales, ADN, registros de voz o huella digital de navegación. Conocido también como scraping, Bruselas explica en la nota que se prohíbe recoger los patrones faciales para “crear o ampliar bases de datos” en internet o en circuitos de videovigilancia, pero se omite el resto.

“Sí el reconocimiento de emociones se permite en algunos ámbitos efectivamente se van a violar los derechos humanos. Y el uso de la vigilancia biometrica, aunque puede ser discutible, pero también roza esta violación de los derechos fundamentales”, resume Ortiz de Zárate. Más precavido es Miguel Ángel Román: “No conocemos aún el texto final y si hubiese lagunas se arreglarían, por ejemplo, en la Oficina de IA que se crea con la ley dentro de la Comisión”.

Sin embargo, todas estas excepciones y omisiones en el paquete biométrico generan escepticismo entre ONG y asociaciones civiles. Desde la Red Europea de Derechos Digitales (EDRi) señalan que configuran un camino para que se usen estos sistemas de manera peligrosa, discriminatoria y de vigilancia masiva. “Es difícil entusiasmarse con una ley que, por primera vez en la UE, ha tomado medidas para legalizar el reconocimiento facial público en vivo”, advierte Ella Jakubowska, asesora principal de políticas de esta organización, que apunta que el paquete general es “en el mejor de los casos, tibio”.

En la misma línea se mueve Amnistía Internacional que asegura que se ha dado luz verde a “una vigilancia digital distópica” que “sienta un precedente devastador a escala mundial”. “Es una gran oportunidad perdida para detener y prevenir un daño colosal a los derechos humanos, el espacio cívico y el Estado de Derecho”, defiende Mher Hakobyan, asesor en materia de inteligencia artificial.

Desde Access Now afean que Bruselas se jacte de marcar “tendencias regulatorias en el mundo” porque “a diferencia del Reglamento Europeo de Protección de Datos, esta ley no es un estándar de oro”. “Desde sus inicios ya era una concesión a la industria y a las fuerzas del orden. Ahora promete proteger a la policía y a las empresas privadas mucho más que a las personas“, explican.

Una vez el texto sea público y la Eurocámara y el Consejo lo aprueben formalmente, habrá un período de transición antes de que la ley entre en vigor, como pronto en 2026. ¿Qué pasará durante estos dos años? La idea de Bruselas pasa por un pacto sobre inteligencia artificial en el que convocará a desarrolladores y empresas, tanto europeas como de otras partes del mundo, para que se comprometan voluntariamente a implementar la regulación durante este período.