70 académicos piden al Gobierno una moratoria antes de generalizar el reconocimiento facial

Recientemente RENFE publicó una licitación para desarrollar un sistema de reconocimiento y análisis facial que, entre otras cosas, debía permitir identificar el género, la etnia o incluso el estado emocional de los pasajeros. Su procesamiento de imágenes también serviría para alertar acerca de “peleas” o “actitudes antisociales”.

Al final la operadora ferroviaria ha retirado el anuncio, pero es tan solo un ejemplo de cómo el uso de estos sistemas comienza a extenderse entre compañías de transporte de viajeros, empresas de seguridad, entornos educativos, laborales, sanitarios, de ocio y otros ámbitos, un avance hacia su uso masivo que preocupa a algunos expertos.

Hasta 70 catedráticos, profesores, investigadores  y profesionales del ámbito de la Filosofía, la Computación y las Ciencias Sociales han firmado una petición, una carta abierta a la que se pueden adherir más expertos, pidiendo al Gobierno de España una comisión de investigación que estudie la necesidad de establecer una moratoria en el uso y comercialización de sistemas de reconocimiento y análisis facial por parte de las empresas, tanto públicas como privadas.

La moratoria se mantendría hasta que las Cortes Generales y las instituciones legislativas europeas debatan cuáles, de qué manera, en qué condiciones, con qué garantías y con qué objetivos debe permitirse, si cabe, el uso de estos sistemas, “que tienen potenciales efectos perniciosos sobre el bienestar, los intereses y las necesidades y derechos fundamentales de la población española en general”.

Los firmantes solicitan la intervención rápida del Gobierno “antes de que estos sistemas continúen expandiéndose y se conviertan en estándares de facto, a pesar de la intromisión que suponen en la esfera privada de las personas sin su consentimiento explícito”.

“Están en juego –añaden– cuestiones fundamentales de justicia social, dignidad humana, equidad, igualdad en el trato e inclusión. Los sistemas de reconocimiento y análisis de imágenes de personas (de sus caras, gestos, peinados, posturas y movimientos corporales, vestimenta, texturas y/o colores de piel) y, por extensión, los algoritmos de aprendizaje automático que los sustentan computacionalmente tienen graves problemas que han sido ampliamente documentados y discutidos por la comunidad científica y entidades gubernamentales y civiles”.

Cinco problemas importantes

Los firmantes destacan cinco dificultades. Una es que asociar a una persona una determinada característica o tendencia (normalmente representada a través de una puntuación individual) con base en estadísticas poblacionales “es altamente problemático”, especialmente cuando un sistema toma decisiones operativas que afectan a personas individuales de acuerdo a predicciones solo válidas a nivel de grupo.

Otro inconveniente es que no hay modelos científicos aceptados en psicología, antropología o sociología que indiquen que un tipo de nariz, un rictus particular o una manera de andar sean predictores adecuados de comportamientos individuales futuros.

Por ejemplo, la probabilidad de delinquir, de aprender historia o ingeniería o de desempeñarse correctamente en un determinado trabajo no depende de ninguna de esas variables que los métodos de reconocimiento facial recogen y analizan para clasificar a las personas y tomar decisiones sobre ellas.

Por otra parte, estos sistemas se consideran cajas negras cuya opacidad dificulta saber cómo toman sus decisiones y con base en qué criterios: “Aunque técnica y teóricamente es posible que sean más transparentes, los actuales no están especialmente diseñados para permitir una rendición de cuentas que se ajuste a los requerimientos de una sociedad democrática”.

Puerta de embarque con escáneres faciales biométricos en el aeropuerto de Atlanta (EE UU). / John Paul Van Wert/Rank Studios 2018

Además, son sistemas poco robustos, ya que la calidad de sus resultados es muy dependiente de cuestiones contextuales, dando lugar tanto a falsos positivos como falsos negativos. Los resultados pueden ser incorrectos, por ejemplo, si las condiciones reales de luz difieren de las utilizadas durante el entrenamiento.

Y, finalmente, también “es fácil que un sesgo muestral afecte de manera notable la calidad predictiva de un sistema cuando diferentes grupos no están representados de forma igualitaria en los datos de entrenamiento”. Es el caso de las aplicaciones de radiología que muestran índices de éxito predictivo altamente prometedores en personas de piel clara, pero mucho peores si su dermis es oscura.

Posibles beneficios no compensan efectos negativos

Por todas estas razones los firmantes concluyen: “Debido a las graves deficiencias y riesgos que presentan estos sistemas, los posibles beneficios que quizás podrían ofrecer no compensan de ninguna manera sus potenciales efectos negativos, en especial para los grupos y colectivos que suelen sufrir injusticias y tratos discriminatorios: entre otros, mujeres, personas LGTBIQ+13, personas racializadas, migrantes, personas con discapacidad o personas en situación de pobreza y riesgo de exclusión social”.