¡Que no te vean la cara! Las máquinas no saben reconocer emociones

Como parte de las medidas de seguridad que se implementaron durante la celebración de las Fiestas Patrias, la Municipalidad de Santiago anunció la instalación de un sistema de reconocimiento facial y de emociones. En esta columna escrita para CIPER el autor señala que «como suele ocurrir, el anuncio de la implementación del sistema de reconocimiento de emociones no incluyó aspectos tales como una explicación de cómo fue entrenado el sistema que se utilizara en el Parque O’Higgins, si es que existieron o no auditorías externas para determinar su correcto funcionamiento, qué instancias de evaluación se contemplarían, ni cuál es la tasa de error del sistema».

¿Existe algo así como una cara de borracho? La pregunta puede resultar curiosa, graciosa e incluso dolorosa, dependiendo del impacto que el alcohol haya tenido en nuestras vidas. Pero es pertinente hacerla, a propósito de un anuncio realizado por la Municipalidad de Santiago en la previa de las Fiestas Patrias y que pasó relativamente desapercibido. Como parte del plan de seguridad dispuesto en el Parque O’Higgins durante la celebración se contempló la instalación de 40 cámaras dotadas con un sistema de inteligencia artificial (IA), reconocimiento facial y detección de emociones. Desde la municipalidad explicaron que el sistema emite una alerta al detectar a personas que podrían estar bajo la influencia del alcohol, las drogas o con un estado emocional alterado.

Se trata de una tecnología polémica, cuyas bases científicas han sido ampliamente cuestionadas. En síntesis, la evidencia ha demostrado que no es posible generar un modelo de reconocimiento de las emociones en base a las expresiones faciales, puesto que no existe un conjunto de rasgos universales que puedan asociarse, de forma unívoca, a una emoción determinada. La manera en que distintas emociones se expresan varía dependiendo de cuestiones como la cultura, el contexto en el que la emoción se manifieste e, incluso, de persona en persona.

Pasa algo similar con la ingesta de alcohol. Si bien es cierto que hay rasgos que pueden denotar su consumo excesivo —incluyendo la hinchazón y enrojecimiento del rostro y de los ojos, o la caída de los párpados— también es verdad que estos signos pueden tener otras causas, como las alergias, el sueño o el cansancio, y no es siempre igual entre distintos individuos.

Esto puede sonar contraintuitivo. Es probable que muchos de nosotros tengamos la experiencia de reconocer al instante y con solo un vistazo cuando un familiar, un amigo o un conocido está emocionalmente alterado, del mismo modo en que podemos reconocer cuando han bebido de más. Quizás hemos reconocido los signos de la embriaguez en nuestros propios rostros, al observarnos en una fotografía o un espejo. Es cierto, las personas podemos hacer todas esas cosas. Y tiene mucho que ver con la diferencia entre la manera en que experimentamos y conocemos el mundo y el funcionamiento de un sistema automatizado de toma de decisiones.

Como señalan Noam Chomsky, Ian Roberts y Jeffrey Watumull, mientras que los sistemas de inteligencia artificial son entrenados para “inferir correlaciones brutas entre puntos de datos”, las personas son capaces de comprender lo que ocurre a su alrededor sin necesidad de acumular terabits de información ni aplicar modelos estadísticos, sino que recurriendo a una racionalidad compleja, que incluye la capacidad de analizar críticamente, inferir información del contexto, imaginar escenarios y aventurar explicaciones sobre lo que ocurre. Conocemos a nuestros amigos no porque tengamos un montón de datos factuales sobre ellos, sino que porque hemos pasado tiempo juntos, les hemos visto desenvolverse en diferentes circunstancias y reaccionar a distintos estímulos. Hemos experimentado el mundo juntos y sentimos una afinidad con ellos. Por eso podemos distinguir cuando están tristes o enojados, no porque tengan el ceño fruncido, que es hasta donde llegan las capacidades de un sistema de reconocimiento de emociones.

La objetividad como disfraz

La imposibilidad de generar modelos universales de reconocimiento de emociones implica que los resultados arrojados por dichos sistemas son altamente falibles y potencialmente discriminatorios. Puesto que los sistemas automatizados de toma de decisión son incapaces de entender el contexto y analizarlo críticamente, la manera en que proceden es por medio de la correlación estadística de datos y patrones, que siempre constituye una versión simplificada del mundo, generada a partir de un objetivo particular: si quiero construir un modelo que identifique gente borracha, probablemente voy a determinar que todos quienes presenten una serie de rasgos en su rostro han bebido en exceso. No hay forma de incluir explicaciones alterativas al razonamiento de la máquina, puesto que la máquina no explica ni razona.

La manera en la cual se etiquetan y ponderan los datos con los cuales se entrenan los sistemas de IA determina además los resultados que este arrojará. Este punto es crucial, puesto que determina la “cosmovisión” y el “sistema de valores” de una tecnología particular, que no es más que un reflejo de las ideas, creencias y valores de las personas que lo han diseñado, disfrazada de objetividad. Por ejemplo, un estudio publicado en 2018 encontró que el color de la piel influía en la manera en que algunos sistemas de reconocimiento facial interpretan las emociones: las expresiones faciales de personas de tez negra eran reconocidas como agresivas con mayor frecuencia que las de las personas blancas.

Como suele ocurrir, el anuncio de la implementación del sistema de reconocimiento de emociones no incluyó aspectos tales como una explicación de cómo fue entrenado el sistema que se utilizara en Parque O’Higgins, si es que existieron o no auditorías externas para determinar su correcto funcionamiento, qué instancias de evaluación se contemplarían, ni cuál es la tasa de error del sistema.

Legalidad y desesperanza

No existe hoy en Chile un listado específico de requerimientos legales que deba cumplir quien quiera implementar un sistema de inteligencia artificial, más allá de lo dispuesto en términos generales en los distintos cuerpos normativos vigentes en el país, por ejemplo, la  Ley de Protección de Datos Personales.

La empresa a cargo de la organización de las fondas del Parque O’Higgins se ha apresurado a aclarar que el sistema no es capaz de identificar a una persona. Una operación de ese tipo requeriría acceso a una base de datos que haya sido construida con ese fin y el consentimiento explícito de cada una de las personas.

Pero la discusión no se agota en la normativa sobre datos personales. Si un sistema de inteligencia artificial se utiliza para implementar prácticas discriminatorias, que atenten contra la dignidad de las personas o que trasgredan cualquiera de los derechos reconocidos en la legislación, las personas a cargo del sistema pueden ser declaradas judicialmente responsables por los daños causados. La forma más sencilla de evitar situaciones de ese tipo es tener protocolos de acción que cumplan a cabalidad con criterios de derechos humanos, que el personal de seguridad esté debidamente entrenado en torno a estos protocolos y evitar que los sistemas de IA tengan la palabra final al momento de tomar una decisión.

Ahora bien, si es que el sistema de reconocimiento de emociones se usa solo como un complemento en las labores de seguridad, pero no constituye su base, y se han tomado todas las precauciones necesarias, ¿cuál es el problema?, ¿por qué no usar una herramienta que en el mejor de los casos puede ser útil y, en el peor, puede no tener ninguna consecuencia?

Hay varios motivos por los cuales es necesario llamar la atención sobre el anuncio realizado por la Municipalidad de Santiago. En primer lugar, como hemos señalado, el reconocimiento de emociones es una de las tantas funciones sin bases científicas sólidas que le ha asignado a la inteligencia artificial, y está más emparentada a la frenología que con una respuesta seria a la discusión sobre seguridad. Esta razón por sí misma debería ser suficiente para desincentivar la implementación de este tipo de tecnologías. Además, este es un servicio que se está costeando con fondos públicos, que seguro podrían ser mejor aprovechados de cualquier otra forma.

Por otro lado, celebrar la implementación de tecnologías problemáticas como esta ayuda a naturalizarlas. Esto es más problemático cuando no existe un cúmulo de directrices claras respecto a los requisitos y procedimientos necesarios para su implementación, las funciones que pueden tener, quiénes pueden implementarlas y en qué condiciones. Si lo dejamos pasar, es altamente posible que pronto nos veamos saturados de sistemas automatizados avalando prácticas dudosas de todo tipo. Y que cuando queramos hacer algo al respecto sea demasiado tarde.

Por último, es decepcionante que autoridades que fueron electas bajo una plataforma progresista y de respeto a los derechos humanos abracen tecnologías altamente cuestionables de forma tan efusiva y acrítica, igual que sus contrapartes políticas. Un anuncio de este tipo constata lo eficiente que ha sido un sector que ha enarbolado la falsa dicotomía entre seguridad y derechos fundamentales como una de sus principales banderas de lucha, posición frente a la cual parece hoy no haber alternativa. Eso es profundamente desolador.

En el balance final presentado por la Municipalidad respecto a las celebraciones en Parque O’Higgins no hubo mención al sistema de reconocimiento de emociones. En última instancia, puede ser que el anuncio no haya sido más que un acto de marketing como tantos otros asociados a la implementación de tecnologías en políticas públicas que terminan siendo absolutamente baladíes. Pero ya que la medida fue implementada, sería importante que la Municipalidad hiciera una evaluación seria, pública y abierta de su impacto en el marco de su estrategia de seguridad. Quizás así puedan evitar volver a cometer el mismo error más adelante.