Por Luis Adrián Cervantes Dávila [1]
Inteligencia Artificial y Algoritmos
En los últimos tiempos la Inteligencia Artificial (IA) se ha convertido en una herramienta fundamental utilizada en prácticamente todos los campos de la vida cotidiana. Es utilizada con fines profesionales en todas las ramas, como asistencia en tareas de gobierno y seguridad, y por supuesto en lo individual con fines recreativos, como en las redes sociales o los asistentes virtuales que cada vez más personas tienen en sus hogares. La IA se refiere al conjunto de tecnologías utilizadas por las máquinas para imitar la capacidad humana de tomas decisiones, basándose en una serie de datos recolectados. Estos datos de los cuales se alimenta la IA son utilizados por los algoritmos, los cuales son el conjunto de instrucciones sistematizadas que recibe una máquina para realizar una tarea o resolver un problema determinado.
El desarrollo de este tipo de tecnologías supone la necesidad de una amplio análisis ético y filosófico sobre los alcances y objetivos que deben plantearse para su diseño y su uso. Este análisis por supuesto que de entrada presenta la famosa cuestión sobre si toda tecnología posible es éticamente legítima. Para trata de contestar ese cuestionamiento y algún otro, traigo a colación el controvertido caso de la utilización de una plataforma capaz de predecir embarazos adolescentes en Argentina hace algunos años.
El Caso
En 2018, el Ministerio de la Primera Infancia de Salta, Argentina, implementó un sistema algorítmico desarrollado por la empresa americana de tecnología Microsoft con la intención de predecir con un alto porcentaje de seguridad a las niñas y adolescentes de zonas de bajos recursos que estaban “predestinadas” a tener un embarazo en los siguientes 5 años.
Nunca se reveló lo que sucedería con las niñas y adolescentes que fueran detectadas por el algoritmo, ni de qué manera proporcionaría un beneficio para prevenir los embarazos.
Para alimentar la base de datos del sistema, se encuestaron a 12 000 mujeres de entre 10 y 19 años de edad. Los datos recabados incluyeron la edad, etnia, nacionalidad, presencia de discapacidades, servicio de agua caliente en el baño, fotografías y ubicación GPS. Todas las participantes eran parte de familias en condición de pobreza, y algunas además pertenecían a grupos indígenas no solo de Argentina sino también de otros países sudamericanos.
En Argentina no existía una regulación en materia de IA, así que el sistema nunca se sometió a una revisión formal, no se evaluó el impacto que tuvo, ni se supo si en algún momento fue suspendido. Todo lo que se sabe es a través de investigaciones y reportes de periodistas, académicos, activistas feministas y defensores de Derechos Humanos. Así se conocieron múltiples fallas técnicas en el desarrollo de la plataforma, que además de la falta de transparencia, el análisis incluía datos sobre cuestiones étnicas y socioeconómicas y no sobre accesos a educación sexual o anticoncepción.
Análisis
Si como propone Hilary Putnam, consideramos que el diseño de un sistema incluye valores en todas sus etapas, debemos iniciar haciendo un análisis de los valores de la plataforma creada por Microsoft para el gobierno de la provincia de Salta.
Reconocemos que los valores extrínsecos de una tecnología están totalmente ligados a su uso por el ser humano, y por lo tanto son los valores del individuo y su sociedad los que al final se ven reflejados aquí. En ese sentido, podemos identificar dilemas éticos desde la delimitación del problema que nos pueden hacer preguntarnos si es razonable y lícito crear un sistema algorítmico que identifique a las niñas y adolescentes que pudieran presentar un embarazo en el corto/mediano plazo, considerando que para ello es necesaria la recolección de datos personales y una intervención importante en el ámbito privado de estas mujeres y sus familias. Quizá la pregunta queda aún muy abierta, pero si seguimos analizando los demás aspectos éticos que trae el uso de esta tecnología, seguramente podremos alcanzar una respuesta más o menos objetiva.
En la selección de datos a utilizarse encontramos no solo deficiencias técnicas, sino también sesgos que además de reducir la eficiencia y eficacia del sistema, vulneran la Dignidad Humana de las niñas y adolescentes en quienes se pretende utilizar el sistema. Como se ha mencionado, la recolección de datos incluía, entre otras cosas, datos sobre el origen étnico y el nivel socioeconómico de las mujeres, siendo que se reconoce al acceso a la educación sexual y la anticoncepción como las herramientas que más pueden incidir en la reducción del número de embarazos en niñas y adolescentes (aquí además se está exhibiendo el que quizá es el problema intrínseco más importante que presenta el sistema).
Además de origen étnico y nivel socioeconómico, se recabó información sobre nacionalidad, presencia de discapacidades, fotografías y ubicación GPS. Todo esto vuelve aún más polémica la implementación de este sistema, pues el diseño (y por lo tanto su diseñador) dan por sentado que son las mujeres de más bajos recursos las que principalmente (cuando no únicamente) están expuestas al riesgo de un embarazo en la infancia o la adolescencia. Y el problema se antoja aún más oscuro, pues se está incurriendo en discriminación no solo contra las mujeres en situación de pobreza, sino también indígenas y migrantes. ¿El diseñador y el usuario, que es el gobierno de Salta, quieren evitar los embarazos adolescentes? ¿O se trata de un proyecto eugenesista que ve un menor valor en las personas de escasos recursos económicos, indígenas y extranjeros? Esta pregunta es particularmente importante en un país como la Argentina, donde los antecedentes que existen no son nada gratos y aún hoy evocan recuerdos de las atrocidades que un gobierno puede ejercer contra la población.
Siguiendo con los problemas que genera la recolección de datos, encontramos una vulneración a gran escala de la privacidad de las mujeres y sus familias. ¿Para qué y quiénes utilizaran los datos recabados? Hay que recordar que la recolección y la posesión de datos personales requiere, desde el punto de vista ético, un consentimiento informado de por medio donde todas estas cuestiones queden perfectamente explicadas a las mujeres y sus tutores.
Pero además se vuelve necesaria la evaluación del sistema, y en este caso, de los cuestionarios aplicados, por un comité de ética independiente que valore la licitud de la implementación de las preguntas, y que resguarde los derechos y la Dignidad de las mujeres encuestadas.
Existe también un sesgo de género evidente. ¿Por qué solo se aplicaron los cuestionarios a mujeres? ¿No existe acaso una corresponsabilidad con el hombre que ha embarazado a la mujer? La metodología victimiza a las mujeres, las juzga y las culpabiliza de antemano. En la cuestión técnica, aquí encontramos un área de oportunidad para mejorar al sistema, al evitar este sesgo e incluir a hombres en las encuestas realizadas, también se podrían incluir personas de todos los estratos socioeconómicos, y no hacer diferencias entre los distintos orígenes étnicos y nacionalidades. Por supuesto, incluso con estas mejoras, la cuestión ética aún dejaría mucho que desear.
Al final, es el gobierno de la provincia de Salta, y en particular el Ministerio de la Primera Infancia, quién se encargó de la supervisión de los resultados, los cuales nunca fueron transparentados ni se dio a conocer ningún programa a implementarse posteriormente para prevenir el embarazo adolescente (suponiendo que era el objetivo). Este mismo Ministerio de la Primera Infancia, es el encargado de otorgar los programas sociales que se encargan, entre otras cosas, de la distribución de vacunas y alimentos gratuitos para las infancias, por lo que también existiría coerción de su parte en contra de muchas de las familias donde se encuentran las niñas y adolescentes objetivo de las encuestas, las cuales dudarían mucho antes de oponerse a ser encuestadas. En Ética de la Investigación, está bien establecido que no puede haber coerción o relación de subordinación entre los investigadores que recaban datos personales y los sujetos de investigación, lo mismo aplicaría en este caso.
También en Ética de la Investigación, se reconoce la necesidad de que en un proyecto a implementarse en una población específica, esta población debe participar activamente en cuestiones que van desde el diseño hasta la implementación del protocolo. La población debe verse necesariamente beneficiada de los resultados, y se debe tomar en cuenta el contexto de la sociedad, sus costumbres e idiosincrasias. El sistema en cuestión fue realizado en Estados Unidos por una compañía de ese país, sin considerar el contexto de la sociedad argentina, y menos de la sociedad salteña.
Conclusiones
Este caso revela una serie de cuestiones y dilemas éticos alrededor del control estatal sobre la población, y más específicamente sobre la discriminación y los sesgos que las tecnologías pueden presentar. Los sistemas tecnológicos son desarrollados por personas, y por lo tanto los sesgos que los diseñadores tienen se ven reflejados en los sistemas que desarrollan. Por esta misma razón los resultados que los sistemas inteligentes nos proveen no están exentos de errores.
Es de crucial importancia la creación de comités de ética independientes, tanto en las grandes compañías de tecnología como en los distintos ordenes de gobiernos, que garanticen que las tecnologías desarrolladas e implementadas tengan una perspectiva a favor del respeto a los Derechos Humanos y la Dignidad Humana. Es también muy importante que estos comités tengan formación en Gobernanza Ética de la Inteligencia Artificial, volviendo imprescindibles los programas académicos que permitan generar bioeticistas con estos conocimientos.
Aunque en gran parte las cuestiones aquí planteadas ya han sido abordadas con preocupación por organismo internacionales como la UNESCO, a nivel local, y particularmente en el contexto latinoamericano, aún existen muchísimas lagunas en cuanto al modo en que deben ser utilizadas las plataformas que utilizan algoritmos e IA.
Finalmente, la implementación de este sistema no permite atacar las causas primarias del embarazo adolescente, por lo que considero que, además de no ser eficaz ni eficiente, tampoco es lícita su utilización desde el punto de vista ético, pues los beneficios no exceden de ninguna manera el potencial daño a las niñas y adolescentes.
[1] Alumno egresado de la maestría en Bioética y del diplomado en Bioética y Tecnologías Disruptivas del CISAV.
Bibliografía
The case of the creepy algorithm that ‘predicted’ teen pregnancy. (2022, febrero 16). Wired.
https://www.wired.com/story/argentina-algorithms-pregnancy-prediction
Inteligencia (s/f). rae.es. Recuperado el 14 de diciembre de 2023, de
https://dle.rae.es/inteligencia#2DxmhCT
¿Qué es la inteligencia artificial? (s/f). microsoft.com. Recuperado el 14 de diciembre de 2023, de https://azure.microsoft.com/es-es/resources/cloud-computing-dictionary/what- is-artificial-intelligence
Putnam, H. (2004). The collapse of the fact/value dichotomy and other essays. Harvard University Press.
Organización Panamericana de la Salud y Consejo de Organizaciones Internacionales de las Ciencias Médica. Pautas éticas internacionales para la investigación relacionada con la salud con seres humanos, Cuarta Edición. Ginebra: Consejo de Organizaciones Internacionales de las Ciencias Médicas (CIOMS); 2016.
Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura. Recomendaciones sobre la ética de la Inteligencia Artificial; (2022).
