En los últimos meses, representantes de los gobiernos de los 27 países de la Unión Europea, Canadá y Brasil han trabajado arduamente en la elaboración de directrices para el uso seguro de programas y aplicaciones que utilizan inteligencia artificial (IA). En junio, el Parlamento Europeo aprobó la versión final de un proyecto de ley, denominado AI Act. Si los países miembros lo aprueban, quizá antes de fin de año podría convertirse en la primera legislación del mundo en materia de IA. En Brasil, el Congreso Nacional está tramitando al menos cuatro proyectos de ley (PL) con miras al establecimiento de una normativa referente al desarrollo, la implementación y el uso de sistemas de IA, cuyo debate está previsto para este mismo año.
La tarea de establecer normas para controlar el uso de programas de este tipo es compleja. La IA se ha incorporado a la ciencia, al sistema financiero, a la seguridad, a la salud, a la educación, a la publicidad y al entretenimiento, la mayoría de las veces sin que el usuario se dé cuenta. La regulación debe establecer un equilibrio entre la minimización de los riesgos del uso indebido, evitar la discriminación de grupos minoritarios de la población y garantizar privacidad y la transparencia a los usuarios. También debe preservar el espacio de la innovación, según los expertos entrevistados para la elaboración de este reportaje. Tampoco es posible prever todos los riesgos que puede acarrear el uso de estas tecnologías.
“Mantenerse en un terreno de incertidumbre regulatoria puede ser perjudicial para los ciudadanos”, dice la abogada Cristina Godoy, de la Facultad de Derecho de Ribeirão Preto de la Universidad de São Paulo (FDRP-USP), autora de un artículo publicado en octubre de 2022 en la Revista USP sobre los retos de la regulación de la IA en el país. A finales de septiembre, ella presentará en un congreso que se llevará a cabo en Belo Horizonte los primeros resultados de una investigación sobre el uso del reconocimiento facial, un tipo de IA, para la concesión de préstamos bancarios.
En el estudio, realizado en las instalaciones del Centro de Inteligencia Artificial (C4AI) de la USP, financiado por IBM y la FAPESP, el 90 % de los demandantes en 2.300 casos presentados ante el Tribunal de Justicia del Estado de São Paulo (TJ-SP) no reconocen los préstamos aprobados mediante biometría facial en las aplicaciones de los bancos. “Las personas argumentan que no firmaron ningún documento y que no sabían que estaban contratando el servicio”, informa la investigadora. Los datos forman parte del Observatorio Brasileño de Inteligencia Artificial, un portal desarrollado junto al Núcleo de Información y Coordinación del Punto BR (NIC.Br), cuyo lanzamiento está previsto para antes de fin de año.
El TJ-SP suele fallar a favor de los bancos porque considera que la biometría facial es una forma segura de sustituir la firma del cliente. Godoy discrepa: “Esta tecnología aún presenta un alto índice de error”. A su juicio, otro de los problemas es lo poco que se sabe sobre el funcionamiento de estos sistemas. “No hay claridad en cuanto a qué empresa se contrata para prestar este servicio, cómo ha sido desarrollado, qué criterios adoptan para certificar si una persona es tal o no. Sin esta información, es difícil que los ciudadanos puedan cuestionar a los bancos”.
El grupo de Godoy también analizó los sistemas de reconocimiento facial utilizados para identificar fraudes en los descuentos para estudiantes o ancianos en el transporte público en 30 ciudades brasileñas con más de un millón de habitantes. En la mayoría de ellas (el 60 %), el nivel de transparencia se consideró muy bajo, ya que los ayuntamientos no revelaron cómo se recababa y procesaba la información sobre los usuarios de autobuses y trenes, ni qué parámetros se utilizan para detectar fraudes. Los resultados se publicaron en noviembre de 2022 en las actas de la 11ª Conferencia Brasileña de Sistemas Inteligentes, celebrada en Campinas, en el interior paulista.
Godoy aboga por una mayor transparencia en los programas de IA. Pero, según ella, no basta con informar si las aplicaciones utilizan las herramientas: también es necesario explicar cómo funcionan, cómo procesan la información y cómo toman decisiones. Esta información ayudaría a evitar la discriminación contra grupos vulnerables.
Un ejemplo: investigadores de la Universidad Federal de Rio Grande do Norte (UFRN) analizaron los datos de la Red Observatorio de Seguridad, que supervisará los datos de seguridad pública en ocho estados, y constataron que el 90 % de las 151 personas detenidas en el país en 2019 basándose en imágenes aportadas por las cámaras de reconocimiento facial eran negras, según se detalla en un estudio publicado en julio de 2020 en la revista Novos Olhares.
“Al ser entrenados con bases de datos del pasado y del presente, los programas de inteligencia artificial a menudo pueden reproducir o amplificar patrones de discriminación”, sostiene el abogado Bruno Ricardo Bioni, director de la Asociación de Investigación Data Privacy Brasil y miembro del Consejo Nacional de Protección de Datos Personales y de la Privacidad, organismo consultivo de la Autoridad Nacional de Protección de Datos (ANPD).
Bioni formó parte de la comisión de expertos en derecho digital y civil convocada por el Senado Federal en marzo de 2022 para analizar los proyectos de ley sobre la regulación de la IA. Uno de ellos, el PL 21/20, fue muy criticado por ser demasiado genérico. Tras nueve meses de seminarios y audiencias públicas, el equipo jurídico presentó un informe de 900 fojas con conceptos y sugerencias de principios por seguirse. Unas 20 páginas sirvieron como base para otro proyecto de ley, el 2338/23, presentado en mayo por el senador Rodrigo Pacheco (del Partido Social Democrático, PSD, Minas Gerais), presidente del Senado. En julio, el senador Jorge Kajuru (del Partido Socialista Brasileño, PSB, Goiás) le solicitó al Senado que otros proyectos similares, como el 5691/19, el 21/20 y el 2338/23, se tramiten juntos. “Para este segundo semestre del año se espera que el Parlamento pueda evaluar estos proyectos de ley en forma conjunta, tomando como base el 2338/23, con el fin de aprobar una regulación para el país”, comenta Bioni.
“No es posible concebir una propuesta de regulación que sea una bala de plata, que equipare la gobernanza para todos los sectores”, dice el abogado. Según él, la solución es crear una regulación que clasifique los sistemas de IA según niveles de riesgo, el enfoque adoptado en la legislación europea, sobre el cual se estructuró el proyecto de ley 2338/23.
El AI Act de la Unión Europea propone que los sistemas de IA sean transparentes, rastreables, seguros, no discriminatorios y respetuosos de la privacidad de los ciudadanos, aunque aún no están claras las vías para alcanzar estos objetivos. Los programas también tendrán que ser supervisados por expertos humanos, para evitar que las decisiones importantes sean tomadas enteramente por una máquina. Las aplicaciones se clasificarán conforme a cuatro categorías de riesgo: inaceptable y, por tanto, pasibles de prohibición; alto; limitado, sujeto a una normativa más laxa, y mínimo, sin obligaciones legales adicionales más allá de la legislación vigente. Los programas para coches autónomos, por ejemplo, figuran en la categoría de alto riesgo.
Entre las aplicaciones de riesgo inaceptable están los programas de IA que clasifican a las personas en función de su comportamiento o policía predictiva para prevenir delitos. Es el caso de algoritmos como el denominado Compas (acrónimo en inglés por Perfiles de Gestión de Delincuentes Correcionales para Sanciones Alternativas), utilizado en Estados Unidos para predecir la probabilidad de que los acusados vuelvan a delinquir. Estos programas incorporan un sesgo prejuicioso al señalar como sospechosos de delitos a más personas negras que blancas. Su transparencia es baja, ya que la aplicación la proporciona una empresa privada y su código no es abierto.
Las llamadas IA generativas, que aprenden a producir nuevos textos analizando los patrones que utilizan las personas para conectar palabras, ganaron un nuevo apartado en la propuesta tras las repercusiones de la aplicación ChatGPT, lanzada en noviembre de 2022. Tendrán que adoptar medidas de transparencia, dejando claro que su contenido ha sido generado por un sistema informático inteligente, y estar programadas para evitar la creación de contenido ilegal perjudicial, como proporcionar la fórmula para fabricar una bomba. Los que presentan un riesgo limitado, como aquellos que crean imágenes y contenidos sintéticos, también deben adoptar requisitos de transparencia.
En Brasil, el proyecto de ley 2338/23 sigue una lógica similar, con dos niveles de grado de riesgo: excesivo, cuyas aplicaciones serán prohibidas, y de alto riesgo, que deben ser evaluadas y supervisadas antes y durante su uso. El primer caso incluye a los algoritmos que explotan vulnerabilidades sociales o promueven la clasificación de personas por el Poder Público para el acceso a bienes y servicios públicos como prestaciones sociales, entre otros. Las aplicaciones de alto riesgo son programas informáticos que pueden tomar decisiones en áreas tales como la educación, filtrando el acceso a las instituciones educativas, el trabajo, clasificando a quienes se postulan para cubrir ofertas de empleo, la salud, al realizar diagnósticos médicos, y la seguridad social, concediendo beneficios, entre otros. Para evitar que el sistema de clasificación se vuelva rígido y pueda adaptarse a un ambiente tecnológico dinámico, una futura autoridad de control, prevista en el proyecto, podrá reevaluar el riesgo de una determinada aplicación.
“El PL nº 2338/23 es el más completo, ya que trata sobre la categorización de los riesgos, y se ha amoldado a las tendencias legislativas sobre el tema, especialmente las de la Unión Europea, y, en lo que se refiere a los niveles de riesgo, constituye un delineamiento oportuno”, sostiene el abogado Antonio Carlos Morato, de la Facultad de Derecho de la USP.
“La propuesta europea con niveles de impacto diferenciados es un modelo interesante para utilizar como base para la discusión regulatoria en el país, pero es menester tener en cuenta que la realidad de esos países es muy diferente de la nuestra”, dice el científico de la computación Virgílio Almeida, de la Universidad Federal de Minas Gerais (UFMG) y coordinador del Centro de Innovación en Inteligencia Artificial para la Salud (CIIA-Salud), uno de los Centros de Investigaciones en Ingeniería (CPE, por sus siglas en portugués) financiados por la FAPESP. “Aquí tenemos grandes desigualdades sociales y necesitamos pensar en políticas públicas que evalúen e incentiven tecnologías automatizadas que no sustituyan a los trabajadores menos calificados, sino que promuevan su capacitación”.
En un artículo publicado en febrero en la revista científica IEEE Internet Computing, él y sus coautores proponen un modelo de gobernanza, que denominan corregulación. El Gobierno establecería directrices y políticas públicas, y les correspondería a las empresas diseñar y seguir sus propios mecanismos internos de gobernanza. “Las tecnologías de inteligencia artificial cambian muy rápidamente y es difícil hacer frente a todas estas transformaciones con una sola ley”, pondera.
El coordinador del Centro de Inteligencia Artificial de la USP, Fabio Gagliardi Cozman, advierte del riesgo de que las normas que vayan a establecerse inhiban la capacidad emprendedora: “Una normativa muy restrictiva podría impedir el desarrollo local de la innovación y, al final, habría que importar las tecnologías”, sostiene.
El politólogo Fernando Filgueiras, de la Universidad Federal de Goiás (UFG), también se muestra preocupado por el impacto de la regulación en la industria nacional: “La legislación debería ir asociada a mecanismos de incentivo a la investigación y a la industria”. Para Filgueiras, sin inversión en investigación e industria nacional, las grandes corporaciones internacionales pueden estar mejor estructuradas para hacer frente a posibles sanciones, mientras que las pequeñas y medianas empresas nacionales, con menos recursos, pueden quedar rezagadas. La “Estrategia brasileña de inteligencia artificial”, que aborda cuestiones éticas para que el gobierno avance en esta área, publicada en agosto de 2021 por el Ministerio de Ciencia, Tecnología e Innovación (MCTI), podría, a su juicio, ser un documento complementario a las normas que se implementen. Pero, como él ya lo señaló en febrero de 2023 en la revista Discover Artificial Intelligence, el documento del Gobierno es genérico y no deja claro cómo va a avanzar en este campo y cómo pretende apoyar la investigación en universidades y empresas. El MCTI no respondió a las solicitudes de aclaraciones solicitadas por Pesquisa FAPESP.
Cristina Godoy, de la USP de Ribeirão Preto, dice que la propuesta de la Unión Europea prevé una evaluación del impacto de la IA en las pequeñas y medianas empresas, en caso de que se aprueben las medidas regulatorias, algo que no se incluye en el documento brasileño. “Conociendo esta realidad, los gobiernos pueden calcular cuánto necesitan invertir para apoyar la innovación”, señala.
El AI Act europeo prevé los llamados sandbox o ambientes de prueba de las regulaciones, en los que las startups podrían poner a prueba sus creaciones sin ser penalizadas ni multadas. En Brasil, el proyecto de ley 2338/23 del Senado prevé ambientes normativos experimentales similares, también supervisados por una autoridad competente por definirse. “Es poco probable que estos espacios funcionen satisfactoriamente sin una perspectiva estratégica del presupuesto y de las áreas prioritarias por promoverse”, advierte. Según ella, prever en qué áreas de la IA es más importante invertir puede hacer más eficiente este proceso para que las empresas puedan organizarse para participar en la captación de fondos y, en consecuencia, probar posteriormente sus productos en estos ambientes sandbox. Ella apuntó a este vacío de la estrategia nacional en su artículo en la Revista USP.
Otro reto de la regulación será la supervisión de las instituciones públicas y privadas. Los europeos crearán un organismo específico para esta finalidad. En Brasil, el proyecto de ley contempla el establecimiento de una autoridad reguladora que, en principio, debería ejercer un control sobre todas las áreas en las que se pueda aplicar la IA, cuyo nombramiento será potestad del Poder Ejecutivo. Los expertos entrevistados para este reportaje atisban un movimiento de la ANPD, recientemente convertida en autarquía, para absorber esta función.
Godoy considera que es un camino arriesgado. La permeabilidad de las aplicaciones de IA, que están en distintos sectores de la economía, complicaría la tarea si se concentrara en un solo organismo. “Es difícil que pueda reunir toda la pericia necesaria, desde la salud a la educación”, dice.
Como especialista en los impactos éticos y sociales de la IA, Dora Kaufman, de la Pontificia Universidad Católica de São Paulo (PUC-SP), dice que la creación de una agencia reguladora nacional acaso sea inviable y sugiere esta misión podría ser asumida por organismos sectoriales: el Banco Central (Bacen) podría ocuparse del sector bancario y la Agencia Nacional de Vigilancia Sanitaria (Anvisa) de la salud.
“En Estados Unidos no existe ni parece ser inminente que vaya a implementarse una regulación federal”, comenta. “La autoridad y la responsabilidad de la regulación y gobernanza de la IA están repartidas entre las agencias federales”. Los dos documentos que regulan el área –el “Blueprint for an AI bill of rights” de la Casa Blanca y el “NIST risk management framework” del Instituto Nacional de Estándares y Teconología– son directrices voluntarias sin fuerza de ley.
El científico de la computación André Carlos Ponce de Leon Carvalho, del Instituto de Ciencias Matemáticas y de la Computación (ICMC) de la USP en São Carlos, plantea otra disyuntiva: “¿Una regulación nacional podrá resolver el problema o será necesario un acuerdo internacional, como se hizo con la energía nuclear?”.
Los expertos advierten que cualquier regulación necesitará un tiempo de maduración para que los parlamentarios conozcan mejor el tema y otros sectores de la sociedad empiecen a participar de los debates. “Una regulación prematura puede ser restrictiva para la innovación y dejar desprotegida a la sociedad”, subraya Kaufman. “El proceso es tan importante como el resultado final”. Como ejemplos por recordarse, cita el Marco Civil de Internet, aprobado en abril de 2014 tras debates abiertos que comenzaron en 2009, y el proceso europeo de regulación de la IA, cuya consulta pública comenzó en abril de 2021.
COMUNIDAD EUROPEA
Ley de Inteligencia Artificial (IA Act)
● Inaceptable (prohibido)
– Algoritmos de calificación social o que clasifiquen a los ciudadanos basándose en su conducta o policía predictiva
● Riesgo alto: Se evaluarán antes y después de su comercialización
– Sistemas de gestión de infraestructura (transporte, educación) y de control de fronteras o asistencia jurídica
● Riesgo limitado: Deben cumplir medidas mínimas de transparencia
– Programas que producen deepfake y chatbots
● Riesgo mínimo: Sin obligaciones legales adicionales más allá de la legislación vigente
BRASIL
Proyecto de Ley nº 2338/2023
● Prohibidos
– Programas de clasificación social o que son capaces de manipular la conducta de poblaciones vulnerables
● Alto riesgo: Deben ser evaluados y supervisados antes y durante su uso
– Programas de selección automática de estudiantes, postulantes a empleos, solicitudes de crédito o beneficios de la seguridad social, diagnósticos médicos, riesgo de delito y conducta delictiva, y vehículos autónomos
Fuentes: Parlamento Europeo y Pl 2330/2023, Agencia Senado
El proyecto de regulación no menciona las IA generativas de uso general, ya que el trabajo de los juristas fue anterior a la presentación de ChatGPT, ni tampoco las utilizadas para crear deepfakes. Por ello, es probable aún incorpore otras modificaciones durante su tramitación.
Las aplicaciones que generan contenidos sintéticos hiperrealistas, como las deepfakes de video o audio, son motivo de creciente preocupación por su capacidad para generar desinformación con contenidos falsos, que incluso pueden llegar a poner en peligro los procesos democráticos en las elecciones.
Un anuncio reciente de un fabricante de automóviles incluía una imagen generada por deepfake de la cantante Elis Regina, fallecida en 1982, cantando con su hija María Rita. En julio, el Consejo Nacional de Autorregulación Publicitaria (Conar) abrió un expediente para investigar el derecho a utilizar la imagen de Elis Regina. La polémica se ha extendido al Congreso Nacional: al menos dos proyectos de ley (el 3592/23, del Senado, y el 3614/23, en la Cámara de Diputados) proponen directrices para el uso de imágenes y audio de personas fallecidas mediante sistemas de IA.
El abogado Antonio Carlos Morato, de la Facultad de Derecho de la USP, quien investiga los derechos de autor y la inteligencia artificial, no ve la necesidad de leyes específicas para este tipo de uso: “Sin duda, el uso no autorizado puede evitarse con lo que ya tenemos en la Constitución Federal, el Código Civil y la Ley de Derechos de Autor. El Proyecto de Ley 3614/23, por ejemplo, solamente pretende detallar lo que ya existe en el texto actual del Código Civil”.
Para él, la autorización de los hijos para el comercial de la cantante fue válida, pues los derechos privados personales (que incluyen la imagen y la voz) ya están protegidos por la Constitución Federal y el Código Civil, y existe la posibilidad de su defensa por familiares hasta el cuarto grado después de la muerte.
Proyectos
1. Centro de Inteligencia Artificial (nº 19/07665-4); Modalidad Centros de Investigaciones en Ingeniería (CPE); Investigador responsable Fabio Gagliardi Cozman (USP); Inversión R$ 7.102.736,09.
2. La regulación y la financiación de la inteligencia artificial en Brasil (no 22/12747-2); Modalidad Becas en Brasil; Investigadora responsable Cristina Godoy Bernardo de Oliveira (USP); Inversión R$ 44.287,20.
3. Centro de Innovación en Inteligencia Artificial para la Salud (CIIA- Salud) (nº 20/09866-4); Modalidad Centros de Investigaciones en Ingeniería (CPE); Investigador responsable Virgílio Augusto Fernandes Almeida (UFMG); Inversión R$ 1.683.839,04.
Artículos científicos
ALMEIDA, V. et al. On the development of AI governance frameworks. IEEE Internet Computing. v. 27, n. 1, p. 70-4. ene. 2023.
BRANDÃO, R. et al. Artificial intelligence, algorithmic transparency and public policies: The case of facial recognition technologies in the public transportation system of large Brazilian municipalities. Bracis 2022. Lecture notes in computer science. Intelligent Systems. v. 13653. nov. 2022.
FILGUEIRAS, F. y JUNQUILHO, T. A. The Brazilian (non)perspective on national strategy for artificial intelligence. Discover Artificial Intelligence. n. 3, v. 7. feb. 2023.
GODOY, C. B. O. Desafios da regulación do digital e da inteligência artificial no Brasil. Revista USP. n. 135. oct. 2022.
MAGNO, M. E. da S. P. y BEZERRA, J. S. Vigilância negra: O dispositivo de reconhecimento facial e a disciplinaridade dos corpos. Novos Olhares. v. 9, n. 2. p. 45-52. jul. 2020.
VIEIRA, L. M. A problemática da inteligência artificial e dos vieses algorítmicos: Caso Compas. 2019 Brazilian Technology Symposium.
