Prácticas prohibidas y clasificación de sistemas de IA

En un mundo cada vez más dominado por la tecnología, la inteligencia artificial (IA) promete transformar la manera en que vivimos y trabajamos. Tiene el potencial de mejorar vidas, pero también puede ocasionar daños significativos. Su creciente uso también trae consigo preocupaciones significativas acerca de la ética, la seguridad, los derechos fundamentales y las libertades individuales. Asimismo, es necesario ganar la confianza en los usuarios. Uno de los retos es determinar si se requiere o no y en qué medida la elaboración de normas que permitan a empresas e innovadores, desarrollar tecnologías dentro de un marco ético, promoviendo un ecosistema en el que la IA puede florecer sin poner en riesgo a las personas.

En el mundo se han emitido varios instrumentos sobre desarrollo de principios aplicables a la IA como:; los principios éticos del G20 sobre la Inteligencia Artificial, adoptados en 2019. El estándar ISO/IEC TR 24028:2020, elaborado por la Organización Internacional de Normalización (ISO) y la Comisión Electrotécnica Internacional (IEC). Aquellos principios éticos sobre IA propuestos por la Organización para la Cooperación y el Desarrollo Económico (OCDE); la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura, UNESCO, al adoptar la recomendación sobre la ética de la Inteligencia Artificial de 23 de noviembre de 2021; el estándar de protección más alto en el mundo a la fecha es el Reglamento de Inteligencia Artificial en la Unión europea, REGLAMENTO (UE) 2024/1689 DEL PARLAMENTO EUROPEO Y DEL CONSEJO de 13 de junio de 2024, que entre otras cosas, establece prácticas prohibidas y clasifica los sistemas de IA.

El 02 de febrero de 2025 entra en vigor el artículo 5 “Prácticas de IA Prohibidas” de la Ley de IA de la Unión Europea; menciona a:

• Los sistemas de IA que manipulan las decisiones de las personas o explotan sus vulnerabilidades.
• Los sistemas que evalúan o clasifican a las personas en función de su comportamiento social o sus rasgos personales.
• Los sistemas que predicen el riesgo de que una persona cometa un delito.
• La Ley también prohíbe los sistemas de IA que extraigan imágenes faciales de Internet o de grabaciones de CCTV, infieran emociones en el lugar de trabajo o en instituciones educativas y clasifiquen a las personas en función de sus datos biométricos.
• Estarán prohibidos los sistemas de IA que sean capaces de trascender la conciencia de una persona con técnicas deliberadamente manipuladoras, engañosas o subliminales con el objetivo o el efecto de alterar el comportamiento de una persona o un colectivo de personas y les provoque un perjuicio considerable a un determinado colectivo por su edad, discapacidad, situación social o económica específica.
• Los sistemas que se hayan creado para evaluar o clasificar a personas atendiendo a su comportamiento o rasgos personales cuando esa puntuación derive en un trato perjudicial, desfavorable, injustificado o desproporcionado hacia esas personas.
• Las IA que realicen evaluaciones de riesgos de personas con el fin de valorar o predecir el riesgo de que cometa un delito, basándose únicamente en la elaboración del perfil.
• Las creadas para intentar deducir las emociones de una persona, excepto cuando sea por motivos médicos o de seguridad.
• Las que creen o amplíen bases de datos de reconocimiento facial mediante la extracción no selectiva de imágenes faciales de internet o de circuitos cerrados de televisión.
• Los sistemas que clasifiquen personas sobre la base de sus datos biométricos para etiquetarlas según su raza, opiniones políticas, afiliación sindical, convicciones religiosas o filosóficas, u otros datos de categoría especial.
• Los que cuenten con identificación biométrica remota “en tiempo real” en espacios públicos con fines de garantía del cumplimiento del Derecho.
• Se hacen algunas excepciones con fines policiales, como la búsqueda de personas desaparecidas o la prevención de atentados terroristas.

En detalle, entre las prácticas de IA consideradas prohibidas están:

1. Sistemas de IA de Manipulación: Se prohíbe el uso de sistemas que manipulen el comportamiento de las personas de forma engañosa; esto incluye el uso de IA para influir en decisiones cotidianas sin que el usuario sea completamente consciente de ello; o que manipulen el comportamiento humano de manera que cause daño físico o psicológico a las personas. Esto incluye tecnologías que puedan influir en las decisiones de los individuos a través de técnicas de manipulación subliminal, aprovechando vulnerabilidades específicas de ciertos grupos o individuos. Por ejemplo, programas que alteran la información presentada para lograr que una persona actúe de cierta manera.

• Reconocimiento Facial en Espacios Públicos: Se prohíbe el uso de sistemas de reconocimiento facial en el espacio público para identificar y rastrear a personas sin su consentimiento, ya que esto puede invadir gravemente la intimidad y las libertades individuales.  El uso de sistemas de reconocimiento biométrico en espacios públicos en tiempo real, como el reconocimiento facial, está prohibido salvo en circunstancias excepcionales y muy específicas. Estas excepciones deben estar claramente justificadas y supervisadas para evitar abusos y garantizar que se respeten los derechos fundamentales de las personas.

• Sistemas de IA para crear desinformación: La creación de contenidos falsos o manipulados mediante IA que pueden generar desinformación, odio o violencia está prohibida. Esto es crucial para proteger la integridad del ecosistema de la información y la confianza pública.

4. Prohibición de Sisstema de IA para Vigilancia Masiva. Los sistemas de IA utilizados para la vigilancia masiva indiscriminada, que impliquen la recolección de datos personales sin una justificación adecuada y sin respetar los derechos a la intimidad y la protección de datos personales con la finalidad de evitar una sociedad de vigilancia donde se realice un monitorio continuo a los ciudadanos.

• Prohibición de Sistemas de IA para Clasificación Social. La clasificación social se refiere a la evaluación de la confiabilidad de las personas basada en su comportamiento social, situación económica, y características personales que resulten en un trato discriminatorio y desventajas desproporcionadas. Esta medida está dirigida a evitar prácticas discriminatorias y la estigmatización de individuos o grupos.

• Prohibición de Sistemas de IA en Contextos Críticos donde su uso puede tener consecuencias graves e irreversibles. Esto incluye aplicaciones en áreas como la justicia, la salud y la educación, donde las decisiones automatizadas pueden impactar de manera significativa en la vida de las personas. En estos contextos, es esencial garantizar la intervención humana y la supervisión adecuada.

• Prohibición de IA en el desarrollo de armas autónomas. Ya que puedan operar sin control humano, tomando decisiones sobre la vida y la muerte. Se busca prevenir riesgos asociados con el uso indebido de la IA en contextos militares y garantizar que siempre exista una supervisión humana en estas situaciones críticas.

La regulación no solo prohíbe ciertas prácticas, sino que también establece una clasificación de los sistemas de IA en función de su riesgo:

1. Sistemas de Alto Riesgo: Incluyen aplicaciones que pueden afectar la seguridad, la salud o los derechos fundamentales de las personas (por ejemplo, sistemas utilizados en la atención médica o en la toma de decisiones judiciales). Estos sistemas deben cumplir normas estrictas de transparencia, supervisión y prueba.

• Sistemas de Riesgo Moderado: Estos sistemas son de menor impacto, pero aún requieren evaluación y cumplimiento de ciertos estándares éticos y técnicos.

• Sistemas de Bajo Riesgo: Por último, los sistemas que presentan un riesgo mínimo están sujetos a requisitos más flexibles. Esto puede incluir herramientas de uso cotidiano que no afectan la seguridad pública ni los derechos individuales.

La iniciativa de la Unión Europea de regular la IA, prohibe ciertas prácticas y clasifica los sistemas, subraya la importancia de un enfoque ético, seguro en el desarrollo tecnológico basado en un análisis de riesgos y una evaluación de los Sistemas de Inteligencia Artificial (IA) en relación con la protección de datos durante el ciclo de vida de una solución IA que puede haber usado datos personales de alguna forma, por ejemplo, en la etapa de desarrollo. En ese caso, dicha etapa constituye un tratamiento y está sujeta a los criterios y directrices que, por ejemplo, la Agencia Española de Protección de Datos (AEPD) ha establecido y  busca garantizar que el tratamiento de datos personales en sistemas de IA cumpla con el Reglamento General de Protección de Datos (RGPD) y otros marcos regulatorios pertinentes.

La AEPD considera algunos principios clave al evaluar sistemas de IA tales como:

• Finalidad: Los datos deben recogerse para fines específicos, explícitos y legítimos. No se permite el uso de datos para fines incompatibles.
• Minimización: Solo deben recogerse los datos estrictamente necesarios para la finalidad establecida.
• Exactitud: Los datos deben ser exactos y mantenerse actualizados. Se deben tomar medidas razonables para rectificar datos inexactos.
• Limitación del plazo de conservación: Los datos deben conservarse solo durante el tiempo necesario para la finalidad del tratamiento.
• Integridad y confidencialidad: Los datos deben tratarse de forma segura, protegiéndolos contra el tratamiento no autorizado o ilícito, la pérdida, destrucción o daño accidental.
• Transparencia: Las personas deben ser informadas sobre el tratamiento de sus datos de forma clara y comprensible.
• Responsabilidad proactiva: El responsable del tratamiento es quien debe garantizar el cumplimiento del RGPD y debe implementar medidas técnicas y organizativas adecuadas.

También la AEPD considera algunos criterios específicos para la evaluación de sistemas de IA, estos son:

• Evaluación de impacto: Antes de implementar un sistema de IA que pueda entrañar un alto riesgo para los derechos y libertades de las personas, debe realizarse una evaluación de impacto relativa a la protección de datos (EIPD).
• Explicabilidad, trazabilidad, auditabilidad y transparencia: Los algoritmos de IA deben ser lo suficientemente transparentes como para que puedan explicarse las decisiones tomadas.
• No discriminación: Los sistemas de IA no deben utilizarse para tomar decisiones discriminatorias basadas en categorías protegidas, como raza, sexo u orientación sexual. Este problema no es particular de los sistemas de IA, sino que es general a cualquier proceso de toma de decisión, ya sea humano o automático.
• Intervención humana: En decisiones automatizadas que afecten significativamente a una persona, debe existir la posibilidad de revisión humana.

La protección de las personas físicas en relación con el tratamiento de datos personales es un derecho fundamental. La perspectiva ética de la IA, como una parte de la “ética digital”, es uno de los aspectos que más inquietud despierta. La ética de la IA persigue proteger valores como la dignidad, la libertad, la democracia, la igualdad, la autonomía del individuo y la justicia frente al gobierno de un razonamiento mecánico.

En conclusión, la puesta en el mercado, para entidades y consumidores en general, de tratamientos que incluyan soluciones basadas en tecnologías disruptivas, como las basadas en componentes IA, exige que se implementen garantías de calidad y seguridad. La disponibilidad de una tecnología o su novedad no es razón suficiente para comercializar productos que no cumplan con un nivel adecuado de calidad de servicio, respeto a la ética digital y a la dignidad humana.

Por otro lado, los investigadores y la industria basada en IA necesitan guías y ayudas que les sirvan de apoyo en el cumplimiento normativo y les aporte seguridad jurídica en sus proyectos, productos y servicios.  Más aun cuando aparecen productos novedosos que amenazan con desequilibrar la balanza como la reciente inteligencia artificial de formato abierto denominada Deepseek, que utiliza algoritmos avanzados de aprendizaje profundo para identificar patrones, hacer predicciones y proporcionar información detallada en diversas áreas, como finanzas, salud y seguridad. Destaca su capacidad para manejar grandes volúmenes de datos y ofrecer resultados precisos.

En general, la regulación de la inteligencia artificial debe responder a la realidad de cada país. Por ejemplo, en Ecuador, además de los retos sobre democracia, derechos, libertades individuales, también los tenemos respecto de acceso a recursos económicos, a innovación, a formación de profesionales especialistas y la infraestructura tecnológica, entre otros.