Este requisito incorpora tres principios fundamentales diferentes: trazabilidad, explicabilidad y comunicación. ^[1]

Trazabilidad

Los conjuntos de datos y los procesos que dan lugar a la decisión del sistema de IA, incluidos los de recopilación y etiquetado de datos, así como los algoritmos utilizados, deben documentarse de la mejor forma posible para permitir la trazabilidad y aumentar la transparencia. Esto también se aplica a las decisiones tomadas por el sistema de IA. Esto permite identificar las razones por las que una decisión de IA fue errónea, lo que, a su vez, podría ayudar a prevenir futuros errores. La trazabilidad facilita la auditoría y la explicación.

Explicabilidad

Se trata de la capacidad de explicar tanto los procesos técnicos de un sistema de IA como las decisiones humanas relacionadas (por ejemplo, los ámbitos de aplicación de un sistema). La explicabilidad técnica requiere que las decisiones tomadas por un sistema de IA puedan ser comprendidas y rastreadas por los seres humanos. Además, es posible que haya que elegir entre mejorar la explicabilidad de un sistema (lo que puede reducir su precisión) o aumentar su precisión (a costa de la explicabilidad). Siempre que un sistema de IA tenga un impacto significativo en la vida de las personas, debería ser posible exigir una explicación adecuada del proceso de toma de decisiones del sistema de IA. Dicha explicación debe ser oportuna y adaptarse a los conocimientos de la parte interesada (por ejemplo, legos, reguladores o investigadores). Además, debe poder explicarse en qué medida un sistema de IA influye en el proceso de toma de decisiones de la organización, las opciones de diseño del sistema y la justificación de su despliegue (garantizando así la transparencia del modelo empresarial).

Comunicación

Los sistemas de IA no deben representarse a sí mismos como humanos ante los usuarios; los humanos tienen derecho a ser informados de que están interactuando con un sistema de IA. Esto implica que los sistemas de IA deben ser identificables como tales. Además, cuando sea necesario para garantizar el respeto de los derechos fundamentales, debe darse la opción de decidir no interactuar con un ser humano. Más allá de esto, las capacidades y limitaciones del sistema de IA deben comunicarse a los profesionales de la IA o a los usuarios finales de una manera adecuada al caso de uso en cuestión. Esto podría incluir la comunicación del nivel de precisión del sistema de IA, así como sus limitaciones.

 

1. Ibid. ↑