La inteligencia artificial: ¿un nuevo caballo de Troya que influye indebidamente en el poder judicial?

Francesco Contini

Francesco Contini actualmente es jefe de investigación en el Instituto de Investigación sobre los Sistemas Judiciales del Consejo Nacional de Investigaciones en Italia. Trabajó estrechamente con varias organizaciones internacionales y colaboró en la creación de la Carta Ética Europea sobre el uso de inteligencia artificial en los sistemas judiciales del Consejo de Europa, así como en la guía de recursos de la UNODC para reforzar la integridad y capacidad judicial. Todas las opiniones expresadas en este artículo son únicamente las de la autora como experta externa y no reflejan necesariamente la posición oficial de la UNODC. Esta es una traducción no oficial realizada por Voluntarios de las Naciones Unidas.

______________________________

Durante más de tres décadas, los avances en la tecnología de la información y la comunicación (TIC) irrumpieron en los procedimientos de los tribunales y las fiscalías prometiendo transparencia, eficiencia y cambios radicales en las modalidades de trabajo, como, por ejemplo, los tribunales digitalizados. Incluso si en la mayoría de las jurisdicciones tales promesas todavía siguen sin cumplirse, los programas y algoritmos completan hoy en día cada vez más tareas de los procedimientos judiciales. Los efectos que tienen tales tecnologías en el funcionamiento de los sistemas judiciales y los valores avalados por los Principios de Bangalore sobre la Conducta Judicial son muy positivos.

La más reciente ola tecnológica está basada en la inteligencia artificial (IA) y promete cambiar las formas en las que se toman las decisiones judiciales. Este objetivo se persigue sobre todo a través de una tecnología específica conocida como "aprendizaje automático", que hace predicciones a partir de evaluaciones de los expedientes judiciales, tanto de los documentos procesales como de las decisiones judiciales correspondientes. Este conjunto de datos, conocido como "datos de entrenamiento", se analiza para elaborar correlaciones estadísticas entre los casos y las decisiones judiciales correspondientes. El algoritmo, mientras más datos procese, más preciso se vuelve para predecir las decisiones de las causas nuevas. Por esta razón, estos sistemas "aprenden" (incluso si solo se trata de una precisión estadística mejorada) para replicar los resultados a los que llegaron los jueces en causas similares.  A diferencia de las herramientas tecnológicas ya introducidas que digitalizan el intercambio de datos y documentos, esta tecnología de "justicia predictiva" (como muchas veces se la llama erróneamente) tiene como objetivo influenciar la toma de decisiones judiciales. ¹ No está claro si esta tendencia resulta en decisiones más justas o si está socavando el funcionamiento correcto de la justicia.

El impacto potencial de esta tecnología en la administración de la justicia puede explorarse al considerar los problemas que presenta la tecnología de la información ya utilizada, como son la gestión de causas y el sistema de expediente electrónico. En Inglaterra y Gales, un simple error de cálculo integrado en el formulario oficial usado en los casos de divorcio terminó en el cálculo erróneo de la pensión alimentaria en 3600 casos a lo largo de un periodo de 19 meses. El problema no es el error en sí, sino las razones por las cuales el Ministerio de Justicia y las personas que completaron los formularios no detectaron el error durante tanto tiempo. Los usuarios de la tecnología tienden a enfocarse en las interfaces y en las herramientas que hacen posible el uso de sistemas tecnológicos y no en su funcionamiento interno.

La tecnología de los tribunales da acceso a la cantidad de datos sobre las causas para aumentar la transparencia, pero es difícil acceder a la forma en la que los sistemas internamente hacen el análisis y hacerlos rendir cuentas. Por eso, una pregunta general es cuáles son las posibilidades de implementar controles efectivos sobre los funcionamientos internos de las TIC y los algoritmos que procesan la información. Otra pregunta es, por lo tanto, cómo garantizar la correcta supervisión y rendición de cuentas sobre el funcionamiento de la tecnología y si la IA (más precisamente, el aprendizaje automático) es un caso peculiar en este ejercicio de rendición de cuentas.

Varias jurisdicciones, especialmente en los Estados Unidos, adoptaron tecnología que recomienda cómo tomar decisiones sobre la prisión preventiva. Esas aplicaciones usan algoritmos para calcular los riesgos de reincidencia y "puntúa" al acusado según las probabilidades de que cometa un delito si queda en libertad.

Este tipo de puntuación deja al juez en una posición incómoda. Supongamos que hay una causa en el que el juez está dispuesto a dejar en libertad al acusado en lugar de elegir la prisión preventiva, pero el puntaje identifica un riesgo alto de reincidencia. ¿El juez debe ir contra del cálculo que evalúa el riesgo hecho por el sistema? ¿Y qué ocurre si el acusado es puesto en libertad y luego comete un delito?  La refutación más común a este argumento hace foco en que los sistemas solo aprovechan los datos disponibles. Se sostiene que los métodos científicos empleados calculan el riesgo de reincidencia de una forma que es mucho más decisiva y confiable que aquella usada por los jueces individuales. Este argumento es pertinente, pero ¿cómo podemos garantizar que los datos no tengan sesgos? Garantizar la rendición de cuentas es mucho más complicado que con la tecnología más simple.

ProPublica, una organización estadounidense sin fines de lucro que realiza investigaciones de interés público, comparó el índice de reincidencia real con la predicha. El análisis de 10.000 causas de acusados de un delito reveló que "los acusados negros eran mucho más propensos de ser erróneamente juzgados por tener un mayor riesgo de reincidencia que los acusados blancos, quienes tenían más posibilidades que los acusados negros de ser tildados incorrectamente como 'de bajo riesgo'". Este ejemplo demuestra que la rendición de cuentas es difícil de lograr y que tales sistemas pueden introducir sesgos en los procedimientos judiciales.

La tecnología, ya sea empleada para la gestión de causas, los formularios online simples, o tareas más complicadas basadas en la IA, debe integrarse en los procedimientos judiciales solo si se establecen los mecanismos adecuados de rendición de cuentas.

El problema de la rendición de cuentas es aún más serio con los sistemas de IA que se basan en el aprendizaje automático. En este caso, la predicción se basa en algoritmos que cambian a lo largo del tiempo. Con el aprendizaje automático, los algoritmos "aprenden" (cambian) a partir de su propia experiencia. A medida que los algoritmos cambian, no sabemos cómo funcionan o porqué hacen cosas de cierta forma. Si no podemos implementar mecanismos efectivos de control, ¿cómo podemos garantizar una rendición de cuentas adecuada? El debate aun no se termina y el principio de precaución debe adoptarse hasta que estas preguntas hayan recibido una respuesta desde un punto de vista técnico e institucional.

Los cuidados y el principio de precaución mencionados en este artículo siguen la misma línea que la de la Carta Ética Europea sobre el uso de inteligencia artificial en los sistemas judiciales del Consejo de Europa, especialmente los  principios del respeto por los derechos fundamentales y del control de los usuarios. Sin embargo, la forma de implementar estas directrices todavía no está clara. Los abogados, las partes de la causa y los jueces definitivamente no pueden ser los responsables de llevar a cabo esa tarea. Es un problema que debe afrontarse aunando competencias multidimensionales, monitoreando el funcionamiento de los sistemas y comparando la IA contra los valores fundamentales de los Principios de Bangalore sobre la Conducta Judicial. Es un problema que los participantes de la Red Mundial de Integridad Judicial están bien posicionados para enfrentar.