- Los departamentos de policía están adoptando tecnologías mucho más poderosas de fusión de datos sin realizar las pruebas correspondientes, comprobar su eficacia ni comprender los peligros que presentan para los derechos y libertades civiles.
- Las municipalidades y las legislaturas estatales deben actuar con rapidez para regular y supervisar el uso de las herramientas avanzadas de fusión de datos por parte de la policía.
Suscríbete aquí al boletín informativo del Brennan Center en español
Para leer el informe completo en inglés haz clic aquí
Los departamentos de policía de todo el país han comenzado a utilizar plataformas de software automatizadas y potenciadas por la inteligencia artificial (IA, por sus siglas en inglés) para recopilar y analizar datos. Estas herramientas de fusión de datos son capaces de cambiar radicalmente el accionar de la policía en los Estados Unidos; prometen ayudar a los departamentos de policía a predecir delitos, detectar patrones de actividades sospechosas, identificar amenazas y resolver casos con más rapidez.
Sin embargo, muchos sistemas nuevos de fusión de datos aún no han demostrado su efectividad. Si no se implementan salvaguardas sólidas, se corre el riesgo de que estas herramientas produzcan resultados imprecisos, perpetúen prejuicios y atenten contra los derechos individuales.
Los departamentos de policía ya acceden fácilmente a datos delictivos, como los registros de los arrestos y las tendencias delictivas, a información de fuentes comerciales que les compran a data brokers, y a datos recolectados a través de tecnologías de vigilancia, como los programas de monitoreo de redes sociales y los circuitos de vigilancia por video. La policía analiza estos y otros datos con el objetivo de responder a los delitos en tiempo real, resolver casos lo antes posible y hasta predecir dónde es probable que se cometa un delito.
Los proveedores de software de fusión de datos afirman con arrogancia que sus tecnologías usan la IA para potenciar este proceso. Una compañía describe su herramienta como “una IA que refuerza las capacidades o crea capacidades superhumanas” para los analistas de datos delictivos.
El mayor uso de estas herramientas genera graves preocupaciones. Los softwares de fusión de datos le permiten al usuario extraer grandes cantidades de información sobre personas que no son sospechosas de ninguna actividad delictiva. También se basan en datos provenientes de sistemas susceptibles a prejuicios y errores, como las herramientas de monitoreo de redes sociales que no pueden analizar las complejidades del habla que se usa en las redes, sistemas de detección de disparos que clasifican sonidos inocuos incorrectamente y programas de reconocimiento facial cuyos resultados, a menudo, son defectuosos o contradictorios, en especial cuando se aplican a personas no blancas.
El uso de la tecnología por parte de la policía también puede traer beneficios. Las cámaras que llevan los oficiales en el cuerpo ayudan a arrojar luz sobre las interacciones entre la policía y la población civil. Los lectores de matrículas de los automóviles potenciados por la IA reducen errores y ayudan a la policía a identificar correctamente qué matrículas están asociadas a vehículos robados y otros delitos.
Sin embargo, los departamentos de policía están adoptando tecnologías mucho más poderosas de fusión de datos sin realizar las pruebas correspondientes, comprobar su eficacia ni comprender los peligros que presentan para los derechos y libertades civiles.
La información pública sobre las herramientas de fusión de datos más nuevas es escasa, pero hay dos herramientas policiales —con la alerta que suele plantear su uso— que nos ofrecen una perspectiva valiosa para entender las capacidades e implicaciones de esta tecnología: los programas policiales predictivos, que buscan predecir dónde y cuándo es probable que se cometa un delito e incluso quiénes son más propensos a cometerlo, y los programas de análisis de redes sociales, que le permite a la policía extraer datos sobre la presencia de las personas en las redes sociales e identificar sus conexiones, ubicaciones y posibles amenazas.
Estas dos tecnologías presentan graves peligros, desde el riesgo de perpetuar prejuicios hasta el de desalentar e incluso atentar contra actividades protegidas por la Constitución; no hay suficientes estudios independientes que evalúen en qué grado estas tecnologías están contribuyendo a la seguridad pública.
Las capacidades de fusión de datos potenciadas por la IA exacerban estos riesgos. Si no se implementan las debidas medidas de supervisión y transparencia, el uso de estas herramientas podría infringir los derechos y libertades civiles, magnificar prejuicios y errores y alentar a una recopilación masiva de datos.
Recomendaciones
Las municipalidades y las legislaturas estatales deben actuar con rapidez para regular y supervisar el uso de las herramientas avanzadas de fusión de datos por parte de la policía. La Oficina de Administración y Presupuesto (OMB, por sus siglas en inglés) de la Casa Blanca, primero durante la presidencia de Biden y ahora durante la presidencia de Trump, ya ha elaborado directrices que pueden servir de modelo.
Esas directrices se basan en la idea de que los casos de uso de la IA de “alto impacto” —sistemas usados de tal modo que podrían afectar considerablemente los derechos individuales— no deben emplearse sin las correctas restricciones y medidas de supervisión.
Las jurisdicciones deben aprobar leyes, y los departamentos regulaciones que impidan que la policía use este tipo de sistemas de IA sin que primero se adopten las prácticas de gestión de riesgos establecidas por la OMB, según se describen a continuación.
Identificar los sistemas de IA de alto impacto
La OMB designa algunos casos de uso de la IA como presuntamente de alto impacto, entre ellas, las herramientas cuyos resultados pueden incorporarse a tecnologías de fusión de datos (como los lectores de matrículas, las tecnologías de reconocimiento facial y el software de monitoreo de redes sociales y análisis de videos). Los departamentos de policía deben divulgar el uso de estas tecnologías.
La OMB también clasifica las capacidades ofrecidas por los sistemas de fusión de datos potenciados por la IA como de alto impacto, tales como las evaluaciones de riesgos individuales, los pronósticos delictivos y la detección de actividades violentas. Por lo tanto, los departamentos de policía deben clasificar automáticamente sus sistemas de análisis y fusión de datos como de alto impacto y divulgar su uso.
Sin embargo, la lista de la OMB no es exhaustiva. Los departamentos de policía deben estar obligados a identificar y divulgar el uso de toda herramienta de IA que podría afectar considerablemente los derechos de las personas, como lo hacen las herramientas de mapeo de relaciones. Los sistemas de IA utilizados para investigar, desalentar, prevenir o responder a amenazas de actividad delictiva o riesgos a la seguridad pública —incluso aquellos que incorporen datos de inteligencia— probablemente queden clasificados dentro de esta categoría.
Las jurisdicciones deben implementar estándares de adquisición de bienes y servicios que requieran que sus proveedores de tecnologías de IA de alto impacto les provean documentación para que la policía pueda cumplir con las prácticas de gestión de riesgos establecidas por la OMB.
Realizar pruebas previas a la implementación
Si bien los departamentos de policía suelen realizar pruebas antes de adquirir sus tecnologías, se deben efectuar pruebas de eficacia obligatorias a fin de demostrar que un sistema de IA de alto impacto funciona para el propósito establecido. Las jurisdicciones deben obtener evaluaciones independientes que ponen a prueba las tecnologías en condiciones reales. Si no es posible realizar estas pruebas independientes, entonces los departamentos de policía tendrían que llevar a cabo sus propias evaluaciones.
Para dar apoyo a la realización de pruebas independientes de campo de las herramientas de IA que usará la policía, la Oficina de Ayuda a la Justicia del Departamento de Justicia (DOJ, por sus siglas en inglés) debe otorgar subsidios a los departamentos de policía de bajos recursos con el fin de que puedan llevar a cabo estas evaluaciones, junto a los desarrolladores de estas tecnologías e investigadores independientes, tal como lo recomendó el Grupo de Trabajo sobre las Fuerzas Policiales (Law Enforcement Working Group) del ahora extinto Comité Nacional de Asesoría sobre Inteligencia Artificial (National Artificial Intelligence Advisory Committee, NAIAC, por su siglas en inglés).
Las pruebas de las herramientas de IA de alto impacto deben estar muy bien reguladas por un ente supervisor, y los departamentos de policía no deberían tomar ninguna medida a partir de los resultados de un sistema que aún se encuentra en la etapa de pruebas. Los departamentos deben publicar los resultados de todas las pruebas de eficacia realizadas. Si una prueba indica que el departamento no puede explicar cómo una herramienta de IA llegó a una determinada conclusión, entonces se debe prohibir el uso de esa herramienta.
Efectuar evaluaciones de impacto previas a la implementación
Según las prácticas de gestión de riesgos de la OMB, los departamentos de policía deben efectuar y divulgar evaluaciones de impacto que incorporen los comentarios del público. Las evaluaciones de impacto deben explicar el propósito para el que se implementa la herramienta de IA, cómo se usará, cuáles son los riesgos y cómo se mitigarán esos riesgos adecuadamente. Las medidas de mitigación deben incluir formas de garantizar que los resultados de una tecnología de IA no sean la única justificación para la intervención de la policía.
Los departamentos también deben evaluar toda la gama de información que la policía prevé colocar en el sistema y, en la medida de lo posible, los datos que se usaron para entrenar y desarrollar la herramienta. Estas medidas son fundamentales en el contexto de la fusión de datos debido a la gran cantidad de datos que se pueden ingresar en estos sistemas y sus efectos en los posibles resultados.
Las evaluaciones de impacto deben especificar quiénes fuera del departamento tendrán acceso a los datos recolectados por la herramienta. Si un sistema de IA recolecta o analiza información sensible, entonces el departamento debe estar obligado a divulgar quiénes son las personas sobre las que se recaba esa información, las condiciones de acceso a esa información y las políticas de retención de datos que se aplican.
Las reglas deben prohibir drásticamente ingresar datos que, en otros contextos, estarían sujetos a una orden de registro, una orden judicial o una citación (como en el caso de la información de salud o geoubicación) o datos que incluyan información detallada sobre personas no sospechosas de haber cometido un delito. La policía puede ingresar este tipo de datos siempre y cuando los pueda obtener a través de procesos judiciales y siempre que el uso de esos datos esté estrictamente limitado a la persona y al propósito para el que fueron recolectados.
Asimismo, las evaluaciones de impacto deben identificar las ventajas y los costos asociados al uso de la herramienta de IA para determinar si los riesgos superan los posibles beneficios. Para demostrar los posibles beneficios, como el de promover la seguridad pública o aumentar la efectividad de la policía, los departamentos deben indicar “métricas o análisis cualitativos específicos”.
Por ejemplo, un departamento que desee utilizar una herramienta de fusión de datos para identificar a las personas conectadas a una persona de interés en una investigación criminal, debe explicar cómo se identifican actualmente esas conexiones y con cuánta frecuencia. Los departamentos también deben divulgar los índices de precisión de sus metodologías actuales y brindar datos cuantitativos acerca de los costos, precisión e índices de errores previstos para la nueva herramienta.
Algunos costos pueden medirse con facilidad: los fondos gastados en un programa piloto, los recursos utilizados para el mantenimiento o uso de la herramienta, o las horas dedicadas a la capacitación en el nuevo sistema. Los costos cualitativos pueden ser más difíciles de calcular. Entre ellos, se cuentan las amenazas a las libertades civiles, los derechos civiles o la privacidad, así como el riesgo de que los oficiales sean más propensos a hacerles caso a los resultados de una herramienta automatizada.
También se debe considerar la cantidad y los tipos de datos recolectados, retenidos y usados por la herramienta o para su operación, además de los índices de errores o prejuicios y si el uso de tecnologías similares por parte de la policía se ha traducido en demandas judiciales.
Cuando identifican y evalúan estos riesgos, los departamentos de policía deben obtener comentarios y opiniones de expertos independientes, incluso de la sociedad civil, del mundo académico y de las organizaciones comunitarias. Por último, las evaluaciones de impacto deben identificar cómo planea la policía mitigar cualquier daño, de acuerdo con las directrices de la OMB.
Por ejemplo, en el caso de una herramienta de fusión de datos utilizada para identificar las conexiones entre personas, se podría elaborar un plan de mitigación de riesgos que le prohíba a la policía abrir un expediente de investigación sobre una persona identificada únicamente por la herramienta de IA como alguien conectado a otra que está bajo investigación policial.
Instituir procesos continuos de supervisión y entrenamiento
Según las prácticas de gestión de riesgos de la OMB, los departamentos de policía deben llevar a cabo evaluaciones continuas para monitorear el uso de las herramientas de IA de alto impacto y publicar sus resultados, por lo menos, una vez al año. Los organismos externos pueden ser la mejor opción para realizar estas evaluaciones, que deben incluir la revisión de todos los cambios importantes que se hayan hecho en los propósitos previstos de la herramienta de IA, las condiciones de implementación o los costos y beneficios.
La OMB también recomienda auditar los resultados de las herramientas de IA con regularidad para establecer su precisión, prejuicios y daños posibles, y documentar y mitigar problemas. La policía puede guiarse por la lista de verificación para pruebas de campo del Grupo de Trabajo sobre las Fuerzas Policiales del NAIAC, que resume los métodos de prueba empíricos para herramientas de IA y los adapta al contexto policial.
Una cantidad suficiente de personas en el departamento debe contar con el debido conocimiento sobre el sistema para identificar posibles resultados problemáticos. Además, se deben verificar los resultados de los sistemas de IA antes de tomar cualquier decisión o acción a partir de esos resultados. Al igual que ocurre con las armas de fuego, el personal policial no puede utilizar sistemas de IA de alto impacto sin el entrenamiento correcto.
Los procedimientos de documentación, como los utilizados para una detención o para los usos de la fuerza por parte de la policía, también deben aplicarse a las herramientas de IA de alto impacto; siempre debe haber una documentación cuando el resultado de una herramienta contribuye a una decisión o acción policial. Los departamentos deben brindar esta documentación a las personas afectadas y darles la oportunidad de solicitar una revisión o apelación de la decisión.
Garantizar el cumplimiento
Tal como lo recomienda la OMB, si un departamento de policía no sigue las prácticas mínimas de gestión de riesgos antes descritas, o si los beneficios de utilizar un sistema de IA de alto impacto ya no superan los riesgos para los derechos civiles, las libertades civiles o la privacidad, entonces el departamento debe dejar de utilizar el sistema.
Para garantizar el cumplimiento, las jurisdicciones deben emplear a auditores externos, como inspectores generales, que tengan la experiencia y la capacidad necesarias de analizar los aspectos técnicos de los sistemas de IA en el contexto policial. Los informes detallados brindados por el inspector general del Departamento de Policía de la Ciudad de Nueva York (NYPD, por sus siglas en inglés) durante sus auditorías de cumplimiento en materia de vigilancia brindan un buen modelo a seguir.
Si bien los inspectores generales no suelen tener la facultad de emitir recomendaciones de cumplimiento obligatorio, sus auditorías se han traducido en el cierre de programas policiales predictivos perjudiciales y la implementación de políticas más estrictas en cuanto a la vigilancia policial.
Por último, algunas ciudades a lo ancho del país han aprobado leyes y ordenanzas de supervisión y transparencia que obligan a los departamentos de policía a obtener la aprobación legislativa y los comentarios del público antes de adquirir o implementar nuevas tecnologías de vigilancia.
Si bien estas regulaciones han producido resultados mixtos, sí han alentado a las legislaturas y a los gobiernos a instituir mecanismos que exijan que los departamentos de policía comuniquen mejor las capacidades de sus tecnologías, para que quienes elaboran leyes puedan entenderlas mejor antes de aprobar su uso. Las leyes que consagran el requisito establecido por la OMB de supervisar los sistemas de IA garantizarían que el marco antes descrito se aplique a las herramientas de IA, más allá de cualquier cambio en el liderazgo policial o en la oficina del inspector general.
Conclusión
Las herramientas de fusión de datos pueden reflejar el futuro de la IA en el accionar de la policía, pero también pueden perpetuar los problemas del pasado. Las herramientas policiales predictivas y de monitoreo de redes sociales ilustran cómo estas nuevas herramientas pueden exacerbar los prejuicios y errores y, al mismo tiempo, ampliar el alcance y la magnitud de la vigilancia del gobierno y las intrusiones en la privacidad. Aun así, los departamentos de policía están adoptándolas sin llevar a cabo las suficientes pruebas ni tener los suficientes datos sobre su eficacia.
Lograr la tan ansiada transparencia e implementar las debidas salvaguardas seguirá siendo una tarea difícil, si los departamentos de policía y sus proveedores no pueden o no quieren brindar información sobre cómo funcionan las herramientas de fusión de datos potenciadas por la IA.
Si se cumplen, las directrices de la OMB ayudarían a garantizar que la población civil, la policía, la administración pública y los expertos puedan comprender cabalmente si los supuestos beneficios de estos sistemas superan los posibles daños y que se implementen protecciones para la privacidad, los derechos civiles y las libertades civiles. El peligro es demasiado alto como para permitir la adopción acrítica y el uso desregulado de las herramientas de análisis y fusión de datos.
Traducción de Ana Lis Salotti.
