Après plusieurs mois d’enquête, dans le cadre d’une initiative européenne coordonnée par l’ONG britannique Fair Trials, La Quadrature publie aujourd’hui un rapport sur l’état de la police prédictive en France. Au regard des informations recueillies et compte tenu des dangers qu’emportent ces systèmes dès lors notamment qu’ils intègrent des données socio-démographiques pour fonder leurs recommandations, nous appelons à leur interdiction.
Après avoir documenté dès 2017 l’arrivée de systèmes assimilables à la police prédictive, puis ayant été confrontés à l’absence d’informations à jour et de réel débat public sur ces systèmes, nous avons souhaité enquêter plus en détail. Pour ce rapport, nous avons donc réuni les informations accessibles sur plusieurs logiciels de police prédictive anciennement ou actuellement en utilisation au sein des forces de police françaises, et notamment :
– RTM (Risk Terrain Modelling), un logiciel de « prévention situationnelle » utilisé par la préfecture de Police de Paris pour cibler les zones d’intervention à partir des données « environnementales » (présence d’écoles, de commerces, de stations de métro, etc.) ;
– PredVol, logiciel développé en 2015 au sein d’Etalab, expérimenté en Val d’Oise en 2016 pour évaluer le risque de vols de véhicule, abandonné en 2017 ou 2018 ;
– PAVED, logiciel développé à partir de 2017 par la Gendarmerie et expérimenté à partir de 2018 dans différents départements métropolitains pour évaluer le risque de vols de voiture ou de cambriolages. En 2019, peu avant sa généralisation prévue sur tout le territoire, le projet a été mis « en pause » ;
– M-Pulse, auparavant nommé Big Data de la Tranquillité Publique, développé par la ville de Marseille en partenariat avec la société Engie pour évaluer l’adéquation des déploiements de la police municipale dans l’espace public urbain ;
– Smart Police, logiciel comportant notamment un module « prédictif » et mis au point par la startup française Edicia qui, d’après son site web, a vendu cette suite logicielle à plus de 350 forces municipales.
Des technologies dangereuses, sans encadrement ni évaluation
Nous résumons ici les principales critiques à l’encontre des systèmes étudiés, dont la plupart font appel à des techniques d’intelligence artificielle.
Corrélation n’est pas causalité
Le premier danger associé à ces systèmes, lui-même amplifié par l’absence de transparence, est le fait qu’ils extrapolent des résultats à partir de corrélations statistiques entre les différentes sources de données qu’ils agrègent. En effet, par mauvaise foi ou fainéantise idéologique, les développeurs de ces technologies entretiennent une grave confusion entre corrélation et causalité (ou du moins refusent-ils de faire la distinction entre les deux). Or, ces amalgames se traduisent de façon très concrète dans le design et les fonctionnalités des applications et logiciels utilisés sur le terrain par les policiers, mais aussi dans leurs conséquences sur les habitantes exposées à une policiarisation accrue.
Lorsqu’elle recourt à ces systèmes d’aide à la décision, la police devrait donc au minimum tâcher de démontrer la pertinence explicative de l’utilisation de variables socio-démographiques spécifiques dans ses modèles prédictifs (c’est-à-dire aller au-delà des simples corrélations pour retracer les causes structurelles de la délinquance, ce qui pourrait conduire à envisager d’autres approches que les politiques sécuritaires pour y faire face). Cela implique en premier lieu d’être transparent au sujet de ces variables, ce dont on est pour l’instant très loin.
S’agissant par exemple de PAVED, le modèle prédictif utiliserait quinze variables socio-démographiques qui, selon les développeurs, sont fortement corrélées avec la criminalité. Cependant, il n’y a aucune transparence sur la nature de ces variables, et encore moins de tentative de démonstration d’une véritable relation de cause à effet. Il en va globalement de même pour les variables utilisées par Smart Police, le logiciel d’Edicia, quoiqu’on ait dans ce cas encore moins de visibilité sur la nature exacte des variables mobilisées.
Des variables potentiellement discriminatoires
Or, il est probable que, à l’image des algorithmes utilisés par la Caisse nationale des allocations familiales (CNAF), certaines variables socio-démographiques mobilisées soient discriminatoires.
En effet, les scores de risque sont possiblement corrélés à un taux de chômage ou de pauvreté important, ou encore à un taux élevé de personnes nées en dehors de l’Union européenne dans le quartier considéré. Et ce d’autant plus que l’on sait que, pour PAVED, parmi les données pertinentes pour l’établissement des « prédictions », on retrouve les indicateurs suivants : nationalité et données d’immigration, revenus et composition des ménages ou encore niveau de diplôme. Autant de variables qui risquent de conduire à cibler les populations les plus précarisées et les plus exposées au racisme structurel.
De fausses croyances criminologiques
Un autre danger associé à ces systèmes réside dans le fait qu’ils enracinent des doctrines criminologiques décriées. Les promoteurs de la police prédictive refusent de s’atteler à une compréhension générale et à une analyse sociale des comportements déviants et des illégalismes : nulle mention des politiques de précarisation, d’exclusion, de discrimination, et de la violence sociale des politiques publiques. Et lorsqu’ils s’aventurent à proposer des modèles explicatifs et qu’ils tentent d’inscrire ces modèle dans les algorithme de scoring, ils semblent s’en remettre à des « savoirs » dont la pertinence est parfaitement douteuse.
Certaines allusions doctrinales apparaissent par exemple dans les articles de recherche du principal développeur de PAVED, le colonel de gendarmerie Patrick Perrot. Ce dernier y fait part d’hypothèses de base concernant la criminalité (par exemple, la criminalité comme « phénomène en constante évolution »), et évoque les « signaux faibles » et autres « signes précurseurs » de la délinquance qui font écho aux théories de la « vitre brisée », dont la scientificité est largement mise en cause. De même, dans le cas d’Edicia, le module prédictif semble reposer sur l’idée selon laquelle la délinquance a un effet de débordement géographique (ou effet de « contagion ») et intègre lui aussi des postulats « remontés » du « terrain » qui prétendent que « la petite délinquance entraîne la grande délinquance ».
Autant de doctrines ineptes qui servent surtout à masquer les conséquences désastreuses des politiques ultralibérales, à criminaliser les incivilités du quotidien, qui doivent s’interpréter comme l’élément clé d’une tentative de criminalisation des pauvres. Aujourd’hui, elles sont donc incorporées aux systèmes automatisés que s’octroie la police, lesquels contribuent à les invisibiliser.
Un risque d’auto-renforcement
La critique est largement connue, mais elle mérite d’être rappelée ici : les logiciels de police prédictive soulèvent un important risque d’effet d’auto-renforcement et donc d’une démultiplication de la domination policière de certains quartiers (surveillance, contrôle d’identité, usages de pouvoirs coercitifs).
En effet, leur usage conduit nécessairement à sur-représenter les aires géographiques définies comme étant à haut risque dans les données d’apprentissage. Dès lors qu’un nombre important de patrouilles sont envoyées dans une zone donnée en réponse aux recommandations de l’algorithme, elles seront conduites à constater des infractions – mêmes mineures – et à collecter des données relatives à cette zone, lesquelles seront à leur tour prises en compte par le logiciel et contribueront à renforcer la probabilité que cette même zone soit perçue comme « à risque ».
La police prédictive produit ainsi une prophétie auto-réalisatrice en concentrant des moyens importants dans des zones déjà en proie aux discriminations et à la sur-policiarisation.
De possibles abus de pouvoir
Bien que nous n’ayons pas trouvé d’éléments relatifs aux instructions particulières données aux policiers lorsqu’ils patrouillent dans des zones jugées à haut risque par les systèmes prédictifs, une source nous indique que, grâce à PAVED, la gendarmerie a pu obtenir auprès du procureur de la République l’autorisation pour que les agents en patrouille se positionnent dans les lieux de passage et arrêtent les véhicules à proximité. Dans ce cadre, il s’agissait pour eux de vérifier les plaques d’immatriculation et les permis de conduire des conducteurs, et de procéder dans certains cas à des fouilles de véhicule.
Si l’information s’avérait exacte, cela signifierait que des contrôles préventifs, menés dans le cadre d’une autorisation du Parquet, ont été décidés sur la seule base d’une technologie fondée sur des postulats douteux et dont l’efficacité n’a jamais été évaluée. Une situation qui, en elle-même, matérialiserait une disproportion caractérisée des mesures restrictives de liberté prises à l’encontre des personnes concernées.
Des outils à l’efficacité douteuse
Au regard de leur nature discriminatoire, même dans la mesure où ces systèmes de police prédictive s’avéreraient efficaces du point de vue de la rationalité policière, ils poseraient d’importants problèmes en terme de justice sociale et de respect des droits humains. Or, en dépit de l’absence d’évaluation officielle, le fait est que les données disponibles semblent confirmer l’absence de valeur ajoutée des modèles prédictifs pour atteindre les objectifs que la police s’était fixés.
De fait, ces outils semblent loin d’avoir convaincu leurs utilisateurs et utilisatrices. PredVol ne ferait pas mieux que la simple déduction humaine. Quant à PAVED, même s’il pourrait avoir empêché quelques vols de voiture, il s’avère décevant en termes de capacités de prévision et ne se traduit pas par une hausse du nombre d’arrestations en flagrant délit, qui pour la police reste l’étalon de l’efficacité sous le règne de la politique du chiffre1. Malgré ce qui était envisagé au départ, la généralisation de PAVED au sein de la gendarmerie nationale n’a jamais vu le jour. À l’issue d’une phase expérimentale, menée de 2017 à 2019, il a été décidé de mettre le logiciel de côté. Et si M-Pulse a trouvé une nouvelle jeunesse au gré du « rebranding citoyenniste » poussé par la nouvelle majorité municipale marseillaise de centre gauche, ses usages sécuritaires semblent relativement marginaux.
Pour quelles raisons ? L’opacité qui entoure ces expérimentations ne permet pas de le dire avec certitude, mais l’hypothèse la plus probable réside à la fois dans l’absence de vraie valeur ajoutée par rapport aux savoirs et croyances existantes au sein des forces de police et dans la complexité organisationnelle et technique associée à l’usage et à la maintenance de ces systèmes.
De graves lacunes dans la gestion des données
Pour les opposants à ces systèmes, les informations présentées dans ce rapport pourraient sembler rassurantes. Mais en réalité, même si l’effet de mode autour de la « police prédictive » semble passé, les processus de R&D relatifs aux systèmes d’aide à la décision des forces de police continuent. Des sommes d’argent conséquentes continuent d’être dépensées pour répondre à l’ambition affichée de « porter le ministère de l’Intérieur à la frontière technologique », ainsi que l’envisageait le livre blanc de la sécurité intérieure de 20202. Dans ce contexte d’un primat accordé aux approches techno-sécuritaires, PAVED pourrait ainsi être ré-activé ou remplacé par d’autres systèmes dans un futur proche. Quant à Edicia, l’entreprise envisageait ces derniers mois d’incorporer à son module prédictif de nouvelles sources de données issues des réseaux sociaux, comme l’envisageaient les concepteurs de M-Pulse au début du projet. La police prédictive reste donc d’actualité.
Interrogée via une demande CADA en mars 2022 et à nouveau en novembre 2023, la CNIL nous a indiqué qu’elle n’avait jamais reçu ou produit de document relatif aux logiciels de police prédictive dans le cadre de ses prérogatives. Cela semble indiquer que l’autorité de protection des données personnelles ne s’est jamais intéressée à ces logiciels dans le cadre de sa politique de contrôle. En soit, cela interroge lorsqu’on sait que, pour certains, ils sont utilisés par des milliers d’agents de police municipale à travers le pays.
Enfin, dans la mesure où les pouvoirs de police administrative exercés dans les zones jugées « à risque » par les systèmes prédictifs peuvent être considérés sur le plan juridique comme des « décisions administratives individuelles », les exigences énoncées par le Conseil constitutionnel dans sa jurisprudence sur les algorithmes devraient être respectées3. Or, celles-ci proscrivent notamment l’interdiction d’utiliser des « données sensibles » et imposent de prévoir des possibilités de recours administratifs pour les personnes concernées. S’y ajoutent des obligations de transparence imposées par la loi, notamment la loi de 2016 dite « République numérique »4.
Ces exigences législatives et jurisprudentielles ne semblent pas respectées s’agissant des systèmes de police prédictive. Non seulement il n’y a pas de tentative significative et proactive d’informer les citoyens et les autres parties prenantes sur le fonctionnement exact de ces systèmes, en dehors des quelques informations parfois disséminées de manière opportuniste. Plus grave encore, le droit à la liberté d’information que nous avons exercé via nos demandes CADA pour en apprendre davantage n’a donné lieu qu’à des informations partielles, et s’est heurté le plus souvent à l’absence de réponse, notamment de la part du ministère de l’Intérieur.
Il est urgent d’interdire la police prédictive
L’effet de mode semble passé. La police prédictive ne fait presque plus parler d’elle. Et pourtant…
Malgré une absence flagrante d’évaluation, d’encadrement législatif et en dépit de piètres résultats opérationnels, les promoteurs de ces technologies continuent d’entretenir la croyance selon laquelle l’« intelligence artificielle » pourra permettre de rendre la police plus « efficace ». De notre point de vue, ce que ces systèmes produisent c’est avant tout une automatisation de l’injustice sociale et de la violence policière, une déshumanisation encore plus poussée des relations entre police et population.
Dans ce contexte, il est urgent de mettre un coup d’arrêt à l’utilisation de ces technologies pour ensuite conduire une évaluation rigoureuse de leur mise en œuvre, de leurs effets et de leurs dangers. L’état de nos connaissances nous conduit à penser qu’une telle transparence fera la preuve de leur ineptie et de leurs dangers, ainsi que de la nécessité de les interdire.
Nous aider
Pour pallier l’opacité volontairement entretenue par les concepteurs de ces systèmes et par les autorités publiques qui les utilisent, si vous avez à votre disposition des documents ou éléments permettant de mieux comprendre leur fonctionnement et leurs effets, nous vous invitons à les déposer sur notre plateforme de partage anonyme de document. Il est également possible de nous les envoyer par la poste à l’adresse suivante : 115 rue de Ménilmontant, 75020 Paris.
Enfin, n’hésitez pas à nous signaler la moindre erreur factuelle ou d’analyse que vous pourriez identifier dans ce rapport en nous écrivant à contact@technopolice.fr. Et pour soutenir ce type de recherche à l’avenir, n’hésitez pas non plus à faire un don à La Quadrature du Net.
- Lecorps, Yann, et Gaspard Tissandier. « PAVED with good intentions : an evaluation of the Gendarmerie predictive policing system ». Centre d’Économie de la Sorbonne (CES), Université Paris 1 Panthéon Sorbonne. Paris, septembre 2022. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4314831. ↩︎
- Le livre blanc proposait de consacrer 1% du PIB aux missions de sécurité intérieure à l’horizon 2030, soit une augmentation escomptée d’environ 30% du budget du ministère sur la décennie.Ministère de l’intérieur, « Livre blanc de la sécurité intérieure » (Paris : Gouvernement français, 16 novembre 2020), https://www.interieur.gouv.fr/Actualites/L-actu-du-Ministere/Livre-blanc-de-la-securite-interieure. ↩︎
- Voir la décision sur la transposition du RGPD (décision n° 2018-765 DC du 12 juin 2018) et celle sur Parcoursup (décision n° 2020-834 QPC du 3 avril 2020). ↩︎
- Sur les obligations légales de transparence des algorithmes publics, voir : Loup Cellard, « Les demandes citoyennes de transparence au sujet des algorithmes publics », Note de recherche (Paris : Mission Etalab, 1 juillet 2019), http://www.loupcellard.com/wp-content/uploads/2019/07/cellard_note_algo_public.pdf. ↩︎