Nous avons lu… “Weapons of Math destruction”, de Cathy O’Neil (2016)

Nous avons lu… “Weapons of Math destruction”, de Cathy O’Neil (2016)

Cathy O’Neil a une formation mathématique, elle a été trader, puis data scientist dans le secteur de la publicité ciblée en ligne, avant de rejoindre des associations spécialisées en matière de régulation financière. L’objectif de son livre est d’ouvrir un débat public sur les modèles prédictifs, largement utilisés aujourd’hui dans l’économie mais aussi certains services publics, en expliquant le fonctionnement et leurs faiblesses méthodologiques, en soulignant leurs effets négatifs dans de nombreux domaines et en formulant des premières pistes de régulations. Elle met en évidence la proximité culturelle entre les constructeurs de modèles financiers de Wall Street et ceux de la Silicon Valley.

Modèles prédictifs : attention danger

1. Genèse et « sociologie » des modèles prédictifs. A l’origine, ces modèles ont été développés dans le secteur financier afin de prédire les risques et ce sont les hedge funds qui les ont développés. La sociologie des développeurs de ces modèles est proche de celles des traders. Ce sont des datas scientist qui sont des “geeks des algorithmes » et sont issus des mêmes écoles américaines. Il s’agit en fait d’un pool de talents identique, attiré par des promesses de carrières implicites identiques : « devenir riche très vite, être les rois du monde” et avec comme critère de résultat le même étalon de l’argent, « mutual admiration society », similarités culture Wall Street et culture Silicon Valley.

2. Les modèles prédictifs sont des constructions qui prédisent à partir de quelques données (inputs) un certain nombre de résultats (output). Ils sont utilisés notamment pour prédire nos comportements, notre potentiel, notre fiabilité financière, notre propension à consommer, à emprunter, notre expertise à l’égard de propositions commerciales etc.

3. Cathy O’Neil souligne qu’aucun modèle ne peut couvrir la complexité du vrai monde des personnes humaines. Il existe des biais inhérents des prédictions sur les êtres humains : (i) les modèles établis sur comportements passés, (ii) risques d’erreurs importants, (iii) la probabilité n’est pas la réalité. En sus, en général, ces modèles classent les individus en tribus de façon arbitraire alors que la réalité est beaucoup plus complexe.

4. La disponibilité et la fiabilité des données est une limite très importante et négligée. Il est très fréquent, voire systématique, que les jeux de données utilisés, ne soient ni fiables, ni adaptées au modèle utilisé, et très statiques, c’est-à-dire incapables d’intégrer des « feed back » et des adaptations.

5. Les modèles reflètent les choix de leurs concepteurs, encodent des choix subjectifs de façon opaque. En effet, ces modèles sur la base de corrélations entre des données finissent par établir des prédictions de comportements, qui peuvent être biaisées. Par exemple prédire que celui qui paie ses factures sera un travailleur fiable ; ou celui que l’individu qui est actif sur les réseaux sociaux est une personne sociable et peut être un recrutement adapté pour certaines activités.

6. Il existe une tolérance à l’erreur de ces modèles, mais elle est limitée par les conséquences que peuvent emporter ces erreurs pour les individus. Pour O’Neil, la conséquence de l’erreur de l’algorithme est acceptable si elle résulte en une moindre efficacité du ciblage des publicités sur une barre d’exploration d’Internet, mais elle est très grave si elle affecte des individus dans leurs opportunités d’emploi, leur stabilité financière, leur accès au logement ; l’évaluation d’un taux de récidive etc.

7. De plus ces modèles présentent d’autres limites rédhibitoires : (i) ils sont opaques, et sans possibilité d’appel, les personnes qui y sont soumises ne le savent pas et ne savent pas les critères pris en compte pour les évaluer, (ii) il comporte des risques de boucles négatives auto réalisatrices et affectant les plus vulnérables pauvres en tout premier lieu (travail, crédit, éducation, …).

8. Les limites des algorithmes renvoient à un problème éthique. Il existe un argument selon lequel les choix humains ont aussi des biais sélectifs et que ceux-ci sont parfois plus prononcés que ceux des algorithmes. Mais ces jugements humains ont une possibilité d’appel alors que l’algorithme ne va pas se dédire, de plus, il y a une prétention à camoufler des choix pourtant subjectifs par de la technologie : par exemple camoufler les jugements raciaux et discriminatoires par des données utilisant l’origine spatiale des individus. Dans les faits, tout ceci renvoie à un débat sur les valeurs, le principe de justice et le respect des droits de la personne et à la présomption d’innocence par exemple contre un principe de probabilité et de pseudo efficacité.

Quelques cas pratiques

9. Education : Une expérience de la ville de Washington DC vise à évaluer les professeurs sur la base d’un modèle conçu par des consultants extérieurs. Les résultats sont aberrants (données non fiables et panels statistiques trop réduits) mais néanmoins, sur cette base ont été licenciés des professeurs, sans possibilité d’appel.

10. Sécurité et justice : Un modèle prédictif de la prévention de la récidive a été développé à partir d’un questionnaire, mais il a été constaté que les individus soumis aux questionnaires s’adaptaient au questionnaire, rendant inefficace le modèle. Un autre modèle a été utilisé pour identifier les zones criminelles à risque mais à l’usage il a fini par générer des boucles auto-réalisatrices : une présence policière renforcée ayant eu un impact sur la déclaration et le constat d’infractions et a eu en plus pour effet de « criminaliser » la pauvreté, le ciblage ayant abouti à concentrer les efforts sur des populations pauvres. Par ailleurs, cela pose des problèmes en matière de présomption d’innocence si un profilage est effectué sur de tels critères.

11. Marché du travail : questionnaire et software de tri des applications pour 70% des jobs aux US, test intelligence illégaux, idem critères raciaux. Test de personnalité avec prédiction de comportements en fonction des réponses, très opaque.

12. Endettement : Les publicités prédatrices, predatory ads dépendent d’algorithmes qui recensent les comportements prédictifs de faiblesse personnelle, de manque d’estime de soi, de problèmes sociaux, familiaux et financiers, en fonction de connexion sur sites, de recherches de renseignement sur les programmes sociaux, etc et envoient ensuite des publicités ciblées », via Google, Facebook pour des produits très à risque : prêts à la consommation ou « in profit college ».

13. Assurance chômage : L’évaluation des fraudes, sur base prédictive (modèle dit « midas »), a conduit à 93% de sanctions d’individus par erreur dans le Michigan.

14. E-score : L’évaluation du risque de défaut de crédit est utilisé de manière abusive comme une approximation de l’évaluation de la « fiabilité » des individus. Ainsi, la « Crédit history », est une donnée encadrée, transparente et faisant l’objet d’un droit d’appel et de modification, mais ce qui est moins connu c’est que les modèles prédictifs du risque de défaut s’appuient sur des paramètres comme : le zip code (qui est en fait une approximation de la race de l’individu considérant le degré de ségrégation), la dette étudiante, les habitudes de consommation (Walmart vs BMW), les sites visités, les réseaux sociaux. Ces e-scores arbitraires ont non seulement proliféré mais débouchent sur des prédictions très différentes de la fiabilité bancaire d’un individu, puisque c’est sa fiabilité tout court qui finit par être évaluée avec des effets sur le recrutement, le logement, l’accès à une maison de retraite ou sur les sites de rencontres. En définitive, cela fait de la dette un critère de « moralité » de l’individu, et de la moralité de l’individu son accès à des opportunités fondamentales dans la société. Or, les problèmes de santé sont en fait le premier risque de bankrucpy personnelle aux Etats-Unis, en conséquence, un accident de la vie, entraîne baisse du score de crédit mais aussi un moindre accès à un grand nombre d’opportunités, générant une boucle auto réalisatrice par laquelle un individu en plus de santé va perdre sa situation économique.

15. L’effet pervers des classements universitaires : Le classement de l’US News Report, appuyé sur 15 groupes de critères, est devenu un standard national. Les établissements ont donc adapté leurs pratiques pour répondre aux critères du modèle et élever leur rang au sein de ce classement. Le coût des études ne fait pas partie des critères et cela a eu pour conséquence de faire fortement augmenter les frais de scolarité : les élèves se retrouvant à financer la réputation de l’établissement qu’ils ont choisi, car il a eu bonne réputation (à l’Université du Texas, les frais de scolarité ont augmenté de 600% pour bâtir un campus neuf et recruter une équipe de football universitaire capable de gagner le championnat).

16. Les étudiants sont désormais considérés comme un placement financier : Leur chance d’admission dépend de leur adéquation avec des critères complexes et non académiques et s’est développé un marché du « conseil en adéquation aux modèles » qui favorise les étudiants des milieux aisés.

17. « Scheduling software » ajustent les semaines de travail en fonction de la prédiction d’activité en temps réel et pour conséquence de renverser la relation de flexibilité au détriment des salariés. Ce n’est plus l’employeur qui subit la variabilité de la conjoncture, mais l’agenda de l’ouvrier qui s’adapte. Ce mécanisme affecte particulièrement les femmes seules et prend bien en compte les règles pour donner un nombre minimal de droits sociaux aux travailleurs. Il pourrait avoir un impact sur les opportunités des enfants de ces femmes célibataires. Lors d’un débat au Congrès, une proposition d’interdiction du scheduling software du fait de l’opposition des Républicains.

Quelles pistes de régulation ?

18. Selon O’Neil, ouvrir le débat public sur ces modèles est le point de départ. Il convient d’expliquer leur mode opératoire, d’en ouvrir le « capot » et de l’exposer publiquement. Les entreprises de la Silicon Valley prônent la transparence, mais sont très opaques sur leurs modèles et leurs algorithmes. Officiellement, cette opacité est justifiée pour éviter les ajustements en réponse aux modèles, mais il s’agit aussi et surtout (i) de préserver leur propriété intellectuelle et (ii) d’éviter la contestation de modèles souvent très frustres.

19. La question de l’influence d’une petite élite de « technologistes » défendant leurs intérêts est à traiter. Au regard des conséquences humaines, financières, sociales, ne pas laisser sans régulation une toute petite élite de modélisateurs avec sa sociologie propre. Plusieurs projets prennent la mesure de cet impératif : The web transparency and accountability project de l’Université de Princeton) et des programmes similaires au Carnegie Melon et au MIT. Cela passe par la transparence, l’audit et la notation des algorithmes sur leur équité voire leur probité. Idem Carnegie Melon and MIT. Il s’agit donc d’imposer des regards extérieurs sur les algorithmes.

20. O’Neil formule un certain nombre de propositions concrètes :

Droit à l’information, dès lors qu’un modèle est utilisé à notre égard, accès à info du modèle et droit de changer, sanctions si non-respect. Cela pourrait se prolonger par la possibilité d’intenter des actions en justice si des erreurs engagent la responsabilité des opérateurs de ces algorithmes. Il reviendra alors de trancher si c’est le créateur de l’algorithme ou son utilisateur qui est responsable.

Poser des limites : soit sur des zones ou risques d’erreurs trop grands, soit car l’impact sur les personnes que cela peut concerner est trop critique, soit parce que le thème ne se prête pas à la modélisation algorithmique simplistes : par exemple l’éducation et évaluation des professeurs.

Règles éthiques : serment d’Hypocrate des datas scientists,

Interdiction des publicités prédatrices sur populations vulnérables. Interdiction de l’utilisation des scores de probabilité de défaut pour recrutement, 10 Etats US les ont interdits ; interdire la vente des données personnelles, « comme en Europe ». Adjuster et étendre regulations, fair credit et reporting act, equal credit opportunity act, -quid?)

Commentaire : Ce livre est une bonne illustration du retournement du débat aux Etats-Unis sur les technologies au cœur de la révolution digitale, avec un regard plus sombre porté sur les effets de ces technologies.

O’Neil est à la fois très concrètes dans les limites posées des technologies actuelles au regard de leur prétention et propose un certain nombre de gardes fous pour éviter le déraillement du train d’incorporations actuelles de ces innovations à la fiabilité mal vérifiée sur nos modèles économiques et sociaux.

 

COMMENTS

WORDPRESS: 0
DISQUS: 0