Algorithmes : la bombe à retardement

Cet essai sur les algorithmes n'a rien d'un ouvrage de mathématiques mais relève plutôt de la mise en garde face à la prolifération des big data et surtout des programmes automatiques qui les exploitent pour déterminer de plus en plus d'aspects cruciaux de notre vie. Sélection à l'université, recherche d'emploi, offres de crédit bancaire, justice, assurances… tous ces domaines – et d'autres – utilisent des algorithmes, ce que l'auteure qualifie d'ADM (Armes de destruction mathématique).
Dans chacun des chapitres, elle illustre par des exemples concrets et documentés - en partant d'un cas traité en détail – les (mauvaises) utilisations qui en sont faites dans un domaine précis et leurs conséquences sur notre vie. Ou en tout cas sur la vie de ceux qui se retrouvent pris dans un cercle vicieux : un habitant d'un quartier pauvre où les taux de criminalité sont plus élevés aura par exemple des assurances plus chères, des crédits bancaires moins intéressants et au final se verra mal noté par de nombreux modèles mathématiques de masse même si son comportement individuel est irréprochable.
Si plusieurs exemples montrent des usages malveillants des big data (comme ces universités privées essayant de dénicher des étudiants sans argent pour leur faire payer une fortune pour des études sans avenir), beaucoup de cas relèvent plutôt de la méconnaissance des données et des interactions entre elles, qui faussent les modèles. Ainsi, sous le couvert souvent de souci d'équité, des programmes déterminent les risques bancaires ou les performances des professeurs, avec des critères rigoureux et scientifiques, mais au final les résultats sont souvent soit absurdes (ces profs passant d'une année sur l'autre d'excellent à nul) soit discriminatoires (sous prétexte d'habiter tel quartier ou d'avoir dans ses relations Facebook des gens ayant eu affaire à la police, une personne peut être classée à risque pour un crédit bancaire).
Les cas présentés sont typiquement américains (notamment les universités déjà citées, ou les démarcheurs pour les élections) et souvent assez impensables en France, où les fichiers de données personnelles sont heureusement mieux encadrés par la loi. Et même si des algorithmes sèment la pagaille dans les inscriptions universitaires, au moins n'est-ce pas dans le but d'extorquer de l'argent selon le profil social et fiscal des gens. C'est le reproche que je ferais à ce livre, d'être écrit par une Américaine sur des cas américains qui ne nous parlent pas forcément et dont on peut minimiser la gravité, alors que des mauvaises utilisations (volontaires ou accidentelles) se produisent en France aussi. Je salue les efforts de l'éditeur et du traducteur pour avoir ajouté des notes explicitant le fonctionnement américain ainsi que quelques mises à jour et comparaisons françaises, mais ça ne suffit pas, il aurait vraiment fallu un livre européen pour être pertinent, alors que seules quelques lignes en conclusion évoquent l'Europe… pour dire justement que c'est très différent. Mais peut-être que ce livre existe !
Toujours est-il que toutes ces réflexions sur ces modèles mathématiques sont très intéressantes. Il y a parfois des répétitions d'un chapitre à l'autre, mais c'est assez parlant pour retenir que, si des algorithmes peuvent parfois être utile pour se simplifier la vie, il est primordial de bien les comprendre et il vaudra toujours mieux laisser les décisions à des humains.

Tout le monde évoque le très bon livre de Aurélie Jean mais celui-ci est loin d'être obsolète et pose, via une approche beaucoup plus politique, le problème de l'usage des algorithmes et de leur obscurité.
Je copie colle un extrait que j'ai trouvé d'emblée ultra pertinent et qui devrait vous inviter à jeter un oeil (voire deux !!) dans les pages de ce livre.
« Pourtant, beaucoup d'entreprises s'efforcent par tous les moyens de dissimuler les résultats de leurs modèles, voire le fait même qu'ils existent.
**Elles se justifient souvent en objectant que l'algorithme utilisé relève d'une « recette secrète » vitale pour leur activité. C'est leur propriété intellectuelle et elle doit être défendue, mobilisant au besoin des légions d'avocats et de lobbyistes.**
Dans le cas de géants du Web comme Google, Amazon et Facebook, ces algorithmes sur mesure et ajustés avec précision valent à eux seuls des centaines de milliards de dollars. Les ADM constituent par principe d'impénétrables boîtes noires.
**Il n'en est donc que plus ardu d'offrir une réponse définitive à la seconde question : le modèle agit-il contre l'intérêt du sujet ? En un mot, est-il déloyal ? A-t-il pour effet de nuire ou de détruire des vies ?** »
Bref, vous savez ce qu'il vous reste à faire… lire !

Une démonstration claire et pertinente des dérives que peuvent apporter les algorithmes "black box" dans la société. le propos est parfois légèrement partial avec un ton à charge qui gagnerait à être pondéré, mais ce livre reste très instructif.

Une succession de banalités.
Je m'attendais à une vision de ce qu'étaient les algorithmes, le "machine learning", leurs forces, leurs faiblesses, leur avenir.
Non ce ne sont que les mêmes exemples ressassés pour dire que cela ne marche pas toujours bien. Heureusement d'ailleurs.

Cathy O'Neil est une mathématicienne avec une expérience en finance. Ancienne analyste à Wall Street, elle a étudié et programmé de nombreux outils permettant l'optimisation (de marchés financiers, des choix sociétaux, des êtres humains…). Avec Algorithmes, la bombe à retardement, elle nous livre une analyse personnelle de l'évolution et des conséquences des outils mathématiques de plus en plus nombreux dans notre société. Un livre intéressant, interpellant et sonnant comme une alarme que l'on ne peut omettre d'entendre.
Lien : https://branchesculture.com/..