Algorithmes : la bombe à retardement

La troisième question concerne la capacité ou non d’un modèle à s’étendre de manière exponentielle. Comme le dirait un statisticien : peut-il changer d’échelle ? Ce n’est pas une chicane de mathématicien : si les ADM (à l’origine de simples nuisances localisées) peuvent devenir de véritables tsunamis, capables de définir notre existence et d’en fixer les limites, c’est bien à cause de leur échelle. Comme nous l’observerons par la suite, les ADM qui se développent aujourd’hui dans les secteurs des ressources humaines, de la santé et de la banque, pour ne citer que ceux-là, **sont rapidement en train d’établir des normes généralisées qui exercent une autorité proche de celle de la loi.** Si l’algorithme d’une banque vous attribue par exemple le profil d’un emprunteur à haut risque, le monde entier vous traitera comme un mauvais payeur – même si cela découle d’un horrible malentendu. Et quand ce modèle change d’échelle, à l’instar de celui des scores de crédit, toute votre vie s’en trouve alors affectée – qu’il s’agisse d’obtenir un appartement, un emploi, ou une voiture pour aller de l’un à l’autre.

Je me demandais à quoi pourrait ressembler l'équivalent de la crise du crédit dans le domaine du Big Data. Au lieu d'un effondrement, j'entrevoyais une dystopie croissante, avec un accroissement des inégalités. Les algorithmes s'assureraient que les gens désignés comme des "ratés" le restent. Une minorité de chanceux acquerrait toujours plus d'emprise sur l'économie des données et amasserait des fortunes scandaleuses tout en se persuadant de l'avoir mérité.

Les mathématiciens et les statisticiens étudiaient nos désirs, nos déplacements et notre pouvoir d'achat. Ils prédisaient le niveau de confiance que l'on pouvait nous accorder et calculaient notre potentiel en tant qu'étudiants, travailleurs, amants ou criminels.

Les processus reposant sur le Big Data n'inventent pas le futur, ils codifient le passé.