L’algocrazia è l’elaborazione tecnologica di un’idea tanto sacrosanta quanto vecchia come il mondo: tutti valutati con le medesime regole, senza pregiudizi. Ma cosa succede se il pregiudizio fa parte delle regole?
Quando vi candidate per un posto di lavoro, forse non sapete che oltre la metà del mercato delle HR decide la sorte della vostra candidatura basandosi esclusivamente su algoritmi. Lo stesso vale per una richiesta di mutuo o di finanziamento. Nelle grandi aziende, il “rendimento” dei lavoratori viene valutato in automatico. Negli USA, in molti casi i giudici si fanno “consigliare” da un algoritmo la durata della pena. Sempre in USA, un algoritmo valuta la bontà di un insegnante confrontando il “progresso” della sua classe su un insieme di test standard. E, naturalmente, la CIA sta riversando fiumi di danaro in algoritmi che dovrebbero fornire addirittura “anticipatory intelligence“: ossia, quelli che sono cascati dal pero l’11 settembre adesso vogliono fare la PreCrimine come in Rapporto di minoranza di Philip Dick. E poi, naturalmente, c’è Facebook con i suoi algoritmi per decidere quali status e immagini bloccare e quali no.
Ma in cosa si differenzia tutto questo, per esempio, dal mercato dello sport professionistico, dove dati e algoritmi pesano ormai in ogni scelta, dagli acquisti per la prossima stagione alla formazione e tattica in campo, alle routine di allenamento? Si differenzia per il modo in cui sono concepiti e usati gli algoritmi.
Cathy O’Neill, una matematica americana con un passato da quant (trader di Borsa che opera con strumenti quantitativi) ha coniato il nome Weapons of Math Destruction per descrivere tutti quegli algoritmi che:
- hanno conseguenze su un gran numero di persone
- sono opachi, ossia non è possibile sapere su quali criteri l’algoritmo emette la sua valutazione
- sono distruttivi, nel senso che non sono regolamentati e non vengono modificati o messi in discussione sulla base dei risultati che offrono, nemmeno quando c’è evidenza della loro dannosità.
Siamo abituati al detto che “la matematica non è un’opinione”. Vero, ma un conto sono le regole della matematica, un altro i modelli. Non c’è bisogno di esempi complicati: 2+2=4 sempre e comunque, ma chi decide se 200 di colesterolo è tanto o poco, il nostro medico? O la casa farmaceutica che produce il farmaco contro l’ipercolesterolemia?
Se un insegnante viene valutato sulla base di un algoritmo, quell’algoritmo chi lo scrive e, soprattutto, chi controlla se la valutazione esprime davvero quello che dovrebbe?
Se c’è un’ingenuità che non possiamo permetterci è quella di considerare neutre le soluzioni tecnologiche. La tecnologia di per sé è sempre neutra, i suoi impieghi mai: con un coltello posso affettare il crudo o ammazzare la nonna, con un algoritmo posso assicurarmi che l’assegnazione di un appalto vada all’offerta migliore o a quella “giusta”.
Non possiamo concedere che lo sbandierare un po’ di matematica sollevi il potere economico o politico da quella supervisione pubblica che contraddistingue una democrazia effettiva. Nel nostro piccolo se un presidente regionale si atteggia a Re-sacerdote dicendo che un algoritmo non costituisce una scelta politica possiamo pensare che sia ridicolo, senza andare molto lontano dalla realtà, ma non possiamo ignorare la portata devastante di quel tentativo di nascondere il potere dietro un alone di mistero.
L’algoritmico è politico. Se avete qualche dubbio, ricordatevi che la crisi del 2008 è stata determinata da modelli matematici che rispondevano solo di esigenze commerciali.
Ci sono libri che mettono i brividi per la loro capacità di infrangere il racconto roseo della propaganda e raccontare il presente in tutta la sua complessità. Weapons of Math Destruction è uno di questi libri.
Cathy O’Neill, Weapons of Math Destruction, How big data increases inequality and threatens democracy, Allen Lane, 2016 su Amazon a €15,42 (o di più o di meno, dipende da cosa decide l’algoritmo…)
Facebook Comments