tisdag, juni 13, 2017

I algoritmernas tid blir matematiken politisk

Kultursidan Västerbottens-Kuriren 170613

För många skolelever har matematikämnet upplevts som hin håles gåva till dem. Abstrakt, logik, formler med siffror och bokstäver. Och vad skulle man med matematiken till? Vore det inte viktigare att läsa samhällskunskap, historia och språk för att både förstå samhällets komplexitet och kunna bli en aktiv medborgare?

       Ja och nej, skulle matematikern Cathy O'Neil svara, när jag läser en intervju med henne i Harvard Business Review (161006). Hon har alltid uppfattat matematiken som en fristad från verklighetens komplexitet.
        Med matematik som verktyg kan olika delar av verkligheten uppfattas tydligare, komplexiteten kan reduceras och världen kan beskrivas ärligare, utan några agendor som färgar tolkningar.
        Tesen för denna essä är att i dag och i framtiden gäller det omvända. Med matematikens hjälp, i form av algoritmer som bearbetar stora datamängder, verkar vi skapa en grumligare, mer ogenomskinlig värld som tycks få stora konsekvenser.
        Tesen framläggs med stöd av Cathy O'Neils senaste bok Weapons of Math Destruction (Allen Lane, 2016). Om titeln kräver sin förklaring, ger undertiteln en tydlig fingervisning om innehållet: How Big Data Increases Inequality and Threatens Democracy (Hur big data ökar ojämlikhet och hotar demokratin).

Bokens studieobjekt, Weapens of Math Destruction, har konnotationer till massförstörelsevapen (weapons of mass destruction) som är särskilt ägnade att sprida död och förödelse i stor skala, som exempelvis kärnvapen, kemiska eller biologiska vapen.

        Weapons of Math Destruction, däremot, är algoritmer som för olika syften analyserar stora datamängder och levererar antingen självständiga beslut eller beslutsunderlag. Alla algoritmer är inte destruktiva, utan O'Neil fokuserar sådana som genom sin utformning genererar skadliga konsekvenser för många människor.
        De skadliga algoritmerna har tre egenskaper: De är ogenomskinliga, vilket innebär att vi inte vet hur de fungerar eller vilka premisser de utgår från. De är storskaliga, vilket innebär att det inte finns några begränsningar för hur många människor som kan drabbas av dem. Den tredje egenskapen är den självklara: de är skadliga för människor.
        Dock inte alla människor, vilket är en av bokens poänger. Vissa gynnas av dessa algoritmiska vapen. Precis som andra massförstörelsevapen.

Cathy O'Neil ger ett flertal intressanta exempel i boken. Automatiska personlighetstester av människor som söker arbete är ett. Syftet med dessa osynliga algoritmer är inte att finna den bäst lämpade för ett jobb, utan att exkludera så många som möjligt.

        Konsekvensen, menar O'Neil, blir ofta att de parametrar i algoritmerna som exkluderar sökanden också fungerar diskriminerande. Människor med sjukdomar, funktionsvariationer och kanske lite udda beteenden sorteras med lätthet bort per automatik.
        Ett annat exempel visar hur algoritmer kan samarbeta för att förstärka negativa strukturer. O'Neil menar att de matematiska modeller som klassar människor som kriminellt benägna, leder till att dessa oftare får strängare straff om de begår brott. Efter avtjänat straff sorterar de algoritmer som hanterar arbetssökande snabbt bort dessa från arbeten som söks. Och då blir dessa människor än mer benägna att begå brott.
        Den i algoritmerna inbyggda profetian uppfylls; således är det inte rättvisa som byggts in. Dessutom visar det sig att det oftare är människor med viss etnisk bakgrund som fastnar i dessa strukturer; således är det inte jämlikhet som byggts in.
        Ett ytterligare exempel handlar om matematiska modeller för att bestämma människors kreditvärdighet, vilket alltmer framstår som ett kvalitetsmått på en människa. Allt från bedömning av partners på dejtingsajter till bedömning av arbetssökande använder kreditvärdighet som en betydelsefull parameter.
        I algoritmåldern blir det än svårare för redan ekonomiskt utsatta människor att arbeta sig ur ekonomiska problem, eftersom betalningsanmärkningar och andra kreditparametrar utgör ett hinder för att få arbete. En veritabel fattigdomsfälla, förklädd till neutrala matematiska modeller.

Utöver fria val finns det ett antal hörnstenar i en demokrati: tryckfrihet, åsiktsfrihet, föreningsfrihet och liknande friheter. Men även jämlikhet i form av att medborgare ges lika förutsättningar och inte diskrimineras på grund av kön, etnicitet, sexuell läggning och övriga diskrimineringsgrunder. Samt rättvisa: att juridiska bedömningar är neutrala i förhållande till etnisk härkomst och socio-ekonomisk bakgrund.

        De framväxande problem Cathy O'Neil ger exempel på är inte rimliga i en demokrati. Vad kan vi göra? O'Neil har ett förslag: Att avkräva att varje person som arbetar med algoritmkonstruktion svär en sorts hippokratisk ed, likt den Hippokrates formulerade för läkarskrået för ca 2 500 år sedan.
        I allt väsentligt: Skapa aldrig Weapons of Math Destruction, utan gör algoritmer som uppfyller grundläggande värden i en demokrati, och låt demokratiska värden vara överordnade ekonomiska i de fall konflikter uppstår.
        Cathy O'Neil sätter fingret på något ytterst centralt. På senare tid vi sett ett stort fokus på problem med faktaresistens, på krav på evidensbaserad politik, på behovet av faktabaserade beslut. Detta fokus är så starkt att vi riskerar förstå beslutsfattande som enbart beroende av de korrekta fakta som datorer kan leverera.

Vi bör påminna oss om att förmågan att fatta rättvisa beslut har två ben. I dag ser vi en övervikt åt episteme; den formella kunskapen, vetandet, våra obestridliga fakta.

        Det andra benet är emellertid minst lika viktigt för att kunna fatta rättvisa beslut: fronesis; omdömesförmågan. Det är den förmåga som innefattar att kunna göra kritiska bedömningar och att förstå konsekvenserna av olika beslut.
        Kan vi bygga in fronesis i algoritmerna? Kan algoritmer vara omdömesgilla? Kan algoritmer kritiskt bedöma konsekvenser av handlingar och beslut? Eller är det förmågor som är enbart människor förunnade?

Inga kommentarer: