Computer Vision: när maskiner tolkar världen
AI-drivet datorseende öppnar stora möjligheter, men mänskligt omdöme är fortfarande avgörande för att tolka sammanhang och nyanser, menar Dr. Kevin Macnish, chef för etik och hållbarhet på Sopra Steria Next UK.
Föreställ dig en vardag där pendlingen alltid är perfekt planerad för att undvika fullsatta tåg eller trafikstockningar. Eller en värld där vi kan förutse brott innan de sker. Den typen av visioner har länge drivit AI och dataanalys: att med hjälp av data förutspå mänskliga beteenden för att lösa problem proaktivt.
Att förutse brott
Inom polis och säkerhetsbranschen har drömmen länge varit att förutse när någon är på väg att begå ett brott. Prediktiva polisverktyg som PredPol försöker redan idag förutsäga var brott kan inträffa. Men trots sin potential har de kritiserats för att förstärka befintliga fördomar, eftersom de bygger på historiska data som ofta är snedvridna.
– Det är inte samma sak som i filmen Minority Report, där människor fängslas för brott innan de begås. Men det har funnits idéer om att använda AI och datorseende för att identifiera personer med kriminella avsikter, säger Macnish.
AI:s begränsningar
– AI kan läsa tankar lite som vi kan, konstaterar han.
– Vi vill gärna upptäcka någon som planerar ett brott, men det vi faktiskt ser är bara deras handlingar. Därför börjar vi tala om ”misstänkt beteende”.
Vad som uppfattas som misstänkt är dock ofta kulturellt betingat:
– För vissa människor uppfattas en grupp tonåringar som misstänkta enbart genom sin närvaro. Men handlingar visar inte alltid avsikter, säger Macnish.
Han ger ett exempel:
– Föreställ dig en man i 40-årsåldern utanför en nagelsalong. Förföljer han någon, planerar ett rån eller väntar han bara på sin dotter? Vissa signaler kan vara rimliga att uppmärksamma, som att han försöker dölja sitt ansikte. Men att döma honom efter hudfärg eller ansiktsdrag är helt oacceptabelt.
Problemet är att AI måste få exakta instruktioner för vad som ska räknas som misstänkta beteenden. Men systemen kan bara upptäcka det som de tränats på. Om AI inte känner igen en person som snyter sig kan den tolka det som försök att dölja ansiktet. Eller dra slutsatser på kriterier som att ”en person som står still i fem minuter inom en viss radie” beteer sig misstänkt.
– Men att ”dröja kvar” och att ”stå stilla” är inte samma sak, påpekar han. En person kan stanna till utan att ha onda avsikter.
Människan i loopen
Macnish varnar för två särskilda risker. För det första: automationsbias - vår tendens att lita mer på maskiner än på våra egna sinnen. Fenomenet är känt sedan 1970-talet, när piloter trodde på instrument som visade motorbrand trots att de inte såg någon brand. Idag ser vi det i berättelser om människor som följer GPS-anvisningar ned i floder, eller litar blint på att självkörande klarar mötande trafik, för att upptäcka att den inte gör det när det väl är för sent.
För det andra: att systemen blir så snabba och komplexa att det inte längre går att hålla en människa ”i loopen” som kan ta välgrundade beslut i tid. Inom exempelvis bedrägeriupptäckt analyseras så stora datamängder att en människa inte hinner förstå grunderna för besluten. Då hamnar vi i stället med en människa som bara granskar data och beslut i efterhand.
– I båda fallen tappar vi det mänskliga omdömet. Antingen slutar vi tänka kritiskt, eller så har vi helt ersatts. Och då förlorar vi förmågan att tolka kontext och nyanser, säger Macnish.
Ansvarsfull AI-styrning
Macnish understryker att detta inte betyder att AI är opålitligt eller bör undvikas. Tvärtom. Men vi måste vara tydliga med dess begränsningar.
– Vi måste undvika automationsbias, ställa svåra frågor, kräva transparens och införa robust styrning innan vi lämnar över för mycket kontroll, säger han.
Två faktorer är avgörande: utbildning och styrning genom hela utvecklingsprocessen. Styrningen måste kunna fånga upp olika typer av problem och förstå vad systemen faktiskt gör, inte bara vad de ser ut att göra på ytan.
– Detta får inte vara ett frivilligt tillägg, utan ett krav för all AI, och det måste förankras på högsta nivå i organisationen, säger Macnish.
Utbildningen måste dessutom gå långt bortom årliga onlinekurser med några flervalsfrågor:
– Den ska ta ett seriöst grepp om organisationens värderingar, ambitioner och kultur. Om den inte leder till verklig beteendeförändring, då har den misslyckats.
Som exempel lyfter han Sopra Sterias interna AI-styrningsnämnd. Den granskar alla AI-initiativ och inkluderar bland annat CTO, CISO, kommersiell chef, inköpschef, dataskyddsombud och etikrådgivare.
