🏆 ▷ AI-bias är ett pågående problem, men det finns hopp om en minimalt partisk framtid

Mer måste-läs AI-täckning

TechRepublics Karen Roby pratade med Mohan Mahadevan, forskningschef för Onfido, ett ID- och verifieringsprogramvaruföretag, om partiskhet i artificiell intelligens. Följande är en redigerad utskrift av deras konversation.

Karen Roby: Vi pratar mycket om AI och de missuppfattningar som är inblandade här. Vad är den största missuppfattningen? Tror du att det är så att folk bara tycker att det ska vara perfekt, hela tiden?

SER: Anställningssats: Videospelsprogrammerare (TechRepublic Premium)

Mohan Mahadevan: Ja, absolut. Jag tror att när vi försöker ersätta någon mänsklig aktivitet med maskiner, förväntar vi oss att det är perfekt. Och vi vill fokusera väldigt mycket på att hitta problem, varje litet knasigt problem som maskinen kan ha.

Karen Roby: Okej, Mohan. Och om du bara kunde bryta ihop för oss, varför finns det partiskhet i AI?

Mohan Mahadevan: AI drivs främst av data. AI hänvisar till den process genom vilken maskiner lär sig hur man gör vissa saker, drivna av data. När du gör det har du en viss datauppsättning. Och varje datauppsättning är per definition partisk, eftersom det inte finns något sådant som en komplett datauppsättning, eller hur? Och så du ser en del av världen, och från den delen av världen försöker du förstå hur helheten är. Och du försöker modellera beteende på det hela taget. När du försöker göra det är det ett svårt jobb. Och för att göra det svåra jobbet måste man fördjupa sig i detaljerna i alla aspekter, så att man kan försöka rekonstruera helheten så gott det går.

Karen Roby: Mohan, du har studerat och forskat om AI i många år nu. Prata lite om din roll där på Onfido och vad ditt jobb innebär.

Mohan Mahadevan: Onfido är ett företag som tar ett nytt grepp om digital identitetsverifiering. Så vad vi gör är att vi kopplar den fysiska identiteten till en digital identitet, vilket gör det möjligt för dig att bevisa vem du är, till vilken tjänst eller produkt du vill ha tillgång till. Det kan vara att öppna ett bankkonto, eller det kan vara att hyra en bil, eller öppna ett konto och köpa kryptovaluta i dessa dagar. Det jag gör är framför allt att jag kör datorvisionen och AI-algoritmerna som driver denna digitala identitetsverifiering.

SER: Digital transformation: En CXO:s guide (gratis PDF) (TechRepublic)

Karen Roby: När vi pratar om att lösa problemet, Mohan, är “hur” en mycket komplex fråga när vi talar om partiskhet. Hur fixar vi det? Vilken typ av intervention behövs på olika nivåer?

Mohan Mahadevan: Jag återkommer till min tidigare punkt, bara för en minut. Så vad vi täckte där var att varje datauppsättning i sig är ofullständig, vilket betyder att den är partisk i någon form. Och sedan, när vi bygger algoritmer, förvärrar vi det problemet genom att lägga till mer fördomar i situationen. Det är två saker först som vi verkligen måste vara uppmärksamma på och hantera väl. Sedan vad som händer är att forskarna som formulerar dessa problem, de tar in sin mänskliga fördom i problemet. Det kan antingen lösa problemet eller göra det värre, beroende på forskarnas motivation och hur fokuserade de är på att lösa just detta problem. Låt oss slutligen anta att alla dessa saker fungerade riktigt bra. OK? Forskarna var opartiska, datauppsättningsproblemet löstes.

Algoritmerna modellerades korrekt. Då har du detta perfekta AI-system som för närvarande är opartisk eller minimalt partisk. Det finns inget sådant som opartisk. Det är minimalt partiskt. Sedan tar du det och tillämpar det i den verkliga världen. Du tar det till den verkliga världen. Och den verkliga världens data kommer alltid att glida och röra på sig och variera. Så du måste vara noga med att övervaka dessa system när de distribueras i den verkliga världen, för att se att de förblir minimalt partiska. Och du måste också vidta korrigerande åtgärder för att korrigera för denna partiskhet som det händer i den verkliga världen.

SER: Analys: Förvandla big data science till affärsstrategi (ZDNet/TechRepublic specialfunktion) | Ladda ner den kostnadsfria PDF-versionen (TechRepublic)

Karen Roby: Jag tror att folk hör mycket om partiskhet och de tror att de vet vad det betyder. Men vad betyder det egentligen när partiskhet finns i en AI?

Mohan Mahadevan: För att förstå konsekvenserna, låt oss titta på alla intressenter i ekvationen. Du har ett företag som bygger en produkt baserad på AI. Och så har du en konsument som konsumerar den produkten, som drivs av AI. Så låt oss titta på båda sidor, och konsekvenserna är väldigt olika på båda sidor.

På den mänskliga sidan, om jag får ett avslag på ett lån, är det hemskt för mig. Höger? Även om, för alla indiska människor… Så jag är från Indien. Och så för alla indiska människor, om ett AI-system visade sig vara rättvist, men jag får mitt lån avvisat, bryr jag mig inte om att det är rättvist för alla indiska människor. Höger? Det berör mig väldigt personligt och väldigt djupt. Så när det gäller den enskilda konsumenten är den individuella rättvisan en mycket kritisk komponent.

När det gäller företagen, och tillsynsmyndigheterna och regeringarna går, vill de se till att inget företag systematiskt utesluter någon grupp. Så de bryr sig inte så mycket om individuell rättvisa, de tittar på grupprättvisa. Människor tenderar att tänka på grupprättvisa och individuell rättvisa som separata saker. Om du bara löser gruppen är du okej. Men verkligheten är att när man ser det ur intressenternas perspektiv, är de väldigt olika konsekvenser.

Karen Roby: Vi ska vända på manuset lite här, Mohan. När det gäller det positiva med AI, vad gör dig mest upphetsad?

SER: 9 frågor att ställa när du granskar dina AI-system (TechRepublic)

Mohan Mahadevan: Det finns bara så många saker som gör mig glad. Men när det gäller partiskheten i sig ska jag berätta för dig. Närhelst en människa fattar ett beslut om någon form av sak, oavsett om det är ett lån, om det är ett erkännande eller vad som helst, kommer det alltid att finnas en medveten och omedveten fördom, inom varje människa. Och så, om du tänker på en AI som tittar på beteendet hos ett stort antal människor och uttryckligen utesluter fördomar från dem alla, är möjligheten för en maskin att vara verkligt eller väldigt minimalt partisk mycket stor. Och det här är spännande att tänka på att vi kanske lever i en värld där maskiner faktiskt fattar beslut som är minimalt partiska.

Karen Roby: Det påverkar definitivt oss alla på ett eller annat sätt, Mohan. Avslutningsvis här, det finns många människor som är rädda för AI. Varje gång du tar människor, människor, ur ekvationen, är det lite läskigt.

Mohan Mahadevan: Ja. Jag tycker att vi alla borde vara rädda. Jag tror att detta inte är något som vi ska ta lätt på. Och vi bör ställa oss själva de svåra frågorna om vilka konsekvenser det kan bli av att sprida teknologi för att sprida teknologin. Så det är blandat, jag önskar att jag hade ett enkelt svar till dig, att säga, “Detta är svaret.” Men totalt sett, om vi tittar på maskiner som tvättmaskinen, eller våra bilar, eller våra små Roombas som städar våra lägenheter och hem, så finns det många riktigt fina saker som kommer ut ur även AI-baserad teknik idag.

Det är exempel på vad vi tänker på som gammaldags teknik, som faktiskt använder mycket AI idag. Din Roomba, till exempel, använder mycket AI idag. Så det gör verkligen vårt liv mycket enklare. Bekvämligheten med att öppna ett bankkonto från bekvämligheten av ditt hem, i dessa pandemitider, åh, det är trevligt. AI kan möjliggöra det. Så jag tror att det finns mycket anledning att vara upphetsad över AI, de positiva aspekterna av AI.

De läskiga delarna tycker jag kommer från flera olika aspekter. Den ena är biasrelaterad. När ett AI-system är dåligt tränat kan det generera alla typer av systematiska och slumpmässiga fördomar. Det kan orsaka skadliga effekter på per-person och på gruppnivå. Så vi måste skydda oss mot den typen av fördomar. Men utöver det, när den används urskillningslöst, kan AI också leda till dåliga beteenden från människors sida. Så i slutändan är det inte maskinen som skapar ett problem, det är hur vi reagerar på maskinens beteende som skapar större problem, tror jag.

Båda dessa två områden är viktiga. Det är inte bara maskinerna som ger oss bra saker, utan också kämpar med fördomar när människorna inte bygger dem rätt. Sedan, när människor använder dem urskillningslöst och på fel sätt, kan de skapa andra problem också.