Sammanfattning av funktionsklassificeringen som föreslås i detta dokument. För exemplen använder vi följande hypotetiska scenario: en regressionsmodell tränad på normaliserade data för att förutsäga bilens maximala hastighet. Kvalitet är en sammansatt funktion som beräknas baserat på andra funktioner, och x12 är en godtycklig förutsägande konstruerad funktion. Kredit: Behovet av tolkbara egenskaper: Motivation och taxonomi. https://kdd.org/exploration_files/vol24issue1_1._Interpretable_Feature_Spaces_revised.pdf
Förklaringsmetoder som hjälper användare att förstå och lita på maskininlärningsmodeller beskriver ofta hur mycket vissa funktioner som används i modellen bidrar till dess förutsägelse. Till exempel, om en modell förutsäger en patients risk att utveckla hjärtsjukdom, kanske en läkare vill veta hur starkt patientens hjärtfrekvensdata påverkar denna förutsägelse.
Men om dessa funktioner är så komplexa eller invecklade att användaren inte kan förstå dem, gör förklaringsmetoden någon nytta?
MIT-forskare strävar efter att förbättra tolkningsmöjligheterna för funktioner så att beslutsfattare blir mer bekväma att använda utdata från maskininlärningsmodeller. Med utgångspunkt i år av fältarbete utvecklade de en taxonomi för att hjälpa utvecklare att skapa funktioner som blir lättare för sin målgrupp att förstå.
“Vi upptäckte att ute i den verkliga världen, även om vi använde toppmoderna sätt att förklara maskininlärningsmodeller, finns det fortfarande mycket förvirring som härrör från funktionerna, inte från själva modellen”, säger Alexandra Zytek, doktorand inom elektroteknik och datavetenskap. student och huvudförfattare till en artikel som introducerar taxonomin.
För att bygga upp taxonomin definierade forskarna egenskaper som gör funktioner tolkbara för fem typer av användare, från experter på artificiell intelligens till personer som påverkas av en maskininlärningsmodells förutsägelse. De erbjuder också instruktioner för hur modellskapare kan omvandla funktioner till format som blir lättare för en lekman att förstå.
De hoppas att deras arbete kommer att inspirera modellbyggare att överväga att använda tolkningsbara funktioner från början av utvecklingsprocessen, snarare än att försöka arbeta bakåt och fokusera på förklaringsbarhet i efterhand.
MIT medförfattare inkluderar Dongyu Liu, en postdoc; gästprofessor Laure Berti-Équille, forskningschef vid IRD; och seniorförfattare Kalyan Veeramachaneni, huvudforskare vid Laboratory for Information and Decision Systems (LIDS) och ledare för Data to AI-gruppen. De får sällskap av Ignacio Arnaldo, en ledande dataforskare på Corelight. Forskningen publiceras i juniupplagan av Association for Computing Machinery Special Interest Group on Knowledge Discovery and Data Mining’s peer-reviewed Nyhetsbrevet Explorations.
Verkliga lektioner
Funktioner är indatavariabler som matas till maskininlärningsmodeller; de är vanligtvis ritade från kolumnerna i en datauppsättning. Dataforskare väljer och hantverkar vanligtvis funktioner för modellen, och de fokuserar främst på att säkerställa att funktioner utvecklas för att förbättra modellens noggrannhet, inte på om en beslutsfattare kan förstå dem, förklarar Veeramachaneni.
I flera år har han och hans team arbetat med beslutsfattare för att identifiera maskininlärningsanvändbarhetsutmaningar. Dessa domänexperter, av vilka de flesta saknar kunskap om maskininlärning, litar ofta inte på modeller eftersom de inte förstår funktionerna som påverkar förutsägelser.
För ett projekt samarbetade de med läkare på en intensivvårdsavdelning på sjukhus som använde maskininlärning för att förutsäga risken för en patient att utsättas för komplikationer efter hjärtkirurgi. Vissa funktioner presenterades som aggregerade värden, som trenden för en patients hjärtfrekvens över tid. Även om funktioner kodade på detta sätt var “modellklara” (modellen kunde bearbeta data), förstod inte läkare hur de beräknades. De skulle hellre se hur dessa aggregerade egenskaper relaterar till ursprungliga värden, så att de kunde identifiera anomalier i en patients hjärtfrekvens, säger Liu.
Däremot föredrog en grupp lärande forskare egenskaper som var aggregerade. Istället för att ha en funktion som “antal inlägg en elev gjort på diskussionsforum” skulle de hellre ha relaterade funktioner grupperade och märkta med termer de förstod, som “deltagande”.
“Med tolkningsmöjligheter passar inte en storlek alla. När man går från område till område finns det olika behov. Och tolkningsbarheten i sig har många nivåer, säger Veeramachaneni.
Tanken att en storlek inte passar alla är nyckeln till forskarnas taxonomi. De definierar egenskaper som kan göra funktioner mer eller mindre tolkbara för olika beslutsfattare och beskriver vilka egenskaper som sannolikt är viktigast för specifika användare.
Till exempel kan maskinlärande utvecklare fokusera på att ha funktioner som är kompatibla med modellen och prediktiva, vilket innebär att de förväntas förbättra modellens prestanda.
Å andra sidan kan beslutsfattare utan maskininlärningserfarenhet vara bättre betjänta av funktioner som är mänskliga formulerade, vilket innebär att de beskrivs på ett sätt som är naturligt för användarna och förståeligt, vilket innebär att de hänvisar till verkliga måttanvändare kan resonera om.
“Taxonomien säger, om du gör tolkbara egenskaper, till vilken nivå är de tolkbara? Du kanske inte behöver alla nivåer, beroende på vilken typ av domänexperter du arbetar med”, säger Zytek.
Att sätta tolkningsbarheten först
Forskarna beskriver också funktionstekniker som en utvecklare kan använda för att göra funktioner mer tolkbara för en specifik publik.
Funktionsteknik är en process där dataforskare omvandlar data till ett format som maskininlärningsmodeller kan bearbeta, med hjälp av tekniker som aggregering av data eller normalisering av värden. De flesta modeller kan inte heller behandla kategoriska data om de inte konverteras till en numerisk kod. Dessa transformationer är ofta nästan omöjliga för lekmän att packa upp.
Att skapa tolkbara funktioner kan innebära att man ångrar en del av den kodningen, säger Zytek. Till exempel organiserar en gemensam teknikteknik för dataspann så att de alla innehåller samma antal år. För att göra dessa funktioner mer tolkbara kan man gruppera åldersintervall med mänskliga termer, som spädbarn, småbarn, barn och tonåring. Eller snarare än att använda en transformerad funktion som genomsnittlig pulsfrekvens, kan en tolkningsbar funktion helt enkelt vara den faktiska pulsfrekvensen, tillägger Liu.
“Inom många domäner är avvägningen mellan tolkningsbara egenskaper och modellnoggrannhet faktiskt mycket liten. När vi arbetade med barnskyddskontrollanter, till exempel, tränade vi om modellen med bara funktioner som uppfyllde våra definitioner för tolkning, och prestationsminskningen var nästan försumbar, säger Zytek.
Utifrån detta arbete utvecklar forskarna ett system som gör det möjligt för en modellutvecklare att hantera komplicerade funktionstransformationer på ett mer effektivt sätt, för att skapa människocentrerade förklaringar till maskininlärningsmodeller. Detta nya system kommer också att konvertera algoritmer utformade för att förklara modellfärdiga datamängder till format som kan förstås av beslutsfattare.
Radiomisk modell hjälper till att förutsäga strålbehandlingsbehandlingssvar hos patienter med hjärnmetastaser
Mer information:
Behovet av tolkbara egenskaper: Motivation och taxonomi. kdd.org/exploration_files/vol2 … e_Spaces_revised.pdf Tillhandahålls av Massachusetts Institute of Technology
Citat: Bygga in förklaring i komponenterna i maskininlärningsmodeller (2022, 30 juni)hämtad 30 juni 2022 från https://techxplore.com/news/2022-06-components-machine-learning.html
Detta dokument är föremål för upphovsrätt. Bortsett från all rättvis handel i syfte att privata studier eller forskning, får ingen del reproduceras utan skriftligt tillstånd. Innehållet tillhandahålls endast i informationssyfte.
Håll kontakten med oss på sociala medieplattformar för omedelbar uppdatering klicka här för att gå med i vår Twitter och Facebook
