Mikä on reilua?
Vaikuttaa siltä, että yksinkertainen kysymys, mutta siinä on kysymys ilman yksinkertaisia vastauksia. Tämä pätee erityisen hyvin tekoälyn (AI) kaarevaan maailmaan, jossa älykkäiden, tunneettomien koneiden, jotka tekevät päätöksiä upeasti puolueellisuudesta, käsitys hiipuu nopeasti.
Ehkäpä yleisimmän tuon havainnon aiheutti vuoden 2016 ProPublica-tutkimus, jossa pääteltiin, että tiedot, jotka ajoivat AI-järjestelmää, jota tuomarit käyttivät selvittääkseen, onko tuomittu todennäköisesti tekemässä enemmän rikoksia, näyttävät olevan puolueellisia vähemmistöihin nähden. COMPAS-nimisen algoritmin luonut yritys Northpointe kiisti ProPublican tulkinnan tuloksista, mutta yhteentörmäys on herättänyt sekä keskustelua että analyysia siitä, kuinka paljon älykkäimpiin koneisiin tulisi luottaa.
"Se on todella kuuma aihe - kuinka voit tehdä algoritmeista oikeudenmukaisia ja luotettavia", sanoo Daniel Neill. "Se on tärkeä asia."
Neill on nyt keskellä keskustelua. Carnegie Mellon -yliopiston tietotekniikka, hän ja toinen tutkija Will Gorr, kehittivät useita vuosia sitten rikosten ennustamisen ohjelmistotyökalun nimeltä CrimeScan. Heidän alkuperäinen ajatus oli, että väkivaltainen rikollisuus on tietyllä tavalla tarttuvaa tautia, että sillä on taipumus puhkeaa maantieteellisissä klustereissa. He uskoivat myös, että pienemmät rikokset voivat olla väkivaltaisempien rikosten esiintyjiä, joten he rakensivat algoritmin, joka käytti laajaa valikoimaa "johtavien indikaattoreiden" tietoja, mukaan lukien rikosraportit, kuten yksinkertaiset pahoinpitelyt, vandalismi ja epäjärjestys ja 911 puhuu sellaisista asioista kuin ammutut laukaukset tai aseella nähty henkilö. Ohjelma sisältää myös vuodenaikojen ja viikonpäivän kehityssuuntaukset sekä lyhyen ja pitkän aikavälin vakavien väkivaltaisten rikosten määrän.
Ajatuksena on seurata kipinöitä ennen tulipalon syttymistä. "Tarkastellaan enemmän pieniä rikoksia", Neill sanoo. ”Yksinkertaiset hyökkäykset voivat kovettua paheneviin hyökkäyksiin. Tai voi olla, että kahden jengin välillä on lisääntyvä väkivalta. ”
Ennustaminen milloin ja missä
CrimeScan ei ole ensimmäinen ohjelmisto, joka on suunniteltu niin sanotulle ennustavalle poliisitoiminnalle. PredPol-nimisen ohjelman perustivat kahdeksan vuotta sitten Los Angelesin poliisilaitoksen kanssa työskentelevät UCLA-tutkijat. Tavoitteena on nähdä, kuinka rikostietojen tieteellinen analyysi voisi auttaa havaitsemaan rikollisuuden käyttäytymismalleja. PredPol määrittelee nyt yli 60 poliisilaitosta ympäri maata ja määrittelee naapurialueet, joilla vakavia rikoksia tapahtuu todennäköisemmin tietyn ajanjakson aikana.
Yhtiö väittää, että tutkimuksensa mukaan ohjelmisto on kaksinkertaisen tarkka kuin ihmisanalyytikot, kun on tarkoitus ennustaa, missä rikokset tapahtuvat. Mikään riippumaton tutkimus ei kuitenkaan ole vahvistanut näitä tuloksia.
Sekä PredPol että CrimeScan rajoittavat ennusteensa siihen, missä rikoksia voi tapahtua, ja välttävät seuraavan askeleen ennustamista, kuka ne voisivat tehdä - kiistanalainen lähestymistapa, jonka Chicagon kaupunki on rakentanut "strategisen aiheen luettelon" ympärille todennäköisesti osallistuvista ihmisistä. tulevissa ampumisissa joko ampujana tai uhrina.
Amerikan kansalaisvapauksien liitto [ACLU], Brennan-oikeudenmukaisuuskeskus ja erilaiset kansalaisoikeusjärjestöt ovat kaikki esittäneet kysymyksiä ohjelmistopohjaisten puolueellisuuksien riskistä. Kriitikot väittävät, että poliisin käytäntöjen historialliset tiedot voivat luoda palautesilmukan, jonka avulla algoritmit tekevät päätöksiä, jotka heijastavat ja vahvistavat asenteita siitä, mitkä kaupunginosat ovat ”huonoja” ja mitkä ovat ”hyviä”. Siksi pääasiassa pidätyksiin perustuva AI-tietokanta kantaa korkeamman arvon. puolueellisuuden riski - se heijastaa paremmin poliisin päätöksiä kuin todelliset ilmoitetut rikokset. Esimerkiksi CrimeScan pidättyy yrittämästä ennustaa rikoksia, jotka, kuten Neill toteaa, "löydät vain, jos etsit niitä".
"En voi sanoa, että olemme puolueettomia, " sanoo Neill, "mutta se on varmasti vähemmän kuin jos yrittäisimme ennustaa huumeiden hallussapitoa."
Sitten on palautteen silmukan toinen puoli. Jos ennakoiva työkalu herättää odotuksia rikoksista tietyllä naapurustolla, ovatko siellä partioivat poliisit aggressiivisempia pidätyksiä tehtäessä?
"Minkä tahansa tietopohjaisen poliisitoiminnan yhteydessä on todellinen vaara unohtaa, että yhtälön molemmilla puolilla on ihmisiä", toteaa Andrew Ferguson, Columbian yliopiston yliopiston lakiprofessori ja kirjan kirjoittaja. kirja, suurten tietojen polkumyynnin nousu: valvonta, rodut ja lainvalvonnan tulevaisuus. "Upseerien on kyettävä kääntämään nämä ajatukset, jotka viittaavat siihen, että eri lähiöissä on erilaiset uhat. Ja keskittyminen numeroihin edessäsi olevan ihmisen sijasta muuttaa suhteesi heihin. ”
Musta ruudun sisällä
Tosiasia on, että keinoälyllä on nyt - vaikkakin taustalla - rooli monissa jokapäiväiseen elämään vaikuttavissa päätöksissä - auttamalla yrityksiä valitsemaan palkkaamisesta luottopisteiden asettamiseen opettajien arviointiin. Ei ole yllättävää, että se on tiivistänyt julkista tarkastelua siitä, miten koneoppimisalgoritmit luodaan, mitä tahattomia seurauksia ne aiheuttavat ja miksi niitä yleensä ei tarkisteta paljon.
Ensinnäkin suuri osa ohjelmistosta on omistusoikeutta, joten algoritmien toimivuuden takana ei ole juurikaan läpinäkyvyyttä. Ja kun koneoppimisesta tulee entistä hienostuneempaa, jopa AI-järjestelmän luoneille insinööreille tulee entistä vaikeammaksi selittää tehdyt valinnat. Tämä läpinäkymätön päätöksenteko, jolla on vähän vastuuvelvollisuutta, on seurausta siitä, mitä tunnetaan nimellä “musta laatikko” -algoritmit.
"Yleisö ei koskaan saa mahdollisuutta tarkastaa tai keskustella tällaisten järjestelmien käytöstä", sanoo Meredith Whittaker, New Yorkin yliopiston tutkimusorganisaation AI Now Institute perustaja, joka keskittyy AI: n vaikutuksiin yhteiskunnassa. "Ja ennusteita ohjaavat tiedot ja logiikat ovat usein tuntemattomia edes niille, jotka käyttävät niitä, puhumattakaan ihmisistä, joiden elämään vaikuttaa."
Viime syksynä julkaistussa raportissa AI Now meni niin pitkälle, että suositteli, ettei mikään julkinen elin, joka vastaa sellaisista asioista kuin rikosoikeus, terveydenhuolto, hyvinvointi ja koulutus, käyttäisi mustaa laatikkoa AI-järjestelmiä. AI Nowin mukaan harvoin oikeudelliset ja eettiset kysymykset otetaan huomioon ohjelmistoa luotaessa paljon.
"Aivan kuten et luottaisi tuomariin syvän hermoverkon rakentamiseen, meidän pitäisi lakata olettamasta, että tekniikan tutkinto riittää monimutkaisten päätösten tekemiseen rikosoikeuden kaltaisilla aloilla", Whittaker sanoo.
Toinen organisaatio, demokratian ja teknologian keskus, on luonut ”digitaalisten päätösten” työkalun, joka auttaa insinöörejä ja atk-tutkijoita luomaan algoritmeja, jotka tuottavat oikeudenmukaisia ja puolueettomia tuloksia. Työkalu kysyy paljon kysymyksiä, joiden tarkoituksena on saada heidät punnitsemaan oletuksiaan ja tunnistamaan odottamattomat aaltoiluvaikutukset.
"Halusimme antaa ihmisille konkreettisen lähtökohdan ajatteluun sellaisten kysymysten kautta, kuten kuinka edustavat heidän tietonsa ovat, mitkä ihmisryhmät saatetaan jättää pois ja onko heidän mallinsa tuotoksilla tahattomia kielteisiä vaikutuksia", kertoo Natasha Duarte, joka valvoo projekti.
Kuka on vastuussa?
Vaikka yrittäjiä on yritetty saada paremmin tietoisiksi algoritmiensa mahdollisista vaikutuksista, toiset huomauttavat, että myös julkisten laitosten ja AI: hen luotettavien yritysten on oltava vastuussa.
”Painopiste on suunnittelijoiden ymmärtämisessä järjestelmästä. Mutta kyse on myös järjestelmän ylläpitäjistä ja toteuttajista ”, sanoo New Yorkin yliopiston lakiprofessori Jason Schultz, joka työskentelee AI Now -instituutin kanssa oikeudellisissa ja poliittisissa kysymyksissä. "Siellä kumi kohtaa tien vastuullisuudessa. AI: tä käyttävällä valtion virastolla on suurin vastuu ja heidän on myös ymmärrettävä se. Jos et ymmärrä tekniikkaa, sinun ei pitäisi voida käyttää sitä."
Tätä varten AI Now edistää ”algoritmisten vaikutusten arviointien” käyttöä, joka vaatisi julkisia laitoksia paljastamaan käyttämänsä järjestelmät ja sallii ulkopuolisten tutkijoiden analysoida niitä mahdollisten ongelmien varalta. Poliisiosaston suhteen jotkut lakimiesasiantuntijat katsovat, että heidän on myös tärkeää selventää selkeästi, miten he käyttävät tekniikkaa, ja olemaan valmiita jakamaan sen paikallisen yhteisön kanssa.
"Jos nämä järjestelmät suunnitellaan vastuuvelvollisuuden, oikeudenmukaisuuden ja asianmukaisen prosessin kannalta, järjestelmän toteuttavan on ymmärrettävä, että heillä on vastuu", Schultz sanoo. "Ja kun suunnittelemme, miten aiomme toteuttaa nämä, yksi ensimmäisistä kysymyksistä on" Mihin tämä menee poliisin käsikirjassa? " Jos sinulla ei ole tätä jossain poliisin käsikirjassa, otamme askel taaksepäin, ihmiset. ”
Andrew Ferguson pitää tarpeellisena sitä, mitä hän kutsuu "valvontahuippukokoukseksi".
"Ainakin kerran vuodessa poliisiteknologialle tulisi olla vastuuhetki jokaisessa paikallisessa lainkäyttöalueessa", hän sanoo. "Poliisin päällikön, kaupunginjohtajan tai ehkä kaupunginvaltuuston päällikön olisi selitettävä yhteisölle, mihin he käyttävät veronmaksajien dollareita seurannan ja tekniikan kannalta, miksi heidän mielestään on rahaa hyvä käyttää, mitä he teemme sen tarkastamiseksi ja suojaamiseksi tietoja, mitkä ovat yksityisyyden suojan vaikutukset. Ja yhteisö olisi siellä kysyttävää varten. ”
CrimeScan-luoja Daniel Neill sanoo, että hän ei vastusta ajatusta säännöllisistä AI-tulosten tarkistuksista, vaikka hänellä on varauksia siihen, että se tehdään ennen kuin algoritmi on riittävästi kenttätestattu. Hän työskentelee parhaillaan Pittsburghin poliisiviraston kanssa CrimeScan-oikeudenkäynnissä, ja ainakin alun perin haaste oli "saada oikea partiointensiteetti ennustetuille kuumille pisteille".
Hän on sanonut, että se on ollut oppimisprosessi mukauttaa CrimeScania siten, että kadutason poliisit uskovat sen olevan hyödyllistä. "Meidän on osoitettava, että emme voi vain ennakoida rikoksia, vaan myös voimme tosiasiallisesti estää sitä", Neill toteaa. "Jos heität työkalun vain seinän yli ja toivot parasta, se ei koskaan toimi niin hyvin."
Hän tunnustaa myös riskin viivyttää liikaa algoritmia.
"Työkalu voi auttaa poliiseja tekemään hyviä päätöksiä", hän sanoo. ”En usko, että koneiden pitäisi tehdä päätöksiä. Niitä tulisi käyttää päätöksenteon tukena. "
Neill lisää: "Ymmärrän, että käytännössä se ei ole jotain, jota tapahtuu koko ajan."
