Jokaisessa taskussa olevan kameran ja älypuhelimiin ja sosiaalisiin verkostoihin sisäänrakennetun kasvojentunnistusohjelmiston avulla on joskus helppo unohtaa, että valokuvien ottaminen ja kasvojen tunnistaminen niissä ei aina ollut niin helppoa. Kadonnut, vaurioitunut tai yksinkertaisesti merkitsemätön, vanhoissa valokuvissa olevien henkilöiden tunnistamisprosessi voi olla työläs. Mutta kuten Virginia Techin tietojenkäsittelytieteen apulaisprofessori Kurt Luther totesi, kokemus voi olla myös varsin liikkuva.
Luther oli "Pennsylvanian sisällissodan" näyttelyssä Pittsburghin senaattorin John Heinzin historiakeskuksessa vuonna 2013, kun hän kompastui valokuvaan iso-iso-iso-setänsä Oliver Croxtoniin. Hän on kuvaillut valokuvan katselemista, joka oli vanhin nähtyään perhevalokuva, matkalla läpi ajan.
Jo historiaharrastaja kiinnostuneena Yhdysvaltain sisällissodasta, hetki takertui Lutheriin ja hän alkoi miettiä, kuinka tuoda sama kokemus tuhansille muille historian harrastajille.
”Aloin oppia enemmän sisällissodan valokuvauksesta, ” sanoo Luther, ”ja siitä, kuinka tunnistaa [ihmiset] käyttämällä erilaisia visuaalisia johtolankoja, kuten univormua, tunnuskuvaa tai valokuvaajan studiotietoja. Sillä välin tein tietotekniikan professorina paljon tutkimusta joukkoliikenteen aloilla ja ajattelin, että ehkä on tapa yhdistää nämä kaksi asiaa. ”
Luther kompastui valta-iso-iso-setänsä, Oliver Croxtonin, kuvaan. (Ken Turner -malliston kohteliaisuus) Tuloksena on ilmainen online-ohjelmisto, nimeltään Civil War Photo Sleuth, joka hyödyntää joukkovaihtoa ja kasvojentunnistusta auttamaan käyttäjiä tunnistamaan tuntemattomia aiheita sisällissodan aikakauden valokuvissa. Juuri ennen virallista julkaisuaan vuonna 2018 tekniikka voitti sekä Microsoftin Cloud AI Research Challengen 25 000 dollarin pääpalkinnon Microsoftin kasvojentunnistusohjelman käytöstä että parhaan demon palkinnon Human Computation and Crowdsourcing 2018 -konferenssissa. Tällä viikolla Luther esiintyy Association for Computing Machinery'n älykkäiden käyttöliittymien konferenssissa Los Angelesissa.
Suunniteltu Virginia Techin jatko- ja jatko-opiskelijoiden, mukaan lukien projektijohtaja Vikram Mohanty, ja yhteistyössä Virginia Techin historiaosaston kanssa Photo Sleuth käyttää monitahoista lähestymistapaa ehdottaakseen tarkimmat tunnistukset.
Ensimmäinen tärkeä vaihe prosessissa oli laajan tietokannan rakentaminen jo tunnistetuista valokuvista. Tähän päivään mennessä Photo Sleuthilla on noin 17 000 tunnistettua kuvaa kansallisista arkistoista, kuten Yhdysvaltain sotilashistorian instituutista, sekä yksityisistä kokoelmista, jotka sisältävät sisällissodan sotilaiden lisäksi myös siviilejä ja muita aikakauden sotilaita.
Luther sanoo, että heillä oli onnea saada jo innostuneen sisällissodan historioitsijoiden yhteisö, jolla oli pääsy näihin valokuviin, koska ilman vankkaa jo tunnistettujen valokuvien perustaa ohjelmistosta olisi ollut käytännössä mahdotonta olla hyödyllinen.
"Se ei ole kuin Field of Dreams ", sanoo Luther, "Jos olisimme avanneet sivuston ilman kuvia ja toivoisimme vain, että käyttäjät lisäävät ne kaikki, kohtaamme kylmäkäynnistysongelma, jossa sinulla vain ei ole sisältöä. ”
Tunnistettujen valokuvien tietokanta on tärkeä rooli auttaa käyttäjiä tunnistamaan itse lataamansa valokuvat. Käyttäjät merkitsevät manuaalisesti erityisiä visuaalisia piirteitä, kuten turkin väriä, kasvojen hiuksia tai armeijan armeijan merkkejä, ja valokuva läpäisee kasvojentunnistusalgoritmin analysoidakseen ja kirjataksesi ainutlaatuisia kasvojen suhteita, kuten etäisyys kasvojen maamerkkien, kuten nenän ja silmien välillä. Photo Sleuth vertaa tuntemattoman valokuvan visuaalista tietoa jo tunnistettuihin valokuviin tietokannassa ja esittelee käyttäjälle sen, mikä hänen mielestään on parhaimpia otteita kasvojen samankaltaisuuden perusteella ja muista metatiedoista johdettujen tietojen perusteella, kuten sotilaita, jotka näyttävät olevan sama yksikkö heidän virkapuvunsa tunnusmerkkien perusteella. Vaikka ohjelmisto ryhtyy tarkoituksellisiin toimenpiteisiin väärän tunnistamisen mahdollisuuden rajoittamiseksi, Luther sanoo, että päivän päätteeksi käyttäjän on tehtävä lopullinen tunnistus, kun ohjelmistolle esitetään parhaat arvaukset.
"Olimme erittäin huolestuneita väärän henkilöllisyyden estämisestä", Luther sanoo, "koska kun puhut Internetistä, kun olet laittanut vääriä tietoja sieltä, on erittäin vaikea päästä eroon siitä tai muuttaa sitä."
Varmistaakseen, että heidän ohjelmistonsa tarjosi käyttäjille parhaat mahdolliset tunnistetiedot, Luther suoritti analyysin ohjelmiston ensimmäisen kuukauden ehdotetuista tunnistuksista käyttämällä sarakkeissa kuvattuja menetelmiä. Hän on osallistunut sisällissodan historialehteen Military Images . Arvioi tunnistukset 'ehdottomasti ei ottelusta', 'todennäköisesti ei ottelusta', 'todennäköisesti ottelusta' ja 'ehdottomasti ottelusta', analyysin perusteella havaittiin, että 85 prosenttia ehdotetuista tunnistuksista oli todennäköisesti tai ehdottomasti ottelu. Tämän viikon konferenssissa Luther sanoo aikovansa tuoda esiin ryhmän viimeisimmän Photo Sleuth-tutkimustulokset, mukaan lukien New Hampshiren sisällissodan kuvien keräilijän Dave Morinin löytö tuntemattoman unionin toisen luutnantin muotokuvasta. . Photo Sleuth ehdotti, että miehen muotokuvana oli William H. Baldwin ensimmäisistä New Yorkin insinööreistä. Morin, joka vahvisti, että Baldwin oli New Hampshiren kotoisin, sanoo, ettei hän olisi koskaan löytänyt kyseistä Graniitti-osavaltion insinööriä ilman Photo Sleuthin apua.
Kurt Luther on tietojenkäsittelytieteen apulaisprofessori Virginia Techissä. (Amy Loeffler) Tutkimus korostaa myös ihmishistorioitsijoiden ja itse ohjelmiston täydentäviä vahvuuksia. Parhaan ponnisteluistaan huolimatta Luther sanoo, että ohjelmisto voi mennä niin pitkälle vain tunnistaessaan oikeita osumia, ja luottaa käyttäjiin auttamaan tunnistamaan vihjeitä, jotka ovat kasvoalgoritmin sokeissa pisteissä.
”[Algoritmi] on koulutettu yleiseen kasvotunnistukseen [pääasiassa nykyaikaisissa kuvissa]”, Luther sanoo. ”AI: lla on vaikea aika, kun kasvot käännetään sivulle [profiilissa]. Se on tavallaan tavallaan epätavallinen muotokuva, mutta 1800-luvun puolivälissä se oli yleinen. ”
Ryhmä havaitsi myös, että käyttäjät olivat paljon menestyneempiä kuin pelkkä algoritmi tunnistamaan muita ainutlaatuisia valmistajia, kuten partat ja arvet.
Sisällissodan historioitsija, Kentuckyn historiallisen seuran tieteellisten lähteiden ja julkaisujen päätoimittaja, joka ei ole ollut osa Photo Sleuthin kehitystä, sanoo, että sisällissodan Photo Sleuth on loistava työkalu näiden unohdettujen tarinoiden tuomiseen paitsi elämää, mutta auttamaan jatkamaan sisällissodan historioitsijoiden yhteistyöverkoston rakentamista ympäri maata.
"Haluan käydä katsomassa uusia Kentucky-merkittyjä kuvia", Lewis sanoo. ”[Ja kysy] ketä ihmiset siellä keräävät? Ovatko heidän yksittäiset keräilijät minun tietoisia, ja minun pitäisi ottaa heihin yhteyttä nähdäkseni, onko heillä muita materiaaleja, jotka saattavat kiinnostaa tutkimusta? "
Vaikka hän ei ole vielä ollut yhteydessä yksittäisiin keräilijöihin Photo Sleuthin kautta, Lewis sanoo, että Kentucky Historical Society on itse työskennellyt rakentaakseen tiedostoja tunnetuista online-arkistoista ja että Photo Sleuthin kaltainen ohjelmisto parantaisi dramaattisesti heidän kykyään jatkaa tätä työtä.
Jatkossa Luther sanoo he haluavansa "tuplata" [ihmisten] vahvuudet "ohjelmistoon, mukaan lukien lisäämällä" toinen mielipide "-vaihtoehdon, jonka avulla useat käyttäjät voivat tehdä yhteistyötä valokuvan lopullisessa tunnistamisessa ja työskennellä fyysisen ulottuvuuden ja yhteisöhallinnon laajentamisesta Photo Sleuth -käyttökannan kasvattamiseksi. Ohjelmisto näkee myös joitain kasvot, mukaan lukien uuden toiminnon, jonka avulla käyttäjät voivat ladata ja tunnistaa ihmisiä ryhmäkuvassa.
"Päätavoitteemme on tunnistaa kaikki tuntemattomat sisällissodan valokuvat", sanoo Luther, "ja saada [Photo Sleuth] isommaksi ja paremmaksi, koska 25 000 kuvaa on vain tippa ämpäriin."
