Muutama viikko sitten olin kauppakeskuksessa, kun huomasin naista kantavan hienoa käsilaukkua, jolla oli köyden kaltainen hihna. Koska olen markkinoilla uusille tuotteille, harkitsin kysyä häneltä, mistä hän sai sen. Mutta ennen kuin pystyin liikkumaan, hän katosi nurkan takana. Kun sain kotiin, yritin Googlen laukkua. Mutta en ole fashionista, ja huomasin, että minulla ei ollut sanastoa kuvaamaan mitä olin nähnyt. ”Nahkainen käsilaukku kiinnitysnauhalla” ei ollut oikein. Myöskään ”kukkaro köysikahvalla” tai “laukku nauhahihnalla”. Lopulta luopuiin.
Nyt uuden tekniikan tavoitteena on auttaa ihmisiä etsimään asioita, joita he eivät välttämättä pysty kuvaamaan sanoin.
Georgian tekniikan instituutin tietotekijä James Hays on luonut tietokoneohjelman, joka pystyy sovittamaan käsin piirretyt kuvat valokuviin. Tämä voi lopulta johtaa ohjelmaan, joka voi kammata Internet-kuvanhakupalveluita, kuten Google Images, ja löytää valokuvia, jotka vastaavat tarkasti käyttäjien piirustuksia.
"Tavoitteena on kyetä yhdistämään tai sovittamaan valokuvia ja luonnoksia kumpaankin suuntaan, aivan kuten ihminen voi", Hays sanoo. ”Ihminen voi nähdä huonosti piirretyn luonnoksen ja selvittää, mihin valokuvaan se näyttää vastaavan. Haluamme olla sama kyky laskennallisesti. ”
Ohjelman luomiseksi Hays palkkasi lähes 700 työntekijää Amazon Mechanical Turkista, joukkoliikennemarkkinoilta, joka vastaa työntekijöitä ihmisiin, jotka tarvitsevat tehtäviä. Hänen tiiminsä näytti työntekijöille valokuvia tavallisista esineistä ja eläimistä, kuten oravista, teekannuista ja banaaneista, jolloin he pystyivät katsomaan kuvaa kahden sekunnin ajan. Työntekijä piirtää sitten esineen muistista. Ryhmä lopulta keräsi yli 75 000 luonnosta 12 500 esineestä. He kutsuivat tätä "Sketchy-tietokannaksi".
Sitten ohjelma analysoi luonnoksia ja sovitti ne valokuvaan, jota ne muistuttivat eniten. Teknologia tunnisti oikean valokuvan 37 prosenttia ajasta. Ihmiset olivat oikein noin 54 prosenttia ajasta. Vaikka 37 prosenttia ei välttämättä näytä vaikuttavalta, se on itse asiassa melkoinen harppaus tietokoneille.
"Ihmisillä on jo niin hämmästyttävän hyvä näkö, tunnustamme kuvat vaivattomasti", Hays sanoo. "Laskennallisesti se on yllättävän vaikeaa."
Yksi päähaasteista ohjelman parantamisessa on, että suurin osa ihmisistä on melko kurja taiteilijoita. Kuten Hays ja hänen tiiminsä kirjoittivat aiheesta kirjoitetussa lehdessä: ”Muodot ja asteikot ovat vääristyneet. Kohdeosat ovat karikatisoituja (elefantin suuret korvat), antropomorfisoituneet (hämähäkin hymyilevä suu) tai yksinkertaistettuja (keppihahmojen raajat). "
Historiallisesti tutkimus, jolla tietokoneet saadaan tunnistamaan luonnokset, on keskittynyt esimerkiksi viivojen jakautumiseen piirustuksessa, suuntaan, jossa linjat menevät tai mihin piirustuksen rajat ovat. Mutta koska ihmiset piirtävät vain ihmisille miellyttävää (esimerkiksi silmät sisältyvät aina luonnoksiin, vaikka ne ovatkin suhteellisen pieniä), tietokoneelle on tärkeää “oppia”, miten luonnokset ovat yleensä samanlaisia ja kuinka ne yleensä olla erilainen kuin valokuvat. Tätä varten ohjelma käyttää kahta erillistä verkkoa, toinen arvioi luonnoksia, toinen arvioi valokuvia. Analysoimalla jatkuvasti suurta aineistoa, ohjelma voi jatkuvasti “oppia”.
Hays ja hänen tiiminsä suunnittelevat jatkavansa ohjelman parantamista lisäämällä tietoja. Tietokoneoppimisen edistymisen pitäisi myös auttaa parantamaan otteluastetta. Tästä hetkestä lähtien ohjelmalla on melko korkea vastaavuustaso verrattaessa luonnoksia Internet-valokuvien tietokantoihin, mukaan lukien Flickr, vaikkakin sen määrittäminen on vaikeaa, Hays sanoo.
Sen käsilaukun kuvahaun lisäksi, jota niin kipeästi tarvitsen, ohjelmalla on useita vähemmän houkuttelevia potentiaalisia käyttötarkoituksia. Poliisi voisi skannata epäillyt luonnokset ja verrata niitä rikollisten valokuvien tietokantaan. Ohjelmaa voivat käyttää ihmiset, jotka puhuvat ja kirjoittavat millä tahansa kielellä tai eivät osaa kirjoittaa ollenkaan.
"Yksi luonnoksen ymmärtämisen tavoite on, että se on hiukan universaali kieli", Hays sanoo. ”Sitä ei ole sidottu tiettyyn kirjalliseen kieleen eikä edes kirjallisuuteen. [Tällainen ohjelma voisi tarjota] pääsyn tietoihin ilman kirjallista kieltä. "
Ohjelmaa voidaan käyttää myös taiteellisesti luomaan fotorealistisia kohtauksia luonnoksista. Ajattelitko aina elävänsä kuun linnassa? Piirrä se, ja ohjelma voisi jonain päivänä luoda sinulle valokuvakuvan ompelemalla yhteen kappaleita muita kuvia.
Haysin ja hänen tiiminsä keräämät tiedot voivat myös auttaa vastaamaan joihinkin neurotieteen ja psykologian kysymyksiin, Hays sanoo.
"Nämä luonnosvalokuvaparit sanovat jotain ihmisen havainnoista, siitä, mikä on mielestämme houkuttelevaa, mihin kuvan osiin kiinnitetään huomio", Hays sanoo. ”Tämä tietokanta koodaa tämän tietyllä tavalla melko hyvin. Tästä voi olla kiusata jotain, jos haluat sanoa jotain ihmisistä itsestään. ”
