Viime vuonna ryhmä saksalaisia tietotekniikan tutkijoita teki aaltoja demonstroimalla uuden tietokonealgoritmin, joka pystyi muuttamaan minkä tahansa digitaalisen valokuvan teoksiksi, jotka jäljittelevät mestarien, kuten Vincent van Gogh, Pablo Picasso ja Edvard Munch, maalareita. Vaikka vaikuttava saavutus, saman tekniikan soveltaminen liikkuviin kuviin näytti tuolloin törkeää. Mutta nyt toinen tutkijaryhmä on keksinyt sen tuottavan nopeasti ja saumattomasti liikkuvia digitaalisia mestariteoksia, Carl Engelking kirjoittaa Discoverille .
Asiaan liittyvä sisältö
- Tämä animaatioelokuva Van Goghista on tehty kokonaan öljymaalauksista
- Tämä keinotekoinen hermoverkko tuottaa absurdihakuja
Videonäytöksessä ohjelmoijat esittelevät algoritmiensa taiteellisia kykyjä muuttamalla kohtauksia elokuvista ja televisio-ohjelmista, kuten Jääkausi ja Miss Marple, maalauksellisiksi animaatioiksi hiiren napsautuksella. Mutta algoritmin kehittäminen ei ollut mikään pieni saavutus.
Tietyn yksityiskohtaisen muutoksen luomiseksi tietotekniikan tutkija Leon Gatys ja hänen kollegansa Tübingenin yliopistossa kehittivät syvän oppimisen algoritmin, joka ajaa pois keinotekoisesta hermoverkosta. Jäljittelemällä tapoja, joilla ihmisen aivojen neuronit muodostavat yhteyksiä, nämä koneoppimisjärjestelmät voivat suorittaa paljon monimutkaisempia tehtäviä kuin mikään vanha kannettava tietokone.
Näin se toimii: kun katsot kuvaa maalauksesta tai katsot elokuvaa kannettavalla tietokoneella, todistat tietokoneesi purkavan tiedostossa olevat tiedot ja esittämään ne asianmukaisella tavalla. Mutta kun näitä kuvia käsitellään hermoverkon kautta, tietokone pystyy ottamaan näihin tiedostoihin sisältyvät useat eri kerrokset ja valitsemaan ne erikseen kappaleelta.
Esimerkiksi, yksi kerros voi sisältää tietoja van Goghin Tähtikirkasteen perusväreistä, kun taas seuraava kerros lisää hieman yksityiskohtia ja rakennetta, ja niin edelleen, MIT Technology Review -lehden mukaan . Järjestelmä voi sitten muuttaa kutakin eri kerrosta erikseen ennen niiden asettamista takaisin yhteen kokonaisen kuvan luomiseksi.
”Voimme manipuloida molempia esityksiä itsenäisesti uusien, havainnollisesti merkityksellisten kuvien tuottamiseksi.” Gatys kirjoitti tutkimuksessa, joka julkaistiin prepress arXiv -palvelimelle.
Soveltamalla tätä kerrospohjaisen oppimisen järjestelmää Picasso ja van Goghin maalauksiin, muutamia mainitakseni, tutkijat pystyivät kehittämään algoritmin, joka “opetti” tietokoneen tulkitsemaan kaikki nämä tiedot tavalla, joka erottaa tietyn sisällön. maalaus sen tyylistä. Kun Matt McFarland kirjoitti Washington Postille, kun se ymmärsi, kuinka van Gogh käytti siveltimen värejä ja värejä, se voi sitten soveltaa tätä tyyliä kuten Photoshop-suodatinta kuvaan ja luoda sen tehokkaasti ikonisessa tyylillään. Mutta tämän tekniikan soveltaminen videoon esitti kokonaan uuden ongelmakokonaisuuden.
”Aikaisemmin kuvan käsin piirtäminen tietyssä taiteellisessa tyylissä vaati ammattitaiteilijaa ja kauan”, Manuel Ruder ja hänen Freiburgin yliopistosta koostuva joukkue kirjoittavat uudessa tutkimuksessaan, joka julkaistiin myös arXiv-julkaisussa. "Tämän tekeminen yhden käden videosekvenssille oli mielikuvituksen ulkopuolella."
Kun Ruder ja hänen kollegansa yrittivät ensin soveltaa algoritmia videoihin, tietokone huijasi gobbledygookin. Lopulta he tajusivat, että ohjelma käsitteli jokaista videokuvaa erillisenä yksittäiskuvana, mikä aiheutti videon vilkkumisen virheellisesti. Päästäkseen tämän kysymyksen ohi tutkijat asettivat algoritmille rajoitukset, jotka estävät tietokonetta poikkeamasta liikaa kehysten välillä, Engelking kirjoittaa. Tämän ansiosta ohjelma pystyi asettumaan ja soveltamaan yhdenmukaista tyyliä koko videossa.
Algoritmi ei ole täydellinen, ja sillä on usein vaikeuksia käsitellä suurempaa ja nopeampaa liikettä. Tämä on kuitenkin tärkeä askel kohti tapoja, joilla tietokoneet voivat tuottaa ja muuttaa videota. MIT Technology Review raportoi, että tulevaisuuden algoritmit voivat olla varhaisessa vaiheessa, jotta se voisi soveltaa tätä vaikutusta älypuhelinsovelluksen kautta otettuihin videoihin, tai jopa tehdä virtuaalitodellisuusversioita suosikkimaalauksistasi.
Ajatus taiteilijan tyylin virittämisestä tietyn pisteen joukkoon saattaa luokitella jotkut ihmiset, se myös avaa oven kaikille uudelle taiteelle, jota koskaan ennen ei ole uskottu mahdolliseksi.
