{"id":1630,"date":"2018-05-01T23:17:51","date_gmt":"2018-05-01T21:17:51","guid":{"rendered":"https:\/\/vgrblogg.se\/utveckling\/?p=1630"},"modified":"2018-05-01T23:17:51","modified_gmt":"2018-05-01T21:17:51","slug":"gan-tranar-en-maskins-forstaelse-genom-att-duellera-sig-sjalv","status":"publish","type":"post","link":"https:\/\/vgrblogg.se\/utveckling\/2018\/05\/01\/gan-tranar-en-maskins-forstaelse-genom-att-duellera-sig-sjalv\/","title":{"rendered":"GAN tr\u00e4nar en maskins f\u00f6rst\u00e5else genom att duellera sig sj\u00e4lv"},"content":{"rendered":"

GAN (Generative Adversarial Network) \u00e4r en teknik f\u00f6r att f\u00e5 en maskin att instruera sig sj\u00e4lv. Att vi utvecklare inte uttryckligen ber\u00e4ttar f\u00f6r den hur den l\u00e4r sig och vad som utm\u00e4rker kunskapen. Eftersom maskinen sj\u00e4lv har en lite st\u00f6rre del av ansvaret att l\u00e4ra sig klassificeras GAN som unsupervised machine learning<\/i>, till skillnad fr\u00e5n supervised machine learning<\/i>.<\/p>\n

”a system of two neural networks contesting with each other in a zero-sum game framework. They were introduced by Ian Goodfellow et al. in 2014. This technique can generate photographs that look at least superficially authentic to human observers, having many realistic characteristics\u201d
\n\u2013 Generative adversarial network – Wikipedia<\/a><\/p><\/blockquote>\n

Bilden du ser i bloggpostens huvud \u00e4r resultatet av tre timmars ber\u00e4kningar. Fr\u00e5n b\u00f6rjan hade inget av de neurala n\u00e4tverken koll p\u00e5 n\u00e5gonting n\u00e4r det g\u00e4llde bilder och n\u00e5gon timme senare b\u00f6rjade saker att utkristallisera sig, \u00e5tminstone om man har lite fantasi.<\/p>\n

Anv\u00e4ndningsomr\u00e5den f\u00f6r GAN<\/h2>\n

Ett anv\u00e4ndningsomr\u00e5de \u00e4r att generera bilder, vilket vi kommer g\u00e5 igenom mer i detalj strax. Andra anv\u00e4ndningsomr\u00e5den \u00e4r att modifiera bilder ur ett antal sammanhang, bland annat assistera konstn\u00e4rer och skapa fotorealistiska bilder fr\u00e5n teckningar.<\/p>\n

GAN kan ocks\u00e5 generera talat ljud, du kanske sett \u201cdeep fakes\u201d d\u00e4r n\u00e5gon k\u00e4nd person s\u00e4ger n\u00e5got ov\u00e4ntat?<\/p>\n

Ett GAN kan ocks\u00e5 r\u00e4kna ut hur en m\u00e4nniska kan t\u00e4nkas se ut efter att ha \u00e5ldrats. Den l\u00e4r sig m\u00f6nstret f\u00f6r \u00e5ldrande och kan sedan applicera det p\u00e5 en enskild person. Det finns f\u00f6rst\u00e5s m\u00e5nga fler m\u00f6jligheter.<\/p>\n

Hur funkar ett GAN och hur tr\u00e4nas det upp?<\/h2>\n

Hur g\u00e5r tr\u00e4ningen till? Nedan steg \u00e4r mer av en metaforisk utveckling, det \u00e4r inte olika moment utan utvecklingssteg i maskinens l\u00e4rande f\u00f6r att beskriva de steg man kan observera.<\/p>\n

Steg 1: B\u00f6rja duellera<\/h3>\n
\"Systemskiss<\/a>
Systemskiss \u00f6ver ett GAN (Generative Adversarial Network)<\/figcaption><\/figure>\n

Det finns som sagt tv\u00e5 neurala n\u00e4tverk i ett GAN. Det ena kallas f\u00f6r en Generator<\/b>, nedan f\u00f6rkortat G<\/b>, och s\u00e5 finns Discriminator<\/b>, nedan f\u00f6rkortat D<\/b>.<\/p>\n

Generatorns (G) jobb \u00e4r att hitta p\u00e5 grejer och f\u00f6resl\u00e5 till Discriminatorn (D). Ds jobb \u00e4r att f\u00f6rs\u00f6ka skilja mellan fakta och fiktion. Det b\u00f6rjar med att ingen av dem kan n\u00e5got om n\u00e5gonting alls.<\/p>\n

G har slumpm\u00e4ssigt brus som ing\u00e5ngsv\u00e4rde f\u00f6r att skapa sina bilder att skicka till D. D matas samtidigt med korrekt information och ska f\u00f6rs\u00f6ka bed\u00f6ma vad som \u00e4r vad. Exempelvis kan D f\u00e5 bilder med svartvitt brus fr\u00e5n G samtidigt med n\u00e5gra bilder som f\u00f6rest\u00e4ller hundar.<\/p>\n

N\u00e4r D gissat en f\u00f6rsta g\u00e5ng f\u00e5r den facit. S\u00e4g att G p\u00e5stod sig skickat bilder p\u00e5 hundar och att det fanns bilder p\u00e5 faktiska hundar i datam\u00e4ngden D fick s\u00e5 f\u00e5r den reda p\u00e5 vilka bilder som var nonsens och vilka som inneh\u00f6ll hundar. D l\u00e4r sig p\u00e5 s\u00e5 s\u00e4tt \u201cp\u00e5 egen hand\u201d genom att f\u00e5 tillg\u00e5ng till exempeldata lite om vad den tycker \u00e4r karakteriserande f\u00f6r hundbilder.<\/p>\n

Backpropagation ger \u00e5terkoppling till det neurala n\u00e4tverket<\/h4>\n

Den h\u00e4r \u00e5terkopplingen i l\u00e4randet har du kanske h\u00f6rt talas om redan, det kallas f\u00f6r backpropagation och uppt\u00e4cktes tidigt 1960-tal (och har \u00e5teruppt\u00e4ckts m\u00e5nga g\u00e5nger sedan dess).<\/p>\n

Backpropagation g\u00e5r ut p\u00e5 att r\u00e4tta Ds uppfattning av vad som ser ut som en hund. Som du nog listat ut g\u00e5r backpropagation bara att anv\u00e4nda om man har tillg\u00e5ng till r\u00e4tt svar.<\/p>\n

Ett delmoment under steg ett \u00e4r n\u00e4r D f\u00e5r veta vilka bilder som inneh\u00f6ll hundar och vilka som inte gjorde det . D\u00e5 uppdateras Ds n\u00e4tverk av neuroner med den vetskapen. Sedan g\u00f6r G ett f\u00f6rs\u00f6k till med samma bilder vilket leder till att D f\u00e5r bef\u00e4sta sin kunskap och ge G \u00e4nnu s\u00e4mre betyg \u00e4n innan p\u00e5 de genererade bilderna. Men n\u00e5gon av bilderna kanske \u00e4r mindre d\u00e5lig vilket \u00e4r ett tips f\u00f6r G hur den ska forts\u00e4tta.<\/p>\n

Steg 2: Generatorn skapar bilder som b\u00f6rjar f\u00f6rest\u00e4lla n\u00e5got som kan k\u00e4nnas igen<\/h3>\n

N\u00e5gra tusen omg\u00e5ngar senare b\u00f6rjar G bli bra p\u00e5 att skapa fejkade bilder.<\/p>\n

D f\u00e5r st\u00e4ndigt nya bilder p\u00e5 hundar att titta p\u00e5 och l\u00e4r sig p\u00e5 s\u00e5 s\u00e4tt om vilken variation det finns i hur en hund kan se ut. Detta motverkar risken f\u00f6r overfitting – att kunskapsmodellen \u00e4r allt f\u00f6r specialiserad p\u00e5 n\u00e5gra f\u00e5 bilder.<\/p>\n

Vad D l\u00e4r sig ber\u00e4ttar den ocks\u00e5 f\u00f6r G som d\u00e4rmed ocks\u00e5 blir b\u00e4ttre \u00f6ver tid p\u00e5 att generera f\u00f6rslag. D rent utav ber\u00e4ttar vad G gjorde f\u00f6r fel, kanske att den f\u00f6rv\u00e4ntar sig n\u00e5got som liknar \u00f6gon p\u00e5 vardera sida om nosen.<\/p>\n

Steg 3: Oavgjort?<\/h3>\n

Efter ett tag b\u00f6rjar G skapa bilder d\u00e4r hundarna har \u00f6gon, \u00f6ron och bilden k\u00e4nns mer tredimensionell. Nu b\u00f6rjar D ha sv\u00e5rt att skilja p\u00e5 vad som \u00e4r en fejkad hundbild och vad som \u00e4r p\u00e5 riktigt.<\/p>\n

Ja just det, det neurala n\u00e4tverket i fallet med ett GAN \u00e4r ett Deconvolutional Neural Network (DNN), allts\u00e5 inte Convolutional<\/i> Neural Network (CNN) som du kanske h\u00f6rt talas om tidigare. Skillnaden dem emellan \u00e4r att ett DNN v\u00e4nder p\u00e5 processen och b\u00f6rjar med data att utv\u00e4rdera innan den kommer fram till facit (vad som skulle varit en feature map<\/i> i ett CNN). I ett CNN beskriver du egenskaperna som \u00e4r intressanta medan ett DNN forcerar sig fram till att uppt\u00e4cka dem mer eller mindre sj\u00e4lv.<\/p>\n

Tankar kring att drifta insikterna fr\u00e5n ett GAN<\/h2>\n

En t\u00e4nkbar utmaning kan vara hur en s\u00e5n h\u00e4r l\u00e4rdom f\u00f6rvaltas \u00f6ver tid. Det \u00e4r n\u00e4mligen sv\u00e5rt att inte bli tvungen att b\u00f6rja om fr\u00e5n b\u00f6rjan med G och D, de beh\u00f6ver l\u00e4ra sig tillsammans. S\u00e5 om man ska l\u00e4gga till n\u00e5got nytt i sitt GAN finns risken att D har ett f\u00f6r stort f\u00f6rspr\u00e5ng mot G och inte ger den en chans att komma med tillr\u00e4ckligt sv\u00e5ra genererade bilder.<\/p>\n

Kanske borde man fokusera p\u00e5 att ha extremt specialiserat GAN. Som i avsnittet i Silicon Valley S04E04 n\u00e4r Jian Yang byggt en app som kan skilja p\u00e5 varmkorv och inte<\/i> varmkorv \ud83d\ude42<\/p>\n