Suhteline Omadused

Link: https://www.cc.gatech.edu/~parikh/relative.html

Devi Parikh jaKristen Grauman

“Kes vikerkaar saab tõmmata joone, kui lilla tint otsas ja oranž tint hakkab? Selgelt näeme, et erinevus värve, aga kui täpselt ei üks esimene blendingly sõlmida muud? Nii et terve mõistus ja hullumeelsus.”

— Herman Melville, Billy Budd

Kokkuvõte

Inim-nameable visuaalne “atribuudid” saab kasu erinevate tunnustamise ülesandeid. Siiski olemasolevate tehnikate piirata nende omadusi, et kategooriline sildid (näiteks isik on “naeratav” või mitte, stseen on “kuiv” või mitte), ja seega ei suuda lüüa rohkem üld-semantilised suhted. Teeme ettepaneku mudeli suhteline atribuudid. Antud treeningu andmete milles märgitakse, kuidas objekti/stseeni kategooriad on seotud vastavalt erinevad tunnused, me õpime pingerida funktsiooni kohta atribuut. Õppinud edetabeli funktsioonid ennustada suhtelist tugevust iga vara romaan pilte. Me siis ehitada generative mudel üle ühise ruumi atribuut pingerida väljundid, ning teeb uudne vorm null-shot õpe, kus juhendaja on seotud nähtamatu objekt kategooria varem näinud objektide kaudu atribuute (näiteks: “karud on furrier kui kaelkirjakud’). Me veel näitame, kuidas kavandatud suhteline atribuudid võimaldavad rikkamaks tekstilised kirjeldused uusi pilte, mis praktikas on täpsemad inimeste tõlgendus. Me näitama lähenemisviisi andmestikud nägu ja loomulik stseene, ja näita oma selged eelised võrreldes traditsiooniliste binaarne atribuut prognoosi need uued ülesanded.

Motivatsiooni

Binaarsed tunnused on piirav ja võib olla ebaloomulik. Ülaltoodud näited, samas kui üks saab iseloomustada pildi peal-vasakule ja üles-paremale nagu loodusõnnetuste ja inimtegevusest vastavalt, mida te kirjeldaksite pildi top-keskus? Ainus mõtestatud viisil iseloomustamiseks on seoses teiste piltide kohta: see on vähem loomulik kui vasakpoolsel pildil, aga rohkem nii, et kui pilt on õige.

Ettepanek

See töö, mis me teeme ettepaneku mudeli suhteline atribuudid. Erinevalt ennustavad olemasolu atribuudi, suhteline atribuut näitab tugevust atribuudi kujund seoses teiste pilte. Lisaks on loomulik, suhteline atribuudid pakkuda rikkamaks iimi side, võimaldades juurdepääsu täpsemat inimeste järelevalve (ja seega potentsiaalselt suuremat tunnustamist täpsus), samuti võime luua rohkem informatiivne kirjeldused romaan pilte.

Me kavandada lähenemist, et õpib pingerida funktsioon iga omaduse kohta, mis on antud suhteline sarnasus piirangud paari näited (või üldisemalt osalise tellimise kohta mõned näited). Õppinud pingerida funktsiooni on võimalik hinnata tõeline hinnatud auaste pilte näidates suhtelise tugevuse atribuudi olemasolu neid.

Me tutvustada uudseid vorme null-shot õppe ja pilt, kirjeldus, et ära suhteline atribuut prognoose.

Lähenemisviisi

Õppe suhteline omadused: Iga suhteline omadus on õppinud kaudu õppimine auaste koostis, kuna võrdlev järelevalvet, nagu allpool näidatud:

Vahet õppe laia varu pingerida funktsioon (paremal), mis jõustab soovitud tellimine koolituse lõike punktides 1-6), ja lai-varu binaarne klassifikatsioonis (vasakul), et ainult eraldab kaks liiki (+ ja -), ja ei pea tingimata säilitada soovitud tellimine punktide kohta on toodud allpool:

Romaan null-shot õpe: Me uurida järgmisi set-up

  • N kokku kategooriasse: S näinud kategooriat (seotud pildid on saadaval) + U nähtamatu kategooriat (nr pildid on saadaval nende kategooriate jaoks)
  • S näinud kategooriat kirjeldatakse teineteise suhtes kaudu atribuudid (mitte kõik paari kategooriad peavad olema seotud kõik atribuudid)
  • U nähtamatu categorires on kirjeldatud võrreldes (alamhulk) näinud kategooriate osas (alamhulk) atribuudid.

Me esimene rong komplekt suhteline atribuute kasutades järelevalve kohta juhul, kui näinud kategooriat. Need omadused saab samuti olema eelnevalt koolitatud alates väliseid andmeid. Me siis ehitada generative mudel (Gaussi) iga näinud kategooria, kasutades vastused suhteline annavad pildid näinud kategooriat. Me siis järeldada parameetrid generative mudelid toimub caregories kasutades nende suhteline kirjeldused suhtes näinud kategooriat. A visualiseerimine lihtne lähenemine töötab meil selle jaoks on toodud allpool:

 

Test pilt on omistatud kategooria maksimaalse tõenäosuse.

Automaatselt tekitama suhteline tekstiline desriptions pilte: Antud pilt ma kirjeldada, me hindama kõiki õpitud edetabeli funktsioonid I. iga omaduse Kohta, me selgitada kahe viide pildid asuvad mõlemal pool mina, ja ei ole liiga kaugel või liiga lähedal, et I. Pilt, mis mul on siis kirjeldatud võrreldes nende kahe viite pilti, nagu allpool näidatud:

Nagu eespool nägime, lisaks kirjeldatakse pilt võrreldes teiste pilte, meie lähenemine võib kirjeldada ka pildi võrreldes teiste kategooriate, mille tulemuseks on puhtalt tekstiline kirjeldus. Selgelt suhteline kirjeldused on täpsemad, ja informatiivne kui tavalised binaarne kirjeldus.

Katsed ja Tulemused

Viime läbi katseid kaks andmekogumit:

(1) Väljas stseenituvastussüsteem (OSR), mis sisaldavad 2688 pilte, 8 liiki: ranniku C -, metsa -, F -, maantee-H, sees-linna ma, mägi M, avatud riik, O, tänava-S ja tall-hoone T. kasutame põhilised funktsioonid esindada pilte.

(2) alamhulk Avaliku elu tegelased Silmitsi Andmebaasi (PubFig), mis sisaldavad 772 pildid 8 kategooriad: Alex Rodriguez, Clive Owen C, Hugh Laurie H, Jared Leto J, Miley Cyrus M, Scarlett Johansson S, Viggo Mortensen V ja Zac Efron Z. Me kasutame seotult ja põhisisu ja värvi funktsioonid esindada pilte.

Tunnuste loetelu, mida kasutatakse iga andmekogum, koos binaarne ja suhteline atribuut annotatsioonid on toodud allpool:

Null-shot õpe:

Me võrdleme meie pakutud lähenemine, et kaks lähtejoonest. Esimene on Skoor põhinev Suhteline Atribuudid (SRA). See lähtealus on sama nagu meie lähenemisviisi, välja arvatud see, et kasutab hinded binary klassifikatsioonis (binaarne atribuudid) asemel hinded pingerida funktsioon. See lähtealus aitab hinnata vajadust pingerida funktsioon, et parim mudel suhteline atribuudid. Meie teine lähtealus on Otsene Atribuut Ennustus (DAP) mudel kasutusele võetud Lampert et al. selles CVPR 2009. See lähtealus aitab hinnata kasu suhteline ravi atribuudid, mitte kategooriline. Me hinnata nende meetodite erinevad numbrid nähtamatu kategooriad, erineva hulga andmeid, mida kasutatakse rongi atribuute, erineva arvu attribtues kasutatakse, et kirjeldada, mis toimub kategooriate ja erineval tasemel “lõtvus” kirjeldus nähtamatu kategooriad. Andmed katseseade võib leida meie raamat. Tulemused on toodud allpool:

Automaatselt genereeritud pilt kirjeldused:

Selleks, et hinnata kvaliteeti meie suhteline pildi kirjeldused kahekomponentsete kolleegid, me läbi inimeste uuring. Me genereeritud kirjeldus pildi, kasutades meie lähenemine, samuti lähte-binaarne suvandeid. Me esitatud teemade selle kirjeldus, koos kolme pildid. Üks kolmest pilte oli pilt on kirjeldatud. Ülesanne oli teemade auaste kolm pilti, mille põhjal nad üks mõte oli, kõige tõenäolisemalt üks on kirjeldatud. Kui täpsem kirjeldus, seda suurema tõenäosusega teemasid on teha kindlaks õige pilt. Näide ülesande esitatud teemad on toodud allpool:

Uuringu tulemused on toodud allpool. Me näeme, et teemasid saab kindlaks teha õige pildi täpsemalt, kasutades meie ettepanek suhteline atribuudid, võrreldes kahekomponentsete suvandeid.

Pilt Binaarne kirjeldused Suhteline kirjeldused
ei ole füüsiline
ei ole avatud
perspektiivi
loomulikum kui tallbuilding, vähem loomulik kui metsa
rohkem avatud kui tallbuilding, vähem avatud kui coast
rohkem perspektiivi kui tallbuilding
ei ole füüsiline
ei ole avatud
perspektiivi
loomulikum kui insidecity, vähem loomulik kui maanteel
rohkem avatud kui tänaval, vähem avatud kui coast
rohkem perspektiivi kui maanteel, vähem vaatenurgast kui insidecity
looduslikud
avatud
perspektiivi
loomulikum kui tallbuilding, vähem loomulik kui mägi
rohkem avatud kui mägi
vähem vaatenurgast kui opencountry
Valge
ei Naeratav
VisibleForehead
rohkem Valge kui AlexRodriguez
rohkem Naeratusi kui JaredLeto, vähem Naeratab kui ZacEfron
rohkem VisibleForehead kui JaredLeto, vähem VisibleForehead kui MileyCyrus
Valge
ei Naeratav
ei VisibleForehead
rohkem Valge kui AlexRodriguez, vähem Valge kui MileyCyrus
vähem Naeratab kui HughLaurie
rohkem VisibleForehead kui ZacEfron, vähem VisibleForehead kui MileyCyrus
ole Noor
BushyEyebrows
RoundFace
rohkem Noori kui CliveOwen, vähem Noori kui ScarlettJohansson
rohkem BushyEyebrows kui ZacEfron, vähem BushyEyebrows kui AlexRodriguez
rohkem RoundFace kui CliveOwen, vähem RoundFace kui ZacEfron

Andmed

Pakume õppinud suhteline atribuutide ja nende prognoose kaks andmekogumit kasutada oma paber: Väljas stseenituvastussüsteem (OSR) ja alamhulkAvaliku elu tegelased Silmitsi Andmebaasi (PubFig).

README

laadi Alla (v2)

Suhteline Nägu Atribuudid Andmekogu. See sisaldab annotatsioone 29 suhteline atribuudid 60 erinevad kategooriad Avaliku elu tegelased Silmitsi Andmebaasi (PubFig).

Kood

Me muudetud Olivier Chappelle ‘ s RankSVM rakendamise rongi suhteline atribuudid, mille sarnasus piiranguid. Meie kohandatud koodi võib leida siin.

Kui soovite kasutada meie koodi, palun cite järgmine raamat:

  1. Parikh ja K. Grauman

Suhteline Omadused

International Conference on Computer Vision (ICCV), 2011.

Demod

Demosid erinevaid rakendusi suhteline atribuute võib leida siin. Kirjeldus neid rakendusi on võimalik leida paberid siin.

Väljaanded

  1. Parikh ja K. Grauman

Suhteline Atribuudid

International Conference on Computer Vision (ICCV), 2011. (Suuline)

Marr Auhinna (Best Paper Award) Võitja

[slides] [talk (video)] [poster] [demod]

Pärast on meie muud paberid, mis kasutavad suhteline omadused:

  1. Biswas ja D. Parikh

Samaaegne Aktiivne Õppimine Klassifikaatorite & Atribuutide kaudu Suhtelist Tagasiside

IEEE Conference on Computer Vision-ja kujutuvastuseks (CVPR), 2013

[projekti leht ja andmed] [poster] [demo]

  1. Parkash ja D. Parikh
    Omadused Klassifikatsioonis Tagasiside
    European Conference on Computer Vision (ECCV), 2012 (Suuline)

[slides] [talk (video)] [projekti leht ja andmed] [demo]

  1. Kovashka, D. Parikh ja K. Grauman
    WhittleSearch: Pildi Otsing Suhteline Atribuut Tagasiside
    IEEE Conference on Computer Vision-ja kujutuvastuseks (CVPR), 2012
    [projekti lehekülg] [poster] [demo]

 

  1. D. Parikh, A. Kovashka, Parkash ja K. Grauman
    Suhteline Omadused Täiustatud inimene-Masin-Side(Kutsutud paber)
    AAAI Konverentsi Tehisintellekt (AAAI), 2012 (Suuline)

Leave a Reply

Your email address will not be published. Required fields are marked *