MIT-i Pic2Recipe AI saab ennustada toiduaineid, analüüsides fotot - Fotograafia - 2019

MIT's AI System "Pic2Recipe" Predicts recipes from photos | QPT (Juuli 2019).

Anonim

Toidu fotograafi kerimine toob kaasa soovi kodus roogi uuesti luua, aga kui koostisained pole loetletud? Kas on võimalik leida pilti lihtsalt analüüsides? Just seda küsisid Massachusettsi Tehnoloogiainstituudi teadlased, kes soovisid luua sügava õppimisalgoritmi, mis võiks ennustada ainult fotol põhinevat retsepti. 20. juulil avaldatud uuringu tulemuseks oli programm Pic2Recipe, mis suudaks täpselt prognoosida fotodele mõeldud roogi retsepti, mille 65-protsendiline edukus.

Varasemad katsed muuta fotosid retseptidesse olid piiratud väiksemate andmekogumitega - kuigi "väike" on kõigi võimalike retseptidega võrreldes. Ühes uuringus kasutati 65 000 retsepti, kuid see hõlmas vaid traditsioonilist hiina kööki; teises oli ainult esialgse testimisega umbes 50-protsendiline täpsus. Kuna sügava õppimise algoritmid "õpivad", et neid ei toidetaks suurel hulgal andmemahtu, ei saadud nende tulemuste programmides potentsiaalsete koostisosade kohta suuri lünki, mõjutades programmi täpsust.

Suurima andmebaasi loomiseks teadis MIT-i arvutiteaduse ja -tehnoloogia labori (CSAIL) teadur, et tarkvara peaks põhinema laiaulatuslikul andmekogumikul. Selle kitsa andmekogumi lahendamiseks läks meeskond juba olemasolevatele fotodele ja retseptidele - toidulehtedele. Andmete kogumine sellistest kohtadest nagu Food.com ja Kõik retseptid moodustas meeskonna Recipe1M, mis sisaldab üle miljoni retsepti.

Nende retseptide ja nendega seotud kujutiste abil võis meeskond õpetada tarkvara, et kasutada objektide tuvastamist, et saada teavet iga toidukorra koostisosade kohta. Koostisainete loendiga valis süsteem seejärel nimekirja kõige paremini vastava retsepti. Pic2Recipe suutis tunnustada koostisosi nagu jahu, mune ja võid.

Programm ei tuvasta fotost retsept - see loob koostisosade loendi. Selle loendiga saab programm seejärel läbi selle ühe miljoni retsept andmebaasi ja valida selle koostisainetega, mis vastavad loendist fotost.

"Arvuti visioonis on toit enamasti tähelepanuta jäetud, sest meil pole prognoose koostamiseks vajalikke laiaulatuslikke andmekogumeid, " ütles doktorantöör Yusuf Aytar, kes koos kirjutas MIT-i professor Antonio Torralba. "Kuid näiliselt kasutud fotod sotsiaalmeedias võivad tegelikult pakkuda väärtuslikku ülevaadet tervislikest harjumustest ja toitumisalastest eelistustest."

Kuna arvutis on seda suurt andmekogumit juba olemas, on see võimeline ka võtma mitmeid erinevaid mudeleid, näiteks on keskmisel retseptil üheksa koostisosa ja kõige populaarsem on sool, või, suhkur, oliiviõli, vesi, munad, küüslauguküünt, piim, jahu ja sibul.

Tarkvaral võib olla mitu erinevat reaalmaailma kasutust. Inimene võis restorani fotost pilte teha, et teada saada, kuidas pannil kodus teha või jälgida oma isiklikku toitu.

Programm, kuigi see sisaldab laiemat andmekogumit kui varasemad katsed, on endiselt vähe lünki. Uurijad ütlesid, et programmis on probleeme veidi vähem kahetsusväärsete nõudega, nagu näiteks suupisteid ja sushi rulluistu. Sarnased retseptid mitmete erinevate variatsioonidega, näiteks lasanjega, kippusid programmi segamini ajama.

Rühm kavatseb programmi edasiarendamist jätkata ja isegi loota, et anda süsteemile võimalus rääkida, kuidas midagi on keedetud, näiteks hautatud ja kuubikute vahele. Edasine töö võiks ka laiendada programmi võimet ära tunda spetsiifilisi koostisosi, nagu näiteks sibulatüübi määratlemise asemel lihtsalt sibula nimekirja.

Te ei pea ootama, kuni Pic2Recipe muutub täiuslikuks rakenduseks, et seda proovida. Interneti-versioon võimaldab kasutajatel pilte üles laadida ja proovida.