IBM sugalvojo, kaip būtų galima dirbtinį intelektą pakelti į visiškai naują spartos lygį: reikėtų naudoti visiškai kitokią atmintį ()
Įsivaizduokite personalizuotą dirbtinį intelektą (DI), jūsų išmanųjį telefoną paverčiantį protingu padėjėju, galinčiu atpažinti jūsų balsą netgi triukšmingame kambaryje, suprantančiu įvairių socialinių situacijų kontekstą ar pateikiantį tik išties jums svarbią informaciją, išgriebtą iš kasdien mus užliejančio informacijos srauto. Tokios galimybės gali būti pasiekiamos jau netrukus – bet norint jas pasiekti, reikia greitų, galingų ir efektyviai energiją naudojančių dirbtino intelekto techninės įrangos spartintuvų.
Prisijunk prie technologijos.lt komandos!
Laisvas grafikas, uždarbis, daug įdomių veiklų. Patirtis nebūtina, reikia tik entuziazmo.
Sudomino? Užpildyk šią anketą!
Naujausiame Nature publikuotame straipsnyje, IBM Research DI komanda pademonstravo giliojo neurotinklo (deep neural network – DNN) treniravimą dideliais analoginės atminties įrenginių masyvais, kuris buvo toks pat tikslus, kaip ir GPU paremta sistema. Tai svarbus žingsnis link techninės įrangos, būtinos kitiems DI proveržiams, nes būtina gerokai išplėsti DI skaičiavimų mastelį.
DNN turi tapti didesni ir spartesni, tiek debesų kompiuterijoje, tiek įprastuose įrenginiuose – o tam būtina, kad dramatiškai pagerinti energijos efektyvumą. Nors geresni GPU ar kiti skaitmeniniai spartintuvai šiek tiek gali padėti, tokios sistemos neišvengiamai daug laiko ir energijos sunaudoja duomenų perkėlimui iš atminties apdorojimui ir atgal. Greitį ir energijos naudojimo efektyvumą galime pagerinti, atlikdami DI skaičiavimus analoginiais įrenginiais ten, kur duomenys jau yra – bet taip daryti prasminga tik jei gaunami neurotinklai bus tokie pat išmanūs, kaip ir sukurti, naudojant įprastinę, skaitmeninę „geležį“.
Analoginių technologijų, kuriose signalai kinta sklandžiai, o ne įgaudami tik diskretines 0 ar 1 reikšmes, tikslumas yra ribotas – todėl moderniuose kompiuteriuose paprastai naudojama skaitmeninės technika. Tačiau DI tyrėjai pradėjo suvokti, kad jų DNN modeliai puikiausiai veikia netgi sumažinus tikslumą iki nepakankamo praktiškai jokiems kitiems kompiuterio panaudojimams. Taigi, gali būti, kad čia galėtų tikti ir analoginiai skaičiavimai.
Tačiau lig šiol niekas nebuvo vienareikšmiškai įrodęs, kad analoginiu būdu galima pasiekti tokius pat rezultatus, kaip ir dabar naudojama skaitmenine įranga. Tai yra, ar naudojant tokią techniką, DNN išties galima ištreniruoti tokiu pat dideliu tikslumu? Būtų maža prasmės sparčiau ar efektyviau treniruoti DNN, jei gaunamas klasifikavimo tikslumas visad būtų nepriimtinai mažas.
Straipsnyje aprašoma, kaip analoginė pastovioji atmintis (NVM) gali efektyviai paspartinti „atgalinio klaidos plitimo“ metodo algoritmą, kuriuo pagrįsti daugelis šiuolaikinių DI pasiekimų. Tokioje atmintyje „dauginimo–kaupimo“ operacijas galima atlikti lygiagrečiai analoginiame masyve, kur yra duomenys. Užuot naudojus didelius grandynus skaičių dauginimui ir sumavimui, paprasčiausiai per rezistorių pasiunčiama silpna srovė ir daug tokių laidų sujungiama, kad srovės susidėtų. Taip galima atlikti daug skaičiavimų vienu metu, o ne vieną po kitos. Ir užuot kilnojus skaitmeninius duomenis tarp skaitmeninės atminties ir juos apdorojančių lustų, visus skaičiavimus galime atlikti analoginiuose atminties lustuose.
Tačiau dėl dabartiniuose analoginiuose atminties prietaisų esančių netobulumų, ankstesni DNN treniravimo bandymais su dideliais NVM masyvais pasiekti programine įranga treniruotų tinklų tikslumo nepavyko.
Apjungiant ilgalaikį saugojimą fazinio kitimo atminties (phase-change memory – PCM) įrenginiuose, beveik tiesinį įprastinių CMOS kondensatorių atnaujinimą ir naujoviškas, prietaisų kintamumo padedančias išvengti technikas, pavyko ištaisyti šiuos netobulumus įvairiuose tinkluose pasiekti DNN tikslumą, prilygstantį gaunamam programiniu būdu. Šiuose eksperimentuose naudoti įvairūs techninės ir programinės įrangos komplektavimo būdai, kombinuojant programines lengvai modeliuojamų sisteminių elementų (tarkime, CMOS įrenginių) simuliacijas su fiziniais PCM įrenginiais. Realius analoginius įrenginius neurotinkluose panaudoti buvo labai svarbu, nes tokių naujoviškų įrenginių modeliavimas dažnai neparodo galimo tokių įrenginių kintamumo.
Taip buvo patvirtinta, kad lustai išties turėtų veikti tokiu pat tikslumu, tad ir atlikti tokį pat darbą, kaip ir skaitmeniniai spartintuvai – bet greičiau ir naudodami mažiau energijos. Šie rezultatai paskatino imtis IBM Research Frontiers instituto projekto – tokių lustų prototipų kūrimo.
Pradiniais tokių NVM lustų dizaino vertinimas pateikiamais Nature straipsnyje – visiškai sujungtų sluoksnių treniravimo potencialas, skaičiavimo energetinio efektyvumas (28 065 GOP/sec/W) ir ploto pralaidumas (3,6 TOP/sec/mm2). Šios reikšmės dabartinių GPU specifikacijas lenkia dviem skaičių dydžio eilėmis. Be to, būtent apdorojant visiškai sujungtų sluoksnių neurotinklus, GPU našumas dažnai būna gerokai mažesnis už nurodytas specifikacijas.
Straipsnyje nurodoma, kad NVM pagrįstas būdas gali pateikti dabar naudojamiems būdams prilygstantį tikslumą bei šimtus kartų didesnę spartą ir energijos efektyvumą, nepaisant egzistuojančių analoginių prietaisų netobulumų. Kitas žingsnis bus ekvivalentiškumo demonstravimas su dideliais, visiškai sujungtais sluoksniais ir NVM pagrįstais spartintuvais analoginių technikų kūrimas, įgyvendinimas ir tobulinimas. Šiam tikslui optimizuotos naujos ir geresnės analoginės atminties formos galėtų dar pagerinti tiek elementų tankumą, tiek energijos efektyvumą.
Stefano Ambrogio
IBM
phys.org