Nuolatinis mokymasis. Ar dirbtinis intelektas gali būti priverstas ką nors pamiršti? ()
Kalbatės su ChatGPT arba „Gemini“ ir netyčia pateikiate dirbtiniam intelektui informaciją, kurios jis neturėjo turėti.
© Public Domain Pictures | https://www.publicdomainpictures.net/en/view-image.php?image=554207&picture=who-am-i
Prisijunk prie technologijos.lt komandos!
Laisvas grafikas, uždarbis, daug įdomių veiklų. Patirtis nebūtina, reikia tik entuziazmo.
Sudomino? Užpildyk šią anketą!
Ši informacija saugoma LLM modelio atmintyje ir gali būti naudojama atsakymuose kitiems žmonėms. Ar tai galima atšaukti?
Pasirodo, tai įmanoma, nors „neprisiminimas“ yra sudėtingas ir brangus procesas, panašus į prisiminimų ištrynimą iš žmogaus smegenų. Mokslininkai šiuo metu tiria detales naudodami įrankį, vadinamą „Hubble“.
Žmonės gali atsikratyti žinių. O kaip dirbtinis intelektas?
Žmogaus vystymasis apima ne tik naujų dalykų įsiminimą, bet ir nereikalingo, klaidingo, toksiško ar nepageidaujamo turinio ištuštinimą iš proto. Nors neturime veiksmingos atminties trynimo technikos, pavyzdžiui, žalingų įpročių „atsisakymas“ yra visiškai įmanomas dėl neuroplastiškumo.
Su kompiuteriais tai daug paprasčiau. Duomenų ištrynimas iš masinės atminties yra paprasta operacija, tačiau kai dalyvauja sudėtingos sistemos, pagrįstos smegenų architektūra, pavyzdžiui, dideli kalbos modeliai, viskas tampa sudėtingiau.
Nors dirbtinis intelektas, regis, sugeria informaciją kaip kempinė, jis geba „prisiminti“. Tai iš esmės vienas iš reikalavimų, kuriuos atsakingam dirbtiniam intelektui kelia jo kūrėjai, ir tai taip pat savybė, priklausanti nuo iki šiol surinktų duomenų laiko ir kiekio.
Kai modelis gauna jautrių duomenų, pavyzdžiui, susijusių su nacionaliniu saugumu, kenkiančių vartotojams arba kilusių iš „uždraustų žinių“ srities, LLM administratoriai gali juos rankiniu būdu pašalinti, kad pokalbių robotas nebegalėtų jų pasiekti.
|
LLM, kurie valdo populiarias dirbtinio intelekto programas, tokias kaip ChatGPT, „Copilot“, „Gemini“, „Claude“ ir „Grok“, intensyviai naudoja vieną iš pagrindinių dirbtinio intelekto galimybių: mašininį mokymąsi. Jie mokosi ne tik mokydamiesi su didžiuliais duomenų rinkiniais prieš paleidimą, bet ir kiekvienos naudotojo sąveikos metu, nebent ši funkcija būtų išjungta – kaip yra komercinių programų, tokių kaip „Microsoft 365 Copilot“, atveju, kurioms galima tiekti įmonės duomenis nebijant, kad jie bus naudojami tolesniam modelių mokymui.
Netobuli metodai, kaip ištrinti prisiminimus iš dirbtinio intelekto modelių
Kaip dirbtinio intelekto modeliai įsimena ir atkuria jautrius duomenis, yra mokslininkų domėjimosi tema.
Kaip praneša prestižinis žurnalas „Science“, naujas įrankis, vadinamas „Hubble“, dabar sukurtas siekiant palengvinti šių procesų tyrimą.
Tai taikoma ne tik naudotojų duomenims, kurie neatsargiai bendrinami su pokalbių robotu, bet ir duomenims, gautiems iš interneto ir knygų, iš autorių teisių saugomų leidinių, kurie dažnai yra iškraipomi arba plagijuojami, todėl leidėjai patiria nuostolių, dėl kurių dažnai paduoda į teismą tokius milžinus kaip „OpenAI“, „Google“ ir „Microsoft“.
Šis reiškinys, vadinamas įsiminimu, tapo rimta problema dirbtinio intelekto kūrėjams. Todėl jiems naudinga priversti modelius „pamiršti“ tam tikrą turinį. Bet kaip tiksliai tai pasiekiama?
Nors gali atrodyti, kad dirbtinio intelekto modelis yra duomenų bazė, iš kurios galite tiesiog ištrinti įrašą, iš tikrųjų LLM labiau primena žmogaus smegenis. Gavus informaciją, ji išsklaidoma milijonuose jungčių ir negali būti užfiksuota vienu metu.
Pavyzdžiui, kai modelis sužino apie konkretų programos vartotoją, jis nesukuria failo pavadinimu „John Smith“, o subtiliai modifikuoja parametrus visoje sistemoje, kad numatytų su tuo asmeniu susijusius žodžius. Bandyti „iškirpti“ šią informaciją nepažeidžiant likusių modelio žinių yra labai sunku, bet įmanoma.
Dirbtinio intelekto kūrėjai naudoja kelis įsiminimo prevencijos metodus, įskaitant:
- Filtravimas – modelio nurodymas neatskleisti konkrečių duomenų. Šis metodas nėra labai efektyvus, nes daugeliui vartotojų pavyko įtikinti modelį atskleisti šiuos duomenis. Jis juos vis tiek prisimena, bet apie juos nekalba.
- Mašininis mokymosi praradimas – mašininio mokymosi priešingybė. Kūrėjai bando iš naujo apmokyti modelio dalis duomenimis, kurie skirti perrašyti arba iš naujo nustatyti konkrečias žinias. Tai skaičiavimo požiūriu brangus procesas ir kelia katastrofiško užmiršimo riziką – reiškinį, kai modelis, pavyzdžiui, ištrindamas jūsų adresą, pamiršta, kaip teisingai sudaryti sakinius lenkų kalba. Hablas tyrinėja šiuos procesus.
- Triukšmo injekcija – mokymo pradžioje įvesti duomenys greičiausiai bus užmaskuoti vėlesne informacija. Todėl tyrėjai ieško metodų, kurie sumažintų jautrių duomenų svarbą modeliui ir apsunkintų jų atkartojimą pažodžiui.
Visa tai labiau panašu į psichologiją nei į klasikinę informatiką, kurioje failo ištrynimas ir tam tikros atminties ląstelės ar standžiojo disko sektoriaus perrašymas yra vos kelių paspaudimų reikalas.
Mokslininkai turi naują įrankį LLM įsiminimui tirti
Iki šiol suprasti įsiminimo mechanizmus buvo sunku dėl milžiniškų skaičiavimo sąnaudų, reikalingų patikimiems tyrimams atlikti.
Vėliau šį mėnesį Brazilijoje vyksiančioje dirbtinio intelekto konferencijoje Pietų Kalifornijos universiteto ir Maxo Plancko instituto komanda pristatys „Hubble“. Tai ne garsusis kosminis teleskopas, o pirmoji atvirojo kodo priemonė, specialiai sukurta šiai problemai tirti.
„Labai tikimės, kad „Hubble“ leis atlikti daugiau įsiminimo tyrimų“, – aiškina Johnny Wei iš USC, vienas iš projekto kūrėjų.
Pagrindinis šio reiškinio tyrimo sunkumas yra tas, kad LLM modeliai vystosi nenuspėjamai. Robin Jia, USC kompiuterių mokslininkė, pažymi, kad „jie yra apmokyti – jie nėra iš tikrųjų sukurti įprasta prasme“.
Dėl to jų elgesys keičiasi, kai jie apdoroja naujus duomenis. Norėdami tiksliai ištirti tam tikros informacijos poveikį, mokslininkai turi apmokyti du atskirus modelius – vieną su įterptais duomenimis, o kitą – su valdymu – tam reikia tūkstančių procesoriaus valandų. Remiama Nacionalinio mokslo fondo ir NVIDIA , kuri suteikė 200 000 skaičiavimo valandų, „Hubble“ komanda sukūrė daugiau nei 20 pritaikytų bandymų modelių.
Selektyvus užmiršimas yra labai sunkus
Eksperimentų metu tyrėjai tikrino, kaip gerai modeliai įsiminė tekstus iš Vikipedijos, „Project Gutenberg“ ir netgi perfrazavo autorių teisių saugomus kūrinius. Jie taip pat analizavo asmeninių duomenų išsaugojimą įvedant fiktyvias biografijas ir pokalbių žurnalus.
Nors patikimo būdo užkirsti kelią įsiminimui nerasta, tyrėjai patvirtino pagrindinę teoriją: vėlesniame mokymo proceso etape įvesti duomenys yra žymiai labiau linkę įsiminti.
Dėl to susidaro situacija, kurią Robin Jia vadina „dviašmeniu kardu“. Šiuolaikiniai mokymo metodai sąmoningai vertingiausius tekstus pateikia proceso pabaigoje, kad modelis galėtų juos geriau įsisavinti.
Tačiau bandymai selektyviai slėpti jautrius duomenis ankstesniuose etapuose gali sukelti „katastrofiško užmiršimo“ reiškinį, kai modelis praranda gebėjimą prisiminti svarbią informaciją, išmoktą pradžioje. Stella Biderman iš „EleutherAI“ mano, kad „Hubble“, dėl savo masto ir specializuotos paskirties, leis atlikti daug platesnius tyrimus nei esami įrankiai.
„Esu visiškai įsitikinusi, kad su „Hubble“ galima atlikti daugiau tyrimų nei su „Pythia“, – sako ekspertė.
Ypatingų vilčių dedama į „Hubble“ panaudojimą „išmokimosi“ arba „atminimo iš atminties“ (minėto „mašininio mokymosi iš atminties“) metodams išbandyti, t. y. modeliams derinti taip, lyg jie niekada nebūtų matę konkrečių duomenų.
Projekto detalės bus oficialiai pristatytos balandžio 23 d. Rio de Žaneire vyksiančioje 14-ojoje tarptautinėje mokymosi reprezentacijų konferencijoje.
