„Priežastis, kodėl jie taip daro, yra ta, kad kuo mažiau klaidingų neigiamų įvertinimų jie turės, tuo bus daugiau klaidingų teigiamų įvertinimų. Šiuo atveju simetrijos nėra: yra tiek daug tikrų neigiamų atsakymų, jog nuleidus ribą tam, kad klaidingi neigiami įvertinimai sumažėtų vienetu, tektų pripažinti daug tūkstančių papildomų klaidingų teigiamų įvertinimų. Dėl to buvo priimtas toks sprendimas“, – aiškino P. Ballas.

Vienoje NSA skaidrėje giriamasi: „Statistiniai algoritmai sugeba nustatyti kurjerius prie labai žemų klaidingo pavojaus rodiklių, jeigu mums leidžiama pražiopsoti pusę iš jų“.

Tačiau ką NSA turi galvoje, sakydama „labai žemas“?

„Visiškas šlamštas“

Pasak P. Ballo, problema ta, kaip NSA moko algoritmą pamatinių tiesų.

NSA įvertina „Skynet“ programą, pasitelkdama 100 tūkst. atsitiktinai parinktų žmonių poaibį (identifikuotų pagal jų mobiliųjų telefonų MSIDN/MSI) ir žinomų septynių teroristų grupę. NSA tuomet treniruoja mokytis gebantį algoritmą, pristatydama jam šešis teroristus ir liepdama „Skynet“ surasti septintąjį.

„Visų pirma, modelio tikrinimui ir treniravimui naudojama labai mažai „žinomų teroristų“, – teigė P. Ballas. – Jeigu jie modelio treniravimui naudoja tuos pačius įrašus, kaip ir modelio patikrinimui, tuomet jų tinkamumo įvertinimas yra visiškas šlamštas.

Pagal įprastą praktiką, kai kurie duomenys specialiai nenaudojami treniravimo procesui, kad į patikrinimą būtų įtraukti įrašai, kurių modelis niekada nematė. Be šio žingsnio jų klasifikacijos įvertinimas tampa absurdiškai optimistiškas“.

Priežastis ta, kad 100 tūkst. asmenų buvo atrinkti atsitiktinai, o septyni teroristai yra iš žinomos grupės. Atsitiktinai atrenkant miniatiūrinį poaibį, kuris sudaro mažiau negu 0,1 proc. visos populiacijos, socialinės piliečių diagramos tankumas smarkai sumažėja, o teroristų grupelė lieka tvirtai susieta. Vadovaujantis moksline statistine analize, NSA prieš atsitiktinę poaibio atranką turėjo įmaišyti teroristus tarp gyventojų – tačiau dėl mažo jų skaičiaus tai nėra praktiška.

Iš pirmo žvilgsnio tai gali atrodyti tik akademinė problema, bet, P. Ballo teigimu, tai iš tikrųjų daro didelę žalą rezultatų kokybei ir, galiausiai, klasifikacijos bei teroristais pripažintų asmenų nužudymo tikslumui. Šiuo atveju įvertinimo kokybė yra itin svarbi, nes atsitiktinio miško metodas, analizuodamas treniravimosi duomenis, būna linkęs „persistengti“ ir pateikia rezultatus, kurie būna pernelyg optimistiniai. Taigi NSA analizė nėra geras šio metodo kokybės rodiklis.

Jeigu 50 proc. klaidingų neigiamų rezultatų (t. y. tikrųjų teroristų) leidžiama išgyventi, NSA klaidingų teigiamų rezultatų rodiklis, siekiantis 0,18 proc., reiškia, kad vis dar tūkstančiai nekaltų žmonių gali būti pripažinti teroristais ir galbūt nužudyti. Net prie optimistiškiausio rodiklio – 0,008 proc. klaidingų teigiamų rezultatų – gali būti nužudyta daug nekaltų žmonių.

„Skaidrėje su klaidingais teigiamais rezultatais atkreipkite dėmesį į paskutinę eilutę, kurioje rašoma „+ Anchory Selectors“, – teigė G. Danezisas. – Tai esmė, ir skaičiai nenurodomi… Jei 55 mln. gyventojų pritaikysi klasifikatorių, kurio klaidingų teigiamų rezultatų rodiklis siekia 0,18 proc., tuomet tikrai nužudysi tūkstančius nekaltų žmonių (0,18 proc. nuo 55 mln. žmonių yra 99 tūkst. asmenų). Tačiau jei pritaikysi jį populiacijai, kurioje jau tikimasi didelio „terorizmo“ paplitimo, tuomet pirmasis kils aukštyn ir tu nužudysi mažiau nekaltų žmonių“.

Be akivaizdžių prieštaravimų, kiek nekaltų žmonių yra priimtina nužudyti, tai tuo pačiu perša mintį, kad egzistuoja daug teroristų, kuriuos reikia identifikuoti. „Mes žinome, kad „tikrų teroristų“ dalis tarp visų gyventojų yra labai maža, – pažymėjo P. Ballas. – Kaip teigia Cory (Doctorow – aut. past.), jei tai būtų netiesa, mes jau visi būtume žuvę. Taigi mažas klaidingų teigiamų rezultatų rodiklis reikš, kad daugybė žmonių neteisingai būtų pripažinti teroristais“.

„Dar svarbiau, kad šis modelis nepastebės „tikrų teroristų“, kurie statistiškai skiriasi nuo „tikrų teroristų“, kurie buvo naudojami modeliui treniruoti“, – pridūrė P. Ballas.

Daugeliu atvejų 0,008 proc. nesėkmės rodiklis būtų puikus…

0,008 proc. siekiantis klaidingų teigiamų rezultatų rodiklis tradiciniam verslui būtų itin žemas. Toks rodiklis būtų priimtinas, jei, pavyzdžiui, pagal gautus rezultatus reklama būtų parodyta ne tam žmogui arba kažkam per klaidą būtų pritaikyta aukščiausia kaina.

Tačiau 0,008 proc. Pakistano gyventojų vis dar reiškia, kad „teroristais“ per klaidą gali būti pripažinti 15 tūkst. žmonių. Jie gali tapti kariuomenės taikiniais, nekalbant apie niekuo dėtus praeivius ar atsitiktinai pasimaišiusius asmenis.

Su tuo sutinka saugumo guru Bruce`as Schneieris. „Vyriausybės didžiųjų duomenų panaudojimas iš prigimties skiriasi nuo korporacinio panaudojimo, – sakė jis „Ars“. – Tikslumo reikalavimai reiškia, kad ta pati technologija yra neveiksminga. Jei „Google“ padaro klaidą, žmonės pamato automobilio, kurio jie visai neketina pirkti, reklamą. Jei vyriausybė padaro klaidą, žūsta nekalti žmonės“.

Žudyti civilius gyventojus draudžia Ženevos konvencija, kurią yra pasirašiusios ir Jungtinės Valstijos. Tačiau daug faktų apie programą „Skynet“ lieka nežinomi. Pavyzdžiui, ar „Skynet“ yra uždaros kilpos sistema, ar analitikai peržiūri kiekvieno mobiliojo telefono vartotojo profilį, prieš pasmerkdami jį mirčiai pagal metaduomenis? Ar stengiamasi sučiupti šiuos įtariamus „teroristus“ ir pradėti jų teismą? Kaip gali JAV vyriausybė būti tikra, kad ji nežudo nekaltų žmonių, turint galvoje mokytis gebančios mašinos algoritmo, pagal kurį sudaromas taikinių sąrašas, trūkumus?

„Spręsti, ar „Skynet“ yra karo nusikaltimas, palieku teisininkams, – sakė P. Ballas. – Tai blogas mokslas, nes klasifikacija iš prigimties yra tikimybinė. Jei ketini kažką pasmerkti mirčiai, paprastai mes turime „be jokios pagrįstos abejonės“ standartą, kurio neįmanoma pritaikyti kalbant apie žmones su „tikėtino teroristo“ balais. Ir taip yra, turint galvoje, kad klasifikatorius dirba, nors aš tuo abejoju, nes atsitiktiniam miškui paprasčiausiai trūksta pakankamo kiekio teigiamų teroristų pavyzdžių, kad jis sudarytų gerą jų modelį“.

Nutekėjusias NSA skaidres galima laikyti stipriu įrodymu, kad teroristais pripažįstami tūkstančiai nekaltų žmonių. Kas būna po to, mes nežinome. Mes neturime išsamaus paveikslo, o NSA šių spragų taip pat neužpildys. (Žurnalistai prašė NSA pakomentuoti šią istoriją, bet kol straipsnis buvo ruošiamas, ji taip ir neatsiliepė.)

Algoritmai vis labiau valdo mūsų gyvenimą. Tėra mažas žingsnis nuo „Skynet“ logikos pritaikymo teroristų paieškai Pakistane iki tos pačios logikos taikymo savo pačių valstybėje ieškant „narkotikų prekeivių“, „protestuotojų“ ar tiesiog asmenų, nesutinkančių su valdžia. Kaip sakė Haydenas, lengva užmerkti akis prieš žmonių žudymą „pagal metaduomenis“, kai tai vyksta toli, svetimoje žemėje. Tačiau kas bus, kai „Skynet“ atsisuks į mus (jei taip dar neįvyko)?

Christianas Grothoffas vadovauja „Decentralise“ tyrimų komandai Prancūzijos kompiuterių mokslų ir automatikos tyrinėjimų institute (INRIA). Kalifornijos universitete Los Andžele jis yra apsigynęs kompiuterių mokslų daktaro laipsnį. Jis taip pat dirba laisvai samdomu žurnalistu, rašančiu apie technologijas ir nacionalinį saugumą.

J. M. Porupas yra laisvai samdomas kibernetinio saugumo reporteris, gyvenantis Toronte. Jis yra išreiškęs norą, kad jam mirus, epitafija skelbtų: „Manykite, kad tai pažeidimas“ („Assume breach“).

Komentarai ()