Vincentas Lamanauskas. Mokslinės veiklos vertinimas: tarp kokybės ir mokslo imitavimo (1)
Mokslinės veiklos vertinimas kaip niekada tampa aktualus ir netgi itin aštrus klausimas, sukeliantis įvairių diskusijų. Gal ir nebūtų tokių aštrių diskusijų, jei tai nebūtų tiesiogiai susiję su mokslo ir studijų institucijų finansavimu. Kur pinigai, ten ir problemos.
Prisijunk prie technologijos.lt komandos!
Laisvas grafikas, uždarbis, daug įdomių veiklų. Patirtis nebūtina, reikia tik entuziazmo.
Sudomino? Užpildyk šią anketą!
Problema, ko gero, dažniausiai yra ta, kad be diskusijų toliau nelabai kas ir vyksta. Tenka konstatuoti, kad kas kartą pasigendama pačios diskusijų kultūros, kitų oponuojančių nuomonių padoraus išklausymo. Toks įspūdis itin sustiprėjo po eilinės diskusijos š. m. spalio 11 d., kurią organizavo Lietuvos mokslo tarybos Mokslinės veiklos vertinimo komisija. Paradoksalu jau vien tai, kad diskutuota buvo „post factum“ principu. Patikslinu – vykusios diskusijos objektas buvo mokslo ir studijų institucijų mokslo (meno) darbų vertinimo metodika, kuri buvo oficialiai patvirtinta švietimo ir mokslo ministro 2010 m. liepos 10 d. įsakymu Nr. V-1128. Minėta diskusija tarsi buvo skirta metodikai aptarti.
Aptarimas ir negalėjo būti vaisingas vien jau dėl to, kad dokumentas patvirtintas ir prasmės diskutuoti kaip ir nėra. Kita vertus, joks dokumentas nėra „šventa karvė“, kuris negalėtų būti taisomas bei tobulinamas. Belieka tikėtis, kad įvykusi diskusija bent kiek inicijavo būtinus pokyčius bei privertė susimąstyti minėto dokumento rengėjus.
Metodikos spragos
Kaip žinoma, nėra tobulų dokumentų. Sunku parengti juos tokius, kad pastarieji tenkintų visas suinteresuotas grupes. Kita vertus, reikia stengtis parengti maksimaliai protingą dokumentą. Įvairios mokslinės veiklos vertinimo problemos, kurios faktiškai „integruotos“ į patvirtintą metodiką, ne kartą viešai aptartos. Gana išsamiai pagrindines problemas aptarė R. Norvaiša ir A. Račkauskas. Ypatingas dėmesys skirtas formaliojo vertinimo problematikai. Dar kartą reikėtų akcentuoti, kad mokslų klasifikavimas į grupes patvirtintoje metodikoje yra itin dirbtinis ir biurokratiškas. Jau vien tai, jog socialiniai ir humanitariniai mokslai yra sujungti į vieną grupę, o vadinasi ir šių mokslo sričių darbai praktiškai bus vertinami vienodai, yra nelogiška. Juk absoliučiai akivaizdu, kad ekonomikos ir filologijos darbų vertinimas iš esmės skirtingas. Daug specifinių dalykų rastume, jei paanalizuotume kitas mokslų kryptis.
Nekeliant tikslo aptarti visus metodikos niuansus, paminėsime tik keletą jų. Visų pirma nėra teisinga į vieną dokumentą sujungti mokslą ir meną, kad ir kaip šiuolaikiškai tai atrodytų. Meno darbų (meninės veiklos) vertinimas yra specifinis, ir jis galėtų būti aptartas atskirame dokumente. Tai jokiu būdu nesumenkintų meno reikšmės visuomenės gyvenime.
Kitas dalykas – metodikoje vartojamos ir aptartos kai kurios sąvokos. Viena vertus, jos yra neišsamios, kita vertus, kai kurios kelia pagrįstų abejonių – yra neaiškios, dviprasmiškos. Pavyzdžiui, sąvoka „kultūros ir profesiniai leidiniai“. Paaiškinama, kad tai yra leidiniai, skirti humanitarinių ir socialinių mokslų profesinei auditorijai. Visų pirma nėra aišku, kas yra ta profesinė auditorija. Antras dalykas – galima įžvelgti savotišką diskriminaciją. Juk gamtos mokslų srityje taip pat gausu įvairių profesinių leidinių, pavyzdžiui, „Fizikų žinios“ (fizikos populiarinimo žurnalas Lietuvoje, leidžia Lietuvos fizikų draugija), „Žaliasis pasaulis“ (savaitraštis gamtininkams), „Mokslas ir gyvenimas“ (mokslo populiarinimo ir mokslo istorijos mėnesinis žurnalas) ir daugybė kitų. Galima manyti, kad tai smulkmena, tačiau tai rodo, jog dokumento rengėjai reikiamai neįvertino visų niuansų. Pagaliau, jei kalbame apie mokslo vertinimą, tai minėti leidiniai praktiškai su tuo nesusiję, t. y. negali būti vertinami kaip moksliniai leidiniai.
Kitas abejonių keliantis terminas – „konferencijos darbų leidinys“. Metodikoje teigiama, kad tai „vienkartinis leidinys ar serijinio leidinio tomas, kuriame spausdinami mokslo konferencijos pranešimų turinį atitinkantys tekstai, nepraėję recenzuojamiems leidiniams įprastos recenzavimo procedūros“. Tokia definicija kelia pagrįstų abejonių. Visų pirma čia kalbama tik apie konferencijas. Tačiau mokslo pasaulyje žinomos ir kitos mokslo renginių formos, tokios kaip, pavyzdžiui, simpoziumai ar mokslo kongresai. Ir dažniausiai rimtuose tarptautiniuose simpoziumuose ar kongresuose pristatomi itin reikšmingi mokslo pasiekimai, vykdoma greita mokslo rezultatų sklaida, keičiamasi idėjomis, buriamasi į tarptautines mokslines komandas ir t. t.
Mokslo pasaulyje tokie renginiai gana aukštai vertinami, dažnai į juos patekti gana sunku, jau nekalbant apie finansinius klausimus.
Štai š. m. birželio 13–18 d. Slovėnijoje vyko XIV tarptautinis simpoziumas „Sociokultūrinės ir žmogiškosios vertybės gamtamoksliniame ir technologiniame ugdyme“ (angl. Socio-cultural and Human Values in Science and Technology Education). Šį simpoziumą organizavo IOSTE – tarptautinė gamtamokslinio ir technologinio ugdymo organizacija, vienijanti mokslininkus iš viso pasaulio. Tai aukštą reitingą mokslo pasaulyje turinti organizacija. Nekalbant apie simpoziumo detales, reikia pasakyti, kad simpoziumui buvo pateikti 426 darbai (angl. proposals). Tik 351 buvo priimtas, 75 buvo atmesti (angl. rejected). Kiekvieną pateiktą darbą vertino du nepriklausomi recenzentai. Pateiktų darbų koregavimas, tobulinimas pagal recenzentų pastabas vyko net dviem etapais. Pagaliau išleistus simpoziumo darbus buvo galima papildomai taisyti, kad vėliau jie būtų pateikti tarptautinei mokslinės informacijos duomenų bazei Thomson Reuters. Tokių pavyzdžių būtų galima pateikti daug. Akivaizdu, jog konferencijų, simpoziumų ar kongresų darbai dažniausiai yra recenzuojami, taikant įprastą tarptautinę praktiką (peer-review). Vadinasi, šiuo požiūriu lietuviškoje metodikoje vartojama sąvoka ir konferencijos darbų traktavimas yra daugiau nei vienpusiškas.
Metodikoje yra ir daugiau įvairių netikslumų ir netobulumo. Tarkime, apskritai neaišku, koks skirtumas tarp „mokslo straipsnio“ ir „akademinės publikacijos“. Aptarta sąvoka „aukštosios mokyklos vadovėlis“. Tačiau kaip tai siejama su mokslu? Vadovėlis yra didaktinis, bet ne mokslinis darbas. Visiškai nesuprantama sąvoka „Tarptautiniu mastu pripažinta mokslo leidykla“. Metodikoje teigiama, kad tai turi būti leidykla, kuri nuolat publikuoja daugelio šalių mokslininkų darbus ir daugelyje šalių platinanti produkciją. Pagal šį nusakymą ne viena Lietuvos leidykla ar kokia nors asociacija užsiimanti leidyba galėtų pretenduoti į tokį rangą. Ypač ta, kuri leidžia bent vieną tarptautinį mokslo žurnalą. Metodikoje aptariamos santrumpos ISBN, ISSN ir kitos, tačiau visiškai eliminuota santrumpa ISMN, nors metodika skirta ir meno darbams vertinti.
Niekaip nesuprantamas mokslo darbų išskyrimas į du lygmenis. Kodėl tuomet ne į tris ar keturis?! Tarptautinėje praktikoje yra įprasta išskirti bent tris lygmenis: vietinį, nacionalinį ir tarptautinį. Tai visai kita logika pagrįstas skirstymas, kuris parodo, kokios apimties yra konkretus mokslo darbas. Metodikoje numatyta, kad institucija pati savo nuožiūra tuos darbus suskirsto pagal lygmenis. Praktika rodo, kad neretai tokį skirstymą atlieka institucijų padalinių administratoriai ar kiti aptarnaujančio personalo asmenys. Tokio skirstymo rezultatus nesunku įsivaizduoti.
Beje, vadinamojo pirmojo lygmens darbams numatytas ekspertinis vertinimas, o antrojo lygmens – tik formalusis vertinimas, grindžiamas bibliometriniais kriterijais. Va čia ir slypi didžiausias absurdas. Tarkime, mokslo straipsnis publikuotas tarptautiniame mokslo žurnale, pvz., „The International Journal of Science Education“. Toks straipsnis iki publikavimo recenzuojamas mažiausiai dviejų nepriklausomų tarptautinių ekspertų, pereina keletą įvairių tikrinimo procedūrų, kol galiausiai priimamas publikavimui. Minėto žurnalo reitingas itin aukštas, tai vienas lyderiaujančių gamtamokslinio ugdymo srities žurnalų. Kyla klausimas, kokia prasmė dar kartą Lietuvoje jį vertinti ekspertiniu būdu?
Maža to, drįstu teigti, kad beveik nebus įmanoma surasti ir ekspertų, galinčių kvalifikuotai tokį straipsnį vertinti. Dėl dviejų esminių priežasčių. Pirma, Lietuvoje tik keletas asmenų dirba šioje srityje tarptautiniu lygiu, antra – ne paslaptis, kad neretai vadinamieji nacionaliniai ekspertai prastai moka (arba išvis nemoka) anglų kalbą. Tad apie kokį vertinimą galima kalbėti? Eilinis „pinigų švaistymas“, veiklos ir mokslo vertinimo imitavimas. Kažkas organizuos, planuos, aptarnaus ekspertų darbą ir pan. Karuselė suksis, viskas atrodys labai gražiai. Tik kokia iš to nauda? Drįsiu paminėti dar ir tai, kad ekspertais neretai kviečiami „savi“ žmonės, jų kvalifikacija nėra prioritetas.
Ganėtinai keistų vertinimų yra buvę ankstesniais metais, kai tarptautiniame mokslo simpoziumo leidinyje publikuotas mokslo darbas Lietuvos „ekspertų“ buvo įvertintas kaip nereikšmingas, menkesnę vertę turintis nei vietiniame leidinyje paskelbtas.
Neverta turbūt išsamiai gilintis į šia metodiką, nes daugybė įvairių racionalių pasiūlymų ir minčių buvo viešai išsakytos. Galima prisiminti, kad Lietuvos mokslininkų sąjunga 2010 m. liepos 7 d. išplatino pareiškimą „Dėl mokslo ir studijų institucijų mokslo darbų vertinimo“, kuriame gana išsamiai atskleistos pagrindinės problemos. Ne su visais LMS pasiūlymais galima sutikti, tačiau jie verti dėmesio. Tokia jautri sritis kaip mokslo vertinimas negali būti reguliuojama skubotai ir paviršutiniškai, periodiškai kaitaliojant metodikas. Pagaliau toks vertinimas susijęs ne tik su finansavimo paskirstymu tarp mokslo ir studijų institucijų, bet ir su mokslininkų kvalifikacijos vertinimu.
Jau pastebima tendencija, kad moksliniai vardai ir pareigos dalijamos ne pagal realius nuopelnus, indėlį į mokslo aruodą, bet pagal lojalumą ar kitus pseudokriterijus. Lietuvoje net atsiranda terminas „daryti profesorių“. Skamba keistai ir tragikomiškai. Kokia jo esmė? Besidomintis bent kiek mokslo sfera žmogus žino, kad pastaraisiais metais Lietuvos mokslo ir studijų institucijose atsirado gana daug naujų profesorių. Apie tai jau esu rašęs straipsnyje „Profesorių gausėjimo metas“ („Bernardinai.lt“, 2010–03–10). Viena vertus, tai natūralu, vyksta kartų kaita, atsinaujinimas ir panašiai. Kita vertus, nemažai atvejų, kai tokios pozicijos ir titulai suteikiami už vietinės reikšmės darbelius. Niekaip negaliu suprasti, kad pretendentui į profesorius nebūtinas tarptautiškumas, jog visiškai pakanka kelių formalių publikacijų vietiniuose žurnaluose bei žurnaliukuose ir t. t. Ypač tai būdinga socialinių ir humanitarinių mokslų atstovams.
Galima prisiminti, kad pirmuosiuose mokslo personalo atestacijos dokumentuose (2002 metais) buvo reikalavimas būti paskelbus mokslo straipsnių tarptautinių mokslo organizacijų (pvz., ATEE – Europos mokytojų rengimo asociacija; IVLA – tarptautinė vizualinio raštingumo asociacija ir kt.) leidiniuose, tuo laiku vadintuose TMO leidiniuose. Nors tokiu būdu buvo laiduojamas šioks toks tarptautiškumas, nes iš pretendentų į profesoriaus pareigas buvo reikalaujama tokių publikacijų. Dabartinė metodika leidžia ir vadinamuosius antrojo lygmens darbus tam tikrais atvejais traktuoti kaip pirmojo lygmens, t. y. turinčius aukščiausią reitingą. Kas tokį įvertinimą atliks? Pati institucija? Taip, pasitikėti institucijų kompetencija reikėtų, tačiau visi mes puikiai žinome lietuvišką praktiką. Pagaliau įvertinus, kad publikavimo galimybės pastaruoju metu yra didelės, surinkti reikiamą straipsnių skaičių visai nesunku.
Habilitacijos procedūra panaikinta (visai be reikalo), nebeliko jokio, net minimalaus, filtro vertinant pretendentų į profesorius kvalifikaciją. Svarbiausia – lojalumas. Mokslinės apykaitos Lietuvos mokslo institucijose iš esmės nėra arba ji labai minimali. Jau prieš keletą metų tarptautiniai ekspertai tokią situaciją taikliai pavadino „kraujomaiša“. Mokslo ir studijų institucijų bendruomenės šia prasme tampa uždaros. Maža to. 2010 m. birželio 21 d. Lietuvos mokslo tarybos sprendimu pripažintas negaliojančiu tarptautinių duomenų bazių sąrašas. Tai reiškia, jog nebūtina, kad mokslo darbai būtų įtraukti į pripažintas mokslinės informacijos duomenų bazes, kas savaime garantuoja rezultatų sklaidą, skaidrumą, pagaliau panaudojamumą.
Kiek teko domėtis, daugelyje užsienio šalių vienas iš svarbiausių žurnalo vertinimo kriterijų yra tai, ar jis yra įtrauktas į duomenų bazes, ar jis prieinamas mokslo bendruomenei. Pagaliau mokslininkai patys gali įtraukti atskirus straipsnius į tam tikras „online“ sistemas ir tokiu būdu gauti greitą grįžtamąjį ryšį: komentarų, nuomonių, vertinimų. Tai tarptautinė praktika. Toks LMT sprendimas daugiau nei nesuprantamas. Prieš keletą metų praėjo vadinamasis duomenų bazių vajus, vėliau viskas atšaukta. O kiek pastangų įdėta? Kam visa tai? Kodėl toks blaškymasis? Beje, tenka pabrėžti, kad LMT nepateikė jokių racionalių argumentų šiuo klausimu. Taigi vėl tęsiasi sena ir gyvybinga tradicija – publikuoti paskubomis sukurptus darbelius tik iš reikalo, tai yra tiek, kiek reikia vienam ar kitam postui užimti. O jei tų darbelių nėra arba nesugebama parašyti, belieka rasti prie ko „prisirašyti“, t. y. pasidalyti tariama bendraautoryste. O kadangi šiame nuostabiame pasaulyje niekas nieko už dyką nedaro, galima tik įsivaizduoti visus kitus niuansus. Taip ir „verdama savo sultyse“. Žinoma, belieka nulenkti galvą prieš tuos, kurie sąžiningai ir iš pašaukimo vykdo mokslinius tyrimus, yra nuolatiniame ieškojimų kelyje, nes tokia jų prigimtis ir pašaukimas. Kiek tokių beliko Lietuvoje?
Tačiau gyvenimas tęsiasi. Juk nieko čia tokio. Bus sukurpta ir kita metodika, bus sudarytos darbo grupės, beje, gerai apmokamos. Neretai per diskusijas „išmetamas“ klasika tapęs argumentas – „o ką jūs siūlote?“ Žinoma, žodžių ekvilibristika. Sudaroma darbo grupė dokumentui rengti, dažniausiai iš lojalių personų, o po to renkamos idėjos, organizuojamas idėjų turgus, tik pamirštama elementari tiesa, kad idėjos, ypač geros, kainuoja. Ir niekas jų taip paprastai nedalija, bent jau tie, kurie tai supranta. Juk darbo grupė ir sudaroma tam, kad kvalifikuotai parengtų vieną ar kitą dokumentą, pagaliau jos nariams sumokama už darbą. Tai ir norisi pasakyti, būkite malonūs, ponai ir ponios, atlikite pavestą darbą sąžiningai ir kvalifikuotai, tada nereiks jokių postdiskusijų ar „brainštormingų“ idėjoms rinkti.
Klasika
Nedrįsčiau imtis vertinti, kas yra ir kas nėra mokslas, nors turiu savo asmeninę nuomonę. Tačiau drįstu pateikti keletą apibendrinimų, kurie padaryti ne tik lankantis užsienio mokslo institucijose, bet ir pastaraisiais metais intensyviai domintis mokslo vertinimu. Viena tiesa akivaizdi, šalys, teikiančios prioritetą mokslui, jo vertinimą atlieka pagal tarptautinius, praktiškai visuotinai pripažintus kriterijus. Tiesa, nėra jie pastovūs, nėra universalūs, tačiau ašiniai dalykai išlieka tie patys. Juk viskas kinta, ne išimtis ir mokslinės produkcijos vertinimas. Diskutuojama, ieškoma naujų, veiksmingesnių būdų, įvedami nauji formalieji vertinimo kriterijai. Įvertinus įvairias išimtis, sąlygiškai galima teigti, kad mokslo produkcija yra laikoma: monografijos, mokslo straipsniai pripažintuose mokslo žurnaluose (angl. journal, e-journal, journal proceeding), mokslinių tyrimų knygos/studijos (angl. research book), skyrius mokslo knygoje (angl. Chapter in research book), mokslo straipsnių rinkiniai (angl. Proceeding), konferencijų pranešimai (žodiniai ir stendiniai) (angl. conference presentation /oral and poster/), patentai (angl. patent). Iš esmės tai ir viskas. Žinoma, visa ši produkcija skirstoma pagal visuotinai pripažintus lygmenis – nacionalinį ir tarptautinį. Savaime suprantama, didesnėms šalims galimas ir regioninis ar kitoks lygmuo. Lietuvos atveju nacionalinio ir tarptautinio lygmens mokslinės produkcijos išskyrimas būtų visiškai pakankamas ir logiškas.
Visa kita, pvz., universitetiniai vadovėliai, studijų moduliai, programos, vertimai, populiaraus žanro akademinės knygos, multimedija medžiaga, paskaitų konspektai ir t. t. yra publikacijos, susijusios su mokymu/dėstymu (angl. publications related to teaching). Tai nėra mokslinė produkcija. Taip, ji svarbi ir turi būti vertinama, ypač vertinant mokslininkų pedagoginę kvalifikaciją. Bet daryti „mikso“ tikrai nereikėtų. Vertinant mokslininko kvalifikaciją, jo indėlį į studijų ar mokymo procesą, visos kitos (ne mokslo) publikacijos yra svarbios. Kaip ir tyrimams gauti grantai ar kitos lėšos iš įvairių šaltinių. Negalima būtų nuvertinti ir mokslo populiarinimui skirtų publikacijų. Juk neužtenka tik „daryti mokslą“, jį dar reikia pristatyti ir visuomenei, vykdyti nuolatinę sklaidą. Tai šviečiamoji mokslo funkcija.
Ką darai, daryk gerai
Senolių išmintis šiuo atveju kaip niekada tinka. Šiandienis gyvenimas kupinas paviršutiniškumo ir nuolatinio skubėjimo nežinia kur. Tai liečia ir mokslinio vertinimo sritį. Pirmiausia tuos, kurie buvo tiesiogiai atsakingi už mokslo produkcijos vertinimo metodikos parengimą. Pagaliau reikia suprasti, kad metodika gali būti taikoma turint skirtingus tikslus. Vienas dalykas, kai norima protingai paskirstyti ir taip menkas mokslui skirtas lėšas tarp institucijų. Manyčiau, kad finansų paskirstymui galėtų būti sugalvotas paprastesnis ir skaidresnis mechanizmas. Juk susidaro savotiškas užburtas ratas – mažai skiriama lėšų, mažai ir mokslinės produkcijos.
Pastaruoju metu, esant didžiulei tarptautinei konkurencijai, Lietuvos mokslininkams „prasimušti į plačiuosius vandenis“ yra nelengva, kartais ir neįmanoma. Pripažinkime, visuomet į mus bus žvelgiama su tam tikru nepasitikėjimu. Kitas tikslas, tai pagal esamą mokslo produkciją įvertinti mokslininko kvalifikaciją, jo atitikimą vienoms ar kitoms pareigoms, ir t. t. Tai svarbu profesinės karjeros prasme, ir ne tik. Ypač turėtų būti skatinami ir aukštai vertinami įvairūs tarptautiniai mokslo projektai, bendros su užsienio šalių tyrėjais mokslo publikacijos, ko neretai pasigendama, ypač socialinių ir humanitarinių mokslų srityje. Pasaulinė tendencija gana aiški – aktyvinti sinergetinį mokslo potencialą tarp įvairių organizacijų ar institucijų kuriant tyrimų (mokslo) tinklus. Mokslininkų vienišių era (nepaisant tam tikrų išimčių), atrodo, jau istorija. Kita vertus, negalima orientuotis vien į mokslą (mokslinius tyrimus), nešantį (uždirbantį) pinigus. Toks pragmatiškas visuomenės požiūris absoliučiai suprantamas, bet tarptautinė praktika sako, kad būtina siekti rasti (išlaikyti) balansą tarp institucinio finansavimo (siekis išlaikyti ir skatinti laisvąjį mokslą, angl. free research) ir projektinio finansavimo, kurį sąlygoja visuomenės keliami tikslai. Mokslo plėtra vien siekiant pragmatinių tikslų veda tik į aklavietę. Mokslas – pirmiausia pažinimas, žinių kūrimas. Vadinasi, mokslo institucijose neišvengiamai būtina išlaikyti ir plėtoti mokslą dėl pažinimo, o ne tik dėl pinigų.