Водночас автор нагадує, що кількісні показники свого часу почали використовувати не без причини – вони мали зробити оцінювання прозорішим, справедливішим і менш залежним від неформальних зв'язків та суб'єктивності експертів. Тому реформу не можна зводити до примітивної формули: “кількісні показники – погано, експертне оцінювання – добре”.
Аргументи на користь підписання
Найсильніший аргумент – можливість використати підписання як поштовх до внутрішнього оновлення установи. Приєднання до таких ініціатив може показати, що організація відходить від примітивного підрахунку показників, спонукати її переглянути застарілі критерії, ширше враховувати різні види наукового внеску та використовувати описові резюме й портфоліо. Воно також може зменшити роль “аматорської бібліометрії”, коли показники обчислюють та інтерпретують люди без належної наукометричної підготовки.
Аргументи проти
1. Різні дисципліни мають різні культури оцінювання.
Борман наголошує, що оцінювання науки значною мірою має формуватися всередині відповідних наукових спільнот. Те, що доречно у фізиці, може бути безглуздим у гуманітарних науках. Тому універсальний шаблон реформування ризикує просто замінити одну погану систему іншою.
2. Експертне оцінювання дороге, складне й нестабільне.
Автор доволі критично ставиться до його романтизації. Експертів важко залучати, процедури потребують часу й коштів, а результати залежать від відмінностей між самими оцінювачами. Тому кількісні показники можуть бути корисними, наприклад, для попереднього відбору, коли кандидатів дуже багато. Повна відмова від них у великих організаціях може створити надмірне адміністративне навантаження.
3. Підпис може залишитися лише декларацією.
Організація може приєднатися до DORA чи CoARA, але нічого істотно не змінити. Доктор Борман наводить дослідження, які показують, що після формального прийняття принципів відповідального оцінювання зв'язок між рейтингами журналів та експертними висновками може нікуди не зникнути. Аналіз планів дій CoARA також свідчить, що організації часто охочіше проголошують загальні принципи, ніж запроваджують конкретні зміни.
Шість принципів, які Борман пропонує натомість
Тут, як на мене, починається найцікавіша частина статті. Автор фактично відходить від простого питання "підписувати чи не підписувати?" і переходить до питання "як насправді організувати якісне оцінювання?".
1. Пристосовувати оцінювання до конкретного завдання. Немає єдиної системи оцінювання на всі випадки. Добір постдока, обрання професора, розподіл внутрішнього фінансування та оцінювання суспільного впливу – різні завдання, які потребують різних процедур і критеріїв.
2. Поважати відмінності між дисциплінами. Не можна змушувати всі галузі працювати за одним шаблоном. Гуманітарні, соціальні та природничі науки мають різні традиції публікації, наукової співпраці й поширення результатів.
3. Враховувати право установ на контроль над власними даними. Гасло "всі дані оцінювання мають бути відкритими" теж не може бути абсолютним. Існують стратегічні інтереси установ, вимоги конфіденційності, захист персональних даних та юридичні обмеження. Тому належне управління даними іноді важливіше за безумовну відкритість.
4. Навчати членів комісій. Ключовими є не жорсткі переліки показників, а компетентні комісії, здатні добирати доречні кількісні дані та поєднувати їх з експертним судженням відповідно до конкретного завдання й дисципліни.
5. Оцінювати саме оцінювання. Борман пропонує перевіряти, наскільки результати залежать від якості оцінюваних робіт, а наскільки – від того, хто саме їх оцінював. В одному з наведених ним досліджень відмінності між оцінювачами та їхніми способами зважування характеристик роботи пояснювали 61% розбіжностей в оцінках, тоді як відмінності між самими статтями та журналами – лише 7%.
І це ДУЖЕ важливий момент! Йдеться не обов'язково про упередженість чи недоброчесність. Двоє цілком добросовісних експертів можуть мати різні стандарти, різну суворість і по-різному розуміти "якість". Отже, перевіряти потрібно не лише науковців, статті чи установи, а й надійність самої процедури оцінювання.
6. Професіоналізувати бібліометрію. Бібліометричний аналіз не повинен бути справою кадровика, адміністратора, бібліотекаря чи випадкового члена комісії, який відкрив Scopus і почав порівнювати індекси Хірша. Для цього потрібні фахівці, які розуміють методи, обмеження показників і дисциплінарний контекст.
Чи справді ми відійшли від примітивного оцінювання в Україні? Щороку академічна спільнота з неабияким захопленням обговорює черговий рейтинг Освіта.ua, методологія якого зводить університет до трьох кількісних показників. Ще більше радості викликає кожне нове місце в численних рейтингах QS і Times Higher Education – ніби сама позиція в таблиці вже щось доводить про якість науки чи освіти.
Гірше того, гонитва за цифрами створює стимули не лише рахувати статті, а й виробляти їх за будь-яку ціну – аж до співпраці з паперовими фабриками та інших способів штучно нарощувати "результативність" та "цитованість".
Натомість принципи CoARA та відповідального оцінювання часом згадують вибірково – коли ними зручно обґрунтувати вже бажане кадрове рішення, нагороду чи відзнаку. Тоді 1 препринт раптом може виявитися важливішим за 10 сильних статей, якщо його автор протягом року активно “сприяв відкритій науці” = брав участь у міжнародних поїздках ректорату й допомагав керівництву орієнтуватися в Erasmus+ та замовляти стейк англійською в ресторані. Це не реформа оцінювання, а брехлива заміна одного набору зручних вивісок іншими.
Саме тому варто прочитати короткий текст Лутца Бормана, що пропонує не поклонятися ані показникам, ані деклараціям, а будувати професійне, контекстне й перевірюване оцінювання. Країна, яка веде війну за власне існування і не може дозволити собі марнувати людей, гроші та інституційну спроможність, особливо потребує системи, здатної відрізняти реальний науковий внесок від імітації.
Немає коментарів:
Дописати коментар