Коли хороших критеріїв стає забагато

Останніми роками у світі активно реформують оцінювання науковців. Старий підхід, коли якість дослідника намагалися визначити за кількістю статей, цитувань та імпакт-факторами журналів, справедливо критикують. DORA, Leiden Manifesto, CoARA та інші ініціативи вже багато років пояснюють доволі очевидну річ – наукова робота значно складніша за кілька чисел у таблиці. Тому до оцінювання поступово додають інші речі: відкриту науку, суспільний вплив досліджень, міжнародну співпрацю, міждисциплінарність, наставництво, академічне лідерство, внесок у дослідницьку культуру тощо. 

Кожен із цих нових критеріїв окремо виглядає цілком пристойно, однак уявімо, що ми їх усі зібрали разом. Старі бібліометричні показники нікуди не зникли. Додамо відкриту науку, міжнародну співпрацю, керівництво молодими науковцями… ще щось важливе, про що згадували на останній конференції, чи онлайні... ага, і ще не забути +1 критерій, бо він дуже милозвучно вписується у наш стратегічний PDF. У певний момент виникає просте запитання – а як усе це має працювати разом??  

Саме цій проблемі присвячена невелика дискусійна стаття, що з'явилася на сторінках Research Evaluation. Автор пропонує називати явище assessment creep – поступовим розростанням систем оцінювання через накопичення нових критеріїв, вимог і цілей без достатнього пояснення того, як їх потрібно зважувати, поєднувати, чому саме надавати пріоритет. 

Ми цілком справедливо критикуємо прості банальні метрики – загальна кількість цитувань може бути поганим показником якості роботи, а імпакт-фактор ще гіршим показником якості конкретного дослідника. Але принаймні зрозуміло, звідки взялися ці числа. 

З експертним оцінюванням за десятьма чи двадцятьма різними критеріями все веселіше. Один кандидат має більше публікацій, другий – краще підтримує практики відкритої науки, третій – вписаний у міжнародні проєкти, четвертий – разом з ШІ сильніше описав суспільний вплив. Один чудово керує аспірантами, але мало публікується. Інший багато публікується, але отримав менше лекційних годин на кафедрі. Хто кращий? 

Правильної відповіді тут може й не бути, але має бути всім зрозуміло, як система оцінювання прийшла до своєї відповіді. Бо що більше різнорідних критеріїв ми додаємо, то більше простору залишається для експертного судження, а разом із ним – для суб'єктивності, фаворитизму і старого доброго “бо ми так вирішили”. 

Саме тому проблема вже не зводиться до пошуку правильних показників. Потрібно думати про архітектуру всієї системи оцінювання. Ми вже навчилися пояснювати, чому одна цифра не може описати хорошого науковця. Тепер залишилося не побудувати замість неї систему з двадцяти-тридцяти правильних критеріїв, логіку взаємодії яких не може ніхто пояснити.