Чому нам доводиться знову пояснювати очевидне про наукометрію

У новому номері Scientometrics вийшла стаття Чінції Дарайо, Вольфганга Гленцеля та Хуана Горрайса про відповідальне використання бібліометрії в оцінюванні досліджень. Якщо коротко, то жодних революцій чи проривів тут немає. Автори не відкрили нову метрику і не знайшли спосіб оцінити вченого одним чарівним числом. Навпаки – вони вкотре нагадують речі, які багатьом фахівцям давно відомі: метрики потрібно використовувати обережно, з урахуванням контексту, цілей оцінювання, дисциплінарних особливостей та рівня аналізу. І саме тому ця стаття є важливою.

Автори пропонують рамку з шести вимірів, які варто враховувати перед тим, як застосовувати будь-який бібліометричний показник: 

1) На якому рівні відбувається оцінювання? 

2) Кого саме оцінюють? 

3) Яка мета оцінювання? 

4) У якому дисциплінарному та інституційному контексті воно відбувається? 

5) Який саме аспект наукової діяльності оцінюється? 

6) Хто є зацікавленими сторонами цього процесу? 

Звучить майже банально, але саме про ці речі дивним чином часто забувають, коли починається черговий конкурс, рейтинг чи кампанія з оцінювання ефективності науки.  

Також, автори запропонували модель призми – дослідницька діяльність подається як біле світло, яке проходить через призму оцінювання і розкладається на різні кольори. Тобто, різні цілі оцінювання можуть давати різні, але однаково обґрунтовані результати. 

Зверніть особливу увагу на таблицю 2, де автори зібрали основні принципи відповідального використання метрик. Там немає нічого сенсаційного: якість даних, відтворюваність, врахування дисциплінарного контексту, обережність з узагальненими показниками, поєднання метрик з експертною оцінкою та прозорість. 

На перший погляд, це очевидні речі, але чомусь саме вони підозріло часто зникають, коли доходить до реальних оцінювань науки та розподілу державного фінансування в Україні.

Чи є у цій статті щось принципово нове? На мою думку, ні. Більшість цих принципів уже давно присутні в Leiden Manifesto, DORA, Metric Tide, CoARA та багатьох інших документах. Новизна роботи у спробі систематизувати їх в одну зрозумілу рамку, яку варто використовувати як своєрідний чек-лист перед початком оцінювання. 

Саме тому такі статті залишаються потрібними, адже попри десятки маніфестів, декларацій і рекомендацій, ми продовжуємо спостерігати дивовижне явище: частина людей усе ще намагається перетворити наукометрію на щось схоже на астрологію. Береться один показник, бажано найпростіший, оголошується універсальною мірою якості, після чого починаються далекосяжні висновки про “кращих” і “гірших” науковців, журнали чи університети. Тому бібліометрична спільнота змушена раз за разом повторювати очевидні речі. 

Для України це має особливе значення. Якщо ми справді хочемо будувати прозорі системи оцінювання науки, зменшувати вплив особистих зв'язків, кумівства та інших самовбивчих практик, нам потрібна не відмова від метрик, а їх грамотне використання. Не сліпа віра в цифри, але й не повернення до моделі, де все вирішується виключно кулуарними судженнями та домовленостями.