skip to main |
skip to sidebar
Професор Лутц Борман, один із провідних дослідників у галузі наукометрії та оцінювання науки, у своїй новій короткій публікації ставить напрочуд просте питання: чи варто університету підписувати DORA, CoARA та подібні ініціативи, якщо сам підпис ще не гарантує кращого оцінювання? Доктор Борман виходить з того, що сучасна система оцінювання справді має проблеми. Надмірна залежність від кількості публікацій, імпакт-фактора, індексу Гірша та інших простих показників заохочує науковців пристосовувати свою поведінку до критеріїв оцінювання й підтримує культуру “публікуйся або зникни”.
Пригадуєте, як Микола Хвильовий майже сто років тому кинув українському письменству своє знамените: Геть від Москви!? Звичайно йшлося не просто про географію, а про інтелектуальний центр тяжіння: куди дивимося, з ким себе порівнюємо, чиї правила та категорії сприймаємо як універсальні. Читаючи нову статтю Сюй Донг і Сіньлу Хе, я подумав, що в сучасній науці можна поставити схоже, хоча значно менш революційне запитання: а що відбувається з науковою роботою, коли вона віддаляється від центру?
Останніми роками у світі активно реформують оцінювання науковців. Старий підхід, коли якість дослідника намагалися визначити за кількістю статей, цитувань та імпакт-факторами журналів, справедливо критикують. DORA, Leiden Manifesto, CoARA та інші ініціативи вже багато років пояснюють доволі очевидну річ – наукова робота значно складніша за кілька чисел у таблиці. Тому до оцінювання поступово додають інші речі: відкриту науку, суспільний вплив досліджень, міжнародну співпрацю, міждисциплінарність, наставництво, академічне лідерство, внесок у дослідницьку культуру тощо.
Останніми роками ми звикли говорити про paper mills – компанії, що продають готові наукові статті. Але, виглядає, поруч із ними формується ще один потворний феномен – review mills, або, якщо зовсім просто, "фабрики рецензій". Саме про це велике журналістське розслідування цього тижня опублікував Nature. Ідея цього шахрайства доволі проста. Уявімо рецензента, який щороку отримує сотні запитів від журналів. Замість уважно читати кожен рукопис, він починає використовувати майже однакові шаблони: “покращте вступ”, “скоротіть висновки", "опишіть прогалини в дослідженнях", а десь наприкінці додає ще кілька рекомендацій процитувати... власні статті.
У наукометрії ми дуже любимо аналізувати авторів, статті, цитування, країни та університети. А ось редакційні колегії досі залишаються відносно недослідженим об'єктом, хоча саме вони значною мірою визначають, які теми, методи й підходи отримують шанс стати частиною канонічної науки. Тому, дивитися на мережі редакторів наукових журналів іноді навіть цікавіше, ніж на мережі співавторства.
У новому номері Scientometrics вийшла стаття Чінції Дарайо, Вольфганга Гленцеля та Хуана Горрайса про відповідальне використання бібліометрії в оцінюванні досліджень. Якщо коротко, то жодних революцій чи проривів тут немає. Автори не відкрили нову метрику і не знайшли спосіб оцінити вченого одним чарівним числом. Навпаки – вони вкотре нагадують речі, які багатьом фахівцям давно відомі: метрики потрібно використовувати обережно, з урахуванням контексту, цілей оцінювання, дисциплінарних особливостей та рівня аналізу. І саме тому ця стаття є важливою.
Дуже часто в бібліометрії виникає потреба перевірити, чим одна група публікацій відрізняється від іншої. Наприклад, українські дослідження від польських чи відкриті журнали від передплатних. Популярні нині наукометричні інструменти або не дають чіткої відповіді, або все зводиться до суто візуальних вражень. І ось нещодавно у журналі Scientometrics представили бібліотеку Biblium – Python-інструмент для бібліометричного аналізу, який дозволяє проводити статистичне порівняння підмножин наукових робіт.
Дуже часто українські дискусії про “забагато співавторів” у наукових статтях нагадують не систематичний аналіз, а інтуїтивні судження. Комусь здається, що 7 авторів – це вже підозріло, комусь – що й 127 нормально. Проблема вітчизняної наукової політики в тому, що такі розмови зазвичай не мають нічого спільного з емпіричними даними. Погляньмо як з цими викликами собі радить сучасна наукометрія. У свіжій статті в Journal of Informetrics проаналізовано понад 52 мільйони публікацій (дані Scopus за 2003-2024 роки), щоб зрозуміти, де закінчується нормальна співпраця і розпочинається гіперавторство – коли кількість авторів виходить за межі типової для конкретної галузі.
З’явився ще один онлайн інструмент, який обіцяє виправити головну несправедливість наукометрії – те, що метрики старих професорів, як правило, мають кращий, потужніший вигляд за метрики молодих науковців. Угорський ресурс Scientometrics.org пропонує порівнювати вчених тільки серед “однолітків”. Беремо Scopus ID (або OpenAlex ID), вставляємо та натискаємо кнопку й отримуємо не просто “h-index 10”, а “цей вчений десь посередині серед інших вчених з таким самим стажем і в цій самій галузі”.
Дослідницька група SCImago представила ще один новий інструмент – SCImago Journal Value. Ідея проста і водночас провокативна: якщо журнали мають науковий вплив, то чи можна оцінити їхню приблизну “економічну вартість”? Не доходи, не реальні APC (Article Processing Charge – плата за публікацію наукової статті у відкритих журналах, яку автор або його установа сплачує після прийняття рукопису), а саме умовну цінність знання, яке цей журнал поширює. Алгоритм бере показник SJR, переводить його у теоретичну “вартість статті”, а далі множить на кількість опублікованих робіт. Виходить цікава картинка: журнали перетворюються на щось на кшталт активів, які генерують мільйони доларів “наукової вартості”.
SCImago тихо викотив новий інструмент – Integrity Risk Indicators (IRIS). І якщо звичайні рейтинги ще дозволяють деяким оптимістичним українцям жити в ілюзії “ми ростемо”, то цей ресурс дає можливість подивитися, що насправді стоїть за кількісними показниками. Дев’ять індикаторів і жодного зайвого: ретракції, самоцитування, публікації у виключених журналах, гіперавторство, гіперпродуктивні автори, внутрішні журнали, “нарізка салямі”, мультиафіліації та навіть така дрібниця, як чи здатен університет робити сильні роботи сам, а не тільки в компанії сильніших партнерів. Усе це зведено до однієї шкали, де 0 – це середнє по світу, а “significant” – це вже не просто аномалія, це вже повний провал.
Науковці з Нанкінського сільськогосподарського університету вирішили з’ясувати, чи впливає повторне використання наукових даних (dataset reuse) на цитованість публікацій. Хоча різні агітатори люблять запевняти, що відкритість даних є однією з ключових цінностей сучасної науки, у скептиків досі залишаються сумніви: чи не зменшує повторне використання даних новизну дослідження і, відповідно, його науковий вплив? Дослідники проаналізували публікації з PubMed Central Open Access Subset у галузі біомедичних та наук про життя й ідентифікували три типи поведінки: self-reuse – автори повторно використовують власні дані; reuse-of-others – використання чужих відкритих даних; non-reused – дані, які згадуються лише один раз.
У Journal of Data and Information Science вийшло дослідження про те, як змінювалось наукове життя в Україні з 2005 по 2023 рік. Автори проаналізували понад 26 тисяч публікацій українських дослідників (Dimensions) і спробували зрозуміти: хто публікується, куди переїжджають науковці, і чи зростає науковий вплив їхніх робіт. Дані показують кардинальні зміни в інституційній структурі науки: якщо у 2005-2013 роках майже половина публікацій належала вченим Національної академії наук України (НАНУ), то у 2014-2023 роках ситуація різко змінилася – частка університетських науковців зросла до 86%, а роль НАНУ скоротилася майже утричі. Таким чином, саме університети стали головним місцем наукової продукції, тоді як Академія поступово втрачає дослідників.
Нова тривожна робота в PNAS про наукове шахрайство, мережі горе-авторів і редакторів, працівників так званих “паперових фабрик”, які спільно продукують та публікують фейкові наукові роботи у величезному масштабі. Найбільше вражає динаміка зростання фальсифікованих публікацій. Кількість підозрілих робіт подвоюється кожні півтора року – у десять разів швидше, ніж зростає сама наукова література. Водночас наявні інструменти боротьби, як-от відкликання статей або деіндексація журналів у реферативних базах даних, не встигають за цим зростанням. У результаті тисячі сумнівних публікацій залишаються частиною наукового обігу.
Аналітичний огляд Сташі Мілоєвіч міждисциплінарну галузь "науки про науку" опублікований у журналі Scientometrics. Авторка досліджує історію становлення цієї дисципліни, починаючи з її зародження у 1920-х роках, і наголошує на сучасних викликах, які стоять перед science of science. Знову лунає критика надмірного захоплення цитуваннями як головного показника якості, що створює “культуру цитувань”, у якій посилання на попередні роботи перестають бути засобом оцінки реального наукового внеску, а стають самоціллю. У відповідь на ці проблеми дослідники закликають виходити за межі традиційних бібліографічних метаданих – потрібно створювати відкриті бази даних нового покоління із залученням ШІ, які інтегруватимуть не лише публікації, а й патенти, інформацію про фінансування, клінічні дослідження, згадки в ЗМІ тощо.
Файний звіт підготували іспанські наукометристи про сьогодення та майбутнє оцінювальної бібліометрії в контексті сучасних реформ у сфері наукової оцінки, зокрема таких ініціатив як DORA та CoARA. Автори запропонували п’ять принципів, яких варто дотримуватися під час використання бібліометричних показників у процесах оцінювання наукових результатів. Нічого принципово нового у цих “іспанських принципах” немає, навіть в Україні давно про це знають. Однак об’єктивна бібліометрична оцінка висвітлює те, що дехто в Україні волів би приховати заради власної вигоди, тож багатьом зручніше удавати, що вони не розуміють цих принципів.
З початком повномасштабного вторгнення росії українські науковці почали дякувати не лише колегам і фондам, а й захисникам у своїх статтях. У журналі Scientometrics пишуть, що такі «воєнні подяки» стали символом того, що навіть у найскладніші часи українська наука живе, і її серце б’ється разом із країною. Сидить вчений на робочому місці, вдома чи в бомбосховищі з ноутбуком, пише статтю, а десь зовсім поряд звучать вибухи й вчений подумки: «Дякую, ЗСУ, що я можу продовжувати займатися своїми дослідженнями!». Потім ця думка перетворюється на текст у секції Acknowledgment, наприклад: «Щиро вдячний захисникам України за можливість завершити це дослідження».
Занадто часто чую у медіях, що багато потужних українських науковців нині працюють закордоном, злякалися війни, повтікали, а мудрі державні мужі безперервно мізкують як їх повернути додому. У новому препринті про публікаційну активність та міграційні тенденції українських вчених у галузі соціальних та гуманітарних наук під час перших двох років російсько-української війни стверджується, що все це зовсім не так. Автор проаналізував продуктивність тих українських вчених, які опублікували щонайменше три статті за рік у наукових журналах, індексованих у SSCI та AHCI.
Платформа Matilda являє собою онлайн інструмент для бібліографічних і бібліометричних досліджень, що орієнтований на підтримку принципів відкритої науки. Мета платформи – забезпечити користувачам зручний доступ до даних про цитування, до відкритих наукових текстів та наборів дослідницьких даних. Цей підхід передбачає охопити науковий контент, що раніше ігнорувався комерційними наукометричними інструментами, і надати рівні можливості для всіх академічних документів та метаданих.
Торік вчені з Університету Гранади у відомій роботі а-ля «Церква свідків заперечення бібліометрії», а нещодавно й президент ISSI поділилися своїми тривогами щодо коарацизму. У відповідь на сторінці LSE Impact Blog з'явилися роз’яснення позиції учасників CoARA щодо використання кількісних показників. Якщо дуже коротко, то експертна оцінка – це звісно наріжний камінь CoARA, однак це оцінювання повинне також підтримуватися відповідальним використанням метрик. Як на мене – нічого не пояснили.
