Швидке виявлення аномалій h-індексу в університетських метриках

За що ми любимо науку? Насамперед за те що її прогнози збуваються! Передбачили науковці реліктове випромінювання – зафіксували, пообіцяли нам бозон Хіггса – знайшли. Віщували Бартнек та Коккельманс “горбаті” криві при візуалізації h-індексу – такі також знайшлися. Щоправда, є тут певна несподіванка, бо знайшлися ці “горбаті” криві у рейтингу українських університетів згідно з даними Scopus. 

Лагідні санкції проти РФ у рейтингах THE

З'явилися нові Times Higher Education Impact Rankings, що оцінюють університети відповідно до Цілей сталого розвитку. Не знаю, хто у світі продовжує серйозно вірити в подібні рейтингові таблиці, але насправді цей допис про неефективні санкції проти російських університетів. Укладачі THE дуже швидко відреагували на війну в Україні та запевнили світову громадськість, що у їхніх рейтингах жаба дасть циці рашистам. Можливо такі плани справді були, однак коли за справу береться комерційна фірма, то в результаті отримаємо компроміс. 

Реакція видавців, провайдерів та інших виробників наукових продуктів на війну в Україні

Росія, за підтримки Білорусі, розпочала повномасштабне військове вторгнення в Україну. У відповідь окупанти отримали кулі від української професійної армії, нечуваний спротив єдиного українського народу, осуд всього світу та цілий букет економічних санкцій. Щодня західні компанії призупиняють свою роботу, або взагалі йдуть з російського ринку: General Electric, Continental, Apple, Microsoft, Pornhub, L'oreal, Unilever, Tommy Hilfiger, Calvin Klein, Coca-Cola, KFC, MacDonalds… всі йдуть. Але наукові видавці та провайдери досі не розривають дружніх обіймів з кровожерливою Росією. 

Екстремальні самоцитування українських топ-вчених

Екстремальне самоцитування та “ферми цитувань” (це коли порівняно невеликі групи авторів масово цитують статті один одного) – роблять метрики фальшивими, безглуздими та непридатними для використання. Для виявлення таких фальшувань Джерон Баас, Кевін Бояк та Джон Іоаннідіс ще у 2019 році створили загальнодоступну стандартизовану базу даних авторських метрик цитування для різних наукових галузей. База надає стандартизовану інформацію про метрики 100K кращих науковців згідно з показником composite citation index із врахуванням та без врахування самоцитувань. Проєкт виявився таким популярним, що на численні прохання наукометристів у 2020 році з'явилося оновлення цієї бази. 

Як швидко відростити собі індекс Хірша в Scopus: кейс авторів з Львівської політехніки

В Україні вже ходять легенди про скопусівські матеріали конференцій, що видані під парасолькою IEEE, CEUR ітд. Анонімний дописувач поділився зі мною аналізом та повними текстами матеріалів однієї такої конференції, у якій “відзначилися” працівники Львівської політехніки. Звісно цей приклад далеко неунікальний, але зі своєю родзинкою. Спершу подаю майже без змін аналіз цього добродія. Факти перевірив, все так, але також неодмінно прочитайте й мій коментар до цього аналізу.

Антирейтинг цитованості публікацій українських установ у виключених виданнях

Дослідники стверджують, що публікації в хижацьких журналах мають незначний науковий вплив. Мабуть, це справедливо для наукового прогресу людства загалом, проте на розподіл фінансування науки в України такі публікації добряче впливають. Так, для отримання наукових ступенів й вчених звань у нас досі враховують публікації й у виключених журналах. Проте поговорімо сьогодні про “вищу лігу” – цитованість українських робіт у виключених виданнях. 

Рейтинг рейтингів університетів: Г'юстоне, у нас проблеми

Лізі Гад та Річард Холмс поділилися першими висновками INORMS Research Evaluation Working Group (REWG) щодо оцінки рейтингу світових університетів. Для цього, Робоча група з оцінки досліджень REWG використала власний механізм оцінки SCOPE, що розроблявся в ході паралельної роботи й застосувала його для оцінювання шести найбільших та найвпливовіших міжнародних рейтингів університетів: ARWU, THE WR, QS, U-Multirank, CWTS Leiden та US News & World Report. Перші результати дослідження зрозуміло представлені на пелюстковій діаграмі. 

Феноменальна самоцитованість у рейтингу Таймс

Національний університет «Львівська політехніка» та Сумський державний університет неймовірно швидко покращили свої позиції (501-600 місце) в Times Higher Education World University Rankings 2021. Десь з 801 по 1000 сходинку знайшлося місце для Харківського національного університету радіоелектроніки. Решта українських університетів, включно з такими гігантами як КНУ Шевченка та КПІ, опинилися поза межами першої тисячі. Стрімкий ріст позицій трапився завдяки показнику Citations (research influence) згідно з яким ці два університети взагалі опинилися у другій сотні! Спробуємо дізнатися чому публікації працівників двох українських ЗВО так добре цитуються в світі? 

Українські вчені та установи у роботах з великою кількістю співавторів

Читаємо: «Виявлено, що найбільші групи співавторів (понад 5 тис. осіб) фігурують у чотирьох роботах, виконаних у рамках двох масштабних експериментів на Великому адронному колайдері – ATLAS2 і CMS3. До складу цих авторських колективів входять і представники двох установ НАН України — ННЦ «Харківський фізико-технічний інститут» та Інститут сцинтиляційних матеріалів. Далі, за зменшенням розміру авторського колективу, йде невелика кількість публікацій астрономічного (понад 3,5 тис. прізвищ) і медичного (дослідження COMPASS) спрямування, а також велика група публікацій за результатами експерименту в рамках проєкту CMS (як правило, пов’язаних з уже згаданими ННЦ ХФТ і Інститутом сцинтиляційних матеріалів). 

Афіляції восьминога

Давним-давно поштова адреса науковця використовувалась, насамперед, для листування автора з редакцією журналу. В Інтернет-епоху потреба у вказанні в роботах фізичних адрес майже зникла, проте впровадження систем рейтингування та оцінювання наукових установ (як правило, враховують кількість публікацій співробітників) породило новий та не завжди здоровий інтерес до адреси автора. Так, у багатьох країнах автори отримують грошову винагороду від працедавця за публікацію роботи з відповідною афіляцією у певних журналах. Керівники установ пропонують авторам таку ось додаткову фінансову підтримку, а потім використовують ці публікації, щоб довести ефективність та продуктивність своєї установи. 

Вплив часто цитованих статей на імпакт-фактори журналів

Маноліс Антонойянкіс проаналізував понад 3 млн публікацій у 11639 журналах, що представлені у Journal Citation Reports за 2017 рік і дізнався як окремий документ впливає на імпакт-фактор журналу. Виявилося, що імпакт-фактори напрочуд мінливі. Так, наприклад, для 381 журналу 1 часто цитована публікація збільшила імпакт-фактор на 0,5 пунктів, водночас, для 818 журналів ріст перевищив 25%. Найцікавіше, що кожен десятий журнал збільшив свій імпакт-фактор більш ніж на 50% коштом лише трьох часто цитованих статей!

Реформа оцінки наукових досліджень у Китаї

Китай прагне відійти від явища «лише чотири» (only papers, only titles, only diplomas and only awards). Найбільше мають китайські посадовці нарікань на «культ SCI», адже показники WoS стали основними критеріями оцінки китайських вчених. Звичайно, науковці Піднебесної отримали користь від порад міжнародних рецензентів та суттєво покращили свої дослідження, але, водночас, деякі вчені та установи ганяються тільки за кількістю публікацій і не зважають на якість та суспільну цінність своїх результатів. Також, усім стало очевидно, що «культ SCI» зашкодив китайським журналам — Китай є світовим лідером за кількістю наукових публікацій у «міжнародних» журналах, але лише приблизно 200 китайських журналів представлені в Web of Science. 

BIP! Finder для протидії COVID-19

З початку пандемії коронавірусу типу COVID-19 вже з'явилося тисячі препринтів та статей у рецензованих журналах. Усі ці публікації впливають на подальші наукові дослідження, рішення медиків, а також заходи урядів щодо протидії поширенню інфекції. Зрозуміло, що кількість цих робіт стрімко зростає, відтак, вченим усе важче вивчати відповідну літературу та виявляти корисну інформацію, тому команда Semantic Scholar створила відкритий набір даних BIP4COVID19, що містить не тільки перелік публікацій про новий коронавірус, але й показники наукового впливу для кожної роботи. Також, для зручності використання цих даних творці відразу прикрутили веб-інтерфейс. 

QOAM: нехай відкриті журнали поборються за автора

Ціна за публікацію у відкритих журналах дуже різна — від безкоштовно до 5000 євро за статтю і більше. При цьому, сильно різниться й співвідношення ціни та ефективності. Зрозуміло, що автори прагнуть отримати прекрасне представлення результатів своїх досліджень, але — чи кожен відкритий журнал вартий тих грошей, що він просить? Новий сервіс Quality Open Access Market (QOAM) прагне використати «мудрість мас» і запропонувати авторам відмінний інструмент для кращого розуміння цих відмінностей. 

Індикатори наукової роботи у листі НАЗЯВО ректорам

Не встигли експерти НАЗЯВО перепочити від «підрахунку сум індексів Гірша науково-педагогічних і наукових працівників», як вони вже просять ректорів ЗВО заповнити новий опитувальник «Системи внутрішнього забезпечення якості у вітчизняних закладах вищої освіти». Можливо, освітні частини опитувальника також містять кумедні речі, але я підвис саме на Блоці 8. Наукова робота. Так, у відповіді на питання 46. Зазначте всі фахові часописи, які видаються закладом і які входять до наукометричних баз Scopus чи Web of Science, просять вказати «посилання на сторінку видання на сайті закладу». Тобто, не посилання на веб-сайт самого наукового журналу, де розміщено інформацію про власника, а просто на сторінку університету. 

Чому провисло цитування наших університетів у рейтингу Таймс

З’явився Times Higher Education World University Rankings 2020 і місця наших 6 університетів мало кому сподобались. Поки українські медіа, ректори, члени вчених рад… поширювали рейтингові фантазії напористих народних депутаток, які навіть не заглядали у методологію згаданих рейтингів, фахівці, яких у нас вперто ніхто не слухає, почали докопуватись, швидше самі для себе, чому ж їхні установи так влетіли Львівській політехніці за показником Citations? Якщо у Львівської політехніки цей показник = 49.5, то в Харківської політехніки = 5.4! Відчуйте різницю. 

Україна – лідер серед країн світу за рівнем самоцитувань

Набір даних, у якому представлено майже 100 000 дослідників, свідчить про те, що не менше 250 вчених отримали понад 50% цитувань своїх робіт від себе, або від своїх співавторів, водночас, середній показник самоцитування становив лише 12,7%. Вчений Стенфордського університету і один з авторів цього дослідження Джон Іоаннідіс підозрює, що «ферми самоцитування» дуже поширене явище. На думку доктора Іоаннідіса, вчені із самоцитуванням у понад 25% не обов'язково беруть участь у якихось неетичних іграх, проте роботи таких вчених варто ретельно перевіряти. 

Найкращі університети світу відповідно до кількості цитувань у профілях Google Scholar

Один з популярних в Україні рейтингів Cybermetrics Lab люто змінив методологію. Google Scholar є беззахисною перед маніпуляціями, але іспанські укладачі рейтингу спробували виловити тих, хто не дбає про чистоту свого профілю в Google Scholar. Для початку – взяли 100 найцитованіших авторських профілів для кожного університету і видалили перші 5 профілів для покращення репрезентативності. Далі цікавіше. Якщо серед першої сотні зустрічались неіндивідуальні профілі (журналу, кафедри) – установу викидали з рейтингу. Якщо в профілі «чужого» автора зумисно було вказано потрібну афіляцію для накрутки рейтингу – установу викидали з рейтингу. Якщо в профілі було вказано щонайменше 2 документа іншого автора – установу викидали з рейтингу. 

Гендер і відкритість у Лейденському рейтингу

Цьогорічний Лейденський рейтинг університетів розжився ще двома показниками – публікації у відкритому доступі та гендерна різноманітність. Для обрахунку відкритості використали дані Web of Science та Unpaywall, враховували золото, гібрид, бронзу, зелений і встановили, що кількість публікацій у відкритому доступі невпинно зростає, а особливо це помітно в Європі. З гендерною рівністю справи виявились кепські – порахували 963 університетів і виявили, що 70% авторів є чоловіками. При цьому, частка авторів-жінок є набагато вищою у соціальних і гуманітарних науках, тому цей показник частково відображає й дисциплінарний профіль університету. 

Відповідальне використання рейтингів університетів

Лейденський Центр з вивчення науки та техніки представив 10 принципів відповідального використання рейтингів університетів. Так, це ті самі дівчата і хлопці, які колись запропонували знамениті правила коректного застосування бібліометрії, тепер взялись за методологію, інтерпретацію та використання популярних університетських рейтингів. Принципи представлені на сторінці Лейденського рейтингу, у блозі Центру, опубліковані в Research Europe та анімовано. Зробив дуже вільний короткий переклад цих принципів.