Як визначають якість роботи науковців? Для цього є чудовий інструмент – наукометрія, і саме про неї ми сьогодні поговоримо з доктором фізико-математичних наук Семеном Єсилевським.
Крістіна Керницька – Якщо ми будемо казати про наукометрію, можна ще провести аналогію з «остапами бендерами» в науці. Ось як наукометрія інколи пов’язана саме з такими особистостями?
Семен Єсилевський – Ну, наукометрія, вона пов’язана не тільки за такими особистостями, вона ще пов’язана з нормальними особистостями, звичайно. Якщо казати про «остапів бендерів»... У Остапа Бендера було, якщо я не помиляюсь, чотириста відносно чесних способів відбирати гроші у населення. Так само з наукометрією: у науковців, які бажають це робити, є не чотириста, але десь з десяток способів накрутити собі наукометричні показники. Ну, звичайно, тут проблема в тому, що науковці це не янголи з німбом - це люди у яких також є якісь кар’єрні амбіції, люди, які не дуже чесно по кар’єрі просуваються. І якщо вони бачать якійсь кількісний показник, який впливає на їх фінансування і на їх кар’єрне просування, звичайно, вони хочуть цей показник якось собі накрутити. Щоб не роками працювати, щоб він якось виріс, так би мовити, природнім шляхом, а добитися вже зараз того, що можна добитися через десять років. Звичайно, починаються накрутки, і сама структура індексу Гірша, як найбільш відомого наукометричного показника на сьогодні, який всі знають і всі використовують, він, на жаль, від таких накруток не захищений.
К.К. – І він, наскільки я знаю, оцінює не якість, а кількість.
С.Є. – Не можна сказати, що кількість. Він створювався якраз як альтернатива чисто кількісним показникам. Тут треба сказати, що взагалі індекс Гірша, ще дуже молодий, він лише в 2005 році лише був запропонований, тобто не треба думати, що це вже за Ейнштейна було, або за Ньютона, не дай боже. І до індексу Гірша взагалі наукометрія була яка? Кількість статей. Можна ще зараз знайти якісь книжки, наприклад, які за радянською традицією «автор професор такий-то, автор 150 наукових робіт». Тобто, є і зараз. Потім почали враховувати цитування, кількість цитувань, але, знову таки, це тільки кількісний показник, якість ніяк не задіяна. А індекс Гірша – це як раз той показник, що балансує між кількістю та якістю. І на момент створення, коли ще не було відомо, як це обходити, він був досить-таки об’єктивним.
Ну, тобто, як індекс Гірша рахується? Це якесь число Х, якщо взяти всі роботи науковця, то у нього повинно бути Х робіт з якнайменше Х цитуваннями у кожній. І ось максимальний такий Х знаходиться, і це і є індекс Гірша. Тобто, якщо він 10, то у людини є 10 робіт, в кожній з яких якнайменше 10 цитувань. Так він рахується.
Ну, тобто, як індекс Гірша рахується? Це якесь число Х, якщо взяти всі роботи науковця, то у нього повинно бути Х робіт з якнайменше Х цитуваннями у кожній. І ось максимальний такий Х знаходиться, і це і є індекс Гірша. Тобто, якщо він 10, то у людини є 10 робіт, в кожній з яких якнайменше 10 цитувань. Так він рахується.
Ну, по-перше, індекс Гірша треба рахувати без самоцитувань. Тобто такий найбільш простий спосіб робити накрутки – це цитувати самих себе. Тобто, людина випускає роботу, потім другу, друга посилається на першу.
К.К. – Але без самоцитування теж не обходиться?
С.Є. – Звичайно, ні, без цього неможливо, але кількість самоцитувань повинна бути якоюсь адекватною. Ну як правило, ну залежить звичайно від галузі науки, по-різному у всіх, але там десяток самоцитувань , в принципі, буває. Але тут не в кількості річ, а в тому, як це з часом відбувається. Тобто, накрутка через самоцитування – це коли п’ята робота цитує чотири попередні, шоста – п’ять попередніх, сьома – шість попередніх, ну і пішло комбінаторно розмножуватися. Звичайно, цитування повинні бути релевантними. Якщо в роботі використовується метод, який був створений в попередній роботі, ну, ви не обійдетеся без цитування, ви зобов’язані себе процитувати. Але перевірка тут дуже проста. Якщо у людини індекс цитувань без самоцитувань, скажімо, десять, то він з самоцитуваннями без накруток може бути дванадцять-тринадцять, може чотирнадцять в окремих випадках. Тобто, ця різниця може бути дві-три, ну може чотири одиниці. Якщо вона десять, п’ятнадцять, двадцять, то це, стовідсотково майже, зловживання самоцитуванням.
К.К. – І як я розумію, що це ще пов’язано з тією галуззю, в якій науковець працює, і навіть з темою.
С.Є. – Звичайно, бо різні традиції в різних галузях науки...
К.К. – А наприклад? Ось у фізиків?
С.Є. – У фізиків дуже яскравий приклад – це колайдерні колаборації. Це андронний колайдер, це величезна наукова установка, яку обслуговує кілька тисяч людей. Є дві окремі колаборації, які знімають з нього дані і одна іншу перевіряють. Кожна колаборація це, знову таки, декілька тисяч науковців, і у них така політика колаборації, що будь-яка стаття з якимись суттєвими результатами включає в співавтори всіх людей, які працюють в колаборації. Тобто, там сотні авторів, тисячі авторів, тобто, список авторів в статті є окремим додатком. І, звичайно, коли починають цитувати роботи одна іншу, то оці всі люди потрапляють в цитування. І там просто смішні випадки бувають, коли аспірант першого року, який тільки-тільки почав працювати, за один рік публікую тридцять п’ять робіт. Ну, звичайно, це нонсенс, зрозуміло, що такого бути не може, але за рахунок цього, за рахунок отакої політики, це, ну як сказати таким модним словом, це – тролінг звичайний, це самої наукометричної системи оцих індексів наукометричних. Бо за рахунок цього у цих фізиків елементарних частинок виходять індекси Гірша такі, що вони не снилися нікому більше.
К.К. – Захмарні.
С.Є. – Захмарні, і от наскільки я знаю, що Томас Рейтер зараз перестав взагалі індексувати роботи, де більше, здається, тридцяти авторів.
К.К. – Тобто, таке вже правило з’явилось?
С.Є. – Таке вже правило з’явилося, я не певен, чи воно офіційне чи неофіційне, але у мене така була інформація. Це просто пов'язано з тим, що індекс Гірша як такий, він, як будь яка функція, він має певну область визначення. І ось якщо авторів сто, то це поза областю визначення цієї метрики просто, тобто її не можна застосовувати, вона нічого не буде відображати об’єктивно.
Сплячі красуні – це такий термін про роботи, які тридцять років вважалися нікому не потрібними, а потім якось змінилася наукова кон’юнктура, і ці роботи почали цитуватися, причому дуже активно. Автор вже забув, може, його в живих вже немає, може, він забув про цю роботу, а робота починає шалено цитуватися. Таке буває в різних галузях, в математиці багато, в фізиці буває, в біології не буває, бо біологія занадто стрімко застаріває.
К.К. – А хто такі «сплячі красуні»?
С.Є. – Сплячі красуні – це такий термін про роботи, які тридцять років вважалися нікому не потрібними, а потім якось змінилася наукова кон’юнктура, і ці роботи почали цитуватися, причому дуже активно. Автор вже забув, може, його в живих вже немає, може, він забув про цю роботу, а робота починає шалено цитуватися. Таке буває в різних галузях, в математиці багато, в фізиці буває, в біології не буває, бо біологія занадто стрімко застаріває.
К.К. – А ви мені ще розповідали про такий цікавий приклад з власного життя, саме про методи роботи.
С.Є. – Ну да, це приклад про методичні роботи. В експериментальній науці дуже часто роботи робляться чисто методологічні, тобто якась методика, як проводити певні вимірювання, певні експерименти. Звичайно, це потім це цитується, якщо людям цей метод цікавий, він всіх влаштовує, і всі його використовують. Але проблема в тому, що це не науковий результат в розумінні загальному, тобто це не є певна теорема чи певне знання, яке іде в підручники, це внутрішня кухня, тобто це методологія. Але цитується вона на тих самих правах, що і інші роботи, і от класичний випадок – це робота, яка має максимальний індекс цитування взагалі в світі, глобально номер один – це робота методологічна по виділенню білка, біологічна. Вона має десятки тисяч цитувань, але це чисто методологічна робота, просто, грубо кажучи, як треба промокашки переставляти, щоб виділяти білок. Ну це я, звичайно, так, дуже грубо кажу, я не знаю, як воно виділяється, бо я не експериментатор, але це чисто методологія.
На майбутнє, можливо, зможуть зробити якісь наукометричні індекси, які будуть працювати вже не просто, так би мовити, як тупий кількісний показник, а як певна функція аналітична по графу цитувань, скажімо. Тобто, хто когось цитує, це буде глибоко аналізуватися, може, за допомогою якихось методів Big Data, Machine Learning – те, що зараз дуже популярно, щоб виявляти певні патерни, певні , так би мовити, контури цих цитувань. Таким чином можна, наприклад, відфільтрувати цитування всередині окремого кола однодумців, які всі цитують один одного. Зараз це зробити не можна, якщо аналізувати граф цитувань, то, в принципі, це можна виявити. Можна зважувати цитування по їх значущості, по імпакт-фактору журналу (тобто, наскільки престижний журнал).
К.К. – Зрозуміло. Як ми бачимо, є якісь певні проблеми, але, все ж таки, з інструментів оцінки своєї діяльності науковці обійтись не можуть. Тепер питання у альтернативі, у певному... як ви кажете, що індекс Гірша досить таки молодий, то можливо, він ще буде удосконалюватися?
С.Є. – Ну, напевно, буде удосконалюватися, бо зрозуміло, що коли його почали експлуатувати, то люди почали думати, як захиститися від цієї експлуатації . Зараз, наскільки я розумію, є декілька варіантів індексів більш, так би мовити, просунутих, більш захищених від накруток, але жоден з них не є загальновживаним на сьогодні, тобто, як Гіршем користувалися, так зараз і користуються. На майбутнє, принаймні у ком’юніті науковому, вже є розуміння, що індекс Гірша вже не проходить як об'єктивна метрика, і дуже багато вже, наприклад, комітетів по виборам, наприклад, членів на факультет десь там в Гарварді, вже використовують індекс Гірша з дуже великими застереженнями. Тобто, все ж таки повертаються до експертної оцінки. Індекс Гірша може використовуватися як груба фільтрація кандидатів, наприклад. На майбутнє, можливо, зможуть зробити якісь наукометричні індекси, які будуть працювати вже не просто, так би мовити, як тупий кількісний показник, а як певна функція аналітична по графу цитувань, скажімо. Тобто, хто когось цитує, це буде глибоко аналізуватися, може, за допомогою якихось методів big data, machine learning – те, що зараз дуже популярно, щоб виявляти певні патерни, певні , так би мовити, контури цих цитувань. Таким чином можна, наприклад, відфільтрувати цитування всередині окремого кола однодумців, які всі цитують один одного. Зараз це зробити не можна, якщо аналізувати граф цитувань, то, в принципі, це можна виявити. Можна зважувати цитування по їх значущості, по імпакт-фактору журналу (тобто, наскільки престижний журнал).
К.К. –І якщо, наприклад, нобелівський лауреат, так? Якщо оцінювати його роботу, то тоді...
С.Є. – Ну, тут насправді питання. Тут є нюанси, бо нобелівський лауреат – теж людина, і він має свої преференції, кого цитувати, кого не цитувати, так що тут не можна... Це може мати певну вагу, але ніякий з факторів не може бути абсолютним. Тобто це повинна бути якась багатопараметрична функція, зважена, так би мовити – навчена...
К.К. – Яка прагне до максимальної об’єктивності.
С.Є. – Звичайно, звичайно.
К.К. – Тобто, в ідеалі ми повинні бачити кількість і якість.
С.Є. – Бажано.
К.К. – І тоді, в принципі, це буде...
С.Є. – Я, чесно кажучи, скептик в цьому. Бо, як людина, яка працює з багатопараметричними системами, де купа параметрів, які впливають на її поведінку і важко передбачити, як ця система себе поводить, в наукометрії так само є купа параметрів, як об’єктивних, так і суб’єктивних, і людський фактор, і фактор просто недосконалості системи як такої, і фактор недосконалості публікаційної системи є, і недосконалість пі-рев’ю, і все, що завгодно. І при такій величезній кількості факторів, вбити якусь універсальну функцію, яка буде видавати кількісно просто число, що характеризує якість науковця – мені здається неможливо. Але це моя думка, можливо, ще щось зроблять. Але, принаймні, зробити краще, ніж індекс Гірша, однозначно можна.
Ну, розумієте, тут не можна теж сказати, що людина цим зловживає, в принципі, все, що не є забороненим, є дозволеним. Тобто, скажімо, якщо система настільки недосконала, що вона враховує індекс Гірша без усяких застережень, як універсальну певну істину, то чому б цим не скористатися, так би мовити? З іншої точки зору, є різні варіанти його накрутки. Є, так би мовити, легальні способи, а є способи, які є якщо не кримінальними, то грубим порушенням наукової етики.
К.К. – Нам, як суспільству, потрібно теж враховувати все сказане вами, коли ми чуємо про те, що індекс Гірша – це як певний ідеал оцінювання науковця, наскільки він успішний чи неуспішний, тобто, треба з певним скепсисом ставитись до цього. Як ви кажете, що науковець – людина, і може заради власної вигоди користуватися цими показниками для досягнення певної мети.
С.Є. –Ну, розумієте, тут не можна теж сказати, що людина цим зловживає, в принципі, все, що не є забороненим, є дозволеним. Тобто, скажімо, якщо система настільки недосконала, що вона враховує індекс Гірша без усяких застережень, як універсальну певну істину, то чому б цим не скористатися, так би мовити? З іншої точки зору, є різні варіанти його накрутки. Є, так би мовити, легальні способи, а є способи, які є якщо не кримінальними, то грубим порушенням наукової етики. От, наприклад, примушення до цитувань підлеглих, це вже, так би мовити, спосіб, який межує з криміналом, мені здається. А накрутити самоцитування – ну, як би нічого нелегального в цьому немає, а як це оцінювати з етичної точки зору, це вже питання з зовсім іншої площини. Ну, я можу сказати так, що взагалі кожен науковець так чи інакше, якісь такі способи, відносно чесні, так чи інакше використовує в своїй діяльності, тобто немає кристально чистих людей, які взагалі жодного разу нічого такого не застосовували. Наведу приклад. Це викликано не тим, що всі науковці такі погані, а просто тим, що формальні кваліфікаційні вимоги, які, наприклад, виставляються державними установами для науковців, вони, як правило, в багатьох країнах є просто, вибачте, маразматичними. Приклад з нашої практики. У нас, не знаю як зараз, але багато років до того, для того, щоб отримати звання старшого наукового співробітника, треба було мати якнайменше, здається, три одноосібні публікації. Це абсолютно нерелевантна, так би мовити, вимога, бо нащо? Ну, є такі галузі науки, де поодинці не працюють, принципово. Але це було однаково для всіх, і треба було – от ти повинен мати три публікації одноосібні і все, інакше ти не отримаєш це звання. Люди публікували роботи, де вони були одноосібним автором, насправді роботи робив цілий відділ чи цілий колектив. Чи є це порушенням? – так, є. Але куди подінешся, якщо такі формальні вимоги? Так що тут не можна так звинувачувати науковців в нечесності, просто не аналізуючи, так би мовити, їх оточення соціальне. Дуже часто ці накрутки, вони провокуються просто маразматичними вимогами.
Тобто, наукометрія є допоміжним показником, але не першим, не визначальним, який треба перепровіряти, в кожному випадку до нього відноситися, ну так би мовити, як до допоміжного інструмента, не більше. Коли вона стане більш досконалою, можливо це зміниться, зараз це так. А суспільству... Ну, суспільству треба все ж прислухатися до професіоналів і фільтрувати інформацію, яку дають сенсаційні мас-медіа, які можуть зробити сенсацію з будь-чого, але не завжди це об'єктивно.
В першу чергу треба сказати, що треба до всіх наукометричних показників підходити з певною частиною скепсису, треба розуміти, що це не ідеальні показники, не є срібна куля, яка абсолютно об'єктивно все описує, і треба все ж таки враховувати думку фахівців в галузі, в якій працює той чи інший науковець. Тобто людина стороння, яка не є науковцем, чи є науковцем в дуже відмінній галузі науки, вона часто не розуміє специфіки, вона не знає, які межі застосовності цих показників саме в цій тематиці, тому без експертної оцінки обійтися неможливо. І до цієї думки зараз, в принципі, прийшли всі. Тобто, наукометрія є допоміжним показником, але не першим, не визначальним, який треба перепровіряти, в кожному випадку до нього відноситися, ну так би мовити, як до допоміжного інструмента, не більше. Коли вона стане більш досконалою, можливо це зміниться, зараз це так. А суспільству... Ну, суспільству треба все ж прислухатися до професіоналів і фільтрувати інформацію, яку дають сенсаційні мас-медіа, які можуть зробити сенсацію з будь-чого, але не завжди це об'єктивно.
Розшифровка - Олена Мешкова