Семь раз отмерить

Бюджетное финансирование НИОКР и, говоря более широко, государственное управление научными исследованиями строятся на основе одного из двух возможных подходов – "авторитарного" (когда деньги дают под гарантии признанного на всех уровнях научного лидера, такого, например, как Курчатов или Королёв) и "демократического" (когда для распределения средств создаётся некая объективизированная процедура). В качестве общепринятого метода для построения подобной процедуры сегодня рассматривается наукометрия. 
 

Первый подход предельно прост, но страдает явной субъективностью. Впрочем, России он не грозит, поскольку признанных в мире научных авторитетов у нас в стране сейчас не сказать чтобы много. Основной порок второго подхода – бюрократизация: интерпретация наукометрических показателей, которые несложно вычислить на компьютере, вызывает у администраторов от науки неподдельный энтузиазм. Апелляция к наукометрии придаёт их деятельности (в частности, принятию финансовых решений) научную респектабельность, непререкаемую объективность и сводит до минимума их личную ответственность за результаты НИОКР. 
 

Общепризнанной основой для наукометрического анализа является Web of Science – "поисковая платформа, объединяющая реферативные базы данных публикаций в научных журналах и патентов и охватывающая материалы по естественным, техническим, общественным, гуманитарным наукам и искусству". Основные показатели Web of Science (количество публикаций, суммарная цитируемость статьи, суммарная цитируемость за вычетом самоцитирования, средняя цитируемость одной статьи и индекс Хирша) включают два критерия из девяти, установленных Минобрнауки РФ для вузов-участников программы "5-100". Сформулированы они так: "Количество статей в Web of Science и Scopus c исключением дублирования на одного научно- педагогического работника (НПР)" и "Средний показатель цитируемости на одного НПР, рассчитанный по совокупности статей, учтённых в Web of Science и Scopus, с исключением их дублирования". 
 

При этом бросается в глаза тот факт, что эти, по сути дела библиометрические, показатели напрямую (без какой-либо адаптации) применимы лишь к фундаментальным исследованиям, результаты которых исчерпываются научной статьей и не имеют прямого отношения к реальной жизни, в частности к производственной сфере. Если же речь идёт о прикладных исследованиях и, тем более разработках, нужно вводить не менее важные критерии, которые отображали бы практическую полезность данной НИОКР. Ещё более сложная задача – измерять ценность гуманитарных исследований, предмет которых имеет локальный (региональный, местный) характер и мировую научную общественность практически не интересует. 
 

К чести профессиональных наукометристов нужно сказать, что они сами предостерегают от расширительного использования их методологии. Так, отец-основатель наукометрии Юджин Гарфилд прямо заявлял: "Количественные данные не должны использоваться как единственный критерий оценки качества исследований научного учреждения или индивидуальных исследователей. Эти показатели могут способствовать формированию взвешенного экспертного суждения. Использование количественных данных без должного предварительного обучения обращению с ними и критического взгляда может воспрепятствовать прогрессу исследований и научных сотрудников". 
 

Аналогичную позицию высказал и ведущий семинара в Самарском университете Павел Касьянов из Thomson Reuters. Он предостерёг научных администраторов от "чрезмерной бюрократизации управления наукой на основе наукометрических показателей" и категорически не рекомендовал управленцам слишком увлекаться продвижением вузовских журналов, резонно заметив, что научные результаты – это публикации, которые должны знать в мире, а вовсе не журналы. Немногочисленные советы этого эксперта касались, в частности, публикационной стратегии: "Фокус должен быть не просто на журналах, реферируемых в Web of Science, а на изданиях, входящих в первый или второй квартили по импакт-фактору в своей предметной области". Кроме того, он рекомендовал тематический поиск в Web of Science в качестве эффективного способа узнать, кто в мире – лучший по интересующей предметной области. 
 

Более подробные наставления содержатся в "Лейденском манифесте для наукометрии", где даются 10 основных принципов в оценке исследовательской деятельности, позволяющих "учёным проверять тех, кто их оценивает, а "оценщикам" – проверять свои индикаторы". 

Юрий Сахаров

 

10 принципов "Лейденского манифеста"
 

1. Количественная оценка должна дополнять качественную, экспертную оценку. Числовые индикаторы – не замена информированному суждению. 
2. Сопоставляйте научную деятельность с исследовательскими задачами организации, группы или учёного. При выборе индикаторов и способов их использования нужно принимать во внимание широкий социально-экономический и культурный контекст. 

3. Отстаивайте научное качество в исследованиях, важных для того или иного региона. Неправомерно высокое качество научного исследования связывать с публикацией на английском языке. Такого рода предубеждение создаёт особые проблемы в общественных и гуманитарных науках, где многие исследования обусловлены региональной и национальной спецификой. 

4. Сбор и обработка данных должны быть открытыми, прозрачными и простыми. Нельзя соглашаться с существованием "машины для оценки" в чёрном ящике. 

5. Позволяйте оцениваемым исследователям проверять данные и их анализ. Университеты могут реализовывать этот принцип в своих информационно-исследовательских системах, и именно он должен стать основным в отборе поставщиков этих систем. 

6. Научные дисциплины отличаются друг от друга по практике публикаций и цитирования. Лучше всего составлять ряд возможных индикаторов и позволять дисциплинам выбирать среди них. К примеру, историкам и обществоведам важно, чтобы в подсчёт их публикаций входили книги и литература на национальных языках, а специалистам по информатике нужно, чтобы учитывались доклады на конференциях. 

7. Основывайте оценку отдельных исследователей на качественной оценке их резюме. Чтение и оценка работы исследователя куда важнее, чем опора только на числовые показатели. Даже в сопоставлении больших групп учёных наилучшим подходом будет тот, где принимается во внимание больше сведений об уровне знаний, опыте, деятельности и влиянии отдельного исследователя. 

8. Избегайте неуместной конкретности и ложной точности. Лучше всего использовать разнообразные индикаторы, чтобы обеспечить более убедительную и плюралистичную картину. К примеру, нет смысла различать журналы на основе очень маленького различия в импакт-факторе, если он гарантирует только один десятичный знак. 

9. Признавайте системное воздействие оценки и индикаторов. Это означает, что набор индикаторов всегда предпочтителен – использование лишь одно- го создаст дух азартной игры и сместит цель (показатель станет целью, а не средством). 

10. Регулярно подвергайте индикаторы тщательной проверке и пересмотру. Это позволит учесть изменчивость научно-исследовательских задач. 

Источник: Nature, April 23, 2015, vol. 520, pp. 429–431