Сбор, структурирование, анализ и представление научной и наукометрической информации

Наука может рассматриваться с двух противоположных точек зрения: как хобби, направленное на удовлетворение любопытства конкретного индивидуума, и как общественный институт, обеспечивающий развитие общества. В научно-исследовательских институтах и университетах наука может трактоваться только в качестве общественного института. Научные исследования, как и произведения искусства, должны быть достоянием людей — только в этом случае они становятся общественным явлением. Научные исследования оплачиваются из кармана налогоплательщика, поэтому эффективность вложения денег не может не волновать общество. Не может быть Астраханской или Калмыцкой науки. Существует мировой уровень науки, и если исследовательская работа ему не соответствует, то ее попросту нет, а потраченные на исследование деньги выброшены на ветер. Здесь вполне уместно вспомнить известное высказывание Воланда в романе М.А. Булгакова «Мастер и Маргарита»: «Свежесть бывает только одна — первая, она же и последняя. А если осетрина второй свежести, то это означает, что она тухлая!» Наука бывает только одна — с большой буквы!
Классическая формула университета — «наука + образование = университет». Именно так: наука на первом месте! Если целью института является воспроизводство знаний, то целью классического университета — производство новых знаний. Если в институте преподаватель, в первую очередь, — педагог, то в классическом университете — ученый. Университетская кафедра — это, прежде всего, научная школа.
Оценка результативности научных исследований на различных уровнях — отдельный ученый, организация, регион, государство — должна использоваться для выработки осмысленной научной политики.
Сбор сведений о научной активности отдельного сотрудника (публикации, выступления на конференциях, объекты интеллектуальной собственности, гранты, хоздоговоры, премии за научные достижения, участие в выставках и т.д.) и интеграция этой информации в базу данных организации или структурного подразделения — весьма трудоемкая задача даже для небольшого подразделения. В идеале процесс актуализации информации должен быть непрерывным и позволять в любой момент проводить самооценку организацией и определять качество кадрового состава. Однако фактически обновление данных происходит 1–2 раза в год в связи с подготовкой отчетов в вышестоящие организации.
Говоря об оценке эффективности научной работы необходимо определить несколько ключевых положений.
Что оценивать?
«Кто больше, слон или жираф?» Этот вопрос бессодержательный, так не определено, по какому признаку проводится оценка: по массе или по росту. Если по массе, то слон больше (тяжелее). Если по росту, то жираф больше (выше). В последнее время зачастую приходится сталкиваться с повсеместным использованием количественных показателей вместо качественных. Погоня за количеством публикаций (в журналах из списка ВАК или индексируемых в Scopus) привела к лавине низкопробных публикаций, обеспечивающих необходимый показатель, но не вносящих вклада в науку. Есть научные журналы, которые читают и используют в работе, а есть журналы, которые издаются только для удовлетворения каким-то формальным показателям в бюрократической системе оценок. Можно опубликовать 15 работ по 2 страницы в журнале, который практически никому не известен. Это может оказаться полезным для защиты диссертации, но не для содержательного общения с коллегами. Ситуация напоминает сказку про жадного богача, заказавшего из одной овечьей шкуры дюжину шапок. Шапки удалось скроить и сшить, только надеть их можно было на яблоко, но никак не на голову. Более того, оценивать можно только объекты или результаты внутри однородной группы. Как сравнить результаты музыканта, спортсмена и хирурга? Применение для оценки разных видов деятельности одинаковых критериев гарантирует абсурдный результат. Почему-то этот очевидный факт не принимается во внимание, когда проводится оценка по одинаковым критериям математика и экспериментатора, занимающегося физикой элементарных частиц.
Как оценивать?
Столь же бессодержателен вопрос: «Кто сильнее, слон или муравей?». Если речь идет об абсолютном значении поднимаемой массы, то сильнее слон. Если говорить об относительной массе, т.е. массе поднимаемого груза по отношению к собственному весу, то сильнее муравей. Понятно, что Московский государственный университет за год публикует статей больше, чем какой-нибудь провинциальный университет, просто потому, что в МГУ сотрудников больше. А каково количество публикаций в расчёте на одного сотрудника? Какова стоимость одной публикации? Об эффективности работы отдельного ученого, вложения средств в заработную плату и оборудование говорят почему-то гораздо реже, хотя именно эти показатели являются ключевыми. Эффективность — отношение результата к затратам на его получение. Здесь речь идет не только о деньгах, но и о времени, затрачиваемых человеческих ресурсах. Можно колоть орехи микроскопом, но это не самое эффективное его применение. Некорректно сравнивать научную продуктивность НИИ и университета. Научные исследования в НИИ — главная и практически единственная форма деятельности. В университетах научные исследования — лишь одна, причем неосновная, форма деятельности.
Кто оценивает?
«А судьи кто?» — вопрос, заданный два века назад Грибоедовым, не утратил актуальности. К сожалению, экспертная оценка, превращенная в конвейерное производство, доказала свою полную неэффективность. Низкопробные работы, пропущенные диссертационными советами, благополучно утверждаются ВАК. Получившие степени псевдоученые через некоторое время сами занимают места в экспертных советах и продолжают порочную практику оценки по форме, а не по содержанию. «Так вот, чтобы убедиться в том, что Достоевский — писатель, неужели же нужно спрашивать у него удостоверение? Да возьмите вы любых пять страниц из любого его романа, и без всякого удостоверения вы убедитесь, что имеете дело с писателем» — говорил Коровьев в уже цитировавшемся романе Булгакова. Без особых усилий в Интернете можно найти множество предложений услуг по написанию и сопровождению диссертаций. Аналогичные предложения — по продвижению публикаций и увеличению их цитирований — можно найти на сайтах «научных» журналов. Показатели, индикаторы, критерии — на любое измышление бюрократической мысли всегда найдется ответ общества. Оценка формы вместо содержания (оценка показателей) — гарантированно приводит к деградации любой сферы деятельности, бумаготворчеству, очковтирательству и показухе.
Принцип дополнительности
При описании сложной системы или явления любой способ описания дает заведомо неполную и искаженную информацию. Только применение нескольких принципиально разных способов описания позволяет получить более или менее адекватное представление. Уместно вспомнить знаменитый японский сад камней Рёандзи: с любой точки наблюдатель видит только 14 камней из 15. Абсолютизация какого-либо одного способа или подхода к описанию научной или любой иной деятельности гарантирует искажение информации. В известной притче о слепых и слоне каждый из слепых, ощупав одну из частей тела слона, высказывал мнение, несовместное с мнением остальных (слон похож на столб, на веревку, на удава, на мешок и т.д.). Мнение каждого было одновременно и справедливым и ложным: давая правильно описание одной из частей слона (ноги, хвоста, хобота, живота и т.д.), оно становилось ошибочным при попытке перенести его на слона в целом.
Инерционность. Эффект запаздывания
Порой научные работы намного опережают свое время. Открытые Джоном Скоттом Расселом в 1834 году уединенные волны на долгие десятилетия были забыты. Работа основоположника генетики Грегора Иоаганна Менделя (1866) привлекла к себе внимание только в начале XX века. Выполненные исследования оказались востребованными только через много лет. Если бы в те времена определялся индекс цитирования, то оба ученых, фактически заложивших основы новых наук, имели бы при жизни нулевой индекс цитирования.
Иногда публикации важнейших новых результатов осложняются инерционностью мышления рецензентов и редакций научных журналов. Статья Б.П. Белоусова, в которой он описывал открытую им колебательную химическую реакцию, была отклонена двумя солидными журналами. Только через несколько лет Б.П. Белоусов опубликовал полученные им результаты в сборнике рефератов. Выдающаяся работа была опубликована в малоизвестном и труднодоступном издании. Однако, сделанное им открытие оказало исключительное влияние на современную науку. В 1980 году он был удостоен посмертно Ленинской премии «за обнаружение нового класса автоволновых процессов и исследование их роли в нарушении устойчивости возбудимых распределенных систем». В 1986 году работа Беднорца и Мюллера с описанием нового явления — высокотемпературной сверхпроводимости — была опубликована далеко не в самом престижном журнале (Zeitschrift für Physik).
Порой авторы не считают нужным доводить свои результаты до сведения широких научных кругов. Выдающиеся работы Григория Перельмана опубликованы только в виде электронного препринта (http://arxiv.org).
Статистический принцип
Отдельный ученый или работа могут сколь угодно сильно не вписываться в систему оценок, в среднем работающую хорошо.
Количественные методы оценки продуктивности научной деятельности
Имея в виду всё перечисленное выше, можно начать разговор о количественных методах оценки продуктивности учёного или научного подразделения. Ограничимся для начала только оценками публикационной активности, оставив для последующего обсуждения вопросы, связанные с подготовкой кадров высшей квалификации (руководства аспирантами и консультирование докторантов) и грантовой активностью. Вопросами количественной оценки научной деятельности занимается наукометрия (scientometrics). Переход к использованию количественных оценок эффективности научных исследований был вполне предсказуем (см. интернет-публикацию 2006 г. Тарасевич Ю.Ю. Пишите статьи по-английски! http://mathmod.aspu.ru/?id=136)
Есть несколько стандартных способа оценить уровень ученых. Первый — индекс цитирования, второй — индекс Хирша, третий — импакт-фактор журналов, в которых публикуется учёный.
Индекс цитирования показывает сколько раз статьи, написанные данным автором, были процитированы. В серьезных университетах и исследовательских институтах индекс цитирования преподавателя или ученого — важнейший критерий при избрании на должность. Для отсечения откровенной графомании и взаимного цитирования соавторов по предварительному сговору («кукушка хвалит петуха за то, что хвалит он кукушку») используются индекс цитирования без учёта самоцитирований и цитирований соавторами, то есть только цитирования в работах других авторов. Как правило, ученый имеет большой индекс цитирования, если его работы были опубликованы в журналах с высоким импакт-фактором.
Импакт-фактор (коэффициент влияния) — важная характеристика научных журналов. Он рассчитывается каждый год компанией Thomson Reuters (http://thomsonreuters.com/products_services/science/free/essays/impact_factor/). Импакт-фактор журнала равен отношению ссылок за определенный период (обычно, 2 года или 5 лет) на статьи в данном журнале к количеству опубликованных в нем статей. Надо иметь в виду, что импакт-факторы журналов очень сильно различаются в различных науках. Высокий импакт-фактор журнала является надежной гарантией того, что на опубликованную работу будут ссылаться. Публикация даже хорошей работы в журнале с нулевым импакт-фактором обычно обрекает ее на безвестность.
Индекс Хирша или h-индекс. h-индекс учёного равен N, если его N статей цитируются как минимум h раз каждая, а оставшиеся статьи цитируются не более, чем h раз каждая.
Оценка эффективности научной деятельности на основании цитирований, имеет большое время запаздывания. Для оперативных оценок и прогноза гораздо удобнее использовать текущие импакт-факторы журналов, в которых опубликованы работы сотрудников.
Краткое описание информационно-аналитической системы
Показатели эффективности научной работы рассчитываются исходя из публикационной активности, наличия объектов интеллектуальной собственности, взаимодействия с реальным сектором экономики, уровня развития инновационной инфраструктуры, доходов и расходов на научно-исследовательскую деятельность.
Оценка качества работы отдельного ученого и подразделения, в котором он работает, определяется, исходя из большого количества показателей: свидетельства о регистрации (базы данных, программы, патенты и др.), публикации различного уровня, участие в конференциях, дипломы и награды, участие в грантах и руководство исследованиями в рамках полученных грантов. На основании данных материалов выводятся, в частности, рейтинг ученого, подразделения и организации в целом. Накопление достоверной информации о научной активности сотрудников представляет интерес для распределения денежных средств, отводимых для материального стимулирования персонала.
Таким образом, автоматизация сбора, структурирования, анализа и представления в удобной форме информации о научной деятельности организации (подразделения) представляет несомненный практический интерес для оценки эффективности проводимых исследований и является естественным элементом развития инфраструктуры информационно-аналитического обеспечения научной деятельности.
Процесс сбора информации для составления подобных отчетов проходит несколько этапов: сотрудники формируют сведения и подают их непосредственному руководству (руководителю подразделения — заведующему кафедрой или лабораторией, начальнику отдела и т.п.; далее для простоты, но без потери общности, мы будем строить изложение, ориентируясь на университетскую структуру), заведующие кафедрами передают данные сведения декану факультета, который, в свою очередь, направляет собранную информацию директору института и т.д. В итоге формируется итоговый отчет о деятельности организации. Весь процесс является очень сложным и порождает возникновение противоречивых и недостоверных сведений, требующих корректировки и анализа.
Например, два преподавателя одной и той же кафедры являются соавторами одной статьи. Вероятно, каждый из них укажет эту статью в своем отчете, однако, в отчете кафедры должна фигурировать только одна статья. Ситуация усложняется, если преподаватели работают на разных кафедрах одного факультета. В этом случае статья будет заноситься в отчет каждого преподавателя и каждой кафедры, но в отчете факультета должна быть только одна статья. Ситуация легко экстраполируется на случай, когда соавторы работают на разных факультетах.
В отличие от отечественной системы Российский индекс научного цитирования (РИНЦ) и зарубежных сервисов типа Scopus, Web of Science и др., которые анализируют публикации из собственной базы данных и на этой основе проводят наукометрические оценки деятельности организации и отдельных ученых, разрабатываемая информационно-аналитическая система изначально работает с данными конкретных исследователей и осуществляет интеграцию этих данных на уровень подразделения, организации и т. д.
Использование для проведения измерения научной активности данных Scopus, Web of Science и других зарубежных систем осложняется тем, что они обрабатывают только англоязычные издания, а доля переводных отечественных журналов в общем объёме всё ещё невелика.
Реализуемый нами подход позволяет более полно и оперативно отслеживать показатели как отдельных сотрудников, так и подразделений и организаций. Так, например, несмотря на активное развитие РИНЦ, база данных elibrary всё ещё весьма неполная (например, ведущий физический журнал страны «Успехи физических наук» с импакт-фактором 2,245 за 2003–2004 годы в базе данных отсутствует, отсутствует «Журнал экспериментальной и теоретической физики» за 2002 год (импакт-фактор 0,946), журнал «Математическое моделирование» представлен только за 2005–2008 годы). Скорость обновления информации в РИНЦ невелика, например, импакт-фактор ISI журнала УФН за 2008 год до сих пор отсутствует, хотя на сайте английской версии журнал представлен уже за 2010 год.
К искажению наукометрической информации в системах типа Scopus, WoS, РИНЦ приводит некорректное цитирование и частые ошибки, связанные с объединением нескольких однофамильцев под одной учетной записью или разделение публикаций одного автора по нескольким учетным записям.
Информационно-аналитическая система предлагает защищенный контролируемый доступ к собственным материалам и объектам коллекции и удобный пользовательский интерфейс в виде личного кабинета сотрудника и руководителя, подсистема генерации отчетов («версия для печати») обеспечивает возможность выбора вариантов представления объектов.
Данные, относящиеся к конкретному подразделению, складываются из информации, введенной непосредственно сотрудниками. Сотрудник имеет право корректировать только собственные материалы, однако, руководитель может иметь возможность (опционально) работать со всеми данными своих сотрудников и дочерних подразделений (например, декан факультета имеет доступ к материалам соответствующих кафедр).
Информационно-аналитическая система призвана решать следующие задачи.
Верификация вводимой информации. При вводе информации возможны случайные опечатки, орфографические ошибки, транспозиции символов, измененный порядок слов, несогласованность в написании фамилии автора и др. В системах, работающих с данными результатов научных исследований, вероятность возникновения такой ситуации существенно повышается. Теоретически нельзя исключить и попытки злонамеренного искажения информации для увеличения персонального рейтинга. Возможно предоставление некорректной информации из-за некомпетентности исполнителей. Так, нам известны случаи, когда тезисы докладов, вышедшие в России на английском языке, были поданы в отчет как статья в зарубежном издании, а журналы, входящие в РИНЦ, засчитывались как индексируемые Scopus и Web of Science. Верификация вводимых данных, в частности, должна минимизировать искажение информации, связанное с откровенной недобросовестностью или некомпетентностью лиц, вводящих ее.
Для упрощения процедуры ввода библиографических описаний в систему, минимизации возможных ошибок и, соответственно, ускорения процесса наполнения базы данных реализована подсистема, позволяющая импортировать библиографические данные.
Синхронизация информации. Система позволяет исключить бессмысленную работу по повторному вводу информации всеми соавторами. Единожды введенная информация, например, о полученном патенте автоматически переносится на персональные страницы всех соавторов. Таким образом, один элемент коллекции может быть связан с несколькими сотрудниками. Использование интеллектуальных методов обработки данных и алгоритмов нечеткого поиска позволят провести сравнение существующих данных без участия человека.
Актуализация информации и наукометрических показателей. Возможно уточнение введенной информации: устранение замеченных опечаток, изменение статуса патента (принята заявка, принято решение, выдан диплом), уточнение выходных данных статьи (добавление выпуска и страниц к статье, первоначально опубликованной online, на которую ссылка была только по doi). В перспективе будет реализована интеграция с существующими системами и периодический опрос таких систем с целью импортирования более актуальных сведений и корректировки базы данных организации.
Кроме стандартной статистики, ведущейся в разрабатываемой системе, предполагается внедрение импорта из внешних источников таких показателей как импакт-фактор журналов, индексы цитирования ученых, индекс Хирша и др.
Последним шагом в разработке информационно-аналитической системы станет реализация мобильной версии приложения, позволяющей работать с материалами посредством операционной системы Google Android.

сгенерировано за 0.045632839202881 сек.

назад | на главную | наверх