УДК 001.32–047.44(477):004.91

Леонід Костенко, канд. техн. наук, ст. наук. співроб., заввідділу, Національна бібліотека України імені В. І. Вернадського

Тетяна Симоненко, канд. наук із соц. комунікацій, наук. співроб., Національна бібліотека України імені В. І. Вернадського

Наукометрія: від нумерології до Лейденського маніфесту

Розглянуто принципи Лейденського маніфесту наукометрії і проаналізовано їх відповідність нормативним актам України щодо оцінювання ефективності діяльності наукових установ. Зроблено висновок про необхідність залучення установ, що професійно займаються бібліометричними технологіями та наукометричними дослідженнями, до підготовки проектів оновлених нормативних актів, які мають стати складовою наукового кодексу України.

Ключові слова: наукометрія, нормативні акти, Лейденський маніфест наукометрії, бібліометричні показники, експертне оцінювання.

 

Сьогодні набувають гостроти питання оцінювання результативності наукової діяльності. В Україні методика оцінювання ефективності діяльності наукової установи визначається чинними нормативними актами «Положення про державну атестацію науково-дослідних (науково-технічних) установ» [10], «Методика оптимізації (атестації) бюджетних наукових установ, які повністю або частково фінансуються за рахунок коштів державного бюджету» [9] і «Порядок оцінки розвитку діяльності наукової установи» [11].

Методологія оцінювання базується на системі кількісних атестаційних параметрів, серед яких: рівень кваліфікації наукових кадрів (штатна чисельність осіб з науковими ступенями), бюджет та інфраструктура, рівень тематики (кількість державних цільових і міжнародних програм), результативність (кількість монографій та інших публікацій), престиж (кількісні показники представленості у світовому інформаційному просторі). Сукупність цих показників разом з даними динаміки їх розвитку та картками внутрішнього й експертного оцінювання є джерельною базою для визначення бальної рейтингової оцінки наукової установи для її наступного віднесення до однієї з 4-х категорій: А – установа-лідер, Б – провідна установа, В – помірно-динамічна установа, Г – наздоганяюча установа.

Таку методологію можна охарактеризувати як нумерологічну. Її витоки – введений 1969 р. В. Налімовим термін «наукометрія». У спільній із З. Мульченко монографії ним запропоновано: «Називатимемо наукометрією кількісні методи вивчення розвитку науки як інформаційного процесу» [5]. У практичному аспекті кількісні методи наукометричних досліджень набули поширення завдяки запропонованій Ю. Гарфілдом ідеї використання наукових посилань як засобу інформаційного пошуку та вивчення структури науки. З його ім’ям пов’язано організацію Інституту наукової інформації США і створення бази даних Web of Science з аналітичною надбудовою InCites. Водночас сам Ю. Гарфілд невпинно закликав до обережності у використанні даних цитування, відзначаючи, що вони, як і «будь-який інструмент – від ядерної енергії до молотка, – повинні бути правильно використані» [16].

Суттєвий внесок у теоретичні та практичні напрацювання в галузі наукометрії зроблено українськими вченими. Особливе значення для їх розгортання мала опублікована в 1966 р. у Києві фундаментальна монографія засновника Інституту досліджень науково-технічного потенціалу та історії науки НАН України Г. Доброва «Наука о науке: Введение в общее науковедение», яка фактично поклала початок цьому напряму робіт. Монографія поглибила інтерес до наукознавчих досліджень узагалі і в подальшому була перекладена багатьма мовами світу [2]. У ній акцентовано увагу на необхідності систематизованого дослідження тенденцій і перспектив розвитку науки в Україні та світі. Дане Г. Добровим визначення наукознавства і сьогодні є актуальним: «…це комплексне дослідження і теоретичне узагальнення досвіду функціонування соціальних систем у науці з метою обґрунтування науково-технічної політики, а також раціонального формування потенціалу науки і підвищення ефективності наукової діяльності за допомогою засобів соціальної, економічної і організаційної дії». Воно відображає системність наукознавчих досліджень і необхідність одержання комплексних знань про науку.

Розвиток концепції наукознавства Г. Доброва, як теоретичного базису наукометрії та останні доробки [1, 3, 6–8, 13, 14] дають підстави стверджувати, що тільки професійна експертиза може дати всебічну об’єктивну оцінку дослідницьких результатів, бібліометричні ж показники слугують інструментом підтримки прийняття рішень експертами. Сучасні напрацювання у сфері методології оцінювання результативності науки в систематизованому вигляді викладені в Лейденському маніфесті Bibliometrics: The Leiden Manifesto for research metrics, прийнятому на XIX Міжнародній конференції Context Counts: Pathways to Master Little Big and Date (3–5 вересня 2014 р., Лейден, Нідерланди) і опублікованому в журналі Nature у квітні 2015 р. [15].

Метою цієї статті є аналіз основоположних засад зазначеного маніфесту в аспекті вдосконалення нормативної бази оцінювання наукової діяльності в Україні.

Сутність Лейденського маніфесту викладена в 10 принципах, що не є новиною для фахівців, які займаються наукометрією. Однак раніше вони не були викладені в систематизованому вигляді. Їх послідовність така:

1. Експертний висновок відповідальніший за формальні кількісні показники.

2. Критерії оцінювання мають відповідати завданням інституції.

3. Відстоюйте вагомі результати, оприлюднені в національному сегменті наукових комунікацій.

4. При оцінюванні використовуйте прозорі та прості індикатори.

5. Надавайте можливість перевіряти дані та результати аналізу.

6. Ураховуйте при оцінюванні специфіку галузей наук.

7. Приймайте до уваги портфоліо.

8. Уникайте надмірної конкретності кількісних показників.

9. Ураховуйте можливий негативний вплив формальних показників.

10. Переглядайте та вдосконалюйте систему показників оцінювання.

Перший принцип передбачає пріоритет експертного висновку над «нумерологією» – формальні показники повинні збиратися і братися до уваги при оцінюванні, але лише як відомості, необхідні для професійного аналізу (у вказаних вище нормативних актах України перевага надається кількісним показникам).

Ще більшою є невідповідність нормативних критеріїв оцінювання інституції покладеним на неї завданням. Так, Статут НАН України визначає, що метою її діяльності є «отримання нових та узагальнення наявних знань про природу, людину та суспільство; створення наукових основ науково-технічного, соціально-економічного та культурного розвитку країни; підготовка висококваліфікованих наукових кадрів». У «Порядку оцінки розвитку діяльності наукової установи» основним критерієм ефективності визначається чисельність публікацій інституцій, тобто перед вітчизняними науковцями поставлено завдання працювати не на результат, а на гонитву за кількістю статей і монографій. Такий підхід призвів до очевидної диспропорції в кількості наукових періодичних видань у нашій та інших державах: Україна – 2,4 тис., Росія – 2,1 тис., Польща – 1,2 тис. Якщо ж у вітчизняній інституції відкрито новий закон чи встановлена нова закономірність, то таке досягнення не надасть їй додаткових атестаційних балів.

Слід акцентувати увагу на третьому принципі, що полягає у необхідності належного оцінювання досліджень, які мають національне значення і опубліковані в українському сегменті документальних комунікацій. До них можна віднести науково-технічні роботи, актуальні для певних регіонів України, і розвідки в соціогуманітарній сфері. Слід нагадати і принцип обов’язковості оприлюднення у вітчизняних виданнях наукових результатів, отриманих при проведенні досліджень за рахунок коштів державного бюджету, який було закладено в Законі України «Про Основні засади розвитку інформаційного суспільства в Україні на 2007–2015 роки» [12]. Однак низка нормативних актів МОН України, зокрема про присудження наукових ступенів, вимагає опублікування нових результатів у журналах, що індексуються комерційними бібліометричними системами. Доступ до них практично унеможливлений для вітчизняних платників податків.

Четвертий принцип постулює необхідність застосування при оцінюванні прозорих і простих бібліометричних індикаторів. Наразі досить поширеним серед них є h-індекс, або індекс Гірша – показник впливовості вченого, заснований на гармонізації чисельності його статей та їх цитування. Класичний індекс Гірша дорівнює кількості статей h, на які є не менше h посилань. Поряд з ним використовуються такі похідні цього індексу, як g-індекс і hI-індекс: перший з них збільшує значення індексу за високо цитовані статті, а другий зменшує його за публікації науковця в складі авторських колективів. Констатуючи їх доречність при наукометричних дослідженнях, слід водночас наголосити на сумнівній доцільності застосування таких показників для оцінки ефективності наукової діяльності, оскільки вони мало впливають на результат оцінювання, але вимагають значних трудовитрат.

Важливим принципом є надання можливості перевіряти дані та результати аналізу. Якщо процедури оцінювання містять бібліометричні показники з комерційних наукометричних систем, то має бути забезпечений доступ до них. Сьогодні адміністратори від науки зобов’язують учених надавати відомості про присутність їхніх публікацій у системах Web of Science і Scopus [4, 19, 20], однак коштів на передплату доступу до них не виділяють (такий доступ мають кілька установ на всю країну).

Шостий принцип Лейденського маніфесту наукометрії – необхідність урахування при оцінюванні специфіки галузей наук. Для цього у Великій Британії при атестації наукових установ формується 36 зіставних груп – фізика, філологія, економіка, медицина тощо [18]. Чинні нормативні акти України ігнорують цей принцип – за одними критеріями мають атестуватися і «фізики», і «лірики». У певній мірі з цим принципом тісно пов’язаний і сьомий, у якому рекомендується враховувати портфоліо вченого або колективу (досвід, досягнення, авторитетність). Прикладом портфоліо може служити бібліометричний профіль ученого (відділу, установи) в системі Google Scholar [17].

Восьмий принцип декларує потребу уникати надмірної конкретності кількісних показників. Бібліометричні індикатори, як правило, є плинними, тому варто брати до уваги не більше 2–3 десятичних знаків (популярність індексу Гірша зумовлена його меншою плинністю порівняно з кількістю цитувань). Вбачається необхідним зупинитися на дев’ятому принципі. Він попереджає про небезпеку оцінювання за певним індикатором, що призводить до ігор з ним і підміни мети дослідження – метою стає досягнення максимуму цього індикатора. Якщо таким обрано індекс наукового цитування, то завданням ученого може стати створення «цитатних картелів», а не відкриття нових законів і виявлення раніше невідомих закономірностей.

З аналізу викладених вище принципів Лейденського маніфесту наукометрії випливає, що процедури оцінювання результативності наукової діяльності мають фокусуватися не на підтримці адміністративних процесів реформування освіти та науки, а на сприянні їхнього розвитку, супроводі вирішення не «політичних», а наукових завдань. Фактично вони вступають у суперечність із чинними нормативними актами України, що мають «нумерологічну» спрямованість.

Система оцінювання ефективності дослідницької діяльності в Україні «відповідає» лише десятому принципу Лейденського маніфесту наукометрії – переглядайте та вдосконалюйте систему показників і процедуру оцінювання. Отже, проведений аналіз основоположних засад маніфесту засвідчив про невідповідність його принципів чинним нормативним актам оцінювання результативності наукової діяльності. На наш погляд, їхня гармонізація не може бути здійснена шляхом «косметичного» доопрацювання цих документів. Розробка сучасної системи оцінювання наукової сфери потребує залучення установ, що професійно займаються бібліометричними технологіями та наукометричними дослідженнями, до підготовки проектів оновлених нормативних актів. Вони мають стати складовою наукового кодексу України, спрямованого на формування державної політики щодо розвитку та підвищення ефективності наукової сфери.

Висновки

1. Первісне визначення наукометрії як комплексу кількісних методів аналізу та оцінювання науки протягом тривалого періоду визначало «нумерологічний» напрям розвитку цієї дисципліни. Напрацювання теоретичного базису наукометрії привело до нового осмислення цього терміна. Сутність сучасної методології оцінювання результативності досліджень у систематизованому вигляді викладено в 10 принципах Лейденського маніфесту, які націлюють наукометрію на прозорий моніторинг дослідницької діяльності для її подальшого експертного оцінювання.

2. Сьогодні стає актуальним питання гармонізації національних систем оцінювання ефективності наукової діяльності з принципами Лейденського маніфесту. Проведений аналіз чинних нормативних актів України щодо державної атестації та оцінки розвитку діяльності наукових установ свідчить про їхню нумерологічну спрямованість. Розвиток наукової сфери України потребує сучасної нормативної бази оцінювання її результативності на засадах Лейденського маніфесту. Зокрема, у ній мають бути визначені: зіставні групи установ; критерії оцінювання, відповідні завданням інституцій зіставної групи; порядок оцінювання окремого вченого, підрозділу та установи; можливість перевірки даних дослідниками. Новим змістом мають бути наповнені форми карток експертного оцінювання.

3. Україні необхідна інтегрована інформаційна система, у якій будуть представлені наукові установи, їхні структурні підрозділи та співробітники, напрацювання, міжнародне визнання. Вона має стати джерельною базою для експертного оцінювання науки. Наявність такої системи – свідчення рівня інформаційно-технологічної культури нації.

 

Література

1. Горовий В. М. Критерії якості наукових досліджень у контексті забезпечення національних інтересів / В. М. Горовий // Вісн. Нац. акад. наук України. – 2015. – № 6. – С. 74–80.

2. Добров Г. М. Наука о науке. Введение в общее науковедение [моно- графия] / Г. М. Добров. – Київ : Наук. думка, 1989. – 301 с.

3. Кузнєцов О. Дослідження динаміки змін термінів у бібліотечній справі / О. Кузнєцов // Вісн. Книжк. палати. – 2013. – № 4. – С. 31–34.

4. Кухарчук Є. О. Світові наукометричні системи / Є. О. Кухарчук // Бібл. вісн. – 2014. – № 5. – С. 7–11.

5. Налимов В. В. Наукометрия. Изучение развития науки как информационного процесса [монография] / В. В. Налимов, З. М. Мульченко. – Москва : Наука, 1969. – 192 с.

6. Наукова періодика України та бібліометричні дослідження : [монографія] /Л. Й. Костенко, О. І. Жабін, Є. О. Копанєва, Т. В. Симоненко ; НАН України, Нац. б-ка України ім. В. І. Вернадського. – Київ, 2014. – 173 c.

7. Наукометрия: новые функции и проблемы адекватности / Б. Малицкий, В. Рыбачук, А. Попович, А. Корецкий // Наука и инновации. – 2013. – № 1. – С. 11–17.

8. Наукометрія: методологія та інструментарій / Л. Костенко [та ін.] // Вісн. Книжк. палати. – 2015. – № 9. – С. 25–29.

9. Про затвердження Методики оптимізації (атестації) бюджетних наукових установ, які повністю або частково фінансуються за рахунок коштів державного бюджету, та плану оптимізації (атестації) бюджетних наукових установ, які повністю або частково фінансуються за рахунок коштів державного бюджету : Постанова Кабінету Міністрів України від 31 жовт. 2011 р. № 1176 [Електронний ресурс]. – Режим доступу: http://zakon4.rada.gov.ua/laws/show/1176–2011-%D0 %BF (12.05.16). – Назва з екрана.

10. Про затвердження Положення про державну атестацію науково-дослідних (науково-технічних) установ : Постанова Кабінету Міністрів України від 7 квітня 1998 р. № 469 [Електронний ресурс]. – Режим доступу: http://zakon1.rada.gov.ua/laws/show/469–98-%D0 %BF (12.05.16). – Назва з екрана.

11. Про затвердження Порядку оцінки розвитку діяльності наукової установи : Наказ Міністерства освіти і науки, молоді та спорту України від 03.04.2012 № 399 [Електронний ресурс]. – Режим доступу: http://zakon3.rada.gov.ua/laws/show/z0629–12 (12.05.16). – Назва з екрана.

12. Про Основні засади розвитку інформаційного суспільства в Україні на 2007–2015 роки : Закон України від 9 січня 2007 року № 537-V [Електронний ресурс]. – Режим доступу: http://zakon2.rada.gov.ua/laws/show/537– 16 (12.05.16). – Назва з екрана.

13. Симоненко Т. Бібліометричні системи Scopus і Google Scholar: сфери використання / Т. Симоненко // Бібл. вісн. – 2015. – № 2. – С. 10–13.

14. Управление большими системами : сб. тр. Спец. вып. 44. – Наукометрия и экспертиза в управлении наукой / [под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева]. – Москва : ИПУ РАН, 2013. – 568 с.

15. Bibliometrics: The Leiden Manifesto for research metrics / D. Hicks, P. Wouters, L. Waltman, S. de Rijcke, I. Rafols [Electronic resource]. – Mode of access: http://www.nature.com/news/bibliometrics-the-leiden-manifesto-for-research-metrics-1.17351/ (12.05.16).

16. Eugene Garfield [Electronic resource]. – Mode of access: http://www.garfield.library.upenn.edu/ (12.05.16).

17. Google Scholar [Electronic resource]. – Mode of access: http://scholar.google.com.ua/ (12.05.16).

18. Scientometrics is an instrument for monitoring and support of research / L. Kostenko etc. // Наука та наукознавство. – 2015. – № 3. – С. 88–95.

19. Scopus [Electronic resource]. – Mode of access: http://www.scopus.com/ (12.05.16).

20. Web of Science [Electronic resource]. – Mode of access: http://webofscience.com/ (12.05.16).

 

References

1. Horovyi, V. M. (2015). Kryterii yakosti naukovykh doslidzhen u konteksti zabezpechennia natsionalnykh interesiv [Quality criteria of scientific research in the context of national interests]. Visnyk Natsionalnoi akademii nauk Ukrainy – Bulletin of the National Academy of Sciences of Ukraine, no. 6, pp. 74–80 [in Ukrainian].

2. Dobrov, H. M. (1989). Nauka o nauke. Vvedenye v obshchee naukovedenye [The science of science. Introduction to the general science of science]. Kiev: Naukova dumka [in Russian].

3. Kuznietsov, O. (2013). Doslidzhennia dynamiky zmin terminiv u bibliotechnii spravi [Study of dynamic changes of terms in librarianship]. Visnyk Knyzhkovoi palaty – Bulletin Book Chamber, no. 4, pp. 31–34 [in Ukrainian].

4. Kukharchuk, Ye. O. (2014). Svitovi naukometrychni systemy [Global scientometric system]. Bibliotechnyi visnyk – Library Journal, no. 5, pp. 7–11 [in Ukrainian].

5. Nalymov V. V. (1969). Naukometryia. Yzuchenye razvytyia nauky kak ynformatsyonnoho protsessa [Scientometrics. The study of the development of science as an information process]. Moscow: Nauka [in Russian].

6. Kostenko, L. Y., Zhabin, O. I., Kopanieva, Ye. O. et al. (2014) Naukova periodyka Ukrainy ta bibliometrychni doslidzhennia [Scientific Perio- dicals Ukraine and bibliometric study]. NAN Ukrainy, Nats. b-ka Ukrainy im. V. I. Vernadskoho. Kyiv [in Ukrainian].

7. Malytskyi, B., Rybachuk, V., Popovych, A. et al. Naukometryia: novye funktsyy y problemy adekvatnosty [Scientometrics: new features and problems of adequacy]. Nauka i innovatsii – Science and Innovation, no. 1, pp. 11–17 [in Russian].

8. Kostenko, L. et al. Naukometriia: metodolohiia ta instrumentarii [Scientometrics: methodology and tools]. Visnyk Knyzhkovoi palaty – Bulletin Book Chamber, no. 9, pp. 25–29 [in Ukrainian].

9. Pro zatverdzhennia Metodyky optymizatsii (atestatsii) biudzhetnykh naukovykh ustanov, yaki povnistiu abo chastkovo finansuiutsia za rakhunok koshtiv derzhavnoho biudzhetu, ta planu optymizatsii (atestatsii) biudzhetnykh naukovykh ustanov, yaki povnistiu abo chastkovo finansuiutsia za rakhunok koshtiv derzhavnoho biudzhetu: Postanova Kabinetu Ministriv Ukrainy vid 31 zhovtnia 2011 r. № 1176 (2016, 12.05). Retrieved from http://zakon4.rada.gov.ua/laws/show/1176–2011-%D0 %BF [in Ukrainian].

10. Pro zatverdzhennia Polozhennia pro derzhavnu atestatsiiu naukovo-doslidnykh (naukovo-tekhnichnykh) ustanov: Postanova Kabinetu Ministriv Ukrainy vid 7 kvitnia 1998 r. № 469 (2016, 12.05). Retrieved from http://zakon1.rada.gov.ua/laws/show/469–98-%D0 %BF [in Ukrainian].

11. Pro zatverdzhennia Poriadku otsinky rozvytku diialnosti naukovoi ustanovy: Nakaz Ministerstva osvity i nauky, molodi ta sportu Ukrainy vid 03.04.2012 № 399 (2016, 12.05). Retrieved from http://zakon3.rada.gov.ua/laws/show/z0629–12 [in Ukrainian].

12. Pro Osnovni zasady rozvytku informatsiinoho suspilstva v Ukraini na 2007–2015 roky: Zakon Ukrainy vid 9 sichnia 2007 roku № 537-V 9 (2016, 12.05). Retrieved from http://zakon2.rada.gov.ua/laws/show/537–16 [in Ukrainian].

13. Symonenko, T. (2015). Bibliometrychni systemy Scopus i Google Scholar: sfery vykorystannia [Bibliometric Systems Scopus and Google Scholar: Areas of Use]. Bibliotechnyi visnyk – Library Journal, no. 2, pp. 10–13 [in Ukrainian].

14. Novykova, D. A., Orlova, A. Y., Chebotareva, P. Yu. (2013). Upravlenie bolshymy sistemamy [Managing large systems]. Naukometryia i ekspertyza v upravlenii naukoi – Scientometrics and expertise in science management. Moscow: IPU RAN [in Russian].

15. Hicks, D., Wouters, P., Waltman, L., Rijcke, S. de, Rafols, I. Bibliometrics: The Leiden Manifesto for research metrics (2016, 12.05). Retrieved from http://www.nature.com/news/bibliometrics-the-leiden-manifesto-for-research- metrics-1.17351/.

16. Eugene Garfield (2016, 12.05). Retrieved from http://www.garfield.library.upenn.edu/.

17. Google Scholar (2016, 12.05). Retrieved from http://scholar.google.com.ua/.

18. Kostenko, L. etc. (2015). Scientometrics is an instrument for monitoring and support of research. Nauka ta naukoznavstvo – Science and research-on-research, no. 3, pp. 88–95.

19. Scopus (2016, 12.05). Retrieved from http://www.scopus.com/.

20. Web of Science (2016, 12.05). Retrieved from http://webofscience.com/.

Стаття надійшла до редакції 13.06.2016.

 

001.32–047.44(477):004.91

Leonid Kostenko,

Cand. Sci., Senior Research Associate, Head of Department,

V. I. Vernadsky National Library of Ukraine

Tatiana Simonenko,

Cand. Sci., Research Associate,

V. I. Vernadsky National Library of Ukraine

Scientometrics: Methodology and Tools

The origins of scientometrics and its original definition as a complex of quantitative methods of analysis and evaluation of the science, which for a long time identified the «numerological» character of development of this discipline are discussed. The principles of the Leiden Manifesto of scientometrics, which focused on the pellucid monitoring and following expert evaluation of the impact of the research activities is analyzed. It is stated that the principles of this Manifesto do not match Ukrainian regulatory acts, which analyzed the efficiency of the academic institutions.

It was concluded that the development of the scientific sphere in Ukraine requires updating of its evaluation regulatory framework according to the principles of the Leiden Manifesto of scientometrics. Strong need to engage institutions conducting library bibliometrics technologies and scientometrics research in preparation of the projects of updated regulatory acts is stressed.

Keywords: methodology, scientometrics, bibliometrics indicators, monitoring, analytics, expert evaluation.

 

Леонид Костенко,

канд. техн. наук, ст. науч. сотр., завотделом,

Национальная библиотека Украины имени В. И. Вернадского

Татьяна Симоненко,

канд. наук по соц. коммуникациям, науч. сотр.,

Национальная библиотека Украины имени В. И. Вернадского

Наукометрия: методология и инструментарий

Рассмотрены истоки наукометрии и ее первоначальное определение как комплекса количественных методов анализа и оценивания науки, которое в течение длительного периода определяло «нумерологический» характер развития этой дисциплины. Проанализированы принципы Лейденского манифеста наукометрии, нацеливающие ее на прозрачный мониторинг и последующее экспертное оценивание результативности исследовательской деятельности. Констатировано несоответствие принципов этого манифеста нормативным актам Украины относительно анализа эффективности работы научных учреждений.

Сделан вывод, что развитие отечественной научной сферы требует обновления нормативной базы ее оценивания на основе принципов Лейденского манифеста наукометрии. Отмечена необходимость привлечения к подготовке проектов обновленных нормативных актов учреждений, профессионально занимающихся библиометричними технологиями и наукометричними исследованиями.

Ключевые слова: методология, наукометрия, библиометрические показатели, мониторинг, аналитика, экспертная оценка.

Джерело:

Костенко Л., Симоненко Т. Наукометрія: від нумерології до Лейденського маніфесту / Л. Костенко,  Т. Симоненко // Наук. пр. Нац. б-ки України ім. В. І. Вернадського : зб. наук. пр. / НАН України, Нац. б-ка України ім. В. І. Вернадського, Асоц. б-к України. – Київ, 2016. – Вип. 43. – C. 285–295.