W naukowym klubie
Poprzedni Następny

 

Analiza baz danych ISI przy pomocy metod bibliometrycznych wykazuje, 
że u progu XXI wieku wkład Polski w naukę światową 
jest nie mniejszy niż wielu innych państw Unii Europejskiej.

Irena Marszakowa-Szajkiewicz

Na łamach „Forum Akademickiego” i „Spraw Nauki” trwa dyskusja dotycząca zasadności stosowania ilościowej oceny wkładu polskich naukowców (a także instytucji naukowych) w rozwój nauki na podstawie baz danych ISI, głównie SCI, SSCI, NSI, NCI i bazy JCR. Zwróciłam uwagę na kilka interesujących artykułów na ten temat (J. Kozłowski, J. Racki, A.K. Wróblewski i inni). Jednak niniejszy artykuł został sprowokowany publikacjami Zbigniewa Żmigrodzkiego („FA” 1999 nr 1,3,9), Anny Machalskiej-Garbacz („FA” 5/99) i Macieja Żylicza („SN” 2/99).

Prof. Żmigrodzki krytykuje zasadność ilościowej oceny działalności pracownika naukowego nie przedstawiając przy tym żadnych idei i racji, podczas gdy można porównywać różne metody tej oceny, która od dawna istnieje nie tylko w Europie Zachodniej, ale także w USA, Australii, Izraelu. Najważniejsze jednak, co wynika z publikacji Z. Żmigrodzkiego, to kompletna nieznajomość zasad tworzenia i struktury unikatowych (właśnie unikatowych!) światowych baz danych ISI, zawierających bibliograficzną i faktograficzną informację z zakresu 105 dyscyplin ze 100 państw (różniących się między sobą pod względem rozwoju polityczno-ekonomicznego), drukowaną w 30 językach, obejmującą wszystkie dziedziny działalności naukowej – od nauk przyrodniczych do sztuki i nauk humanistycznych. Pod względem zakresu i charakteru przedstawianych informacji – niestandardowej informacji bibliograficznej w SCI, SSCI, A&HCI oraz kartograficznej w JCR, NSI, NCR – na świecie nie ma odpowiedników tych baz. Prof. Żmigrodzki wykazuje też niezrozumienie bibliometrii jako narzędzia analizy do badań nauki, całokształtu metod analizy algorytmicznej opracowanych przez informację naukową i bibliotekoznawstwo.

PRZEMYSŁ BIBLIOMETRYCZNY

Rozwój bibliometrii przypada na początek lat 60., kiedy to wąski krąg specjalistów zajmujących się badaniami naukometrycznymi uświadomił sobie możliwości strategicznego wykorzystania informacji naukowej do określenia struktury nauki i śledzenia jej rozwoju. Pozwoliło to odnotowywać długoterminowe zmiany tematyczne zachodzące w nauce, ujawniać wkład państw i poszczególnych instytucji naukowych do ogólnoświatowego rozwoju, oceniać politykę naukową rządów poszczególnych państw. Wraz z pojawieniem się na rynku informacyjm systemu NSI i innych nowych baz danych ISI na początku lat 90., analiza bibliometryczna, moim zdaniem, wkracza w nową fazę przemysłu bibliometrycznego. Widać to wyraźnie w materiałach międzynarodowej konferencji Science & Technology Indicators. Podobne badania prowadzone są w wielu państwach na zamówienie rządów, powstają specjalne komisje badające wkład danego państwa do ogólnoświatowego rozwoju. Cieszę się, że KBN podąża w tym kierunku. Oczywiście, można tu i należy stosować rozmaite metody oceny wkładu państwa w rozwój nauki, biorąc pod uwagę stopień kompletności przedstawiania polskich publikacji w międzynarodowych bazach danych. Ale, jak wykazała analiza, Polska jest w tych bazach dość dobrze reprezentowana.

Cała bibliometria opiera się na analizie danych bibliograficznych publikacji. Obiektem badań są publikacje często grupowane wg rozmaitych cech: autora, czasopisma, hasła klasyfikacji tematycznej, państwa itd. Należy podkreślić: 1) że dzięki takiemu podejściu może być wykorzystana informacja pochodna o publikacjach, znajdujących się w różnych bibliograficznych bazach danych (a nie tylko w bazach ISI); 2) bibliometria zakłada kwantyfikację dokumentalnych zasobów naukowych, ponieważ w badaniach kładzie się nacisk na wskaźniki ilościowe, odzwierciedlające stan i rozwój nauki w ogóle, jak i poszczególnych dziedzin wiedzy. Bibliometria jest interesująca nie tylko dla rozwoju informacji naukowej i naukoznawstwa, stanowi także istotną pomoc w zarządzaniu nauką, zwłaszcza w planowaniu podziału zasobów (fundusze, oprzyrządowanie itd.), w prognozowaniu i ocenie wkładu naukowców z różnych państw w rozwój określonych dziedzin wiedzy.

POLIGON ANALIZY

Wyróżniam dwie metody kwantyfikacji źródeł informacji. Zwykła bibliometria zajmuje się dynamiką rozwoju poszczególnych obiektów (publikacji, autorów, ich podziałem wg państw, działów czasopism naukowych itd.), zaś bibliometria strukturalna bada powiązania między obiektami, ich korelację i klasyfikację. Badania, których dotyczyła wspomniana dyskusja, zaliczają się do zwykłej bibliometrii i dotyczą oceny aktywności badawczej Polski, polskich naukowców i instytucji naukowych. Bibliometria strukturalna to bardziej złożone metody algorytmowej analizy baz danych publikacji naukowych. Jej rozwój nastąpił w 1973 r., kiedy opracowano metodę co-citation do konstruowania map i atlasów nauki. Dzisiaj badacze w wielu państwach skupiają swoją uwagę na opracowywaniu leksykalnych map wiedzy naukowej, metod budowy gniazd tematycznych zasobów naukowych z wykorzystaniem słów kluczowych (co-words). W ogóle rozwój tych dwóch kierunków w bibliometrii ściśle wiąże się z pojawieniem się na początku lat 60. baz danych ISI, przede wszystkim SCI, SSCI, A&HCI. Dzięki nim można opracować statystykę danych bibliograficznych w skali światowej i wykazać powiązania między publikacjami. Dane te można wykorzystać zarówno w procesie wyszukiwania literatury naukowej, jak i w badaniach na temat społecznych i kognitywnych stosunków w nauce (wg map i atlasów nauki), a także do oceny pojedynczych obiektów nauki (naukowców, czasopism, państw). W ten sposób bazy danych ISI stanowią idealny poligon do analizy bibliometrycznej, ponieważ zawierają nie tylko standardowe dane bibliograficzne publikacji z całego świata, ale wszystkie przypisy znajdujące się w tych publikacjach. Dzięki temu właśnie w bazie ISI, zdaniem specjalistów od informacji, zarejestrowano niemal 90 proc. całej literatury naukowej.

Aby czasopismo mogło być włączone do systemu, powinno mieć nie mniej niż 400 cytowań w roku, niezależnie od kraju i języka, w jakim się ukazuje. Oczywiście, większość czasopism znajdujących się w bazach danych to czasopisma międzynarodowe, publikujące w języku angielskim. Bazy uwzględniają jednak czasopisma w 30 językach. Utworzona w latach 90. baza danych NSI jest bazą faktograficzną, zawierającą 10 wskaźników bibliometrycznych, charakteryzujących aktywność naukową i cytowania w światowych i narodowych strumieniach informacji.

ROZMAITOŚĆ WSKAŹNIKÓW

Rozmaite formy analizy cytowań są ważną częścią składową bibliometrii. Można je wszystkie sprowadzić do dwóch rodzajów badań: analizy statystyki cytowań i analizy sieci cytowań. Od lat 70. analiza cytowań stała się szczególnie popularna w badaniach naukometrycznych dotyczących różnych dziedzin wiedzy, przede wszystkim informacji naukowej, socjologii nauki, psychologii. Można wyodrębnić trzy sposoby wykorzystania cytowań w działalności badawczej: wyszukiwanie publikacji (aspekt praktyczny), wykorzystanie danych dotyczących cytowań do określenia jakości publikacji lub pojedynczego uczonego (grupy uczonych), a także naukowego statusu państwa, wykorzystanie cytowań do określenia struktury dyscypliny lub nauki w ogóle i jej tendencji rozwojowych.

Najbardziej sporny pozostaje problem wykorzystywania statystyki cytowań do oceny potencjału naukowego uczonych lub instytucji naukowo-badawczych. Należy podkreślić, iż dane ilościowe o cytowaniu publikacji odzwierciedlają oddziaływanie wyników badań na społeczność naukową, ich użyteczność dla pozostałych naukowców. Same w sobie te dane nie służą do pomiaru jakości publikacji i dlatego należy je traktować jako wskaźniki informujące, że dana praca w takim lub innym stopniu prawdopodobieństwa może okazać się znacząca. Obliczanie cytowań rozszerza możliwość bibliometrycznych ocen pojedynczo i wspólnie z pozostałymi wskaźnikami. Całokształt rozmaitych wskaźników cytowań (liczba przypisów, procent cytowanych prac, średnia liczba publikacji na jeden artykuł – współczynnik impact w bazie NSI, średnia liczba publikacji na jeden cytowany artykuł, który łatwo obliczyć itd.) niewątpliwie odzwierciedla naukowy poziom państwa i, co za tym idzie, poszczególnych uczonych. Analiza statystyki cytowań, regularnie przeprowadzana w ISI, wykazała, że cytowanie i jego statystyczne wskaźniki zmieniają się tak samo operatywnie, jak i stan nauki. Analizując cytowania należy pamiętać, że w różnych dziedzinach wiedzy obowiązują specyficzne normy i limity cytowań i dlatego nie wolno na podstawie tych wskaźników bezpośrednio porównywać poszczególnych dyscyplin i ich przedstawicieli.

W wielu państwach przy ocenie nauczyciela akademickiego wykorzystywane są trzy wskaźniki: wskaźnik cytowań publikacji naukowych pracownika w bazach ISI (nie w lokalnych), ocena kolegów i opinia studentów. Tworzenie wąskotematycznych lub lokalnych (np. dla jednego państwa) baz cytowań niewiele wnosi do badań nauki.

IMPACT FACTOR

W 1983 roku amerykańscy specjaliści z zakresu nauk informacyjnych (Roy i inni) i bibliotecznych opracowali ujednolicony współczynnik liczby cytowań dla różnych dziedzin: 8 cytowań (chemia) = 4,5 (biochemia i biofizyka) = 2,5 (materiałoznawstwo) = 2 (matematyka). Myślę, że ten współczynnik dla lat 90. byłby zupełnie inny.

Struktury współczesnych baz danych umożliwiają wykorzystanie bardziej precyzyjnych wskaźników bibliometrycznych do analizy nauki. Jaskrawym przykładem może być baza Journal Citation Report, która dotyczy nauk przyrodniczych (SCI/JCR) i społecznych (SSCI/JCR). Nauki humanistyczne nie mają podobnej bazy, chociaż częściowo czasopisma np. z zakresu lingwistyki i filozofii społecznej znajdują się w bazie SSCI/JCR. Do bazy JCR wprowadzono kilka zasadniczo nowych wskaźników oceny rangi czasopisma naukowego: impact factor (lp), immediacy index (lo), half life (Hi). Wszystkie one dotyczą oceny czasopisma jako instytucji społecznej, a nie oceny poszczególnych publikacji lub badaczy. Najbardziej popularny i najczęściej wykorzystywany jest współczynnik impact factor. Co on w istocie odzwierciedla? Można go rozpatrywać jako miarę częstości cytowania w roku bieżącym średnio cytowanej publikacji w czasopiśmie. Współczynnik ten jest obliczany w bazie JCR co roku na podstawie danych sprzed dwóch lat. Nie należy go mylić ze wskaźnikiem impact (średnia liczba cytowań publikacji), który występuje w bazie NSI.
Współczynnik lo można określić jako miarę szybkości, z jaką cytowany jest średnio cytowany artykuł z roku bieżącego. Raz jeszcze podkreślam – wskaźniki te mogą służyć jedynie do oceny samego czasopisma z wąskiej dziedziny wiedzy. Wykorzystanie ich do oceny publikacji autora jest błędem! Nawet w tak znanych czasopismach jak „Science” czy „Cell”, mających wysoki współczynnik lp, znajdują się artykuły, które nigdy nie były cytowane.

Do oceny publikacji (lub całokształtu publikacji w przypadku oceny instytucji naukowej) jest w bazach ISI jeden wskaźnik – liczba cytowań. Do oceny naukowca można wykorzystać kilka wskaźników: liczba publikacji (rzeczywista liczba naukowych publikacji, a nie tylko liczba publikacji według baz danych ISI lub LISA, MLA i in.), suma cytowań (na podstawie baz danych ISI i baz lokalnych, poprawnie opracowanych), średnia liczba przypisów na cytowaną publikację i in. (np. porównanie wykazów rangowych produktywności i cytowalności uczonych jednej dyscypliny).

Oprócz tego, bez wątpienia istotne są publikacje wykazane w mapach i atlasach nauki. Np. atlas nauki z zakresu biotechnologii i genetyki molekularnej (ISI Atlas of Science Biotechnology & Molecular Genetics), który ukazał się w 1985 roku, zawierał 17 publikacji polskich uczonych.

WKŁAD POLSKI

Analiza bibliometryczna materiałów zawartych w bazach danych ISI umożliwia uzyskanie obrazu wkładu poszczególnych państw do ogólnoświatowego rozwoju. Pod względem aktywności badawczej Polska zajmuje 18. miejsce (wskaźnik 1,02 proc. lub 33 903 publikacj w latach 1993-97) wśród 100 państw świata pod koniec XX w. Pośród państw Unii Europejskiej jej wkład jest porównywalny z wkładem Belgii (1,21 proc.) i Danii (0,95 proc.). Mając taki wskaźnik Polska zajmuje wyższą pozycję niż Finlandia (0,86), Austria (0,79), Grecja (0,49), Portugalia (0,42) i Irlandia (0,30). Wkład Polski do rozwoju nauk przyrodniczych jest szczególnie widoczny w zakresie inżynierii chemicznej, fizyki (tu aktywność badawcza przekracza 3 proc. światowego strumienia nauki), spektroskopii, fizyki chemicznej i chemii fizycznej oraz chemii ogólnej (wkład Polski przekracza 2,5 proc.).

Biorąc pod uwagę wskaźnik cytowań publikacji, Polska znajduje się w jednym rzędzie z takimi państwami UE, jak Irlandia i Portugalia, jej wskaźniki są wyższe niż Grecji. Procent cytowanych polskich prac z zakresu informacji naukowej i bibliotekoznawstwa jest znacznie wyższy niż Austrii i Grecji (25 proc. w porównaniu z 17,7 proc. i 12,5 proc.).

Struktura dokumentalnych źródeł informacji naukowej jest porównywalna z ich strukturą w państwach UE. Ranga poszczególnych dyscyplin w naukowych zasobach narodowych jest jednym ze wskaźników polityki naukowej państwa (na równi z dotacjami, liczbą pracowników naukowych itd.). Odzwierciedla stopień rozwoju konkretnej dziedziny i zainteresowanie nią ze strony państwa. Porównanie struktur narodowych strumieni publikacji naukowych pozwala wykryć różnicę we wskaźnikach bibliometrycznych, która stanowi indykator społecznego zapotrzebowania rządu na badania i opracowania, oraz umożliwia określenie dyscyplin, w których odbywa się narodowa specjalizacja badań naukowych.

Wkład w ogólnoświatowy rozwój nauk przyrodniczych wnoszą przede wszystkim uniwersytety (do 40 proc.; liderami są uniwersytety: Jagielloński, Warszawski i Wrocławski) oraz Polska Akademia Nauk – 25 proc. (ponad połowa wszystkich publikacji z Oddziału Warszawskiego PAN). Wspólny wkład politechnik i akademii rolniczych osiąga także 25 proc., akademii medycznych – ok. 15 proc., wyższych szkół pedagogicznych – nieco ponad 2 proc. (warto odnotować wkład WSP w Kielcach). Wkład pozostałych placówek nie jest znaczący. W naukach społecznych wkład uniwersytetów osiąga 56 proc., natomiast PAN spada do 15 proc. Niestety, wskaźniki aktywności badawczej w tych dziedzinach pod koniec lat 90. są niższe o 30 proc. w porównaniu z początkiem dekady.

W 1998 r. obniżył się, w porównaniu z latami 80., wkład PAN, mimo że obserwuje się ogólną tendencję wzrostu aktywności badawczej Akademii: w 1996 r. wynosił 27,6 proc. w naukach przyrodniczych i 21,9 proc. w naukach społecznych. W tym samym czasie rośnie wkład wyższych szkół pedagogicznych z 1,9 do 2,3 proc. tylko w zakresie nauk przyrodniczych, natomiast w zakresie nauk społecznych jest znacznie niższy niż 1 proc.

Biorąc pod uwagę wskaźnik aktywności badawczej w naukach przyrodniczych można wymienić 9 ośrodków (ponad 200 publikacji w 1998 r.): Warszawa 2385, Kraków 1212, Wrocław 893, Poznań 727, Łódź 630, Gdańsk 402 (Trójmiasto 434), Lublin 324, Katowice 216, Toruń 212.

Jeśli uwzględni się dynamikę aktywności badawczej, tempo wzrostu jest szczególnie widoczne w ośrodkach (w nawiasach średnia liczba publikacji za lata 1990-92; 1996-97): Białystok (73,6; 140,5), Bydgoszcz (29,3; 52,0), Kielce (29,6; 70,0), Olsztyn (27,0; 50,0), Rzeszów (26,0; 44,0). Nieco niższe tempo wzrostu aktywności badawczej odnotowano w 3 miastach: Katowice (138,6; 205), Kraków (771,6; 1148), Warszawa (1704; 2263).

Liderami wśród placówek naukowych (dane za 1998; SCI – SCI + SSCI) są: PAN (Warszawa) 1050 – 1069, UW 605 – 627, UJ (Kraków) 605 – 623, Uwr. 391 i 391, PW 300 i 300, UAM (Poznań) 286 i 287, PAN (Wrocław) 236 i 237, AGH (Kraków) 218 i 220, PWr. 213 i 316, PŁ 206 i 206. Widać wyraźnie, że istotny wkład w rozwój nauki wnoszą nie tylko uniwersytety i PAN, lecz także uczelnie politechniczne. Warto przypomnieć także nazwy kilku „niewielkich” placówek naukowych, mających zauważalny wkład w naukę w latach 1996-98 (liczba publikacji według bazy danych SCI): Instytut Onkologii (Gliwice) - 48, Instytut Medycyny Pracy i Ochrony Zdrowia (Sosnowiec) – 14, Instytut Badań Leśnictwa (Kraków) – 11, Śląskie Centrum Kardiologiczne – 11, Instytut Pediatrii (Poznań) – 9, Centrum Radioizotopowe (Otwock) – 7, Instytut Sportu (Warszawa) – 8, Instytut Rozmnażania i Żywienia Zwierząt (Olsztyn) - 6, Szpital Wojskowy (Wrocław) – 4, Polish Oil & Gas Co (Kraków) – 1 i in. (dane K. Jaskólskiej).

Analiza baz danych ISI przy pomocy metod bibliometrycznych jest w pełni uzasadniona i wykazuje, że u progu XXI wieku wkład Polski w naukę światową jest nie mniejszy niż wielu innych państw Unii Europejskiej z wyjątkiem liderów, Wielkiej Brytanii, Niemiec, Francji i Włoch (lecz i nakłady na naukę w tych państwach są nieporównywalnie większe). Polityka administracyjna rządu polskiego i polityka naukowa KBN pozwala mieć nadzieję na dalszy rozwój nauki (oczywiście, należy stale udoskonalać metody oceny instytucji naukowo-badawczych stosowane przez KBN). Lecz już dziś można stwierdzić, że Polska jest poważnym partnerem państw Unii Europejskiej i śmiało może być członkiem naukowego klubu tych państw.

Prof. dr hab. Irena Marszakowa-Szajkiewicz, bibliotekoznawca, pracuje w Katedrze Bibliotekoznawstwa i Informacji Naukowej Wyższej Szkoły Pedagogicznej w Bydgoszczy.

Uwagi.