Strona główna „Forum Akademickiego”

Archiwum z roku 1999

Spis treści numeru 4/1999

Kryteria są jasne
Poprzedni Następny

Awans jednostki do wyższej kategorii będzie wymagał „wypchnięcia” z niej
innej jednostki przez osiągnięcie lepszego wyniku.
Powinno to wpływać stymulująco na badania i na odpowiednią
prezentację wyników w postaci jak najlepszych publikacji.

Andrzej Kajetan Wróblewski

Rys. Małgorzata Gnyś-WysockaPodział jednostek na trzy kategorie A, B, C, wprowadzony przed kilku laty przez KBN, już się zdezaktualizował. Z biegiem czasu następowała dewaluacja kategoryzacji i coraz więcej jednostek znajdowało się w najwyższej kategorii (A). Postanowiono zatem w KBN wprowadzić nowy podział jednostek na 5 kategorii przy zachowaniu zasady, że o kategorii decydują aktualne wyniki pracy, a nie „potencjał” jednostki.

LISTA FILADELFIJSKA

Kryteria międzynarodowe są jasne. W świecie liczy się wynik badań, który zostaje opublikowany w języku i periodyku o zasięgu światowym. W zalewie makulatury (jest obecnie już około milion czasopism!) wyróżniono około osiem tysięcy najlepszych i najbardziej poczytnych (w tym kilkadziesiąt polskich), kierując się wkładem do światowej bazy cytowań w danej dziedzinie. Pisałem o tym w „Forum Akademickim” (nr 9/1998) i w „Sprawach Nauki” (nr 4/1998). Stąd wzięła się lista czasopism, opracowana i uaktualniana przez Institute of Scientific Information (ISI) z Filadelfii. Tę listę przy jakiejś okazji nazwałem skrótowo listą filadelfijską i owa nazwa przyjęła się już w Polsce.

Naszym zamiarem było, z jednej strony, wprowadzenie ogólnych kryteriów, które mogłyby być zastosowane w całym obszarze nauki, a z drugiej – uwzględnienie specyfiki poszczególnych dziedzin. W związku z tym musieliśmy się zgodzić na pewne ustalenia kompromisowe. Uznaliśmy to za rozwiązanie lepsze niż dopuszczenie, aby każda dziedzina przyjmowała własne kryteria, niemożliwe do porównania z innymi. Tak więc, wszystkie zespoły KBN przyjęły listę filadelfijską, choć z nieco różnymi wagami w stosunku do pozostałych czasopism.

Jak wiadomo, w świecie od dawna przeprowadza się np. rankingi państw pod względem ich wyników naukowych, czy to w poszczególnych dziedzinach, czy łącznie w całym obszarze nauki. Do tego celu niemal wyłącznie wykorzystuje się liczbę publikacji z danego kraju w czasopismach z listy filadelfijskiej. Rzadziej wykorzystuje się liczbę cytowań publikacji, bo ten parametr nabiera sensu dopiero z pewnym opóźnieniem, czasem wieloletnim – zależy to od dziedziny. Do sprawy cytowań wrócę jeszcze w dalszej części tekstu.

O wynikach przeprowadzanych w świecie rankingów też pisałem niejednokrotnie. Wiemy, że jeśli chodzi o całą „produkcję naukową”, Polska spadła z 15 miejsca w 1981 roku, na miejsce 20 w roku 1997 (patrz np. mój artykuł we „Wprost” nr 50/1998).

Prostą metodą beznakładowego polepszenia pozycji polskiej nauki będzie więc ograniczenie do minimum publikowania prac w lokalnych, znanych tylko wydawcy zeszytach naukowych i posyłanie prac do publikacji w czasopismach z listy filadelfijskiej. Toteż w obecnej kategoryzacji zdecydowaliśmy faworyzować punktowo publikacje w czasopismach z listy filadelfijskiej w porównaniu z innymi publikacjami – ma to zmobilizować nasze środowisko.

ZA CO PUNKTY?

Obecnie przeprowadzana kategoryzacja instytutów i wydziałów bierze pod uwagę jedynie „produkcję naukową”, wyrażoną liczbą publikacji w czasopismach, liczbą książek, monografii i publikowanych prac konferencyjnych. Do tych chyba oczywistych dla każdego wyników dodano także patenty, wdrożenia, normy, wzory użytkowe, akredytacje laboratoriów (tu głównie uwzględniono interesy środowisk technicznych) oraz podręczniki i skrypty, choć te można raczej zaliczyć do działalności edukacyjnej niż ściśle badawczej.

Dodano także, po dyskusji, punkty za uzyskane stopnie i tytuły naukowe. Tu sprawa jest mniej oczywista, ponieważ w wielu dziedzinach doktorat czy habilitację otrzymuje się za prace, które są i tak publikowane w czasopismach o zasięgu światowym, a więc punktowane. Wprowadzając osobne punkty za stopnie i tytuły mamy więc swoisty double counting. Ponadto, instytucje uczelniane otrzymują z MEN środki na tzw. badania własne, a algorytm przyznawania tych środków nie uwzględnia liczby publikacji, lecz właśnie liczbę doktoratów i habilitacji. Ale to, co wydaje się oczywiste w niektórych dziedzinach, nie zawsze jest oczywiste w innych, więc i tu trzeba się było zgodzić na pewien kompromis. Tak więc suma tzw. punktów parametrycznych uwzględnia publikacje oraz pozostałe wymienione wyżej sprawy.

Nie zgodziliśmy się natomiast na lansowane przez niektóre środowiska wprowadzenie jeszcze dodatkowego cennika punktów za organizowanie sympozjów i konferencji krajowych i zagranicznych, wygłaszanie referatów na konferencjach zagranicznych (przecież niemal zawsze są one i tak publikowane!), liczbę umów o współpracy międzynarodowej, liczbę nagród przyznanych pracownikom jednostki, liczbę grantów uzyskanych z KBN, przyjmowanie badaczy zagranicznych na staże, ekspertyzy, prace popularyzacyjne, studia doktoranckie itd. Są to rzeczy bardzo trudne do ujęcia parametrycznego.

Dlatego podjęta została decyzja, że wszystkie te wymienione przejawy i efekty działalności danej jednostki będą mogły być wzięte pod uwagę tylko w postaci tzw. punktów uznaniowych, które nie mogą przekraczać 25 proc. sumy punktów parametrycznych (tzn. stanowić nie więcej niż 20 proc. ostatecznej oceny).

Należy podkreślić, że zespoły działające w KBN dla poszczególnych dziedzin lub grup dyscyplin, miały znaczną swobodę w ustalaniu punktacji za poszczególne wyniki badań. W ten sposób mogła zostać uwzględniona specyfika różnych obszarów badań.

O TZW. AFILIACJI

W międzynarodowych rankingach przyjmuje się zawsze zasadę tzw. whole counting, co oznacza, że za publikację, której autorami są np. Polak, dwóch Francuzów i pięciu Amerykanów, każdemu z trzech krajów (Polska, Francja, USA) zalicza się w bazie danych po jednym punkcie. Tak jednak jest pod warunkiem odpowiedniej tzw. afiliacji.

Otóż, biorąc pod uwagę przykład publikacji Polaka z Francuzami i Amerykanami, Polsce zaliczy się w bazie danych ISI punkt, tylko jeżeli przy nazwisku autora z Polski jest podany adres instytucji polskiej, w której aktualnie (tj. w chwili pisania owej pracy) pracuje. Natomiast jeżeli ów Polak przebywa czasowo w laboratorium francuskim lub amerykańskim i ma przy swoim nazwisku afiliację tego laboratorium, to publikacja będzie zaliczona na konto Francji i USA, a Polska jako kraj NIE otrzyma punktu w bazie danych ISI, nawet jeśli będzie tam podana uwaga, że pobyt naszego rodaka jest czasowy (on leave from...) lub że macierzystą instytucją jest jakiś polski instytut (permanent address...).

Zgodnie z zapowiedzią, w obecnej kategoryzacji Zespoły KBN uwzględniały tylko te wyniki badań (publikacje, książki itd.), które miały właściwą afiliację. Dlatego wszystkie instytucje zostały zobowiązane do przesłania stron tytułowych publikacji, aby można było tę afiliację sprawdzić. Przy przeglądzie nadesłanych materiałów okazało się, że powyższa przejrzysta reguła dotycząca afiliacji budzi wątpliwości i nie jest właściwie rozumiana przez większość naszych instytucji. Miesza się dorobek instytucji z dorobkiem osobistym, który jest uwzględniany przy awansach naukowych. Przedstawiano np. opinie, że podawanie dodatkowej polskiej afiliacji przez osoby przebywające za granicą jest czasem trudne lub wręcz niemożliwe, ponieważ w ośrodkach zagranicznych przestrzega się zasady, że tylko instytucja finansująca badania może występować jako instytucja firmująca je.

Jest jednak oczywiste, że nie możemy w tej materii odbiegać od reguł przyjętych na świecie. Jeżeli ośrodek zagraniczny całkowicie finansuje badania i pobyt gościa z Polski, to trudno się dziwić temu, że mogą wystąpić czasem trudności w podaniu dodatkowej afiliacji. Jednak jeszcze dziwniejsze byłoby przekazywanie przez KBN dotacji na badania statutowe w jednostce dla pracowników, których w danej chwili tam nie ma.

Wymaganie polskiej afiliacji w publikacjach, które mają dokumentować badania finansowane przez KBN, jest więc tylko zastosowaniem normalnych, obowiązujących wszędzie reguł.

KATEGORIE EFEKTYWNOŚCI, NIE WARTOŚCI

W założeniach ustalonych przez KBN przy rozpoczynaniu kategoryzacji jednostek przyjęliśmy – co jest oczywiste – że wyniki będą normowane na jednego przeliczeniowego pracownika zatrudnionego przy badaniach. Liczbę przeliczeniowych osób N oblicza się ze znanego wszystkim i stosowanego od lat wzoru: N = liczba profesorów i doktorów habilitowanych + 0,7 x liczba doktorów + 0,4 x liczba pozostałych pracowników biorących udział w badaniach.

Z przyjętych założeń wynika jasno, że otrzymane wyniki kategoryzacji odnoszą się do czegoś, co można nazwać efektywnością badań w danej jednostce, nie mówią jednak jednoznacznie o jej jakości i wartości. Jeżeli dana jednostka uzyskała za produkty swej działalności badawczej P punktów, to o miejscu jednostki w rankingu ma decydować iloraz E = P/N, gdzie N oblicza się według przypomnianego wyżej wzoru.

Warto podkreślić, że suma S dotacji na badania statutowe, przyznanej przez KBN na 1999 rok, jest proporcjonalna do tej samej liczby N, która została użyta przy obliczaniu efektywności E. Suma ta jest obliczana ze wzoru S = Mk N, gdzie Mk jest stawką zależną od kategorii. Tak więc, z dokładnością do tylko 5 kategorii, a więc 5 wartości Mk, finansowanie jednostki zależy wprost od osiągniętego przez nią wyniku P. Przez wprowadzenie „schodków” w postaci 5 kategorii i 5 wartości Mk wygładzamy tylko fluktuacje wartości E.

Gdyby więc jakiś instytut podał w materiałach przesyłanych do KBN zaniżoną liczbę pracowników, to mógłby wprawdzie uzyskać większą wartość efektywności E, ale otrzymałby potem środki tylko dla tej zaniżonej liczby pracowników. Okazało się, że w materiałach przesłanych przez jednostki w akcji ankietowania do kategoryzacji, liczba N była przeważnie zaniżana (być może w celu uzyskania jak najwyższej kategorii) w stosunku do liczby podawanej przez te same jednostki we wnioskach o finansowanie statutowe. W tej sytuacji KBN podjął uchwałę, że do obliczenia E będzie brana pod uwagę liczba N podana przez jednostki na 30 VI 1998 r. we wnioskach o finansowanie statutowe (a pozostałe liczby będą ignorowane).

Nie bierze się obecnie pod uwagę wartości badań. To prawda, że bardzo trudno tę wartość mierzyć, ale np. pewnym pomocnym parametrem mogłaby być liczba cytowań, świadcząca o oddźwięku w świecie badań prowadzonych w danej jednostce. Sprawę cytowań omawiam obszerniej w dalszej części tego tekstu.

Jest ponadto oczywiste, że dla wydziałów i instytutów uczelnianych bardzo istotna jest jakość kształcenia studentów i tzw. młodej kadry. Tę jakość jest jeszcze trudniej wyrazić liczbowo. Być może w przyszłości będzie możliwe skorzystanie z działalności komisji akredytacyjnej, do powołania której jest już blisko.

Proszę zatem pamiętać, że wyniki obecnej kategoryzacji posłużą tylko do odpowiedniego ustawienia finansowania statutowego przez KBN. Jeśli chodzi o jednostki uczelniane, to środki przyznawane przez KBN stanowią tylko małą część wszystkich środków, których większość pochodzi z MEN. Jeśli więc w obecnej kategoryzacji instytut A z uczelni U1 znajdzie się w niższej kategorii niż wydział B z uczelni U2, to z tego nie wynika, że jest on gorszy od B pod względem całej swojej działalności, a tylko – że mniej efektywnie prowadzi badania naukowe.

Jest jeszcze jeden ważny efekt, z którego nie zawsze zdajemy sobie sprawę. Otóż opinię o jakimś ośrodku wyrabiamy sobie na ogół zwracając uwagę na najlepsze osiągnięcia i najwybitniejszych pracujących tam uczonych. Krótko mówiąc, widzimy tylko szczyty, a nie zwracamy uwagi na średnich i mniej wydajnych pracowników. Tymczasem w obecnej kategoryzacji, w której chodzi o efektywność, a więc normalizację na głowę zatrudnionego, ujawnia się pełna liczba pracowników, której zwykle nie dostrzegamy. Z tego powodu wyniki obecnego rankingu nie muszą pokrywać się z obiegowymi opiniami o miejscu poszczególnych ośrodków na naukowej mapie Polski.

LICZBA INSTYTUCJI W KATEGORIACH

W starej kategoryzacji jednostek KBN nie było żadnych ograniczeń liczebności kategorii. Z tego powodu następowała dewaluacja kategorii i stopniowe powiększanie liczby jednostek w kategorii A. Obecnie ta sytuacja ulegnie zmianie. Przyjęto, że w najwyższej Kategorii I nie może być więcej niż 20 proc. wszystkich klasyfikowanych jednostek. Podobnie „obsadzenie” pozostałych kategorii powinno być dość równomierne.

Z tego wynika, że spora część jednostek, które dotychczas były w kategorii A, musi się automatycznie znaleźć w Kategorii II (a może nawet w niższych). W nowej klasyfikacji miejsce w Kategorii II będzie więc cenione. Ponieważ ograniczenie obsadzenia poszczególnych kategorii ma być także utrzymane w przyszłości, awans jednostki do wyższej kategorii będzie w zasadzie wymagał „wypchnięcia” z niej innej jednostki przez osiągnięcie lepszego wyniku. Powinno to wpływać stymulująco nie tylko na badania, lecz także na odpowiednią prezentację wyników w postaci jak najlepszych publikacji.

KŁOPOTY Z CYTOWANIAMI

Dlaczego w bazie NCR mamy dostęp do danych dla całych uczelni, a nie ma dostępu do danych dla poszczególnych jej wydziałów czy instytutów? Otóż w znacznej części publikacji polskich autorów w afiliacji jest tylko nazwa uczelni, a nie ma nazwy wydziału, instytutu czy zakładu. Przeglądając odbitki stron tytułowych prac nadesłanych do KBN przekonałem się, jak częste jest to zjawisko. Zresztą ten przegląd uświadomił mi jeszcze jedno niedobre zjawisko: obcojęzyczne nazwy naszych uczelni, które są podawane w afiliacji autorów prac, nie są wcale raz na zawsze ustalone, jak być powinno, lecz najwidoczniej są zwykle ad hoc tłumaczone na angielski.

Nawet moja szacowna macierzysta uczelnia występuje jako Warsaw University oraz University of Warsaw – skąd zagraniczny czytelnik ma wiedzieć, że chodzi o tę samą uczelnię? Przecież gdzie indziej tak właśnie odróżnia się uczelnie (przykładowo: University of Miami i Miami University albo University of Washington i Washington University to są różne uczelnie).

Nasze uczelnie techniczne nie potrafiły się zdecydować na wybór jednolitej nazwy angielskiej i spotyka się obok nazwy Polytechnic także Technical University oraz University of Technology, oczywiście z różnymi wariacjami przyimków of i in przy podawaniu nazwy miasta.

Różnorodność angielskich nazw występuje także dla instytutów poza uczelniami, znalazłem na przykład siedem różnych angielskich nazw Instytutu Fizyki Jądrowej w Krakowie.

Uczelnie z mniejszą tradycją są w jeszcze gorszej sytuacji. Rekord różnorodności chyba należy do Wyższej Szkoły Pedagogicznej w Rzeszowie, ponieważ w odbitkach stron tytułowych publikacji nadesłanych z tamtejszego Instytutu Fizyki znalazłem aż dziesięć różnych form angielskich afiliacji autorów (High Pedagogic School, Rzeszów; Higher Pedagogical School, Rzeszów; HPS Rzeszów; Pedagogical University, Rzeszów; Pedagogical University in Rzeszów; Pedagogical University of Rzeszów; Pedagogic University, Rzeszów; University of Rzeszów; Institute of Physics, Rzeszów; Atomic and Molecular Physics Laboratory, Rzeszów).

Jest oczywiste, że ktoś niezorientowany nie będzie wiedział, że chodzi o tę samą placówkę. W bazach danych publikacje te zostaną przypisane dziesięciu różnym instytucjom, co powoduje, że przysyłana z ISI baza NCR w oryginalnej postaci nie nadaje się do użytku i muszą do niej być wniesione poprawki, czym zajmuje się Ośrodek Przetwarzania Informacji w Warszawie. Jednak nawet tam nie udaje się jednoznacznie rozszyfrować niektórych nazw i adresów.

Chciałbym więc na marginesie obecnej akcji kategoryzacji jednostek zaapelować do wszystkich uczelni i instytutów w Polsce, aby ustaliły obowiązujące obcojęzyczne odpowiedniki polskich nazw i następnie przestrzegały tych nazw we wszystkich publikacjach.

Dane z bazy NCR można zatem wykorzystywać tylko w ograniczonym stopniu. Tak np. na jej podstawie przedstawiłem w niedawnym artykule w „Forum Akademickim” (nr 9/1998) „ranking” polskich uczelni wyższych pod względem liczby cytowań na jednego nauczyciela akademickiego. Porównanie to zostało zrobione bez podziału na dziedziny, toteż można było w rankingu rozważać tylko uczelnie podobne.

Można, oczywiście, wyciągnąć z bazy NCR dane dla poszczególnych pozauczelnianych instytutów o cytowaniach prac z określonej dziedziny. Można to także zrobić wyciągając z bazy takie dane dla całych uczelni. Jednak wyniki nie będą odpowiadały sumie cytowań wszystkich prac z danego instytutu albo wydziału, a te właśnie podlegają ketegoryzacji.

INSTYTUTY UCZELNIANE I INNE

Jest rzeczą oczywistą, że wartość efektywności E zależy istotnie od liczby N, znajdującej się w mianowniku wzoru. Większość osób, z którymi dyskutowałem była zdania, że liczba N dla jednostek uczelnianych powinna być odpowiednio zmniejszona, ponieważ pracownicy uczelni mają obowiązki dydaktyczne i tylko część swego czasu mogą przeznaczać na badania. Z drugiej strony, w uczelniach mamy znacznie bardziej intensywny stały kontakt z młodzieżą, co nie tylko stymuluje do pracy, ale także stwarza instytucjom warunki do większej liczby publikacji (prace magisterskie, doktorskie itd.). Oczywiście, ten działający na korzyść uczelni efekt posiadania licznej młodej „siły roboczej” jest niemożliwy do ścisłego liczbowego ujęcia.

Istnieją dane, które wydają się nieźle wyrażać liczbowo różnice między uczelniami i innymi jednostkami. W niedawno opublikowanym wydawnictwie: Raport o stanie nauki i techniki w Polsce (GUS, Warszawa 1998) podano szereg tabel z procentowym udziałem czasu pracy poświęcanego na pracę badawczą w ogólnym czasie zatrudnionych pracowników naukowo-badawczych. (szczegółów Raport GUS nie podaje, poza stwierdzeniem, że są to wyniki badań).

Z tabel tych wynika, że pracownicy uczelni mogą poświęcać na badania w zaokrągleniu około 70 proc. czasu w porównaniu z pracownikami instytutów PAN i JBR. Dyskusja przeprowadzona wśród członków KBN, jak również opinie wielu innych osób, które zapoznały się z tymi tabelami, wskazują jednoznacznie, że współczynnik 0,7 dobrze odzwierciedla sytuację. Cenne zwłaszcza były uwagi osób, które mają doświadczenie pracy zarówno w uczelniach, jak instytutach pozauczelnianych. Wiele Zespołów KBN przyjęło zatem dane z raportu GUS do normalizacji danych N dla uczelni.

WYNIK KATEGORYZACJI

Wyniki obecnej kategoryzacji, która ma obowiązywać w 1999 roku, zostaną ogłoszone w Suplemencie do „Spraw Nauki”. Będzie to miało niezbyt duży wpływ na zmiany finansowania statutowego instytutów, a to ze względu na uchwałę KBN, że w obecnym roku żadna jednostka nie może otrzymać mniej niż 80 proc. sumy, którą KBN jej przyznał w 1998 roku. To ograniczenie spłaszczy różnice finansowania w poszczególnych kategoriach.

Przypomnę, że w starej kategoryzacji, w kategoriach A, B i C obowiązywały współczynniki finansowania odpowiednio 1,0, 0,75 i 0,42 na przeliczeniowego pracownika (możliwe były niewielkie odstępstwa od tych wartości). W obecnej kategoryzacji, przypuszczalnie, odpowiednie współczynniki będą miały docelowo wartości około 1,0, 0,8, 0,6, 0,4 i 0,2. Trwa jednak dyskusja, ponieważ według innej sugestii współczynniki te powinny być dokładnie proporcjonalne do średniej wartości E w każdej kategorii. Podkreślam jednak, że ze względu na konieczne „spłaszczenie” finansowania, jego zmiany w 1999 roku będą mniejsze, niż by to wynikało z zaszeregowania jednostki do jakiejś kategorii.

Prof. dr hab. Andrzej Kajetan Wróblewski jest profesorem Wydziału Fizyki Uniwersytetu Warszawskiego. Obecnie pełni funkcję zastępcy przewodniczącego KBN.

Uwagi.