Przegląd Urologiczny 2009/4 (56) wersja do druku | skomentuj ten artykuł | szybkie odnośniki
 
strona główna > archiwum > Przegląd Urologiczny 2009/4 (56) > Od cytowań do oceny parametrycznej

Od cytowań do oceny parametrycznej

W ostatnich latach na łamach różnych czasopism (głównie "Forum Akademickiego" i "Spraw Nauki") nasiliły się dyskusje dotyczące cytowań, "listy filadelfijskiej"orazparametrycznejocenyjednosteknaukowych.Przedstawicieleróżnychdyscyplin naukowych wymieniają poglądy na temat zasadności wykorzystania listy czasopism indeksowanych w bazie Web of Science do oceny polskich jednostek naukowych.

Spory te rozpoczęły się w 1998 roku, kiedy to Komitet Badań Naukowych (KBN) przyjął nowy system oceny merytorycznej jednostek ubiegających się o dofinansowaniedziałalnościstatutowej.Systemten oparty był na podejściu parametrycznym, w którym wyniki działalności jednostki podlegają ocenie punktowej. Założenia przyjęte przez KBN realizuje obecnie Ministerstwo Nauki i Szkolnictwa Wyższego, które co roku na podstawie przesyłanej przez placówki naukowe tzw. ankiety jednostki podsumowuje ich dorobek i kierując się tą oceną rozdziela fundusze. Nikt nie twierdzi, że stosowany system oceny jest doskonały. Jego wady widzą także zwolennicy, którzy jednocześnie podkreślają, że na razie nie ma lepszej metody. Takiej, która byłaby jednocześnie obiektywna, niezależna od jakich-kolwiek nacisków, transparentna dla wszystkich i prosta w zastosowaniu. Nie oznacza to oczywiście, że nie należy dążyć do poprawienia już istniejącego systemu.

W niniejszym artykule spróbuję wyjaśnić rolę cytowań, wskaźnika Impact Factor oraz "listy filadelfijskiej"w ocenieczasopismi placówek naukowych w Polsce.

Cytowanie jako norma zaczęło się pojawiać w XIX wieku, kiedy to czasopismo naukowe stało się najważniejszym narzędziem komunikacji pomiędzy uczonymi. Cytowanie zaczęło wtedy pełnić rolę środka komunikacji naukowej. Poprzez bibliografięzałącznikowąautor nie tylko wiąże swoją publikację z podobnymi na ten temat, ale w sposób naturalny włącza się w obieg nauki. Staje się odbiorcą i nadawcą komunikacji, a kolejne pozycje bibliograficznetworzą z pracami cytującymi je swoistą siatkę powiązań; niewidzialnych, lecz istniejących "nitek". I staje się tak niezależnie od powodów powołania się na konkretną publikację (cytowanie "pozytywne" czy "negatywne"). Siatki tych powiązań łączą autorów zajmujących się daną tematyką w niewidzialne koledże ("invisible college") - związki naukowców z całego świata, którzy być może nigdy się nie spotkali, ale zajmują się tym samym zagadnieniem i znają nawzajem swój dorobek. Każdy zbierający literaturę na jakikolwiek temat wykorzystuje między innymi najprostszą, a zarazem bardzo skuteczną metodę, jaką jest analiza bibliografiizałącznikowychdołączonychdo interesujących badacza prac. Zakłada się w tym momencie, iż autor powołuje się na prace o podobnej tematyce. Odnalezienie takiej publikacji, oprócz wartości merytorycznej, dostarcza także ważnej informacji bibliograficznej.Wystarczyzatemjednaodnaleziona na żądany temat praca, która staje się podstawą wyszukania kompletnej literatury przedmiotu. Wykorzystanie tego sposobu poszukiwań bibliograficznychmożewyeliminowaćlubznacznieograniczyć konieczność przygotowywania odpowiednich słów kluczowych czy też skomplikowanej charakterystyki wyszukiwawczej, gdyż jedna publikacja dostarcza informacji na temat innych, a w tych z kolei można znaleźć następne itd. Proces ten kontynuuje się, aż informacje bibliograficznezacznąsiępowtarzać.Przypominaonposzukiwania w internecie, gdzie odpowiedni system linków-odsyłaczy (swoistych cytowań) prowadzi "jak po sznurku" od jednej pozycji do następnej.

Cytowanie w prosty sposób ukazuje poczytność danej pracy, czyli jej przydatność w prowadzonych badaniach naukowych. Duża liczba cytowań jakiegoś artykułu zwraca uwagę na czasopismo, w którym był on opublikowany i zwiększa jego atrakcyjność. W związku z tym większość najważniejszych dokonań naukowych opisana jest w sto-sunkowo niewielkiej liczbie periodyków. Zjawisko to nazwane zostało prawem Bradforda, od nazwiska uczonego, który pierwszy je opisał.

Fenomen cytowania wykorzystał Eugene Garfield,założycielfiladelfijskiegoInstytutuInformacjiNaukowej(Institute for ScientificInformation) w stworzonym przez siebie w 1961 roku indeksie cytowań. Pierwszy z indeksów - Science Citation Index - powstał w 1961 roku i zawierał informacje z lat 1959-1960 z zakresu nauk przyrodniczych, biomedycznych i technicznych. Od 1963 roku wydawnictwo to ukazuje się regularnie. Kolejny indeks - Social Sciences Citation Index - dla nauk społecznych, zaczął się ukazywać w 1973 roku, a od 1978 roku komplet indeksów cytowań uzupełnił Arts & Humanities Citation Index, indeksując materiał z nauk humanistycznych i sztuk. Indeksy cytowań początkowo ukazywały się w formie drukowanej i składały się z trzech części: Source Index zawierał pełne dane bibliograficznepublikacji,Citation Index zawierał informacje o cytowaniach, a Permutern Subject Index - indeks przedmiotowy, umożliwiał wyszukiwania tematyczne. Od 1988 roku indeksy cytowań publikowane były na dyskach optycznych, co znacznie ułatwiło wyszukiwanie i przetwarzanie danych. Od 1997 roku bazy danych udostępniane są sieciowo w systemie Web of Science. Obecnie (2009 rok) system ten zawiera informacje z około 10 tys. czasopism z 256 dyscyplin i jest tworzony przez firmę ThomsonReuters.

To, co wyróżnia indeksy cytowań od typowych baz to dołączenie do rekordu - oprócz standardowych informacji, takich jak nazwiska autorów, tytuł pracy czy tytuł czasopisma - bibliografiizałącznikowej znajdującej się w prawie każdym artykule. Te dodatkowe dane miały wspomóc proces wyszukiwania informacji, a także pozwolić na badanie procesów komunikacji naukowej. Jednak popularność i możliwości wykorzystania tego narzędzia do innych celów zaskoczyły nawet jego twórcę. Niejako produktem "ubocznym" przy tworzeniu indeksów cytowań jest lista czasopism, które poddawane są indeksowaniu. I początkowo była ona tworzona tylko w tym celu. Ale zaczęła pełnić o wiele ważniejszą rolę niż na początku zakładano. Bardzo rygorystyczne kryteria selekcji, jakim poddawane są czasopisma i co za tym idzie, popularność indeksów cytowań spowodowała, że obecnie "lista filadelfijska"(podtakąnazwą jest w Polsce znana) utożsamiana jest z elitą czasopiśmiennictwa naukowego, a dostanie się do tego elitarnego klubu szczytem marzeń wszystkich redakcji.

Co roku ocenie poddawanych jest około 2000 nowych tytułów, z czego do bazy włączanych jest zaledwie 10-12%.

Kryteria oceny są następujące:

  • regularność ukazywania się czasopisma (zgodnie z zaplanowaną częstotliwością);
  • wydawanie czasopisma zgodnie z międzynarodową konwencją wydawniczą (odpowiednia nazwa, tytuł publikacji zgodny z jej treścią, wykaz publikacji oraz streszczenie pracy);
  • podawanie w języku angielskim streszczenia, słów kluczowych i tytułu pracy;
  • recenzowanie zamieszczonych w czasopiśmie prac przez specjalistów w swej dziedzinie;
  • regionalna reprezentatywność czasopism;
  • analiza cytowań.

W tym miejscu należy wyjaśnić, iż jeszcze do niedawna grupa czasopism indeksowanych w Web of Science (Master Journal List lub "lista filadelfijska")byłatożsamaz listąstaranniewyselekcjonowanych naukowych periodyków. Jednakże w pogoni za konkurencyjną bazą Scopus dołożono do listy indeksowanych także inne tytuły, które jeszcze nie zostały ocenione. W związku z tym nastąpiło pomie-szanie pojęć i niektórzy autorzy oraz redakcje czasopism uważają, że sam fakt przyjęcia periodyku do indeksowania oznacza automatyczne umieszczenie na "liście filadelfijskiej".Tymczasemdopieroodpowiedni proces ewaluacji i wyliczenie wskaźnika Impact factor (IF) faktycznie nobilituje dane wydawnictwo wśród innych z tej dziedziny2.

Impact factor to specjalny wskaźnik stworzony specjalnie do oceny czasopism. Wraz z innymi wskaźnikami (takimi jak: Immediacy index czy Cited Half-life) publikowany jest w wydawanym corocznie informatorze pod nazwą Journal Citation Reports (JCR). Dla nauk ścisłych taki informator został opublikowany po raz pierwszy w 1975 roku, a dla nauk społecznych w 1977 roku. Dla czasopism poświęconych naukom humanistycznym i sztukom nie wylicza się tego wskaźnika. Od 1989 roku JCR jest samodzielnym wydawnictwem, a od 1994 roku JCR ukazuje się w wersji elektronicznej.

IF jest obliczany według następującego wzoru:

Fotografia 1
 

Zatem wyliczenie wskaźnika Impact factor za rok 2007 dla czasopisma "European Urology" wygląda następująco:

Fotografia 2
 

Przy wszelkich dyskusjach dotyczących Impact factora należy pamiętać o wszelkich ograniczeniach i wadach. Zwracał na nie uwagę w swych publikacjach prof. A. K. Wróblewski3.

Warto wiedzieć, że IF można używać do porównań tylko w ramach jednej dyscypliny. Różne zwyczaje cytowań w poszczególnych dyscyplinach powodują duże różnice między najlepszymi periodykami w swych dyscyplinach. Na przykład najwyżej "notowane" czasopismo z zakresu immunologii - "Annual Review of Immunology" - uzyskało w 2007 roku Impact factor równy 47,981, natomiast dla najlepszego tytułu z urologii i nefrologii - miesięcznika "Journal of the American Society of Nephrology" - IF wyniósł "tylko" 7,111.

W wyliczeniu tego prestiżowego wskaźnika brane są pod uwagę wyłącznie artykuły; pomija się recenzje, nekrologi, listy do redakcji itp. Natomiast cytowania wyliczane są wszystkie, także wspomnianych "listów do redakcji". W związku z tym może dojść do zawyżenia wartości wskaźnika, w skrajnych przypadkach nawet o kilkadziesiąt procent. Na wartość wskaźnika IF wpływa także terminowość ukazywania się poszczególnych numerów czasopisma. Przy dużych opóźnieniach skraca się czas, za jaki jest on wyliczany. W niektórych dziedzinach wykorzystywane (a więc i cytowane) są najnowsze wyniki prac, co znacznie wpływa na wysokość IF.

Zdarza się, że wielkość tego współczynnika jest przedmiotem manipulacji prowadzącej do sztucznego zawyżenia jego wartości. Ponieważ przy wyliczaniu IF są uwzględniane wszystkie cytowania (także samocytowania), więc redakcje mogą skłaniać swych autorów do powoływania się na najnowsze publikacje, które ukazały się w danym czasopiśmie. Tak się stało w przypadku polskiego czasopisma "Polimery", dla którego poziom samocytowań wyniósł blisko 80%4. Trzeba jednak zwrócić uwagę, że tego typu zabiegi są monitorowane przez twórców baz i mogą doprowadzić do usunięcia czasopisma z "listy filadelfijskiej".Takilosspotkałwspomnianymiesięcznik "Polimery", który nie doczekał się IF za rok 2008.

Tabela 1
Czasopisma z urologii i nefrologii w bazie Journal Citation Reports (2007)

Warto także wspomnieć o zwyczajach cytowania w różnych dziedzinach. Na przykład w dziedzinie biochemii i biologii molekularnej każdy publikowany obecnie artykuł zawiera średnio 45 pozycji w bibliografiizałącznikowej,przyczymśredniwiekcytowanychartykułów wynosi siedem lat. Natomiast w matematyce jest przeciętnie tylko 15 cytowań innych prac, a ich średni wiek waha się od 20 do 30 lat. W niektórych naukach społecznych i humanistycznych ten średni wiek może być jeszcze większy.

Na "liście filadelfijskiej"(wgbazyJournal Citation Reports) za rok 2007 znaleźć można 60 tytułów polskich czasopism. Periodyki te w znakomitej większości reprezentują nauki ścisłe. Wśród nich jest jeden tytuł z zakresu nauk społecznych. Warto dodać, że mimo wyśrubowanych kryteriów branych pod uwagę przy ocenie, z roku na rok wzrasta liczba polskich czasopism w JCR. W 1994 roku było ich zaledwie 18.
Jeśli chodzi o urologię i nefrologię (w bazie Journal Citation Reports obie dyscypliny traktowane są razem), to w 2007 roku wśród 6417 tytułów pojawiło się 55 czasopism. Najwięcej periodyków jest wydawanych w Stanach Zjednoczonych (26 tytułów). Wśród krajów europejskich dominuje Szwajcaria (8) oraz Anglia (7). Niemcy i Holandia publikują po 3 tytuły, Francja i Australia po 2 oraz po jednym czasopiśmie Chiny, Włochy, Hiszpania i Norwegia. W tabeli 1 wymieniono wszystkie periodyki z urologii i nefrologii w bazie Journal Citation Reports w 2007 wraz z wartością IF.

Impact factor jest najczęściej wykorzystywanym wskaźnikiem oceny merytorycznej czasopism i jak żaden inny jest przedmiotem wielu dyskusji. Analizowana jest zwłaszcza jego przydatność w ocenie badaczy czy też jednostek naukowych, ponieważ często jest wykorzystywany właśnie do tych celów. Także w Polsce stał się podstawą tworzenia przygotowywanej przez Ministerstwo Nauki i Szkolnictwa Wyższego listy czasopism punktowanych wykorzystywanej do oceny parametrycznej jednostki.

Tabela 2
"Czasopisma z dziedziny urologii i nefrologii wraz z punktacją Ministerstwa Nauki i Szkolnictwa Wyższego (lista "A")"

Zgodnie z Rozporządzeniem Ministra Nauki i Szkolnictwa Wyższego z dnia 17 października 2007 roku w sprawie kryteriów i trybu przyznawania oraz rozliczania środków finansowychnadziałalnośćstatutową (Dz. U. nr 205, poz. 1489) "ocena jednostki ma charakter parametryczny i jest dokonywana przy uwzględnieniu: liczby punktów przypisanych poszczególnym rodzajom aktywności jednostki naukowej, w zakresie działalności naukowej oraz zastosowań praktycznych wyników badań naukowych i prac rozwojowych" (§ 4 ust. 4). W ocenie parametrycznej za poszczególne rodzaje aktywności przy-znawane są punkty. Większość z nich jest ustalona i rzadko zmieniana. Najwięcej uwag i kontrowersji wzbudza lista czasopism, dla których corocznie punktacja wyliczana jest na nowo.

Przygotowywany wykaz czasopism jest podzielony na część "A" i "B". W części "A" znajdują się wydawnictwa, które pojawiły się w bazie danych Journal Citation Reports, czyli te, dla których został wyliczony wskaźnik Impact factor. Czasopisma zostają podzielone na dziedziny (zgodnie z klasyfikacjąstosowanąprzeztwórcówbaz),uszeregowane według malejącej wartości wskaźnika IF i przyporządkowane do jednej z czterech grup. Następnie każdemu tytułowi przydzielane jest 30, 24, 20, 15 lub 10 punktów, odpowiednio do wielkości Impact factor. Jeśli czasopismo przydzielone jest do dwóch dziedzin, wówczas wybierany jest wariant korzystniejszy.

W tabeli 2 przedstawiono czasopisma z "listy filadelfijskiej"z przyznaną przez MNiSW punktacją (zgodnie z ujednoliconym wykazem czasopism z 5 maja 2009 r.).

Pozostałe czasopisma (polskie i zagraniczne) mogą trafićnatzw.listę "B". Wykaz ten powstaje na podstawie wniosków (ankiet aplikacyjnych) wydawców lub redaktorów naczelnych po ich pozytywnej ocenie dokonanej przez zespoły eksperckie. Stosowane są dwa wzory wniosków w zależności od reprezentowanej przez czasopismo dziedziny.

W przypadku czasopism poświęconych naukom ścisłym, przyrodni-czo-medycznym i technicznym ustalone są następujące kryteria, które decydują o przyznaniu czasopismu punktacji (od 1 do 6 punk-tów) (tab. 3).

Przy czym RIF to realny współczynnik wpływu obliczany identycznie jak Impact factor. Dla miarodajnej oceny czasopisma RIF jest uśredniony za cztery ostatnie lata poprzedzające ocenę.

Wśród polskich czasopism punktowanych udało się odnaleźć dwa tytuły z zakresu urologii i nefrologii. Jest to "Urologia Polska" wydawana przez Polskie Towarzystwo Urologiczne (4 punkty) oraz "Nefrologia i Dializoterapia Polska" - kwartalnik Wydawnictwa Przegląd Lekarski (2 punkty).

Ewaluacja i tworzenie rankingów czasopism, podobnie jak ewaluacja i tworzenie rankingów ośrodków naukowych czy naukowców jest nieodłącznym elementem współczesnej nauki i jest obecna praktycznie w każdej dyscyplinie wiedzy. Ponieważ często wiąże się z podziałem środków finansowych,więcwzbudzaiwzbudzaćbędzie wiele dyskusji i polemik. Wykorzystanie "listy filadelfijskiej" do oceny parametrycznej też ma zarówno gorących zwolenników, jak i zagorzałych przeciwników. Ci ostatni proponują zastosowanie w ewaluacji innych metod, innych współczynników (np. h-index) czy też wykorzystanie do tego celu innych baz danych (np. bazy Scopus). Spór ten wydaje się być nierozwiązywalny, bo raczej nie jest możliwe znalezienie metody, z której zadowoleni byliby wszyscy. Niemniej warto znać wszelkie wady i zalety stosowanych współczynników, żeby móc je optymalnie wykorzystać.

dr Aneta Drabek
Oddzial Udostepniania Zbiorów i Informacji Naukowej
Biblioteka Uniwersytetu Śląskiego

Piśmiennictwo

1. Lewandowski M.: O powstaniu, upadku i reinkarnacji "listy filadelfijskiej" uwag kilka. "Nauka" 2006, nr 3, s. 87-93.

2. Racki G.: Jak podwyższyć impact factor czasopisma (i ministerialne dotacje dla instytutu)? "Sprawy Nauki" 2009, nr 3, s. s. 33-41.

3. Testa J.: The Thomson Reuters Journal Selection Process [online]. [dostęp: 2009-07-06]. Dostępny w World Wide Web: http://thomsonreuters.com/products_services/science/free/essays/journal_selection_process/.

4. Ujednolicony wykaz czasopism punktowanych [online]. 2009 [dostęp: 2009-07-08]. Dostępny w World Wide Web: http://www.nauka.gov.pl/mn/index.jsp?place=Lead08&news_cat_id=470&news_id=8245&layout=2&page=text.

5. Wróblewski A. K.: Bibliometryczna trylogia. "Zagadnienia Naukoznawstwa" 2002, z. 151-152, s. 7-29.

6. Wróblewski A. K.: Ostrożnie z tym współczynnikiem. "Forum Akademickie" 1998, 7-8, s. s. 52-53.