Przegląd Urologiczny 2013/3 (79) wersja do druku | skomentuj ten artykuł | szybkie odnośniki
 
strona główna > archiwum > Przegląd Urologiczny 2013/3 (79) > Zmiany w egzaminie EBU

Zmiany w egzaminie EBU

Z dr. n. med. Arturem A. Antoniewiczem, przewodniczącym Komitetu Egzaminacyjnego EBU, rozmawia Małgorzata Skarbek

Komitet Egzaminacyjny EBU zdecydował się na nowe rozwiązania dotyczące egzaminu specjalizacyjnego z urologii. Dlaczego?
Europejski egzamin specjalizacyjny z urologii wprowadzony został w 1992 r. przez European Board of Urology. Po upływie 21 lat, podczas których ponad 3000 urologów zdobyło tytuł Fellow of EBU (FEBU), egzamin cieszy się rosnącą renomą i prestiżem w wielu krajach Europy. Szybki postęp technologiczny, umożliwiający nowe rozwiązania, a także postęp w medycynie skłoniły Komitet Egzaminacyjny EBU, któremu przewodniczę od 2011 r., do podjęcia decyzji o zmianie sposobu przeprowadzania części pisemnej egzaminu. Jesteśmy przekonani, że utrzymanie dotychczasowego status quo egzaminu nie przystaje do wyzwań współczesności i nie gwarantuje mu przyszłości. Od dawna mieliśmy świadomość, że w pewnej chwili trzeba to będzie zmienić i uważamy, że właśnie teraz jest odpowiedni moment. Po zdobyciu pozytywnych doświadczeń związanych ze sprawdzianem In-Service on-line (2012 r. i 2013 r.) decydujemy się na wprowadzenie egzaminu on-line już w bieżącym roku. Egzamin będą zdawać kandydaci dopuszczeni do niego w toku odpowiedniej procedury kwalifikacyjnej, właściwej dla każdego kraju. Sam egzamin będzie przebiegał z użyciem komputera, udostępnionego dla potrzeb egzaminu za pośrednictwem sieci centrów egzaminacyjnych o wysokim stopniu organizacji wewnętrznej (zaplecze techniczne, logistyczne, odpowiedni personel) rozmieszczonych w całej Europie.

Jakie były motywy tej decyzji?
Najważniejszy motyw, jakim kierowała się EBU to troska o przyszłość egzaminu. Nie można sądzić, że egzamin specjalizacyjny mógłby utrzymać swoją popularność i znaczenie w środowisku europejskim, jeśli byłby niezmiennie organizowany w dość staroświecki sposób, jak dotychczas - przy posługiwaniu się ołówkiem i papierowymi kartami testowymi.

Także przygotowanie egzaminu jest niezwykle żmudne, ponieważ w obecnych warunkach nie może być wykonywane automatycznie. Zbieramy przygotowane pytania, potem je dobieramy według odpowiedniego kodu: dziedziny, zagadnienia, tematy, które muszą pojawić się w teście. Do 2012 r., przez ostatnie 8 lat, członkowie Komitetu Egzaminacyjnego EBU przygotowywali 2 zestawy po 150 pytań: jeden na egzamin odbywający się w Pradze na zakończenie kursu organizowanego we wrześniu przez European School of Urology, agendę edukacyjną European Association of Urology, w którym zwykle uczestniczyło ok. 200- -250 kandydatów. Drugi zestaw przeznaczony był na egzamin odbywający się w listopadzie w wielu miastach Europy, w tym także w Warszawie. Zwykle brało w nim udział ok. 200 kandydatów. Oba zestawy musiały być jednakowo dobrej jakości. Niekiedy pojawiały się wątpliwości, czy testy były jednakowo trudne, czy warunki były identyczne.

Podobnie z analizą wyników - system sprawdzający testy powstał 20 lat temu. Nie ma możliwości jego unowocześnienia, bo oparty jest na przestarzałej technologii komputerowej, a ponadto ograniczony w zakresie merytorycznej oceny jakości egzaminu.

Fotografia 3
Dr n. med. Artur A. Antoniewicz, FEBU od lat jest egzaminatorem w procesie uzyskiwania specjalizacji z urologii, w tym od 3 lat - egzaminatorem międzynarodowym. Od 12 lat jest członkiem delegatem EBU, w 2011 r. został wybrany na stanowisko przewodniczącego Komitetu Egzaminacyjnego EBU. Od 1999 r. jest związany z egzaminem EBU, w latach 2000-2006 egzaminował w Polsce, od 2007 do 2010 r. był delegatem EBU na egzamin w Polsce, a od 2011 r. jest egzaminatorem międzynarodowym i przewodniczy egzaminowi odbywającemu się w Brukseli - w tym ostatniej sesji dnia 8 czerwca 2013 r. Dr Antoniewicz pełni funkcję ordynatora Oddziału Urologii Międzyleskiego Szpitala Specjalistycznego w Warszawie, ośrodka akredytowanego przez EBU (www.ebu.com). Działalność w EBU wymaga czasu, zmusza do wytężonej pracy merytorycznej, aktywności, jest działalnością społeczną. Fakt, że jest - jak dotąd - jedynym egzaminatorem z Polski, dr Antoniewicz traktuje jako kredyt zaufania, jest też powodem niemałej satysfakcji. Doświadczenia zdobyte w kontaktach z egzaminowanymi i egzaminatorami przekonały go, że należy podjąć wysiłek zmiany systemu egzaminów. Jak mówi, jest owładnięty ideą zmian, które traktuje jako zadanie priorytetowe w swojej pracy dydaktycznej.
Fotografia 1
Delegacja EBU podczas egzaminu ABU, Dallas 2013 r. Od lewej: Meteç Cek - EBU, Gerald H. Jordan - ABU, Peter N. Schlegel - ABU, Artur A. Antoniewicz - EBU

Ocena odpowiedzi i ich statystyczna obróbka z uwzględnieniem warunków indywidualnych, jakie każdorazowo stanowi grupa zdających, a więc określenie minimalnej liczby punktów, niezbędnej do pozytywnego zaliczenia egzaminu, zajmowały dużo czasu - minimum 1 miesiąc. Liczymy, że proponowane zmiany zniosą te ograniczenia.

Czego dotyczą zmiany?
Zasadnicze zmiany nie będą dotyczyły istoty egzaminu, tzn. jego merytorycznej zawartości, stopnia trudności, czasu przeznaczonego na wykonanie testu. Zmienione zostaną: proces przygotowania testu, przeprowadzenie egzaminu oraz sposób analizy wyników. Z czasem spodziewamy się możliwości włączenia do testu zdjęć, rycin, schematów, czyniąc egzamin bardziej praktycznym i - być może - atrakcyjnym w jego części pisemnej.

Zacznijmy od wyjaśnienia, na czym polegają zmiany w przygotowaniu testu.
Chcemy ułatwić i przyspieszyć proces budowy testu przez zbieranie pytań on-line. Pytania wraz z odpowiedziami, w tym jednej najlepszej oraz z uzasadnieniem i podaniem źródła, przygotowywane przez autorów z całej Europy, będą selekcjonowane automatycznie w odpowiednie grupy, następnie kierowane do specjalistów szczególnie zainteresowanych daną dziedziną urologii. Tego rodzaju system przygotowania pytań ma zagwarantować ich wysoką jakość. Jak wiadomo, pytania są wykorzystywane do egzaminu tylko jeden raz. Chcemy stworzyć bazę pytań zawierającą około 1 tys. rekordów.

W starym systemie proces przygotowywania pytań trwał rok, a ich zaopiniowanie i włączenie do testu następny rok. W efekcie mieliśmy testy bazujące na wiedzy sprzed 3 lat, a wśród pytań takie, których aktualność budziła niekiedy uzasadnione wątpliwości. Teraz będzie można wyeliminować tego typu zdarzenia. Wiedza dotycząca urologii w ostatnich latach zmienia się szybko, pojawiają się nowe metody i leki, zmieniają się standardy i podejście do poszczególnych zagadnień. Oczywiście egzamin nie opiera się wyłącznie na najnowszych doniesieniach, ale zapewnienie wysokiej jakości profesjonalnych i aktualnych pytań jest sztandarowym celem Komitetu Egzaminacyjnego EBU. Wymiana w drodze on-line między autorami pytań i członkami Komitetu Egzaminacyjnego odpowiedzialnymi za ich wprowadzenie do bazy, z udziałem przewodniczącego Komitetu, ostatecznie kwalifikującego zestaw pytań, zapewni, że proces będzie szybki i efektywny. A jednocześnie zmniejszy obciążenie pracą osób przygotowujących egzamin.

Przejdźmy zatem do kwestii, które najbardziej interesują młodych lekarzy, czyli do praktyki egzaminacyjnej.

Dzięki powierzeniu całej technicznej strony przeprowadzenia egzaminu firmie Pearson VUE, o której powiem za chwilę, będzie on odbywał się jednocześnie w wielu miastach Europy, dla - praktycznie nieograniczonej - liczby kandydatów.

System zgłaszania się na egzamin pozostanie taki, jak poprzednio. Kandydat aplikuje do EBU (w Polsce via PTU), po zakwalifikowaniu lista kandydatów z bazy EBU jest transferowana do Pearson VUE. Firma komunikuje się z kandydatami, przesyłając im niezbędne informacje oraz listę ośrodków, w których można będzie zdawać egzamin (ok. 300). Kandydat wybiera optymalne dla siebie miejsce z uwzględnieniem odległości. Istotną rolę grają tu również koszty - dotychczas wyjazd do odległego miasta je podnosił, wybór najbliższego będzie je zmniejszał. Po potwierdzeniu aplikacji każdy kandydat zostaje zarejestrowany, otrzymuje w konkretne miejsce pełną informację gdzie i kiedy ma się zgłosić, otrzymuje nawet instrukcję dojazdu.

Test w tym roku będzie przeprowadzony we wszystkich ośrodkach w całej Europie jednocześnie, 5 października, w godz. 14-17.30 (z uwzględnieniem różnic stref czasowych), nie ma możliwości rozpoczęcia lub zakończenia go w innym czasie.

Na miejscu kandydat jest identyfikowany, zgodnie z protokołem, przez zeskanowanie jego podobizny i dowodu osobistego. Pobiera się także odcisk palca, który służy wyłącznie do celów archiwalnych, gdyby zaszły jakiekolwiek wątpliwości, kto fizycznie był obecny podczas egzaminu.

Egzamin odbywa się w komfortowych warunkach - od 2 do 10 boksów w klimatyzowanym pomieszczeniu, z czytelnymi, nowoczesnymi ekranami komputerów. Korzystanie z jakichkolwiek pomocy, urządzeń itp. jest zabronione. Nie można posiadać żadnych urządzeń elektronicznych. Cały egzamin jest nagrywany kamerą wideo, również do celów archiwalnych. Te warunki wykluczają możliwość korzystania z pomocy lub kontaktów między zdającymi. Zawartość egzaminu w nowej wersji jest identyczna jak w poprzedniej. Kandydat otrzymuje zestaw 150 pytań, w każdym są 4 odpowiedzi, jedna z nich najlepsza. Natomiast forma będzie inna - egzaminowany ma do dyspozycji komputer, odpowiada za pomocą myszki. Zakładamy, że każdy posiada umiejętność pracy na komputerze i poruszania się myszką na ekranie. Ma licznik czasu, licznik pytań, może wracać do tych, na które już odpowiedział i poprawiać. Po rozpoczęciu egzaminu każde działanie egzaminowanego jest rejestrowane, co wyklucza ewentualność zniszczenia dotychczasowej pracy kandydata przez jakiś nieszczęśliwy zbieg okoliczności. Test zamyka się automatycznie po upływie przewidzianego czasu, ale kandydat może zamknąć go wcześniej, jeśli uzna, że już zakończył pracę. Cały proces jest niezależny od jakichkolwiek innych uwarunkowań.

Fotografia 2
Board of Examiners - EBU oral examination, Brussels 2013

Wydaje się, że warunki egzaminu tworzone przez Pearson VUE będą mniej stresujące niż dotychczasowe. Choćby skupienie uwagi: w sali, w której pracuje duża grupa ludzi, jest z pewnością trudniejsze niż w małym, izolowanym pomieszczeniu dla kilku osób. W Pradze, gdzie dotąd zdawała grupa ok. 250 osób, które były rozsadzane, pilnowane, atmosfera przypominała nieco maturę i dla dorosłych ludzi była do pewnego stopnia żenująca. Firma Pearson traktuje egzaminowanych jak profesjonalistów i stwarza im odpowiednie warunki.

Egzamin pisemny mogło zdawać maksymalnie 450 lekarzy. W nowym systemie ta liczba nie będzie limitowana. To otwiera drogę do zwiększania zasięgu egzaminu EBU w Europie, a także poza jej granice, gdzie zainteresowanie nim stanowczo rośnie. Stąd jeszcze jeden argument za zmianą.

Obiecał Pan przybliżyć sylwetkę partnera wykonawczego egzaminu.
Naszym partnerem jest firma Pearson VUE, (www.pearsonvue. com) która ma odpowiednie zaplecze technologiczne na całym świecie, od lat organizuje egzaminy testowe m.in. dla American Board of Surgery, American Board of Urology, a także wielu lekarskich organizacji w Europie, dla wielu innych organizacji prowadzących szkolenia i testy wiedzy (np. Microsoft, Nokia, Siemens, NetFork, American College British Computer Society i inn.). Jest to firma komercyjna, dysponująca lokalami z odpowiednim wyposażeniem technicznym. Firmę wytypowaliśmy znacznie wcześniej, szukając partnera, który może zapewnić właściwą jakość obsługi egzaminu, z uwzględnieniem komfortu kandydatów i bezpieczeństwa egzaminu. Od stycznia do maja br. trwały negocjacje i intensywne przygotowania do wprowadzenia tego projektu.

Do tej pory egzamin odbywał się dwa razy w roku, teraz będzie tylko raz.

Naszym celem jest zredukowanie egzaminu do jednego takiego wydarzenia w roku. Dwa egzaminy podwajały ilość pracy członków Komitetu, biura organizacyjnego, podnosiły koszty. Przed laty, odpowiadając na oczekiwania European School of Urology (po przejęciu przez ESU tzw. kursu rzymskiego od EBU), organizowaliśmy wczesną jesienią drugi egzamin tuż po zakończeniu kursu ESU w Pradze. Nie chcąc bez porozumienia zmieniać częstotliwości egzaminów, ostateczną decyzję w sprawie proponowanej zmiany systemu uzależnialiśmy od stanowiska ESU. Poinformowaliśmy naszych partnerów, zarówno ESU, jak i European Association of Urology o przygotowaniach, przedstawiliśmy gotowy projekt zmian, w tym zamiar zlikwidowania egzaminu praskiego. Nie chcieliśmy, aby nasze działania zostały potraktowane jako przejaw braku chęci dalszej współpracy, stąd zapewnienie o tym, że egzamin będzie przeprowadzany w stosunkowo nieodległym terminie po zakończeniu kursu ESU. Szef sekcji zajmującej się edukacją w łonie EAU - Henk van Poppel oraz aktualny przewodniczący ESU - Juan Palou, po dyskusji w swoich gremiach, wyrazili zgodę na naszą propozycję. Wiosną br. EBU ogłosiło decyzję o wprowadzeniu projektu i pierwszego zmienionego egzaminu w tym roku.

Mam ogromną satysfakcję, że w stosunkowo krótkim czasie tak ważna i trudna zmiana została dokonana. Teraz jest czas, aby o szczegółach rozmawiać z partnerami narodowymi w Austrii, Polsce i na Węgrzech, gdzie egzamin EBU stanowi krajowy egzamin specjalizacyjny z urologii. Biuro EBU nawiązało właśnie roboczy kontakt z biurem PTU w tej sprawie.

Wspomniał Pan także o znacznie większych możliwościach wykorzystania analizy wyników.
Nowy system pozwala na dokonywanie analizy wyników w czasie trwania testu. Istnieje teoretyczna możliwość, że zdający otrzymuje wynik tuż po zamknięciu pracy. Jest tylko jeden warunek. Dotąd przy ocenie egzaminu stosowaliśmy kryteria relatywne, minimum potrzebne do zaliczenia egzaminu ustalano na podstawie analizy wszystkich wyników. Natomiast przy natychmiastowym obliczaniu wyników trzeba by stosować kryteria bezwzględne, np. 65%. dobrych odpowiedzi dawałoby wynik pozytywny, niezależnie od poziomu całej grupy. Decyzja w tej sprawie zapadnie prawdopodobnie po analizie wyników pierwszego egzaminu. Po zastosowaniu formuły bezwzględnej proces oceny i udostępnienia wyników kandydatowi byłby niezwykle prosty i szybki.

Poza tym organizatorzy egzaminu będą mieli do dyspozycji obszerną analizę wyników egzaminu, daleko wykraczającą poza to, co jest potrzebne egzaminowanym - czy zdał i z jaką liczbą punktów. Znajdziemy w niej odpowiedzi na wiele pytań: z jakich tematów kandydaci są najlepsi, z jakich gorsi, który autor przygotowuje najtrafniejsze pytania, a może któryś autor produkuje pytania kontrowersyjne, lub też jakieś zagadnienia są szczególnie trudne dla młodej populacji europejskich urologów. Można będzie porównać poziom wyników uzyskanych przez kandydatów z poszczególnych krajów. A z tego powstałyby wskazówki do szkolenia następnych roczników. Tych danych nie uzyskujemy przy użyciu starego systemu.

To są potencjalne kierunki analizy. Rozmawialiśmy już o nich z naszym partnerem i mamy zapewnienie, że jej przeprowadzenie będzie możliwe. Dlatego projekt ten budzi dużą nadzieję. Jesteśmy przekonani, że może on przenieść egzamin EBU do nowej rzeczywistości XXI wieku, daje lepszą perspektywę jakościową (proces tworzenia testu) i ilościową (nieograniczona liczba zdających) w 300 ośrodkach w Europie, a także możliwość szczegółowych analiz wyników, które mogą służyć ESU i towarzystwom narodowym do doskonalenia programów nauczania.

Z pewnością egzamin przeprowadzony w Polsce będzie miał swoją specyfikę?
16 stycznia br. EBU poinformowało Polskie Towarzystwo Urologiczne o intencji wprowadzenia zmian, które będą obowiązywać już w najbliższej sesji egzaminacyjnej jesienią 2013 r. Specyfika polska polega na tym, że kandydatów do egzaminu rekrutuje PTU, gdyż u nas od 1997 r. egzamin stał się specjalizacyjnym egzaminem państwowym. Obecnie obowiązuje rozporządzenie ministra zdrowia z lutego 2012 r. w sprawie egzaminu specjalizacyjnego stwierdzające, że procedura egzaminacyjna realizowana we współpracy EBU - PTU jest jednocześnie państwowym egzaminem specjalizacyjnym z urologii. W większości pozostałych krajów kandydaci zgłaszają się indywidualnie.

Zatem w polskich warunkach kandydaci muszą spełniać kryteria dopuszczenia do egzaminu specjalizacyjnego, które definiuje PTU i Centrum Egzaminów Medycznych. PTU odpowiada za zgłoszenie kandydatów, którzy mogą zgłaszać wolę przystąpienia do egzaminu od czerwca br. Okres wakacyjny jest czasem na wykonanie procedury przyjęcia zgłoszeń kandydatów i zakwalifikowania ich do egzaminu w sposób identyczny jak dotąd. Następnie PTU informuje EBU w określonym terminie, jaka jest imienna lista kandydatów zakwalifikowanych do egzaminu pisemnego.

W polskich warunkach należy się zastanowić, czy i w jaki sposób PTU będzie włączone w proces przeprowadzania egzaminu pisemnego.

EBU pozostaje w tej kwestii neutralne, nie ogranicza ani nie zachęca towarzystw urologicznych do takich działań. Samo natomiast uznaje kompetencje firmy Pearson jako niepodważalne i w związku z tym nasi przedstawiciele nie będą uczestniczyć w tych egzaminach. Mamy gwarancję, że proces egzaminacyjny spełnia wszelkie nasze oczekiwania. Należy podkreslić że, Pearson dysponuje blisko 50 centrami egzaminacyjnymi w Polsce (www.vue.com), które można wykorzystać na potrzeby egzaminu. Jesteśmy otwarci na wszystkie propozycje ze strony PTU.

W kwestii technicznej - polskim kandydatom test wyświetli się w języku polskim. Tak było i tak będzie nadal, chociaż EBU od wielu lat zmierza w kierunku wprowadzenia egzaminu pisemnego wyłącznie w języku angielskim. Respektujemy fakt, że polskie uregulowania prawne wymuszają przeprowadzenie egzaminu specjalizacyjnego po polsku. Dlatego udostępniamy materiał do wykonania tłumaczenia egzaminu. Podobnie działamy w Austrii i na Węgrzech.

Z punktu widzenia kandydata niewiele się zmieni, aplikacja i rejestracja będą przeprowadzane jak dotąd, przez PTU, większa liczba ośrodków oraz pełna informacja przesłana przez firmę Pearson VUE ułatwi mu dostęp do egzaminu.

Czy to wszystkie projekty, nad którymi obecnie pracuje EBU?
Nie wykluczamy, że gdyby omawiany projekt spełnił związane z nim oczekiwania i zapewnił wzrost popularności egzaminu, podnosząc przy tym jego jakość, to należy podjąć dyskusję na temat kształtu egzaminu ustnego. EBU wymienia w tej kwestii doświadczenia z American Board of Urology. Wnioski z tej wymiany uzasadniają poszukiwania optymalnego modelu egzaminu ustnego, który również byłby bardziej przystający do współczesnych warunków. Zmiana pozwoliłaby na zwiększenie liczby zdających, skrócenie egzaminu i takie wykorzystanie środków audiowizualnych, aby stał się bardziej interaktywny, pozwalający na sprawdzenie wiedzy praktycznej kandydata. Myślę, że moglibyśmy określić propozycje zmian w stosunkowo krótkim czasie, ok. 3 lat, tak aby móc wprowadzić je w życie jeszcze w okresie mojej kadencji jako przewodniczącego, a wiec przed rokiem 2017.

Dziękuję za rozmowę.
Rozmawiała: Małgorzata Skarbek