Ewaluacja zajęć realizowanych w formie kształcenia zdalnego

1. Wstęp

Jednym z podstawowych elementów, mających wpływ na stworzenie efektywnego systemu zapewniania jakości kształcenia, jest otwartość uczelni na kontakt z różnymi grupami interesariuszy, do których można zaliczyć nie tylko przedstawicieli otoczenia społeczno-gospodarczego, lecz przede wszystkim studentów. Analizując ten aspekt nieco szerzej, należy wspomnieć, że istotnym elementem skutecznego systemu związanego z jakością jest ewaluacja pracy nauczycieli akademickich oraz samych zajęć dydaktycznych. Wdrożenie takiego mechanizmu pozwala odzwierciedlić poziom zadowolenia studentów z jakości zajęć dydaktycznych, wskazując jednocześnie ich mocne, jak i słabe strony. Jest to również istotne we wdrożeniu rozwiązań wpływających na zwiększenie potencjału dydaktycznego uczelni.

Dodatkowymi czynnikami, które powinny wzmocnić ewaluację w obrębie uczelni, zachęcając je do zmian lub wyznaczenia pewnych strategii rozwoju, są przede wszystkim doświadczenia semestru letniego, gdy cały proces kształcenia przeniósł się do internetu. Ten okres uwydatnił, niestety, zróżnicowany poziom nauczania zdalnego, w związku z tym analiza w tym zakresie powinna być traktowana priorytetowo przez każdą uczelnie w Polsce.

Podstawą naszych rozważań będzie analiza oraz nakreślenie konkretnych obszarów, które powinny zostać włączone do procesu ewaluacji. Dodatkowo, towarzyszące temu rekomendacje oraz zbiór dobrych praktyk, powinny pozwolić uczelniom na sprofilowanie swoich działań w celu stworzenia odpowiednich mechanizmów oceny jakości kształcenia przez studentów.

2. Waga ewaluacji

Jak wspomniano we wstępie, ewaluacja zajęć dydaktycznych jest istotna, gdyż pozwala na poznanie szerokiego spektrum opinii na temat procesu kształcenia. W związku z tym, obowiązkiem uczelni powinno być zagwarantowanie studentom możliwości wzięcia w niej udziału, co w tym przypadku reguluje również art. 128 ust. 4 ustawy Prawo o szkolnictwie wyższym i nauce (dalej PSWN) o następującej treści:

“Uczelnia umożliwia studentom i doktorantom dokonanie co najmniej raz w roku akademickim oceny nauczyciela akademickiego w zakresie wypełniania przez niego obowiązków związanych z kształceniem”.

Dodatkowe elementy, określające konkretne obszary ewaluacji, mogą być również regulowane przez akty wewnętrzne uczelni, których celem jest określenie konkretnych kryteriów oraz kolejnych etapów, związanych z ewaluacją nauczycieli akademickich. W tym przypadku kryteria te muszą zostać zaakceptowane również przez samorząd studencki uczelni, co określa w tym przypadku ustęp trzeci tego samego artykułu PSWN:

“Kryteria oceny okresowej dla poszczególnych grup pracowników i rodzajów stanowisk oraz tryb i podmiot dokonujący oceny okresowej określa rektor po zasięgnięciu opinii senatu, związków zawodowych, samorządu studenckiego oraz samorządu doktorantów (...)”.

Mając na względzie specyfikę cytowanego artykułu PSWN, każda z uczelni w Polsce powinna sprofilować obecnie istniejące kryteria oceny nauczycieli akademickich pod kątem specyfiki nauczania zdalnego, włączając do tego procesu przedstawicieli samorządu studentów, którzy muszą mieć prawo do wyrażenia opinii na temat proponowanych ram ewaluacji kształcenia. Brak takiego procesu w obrębie wewnętrznych procedur zapewniania jakości kształcenia jest zagrożeniem dla stabilizacji uczelni oraz stanowi niezaprzeczalną barierę, ograniczającą wpływ studentów na formowanie procesu kształcenia. Analizując ten aspekt szerzej, należy dodać, że brak możliwości oceny nauczycieli akademickich prowadzi do ograniczonej wiedzy władz jednostki o stopniu wypełnienia obowiązków dydaktycznych swoich pracowników i nie pozwala na ich skuteczną ewaluację.

3. Podstawowe zasady prowadzenia ewaluacji kształcenia zdalnego

Skuteczny model ewaluacji nauczycieli akademickich powinien pozwolić na ocenę pracy każdego pracownika dydaktycznego, dając przy tym jednocześnie możliwość na wyartykułowanie dodatkowych elementów, które z perspektywy studenta są istotne, by ocenić poziom prowadzonych zajęć.

Model oceny powinien zostać zaprojektowany w sposób zbilansowany, uwzględniając przy tym specyfikę konkretnych kierunków studiów, które ze względu na swój charakter powinny być oceniane z uwzględnieniem dodatkowych czynników i kryteriów.

Podstawą wyznaczenia konkretnych obszarów ewaluacji kształcenia zdalnego, uzupełnioną jednocześnie o pewne istotne elementy z perspektywy studenckiej, będzie jedna z publikacji European Association for Quality Assurance in Higher Education (ENQA) “Considerations for quality assurance of e-learning provision - Report from the ENQA Working Group VIII on quality assurance and e-learning ”, stanowiąca zarazem cenne źródło wiedzy o wewnętrznych i zewnętrznych procesach zapewnienia jakości kształcenia typowych dla kształcenia na odległość.

Nadrzędnym konstruktem procesów projakościowych uczelni jest wieloaspektowa oraz wielopoziomowa strategia na rzecz zapewniania jakości kształcenia, która powinna uwzględniać różne aspekty działania uczelni oraz jej strukturę. Perspektywa uczelni, jak wspomniano wcześniej, powinna uwzględniać różne grupy interesariuszy, dające jej możliwość oceny efektywności wdrożonych rozwiązań przez różne grupy tworzące społeczność uczelni.

Kierując się rekomendacjami ENQA oraz Standardami i wskazówkami dotyczącymi zapewnienia jakości w Europejskim Obszarze Szkolnictwa Wyższego , uczelnie powinny w swoich mechanizmach uwzględniać następujące elementy:

1. wsparcie nauczania zdalnego,
2. rozwój zajęć w procesie jakości kształcenia,
3. proces nauczania oraz uczenia się z perspektywy nauczania zdalnego,
4. struktura programów studiów oferowanych przez uczelnię,
5. wsparcie studentów (z uwzględnieniem grup nieuprzywilejowanych),
6. wsparcie jednostki w procesie przeszkolenia pracowników administracyjnych z zakresu nauczania zdalnego,
7. zaplecze infrastrukturalne i technologiczne uczelni,
8. ewaluacja efektów uczenia się (z uwzględnieniem różnych typów),
9. elektroniczne środki bezpieczeństwa, które mogą wiązać się z przeciwdziałaniem cyberatakom

Analizując tę listę, widać, że na uczelni spoczywa bardzo duża odpowiedzialność za proces kształcenia oraz stworzenie adekwatnych warunków do jego realizacji. Do najważniejszych punktów w tym zakresie należy wsparcie uczelni w odniesieniu do kształcenia zdalnego lub wsparcie studenta w ogólnym tego słowa znaczeniu, wspomaganie procesu nauczania oraz uczenia się, metody ewaluacji efektów uczenia się oraz wdrażanie elektronicznych środków bezpieczeństwa. To właśnie te elementy, które wymieniono powyżej, zostaną poddane naszej studenckiej analizie.

Kluczowym punktem naszych rozważań, jest rola uczelni oraz nauczycieli akademickich w procesie uczenia się, który został podzielony na działania związane z uczeniem się skoncentrowanym na studencie (eng. student-centered learning), sposobami nauczania oraz ewaluacją zdobytych efektów uczenia się.

Nadrzędnym celem procesu kształcenia jest stworzenie odpowiednich i sprawnych mechanizmów, zmierzających do uzyskania efektów uczenia się w postaci wiedzy, kompetencji oraz umiejętności opisanych w każdej z kart przedmiotów przewidzianych w programie studiów. Elementami, które powinny zostać uwzględnione w ewaluacji, są, w naszej ocenie, następujące:

a) Wsparcie studentów w procesie uczenia się

1. Jakość materiałów dydaktycznych oferowanych studentom - materiały te powinny zostać dostosowane do specyfiki kształcenia zdalnego i nie odbiegać jakością od materiałów, które byłyby wykorzystywane w modelu kształcenia “tradycyjnego” (mowa tutaj o utartym modelu przekazywania wiedzy, który nie skupia się na zróżnicowanych doświadczeniach i zainteresowaniach studentów, a sam proces proces oceny osiągnięcia efektów uczenia się sprowadza się przykładowo do typowych testów lub sprawdzianów). Materiały te powinny być aktualne i aktualizowane w przypadku takiej konieczności.
2. “Dopasowanie” nauczyciela akademickiego do prowadzenia określonego przedmiotu - wybór nauczyciela powinien uwzględniać jego zainteresowania badawcze, reprezentowaną dziedzinę oraz treści kształcenia realizowane podczas zajęć dydaktycznych.
3. Metodyka prowadzenia zajęć dydaktycznych - zważając na dynamiczny charakter zmian, które niesie za sobą kształcenie zdalne, studenci powinni posiadać możliwość oceny metod prowadzenia zajęć dydaktycznych pod kątem ich adekwatności, różnorodności wykorzystywanych narzędzi oraz efektywności ich wdrożenia w procesie uzyskiwania efektów uczenia się. 
4. Komunikacja ze studentami związana z weryfikacją osiągnięcia efektów uczenia się, realizowanymi treściami kształcenia oraz możliwościami komunikacji z nauczycielem akademickim - zasady te powinny być sprawiedliwe i dostosowane do danego kierunku studiów oraz przedmiotu. Określone zasady ewaluacji powinny być miarodajne i dające możliwości skutecznej weryfikacji uzyskania efektów uczenia się. Studenci powinni również posiadać informacje związane z kwestiami technicznymi koniecznymi do sprawnego wykorzystywania oprogramowania.
5. Dostosowanie wykorzystywanego oprogramowania do specyfiki danego przedmiotu - oprogramowanie powinno pozwalać na realizację treści programowych i uwzględniać specyficzne potrzeby studentów (uwzględniając przy tym szczególnie studentów z niepełnosprawnościami oraz kierunki studiów, realizujące zajęcia zmierzające do uzyskania praktycznych efektów uczenia się).
6. Wsparcie uczelni w zakresie pracy z oprogramowaniem wykorzystywanym w nauczaniu zdalnym - uczelnie powinny wskazać osoby odpowiedzialne za koordynowanie procesu, a sami nauczyciele akademiccy powinni posiadać odpowiednie kompetencje do prowadzenia zajęć za pomocą internetu, uzyskiwane dzięki cyklicznym szkoleniom i treningom umiejętności.
7. Otwartość nauczycieli akademickich na potrzeby studentów - jednym z podstawowych elementów strategii uczenia się skoncentrowanego na studencie, jest otwartość na sugestie, dzięki którym mogą oni zrozumieć wzajemne potrzeby oraz oczekiwania względem realizowanych przedmiotów. Ze względu na specyfikę kształcenia zdalnego, to kryterium powinno być traktowane przez uczelnie priorytetowo, aby zniwelować odsetek osób rezygnujących z kształcenia na kierunku, właśnie przez nieefektywne kształcenie zdalne.
8. Dostępność nauczycieli akademickich dla studentów - wprowadzenie nauczania zdalnego nie zwalnia nauczycieli akademickich z obowiązku prowadzenia konsultacji, których wymiar określają wewnętrzne akty uczelni. Studenci powinni mieć prawo do kontaktu z nauczycielami akademickimi w trakcie wyznaczonych do tego terminów, w celu rozwiązywania problemów bieżących, związanych z cyklem kształcenia na każdym z etapów. Forma nauczania zdalnego pozwala na intensyfikację takich spotkań, które mogą być konieczne ze względu na brak bezpośredniego kontaktu z nauczycielem akademickim na kampusie.
9. Terminowość nauczycieli akademickich - specyfika nauczania zdalnego zmusza nauczycieli do terminowości oraz skrupulatności w zakresie prowadzenia procesu kształcenia. Każdy z nich powinien wyznaczyć konkretne ramy czasowe, związane z realizacją treści kształcenia i realizować je w sposób rzetelny i terminowy.
10. Rola uczelni oraz nauczycieli akademickich we wsparciu studentów w procesie nauczania, procesie adaptacji technologicznej do kształcenia zdalnego oraz w rozwiązywaniu spraw administracyjnych - w tym przypadku uczelnia powinna polepszać poziom wsparcia w każdym z wyżej wymienionych aspektów. Studenci powinni mieć prawo wyrażenia swojej opinii nie tylko z perspektywy jednostki, lecz także grupy lub całego kierunku studiów. Istotnym elementem oceny jest tutaj, przede wszystkim, informowanie studentów o możliwościach wsparcia, a w przypadku ich wykorzystywania, o stopniu zadowolenia z oferowanych rozwiązań.
11. Mocne i słabe strony danego nauczyciela akademickiego lub treści programowych zawartych w programie studiów - konstrukcja badania powinna obejmować scenariusz, w którym każdy student posiada możliwość dłuższej wypowiedzi na temat jakości oferowanych mu zajęć dydaktycznych. Taka możliwość pozwala nie tylko na wyartykułowanie elementów negatywnych, lecz daje również możliwość wyróżnienia nauczycieli akademickich o wyróżniającym podejściu do kształcenia zdalnego.
12. Bezpieczeństwo studentów w procesie nauczania zdalnego - uczelnia powinna zapewnić odpowiednie warunki prowadzenia nauczania zdalnego. W tym przypadku wykorzystywane narzędzia powinny posiadać odpowiednie zabezpieczenia w zakresie danych osobowych oraz na wypadek incydentów cyberprzestępczości, które mogą być wywoływane przez osoby trzecie.

b) Kwestie techniczne przeprowadzenia ewaluacji:

1. Anonimowość badania - każda z uczelni powinna uwzględniać prawo do anonimowości, wykorzystując do tego odpowiednio skonfigurowaną platformę z ograniczonym prawem do dostępu do generowanych tam danych (uczelnie powinny stworzyć skuteczny model analizowania danych przez poszczególne jednostki oraz pracowników, by uniknąć przypadków, gdy opinie studentów na temat pracowników dydaktycznych, wraz z danymi wrażliwymi osoby ankietowanej, są dostępne dla każdego nauczyciela akademickiego).
2. Ramy czasowe - uczelnie powinny uwzględniać specyfikę prowadzonych przez siebie studiów i umożliwiać studentom na bezproblemowy i długoterminowy dostęp do ankiet.
3. Wykorzystywanie niewłaściwych metod wpływających na zwrotność ankiet - ankiety powinny zostać promowane wśród studentów z wykorzystaniem środków komunikacji wykorzystywanych przez uczelnię na co dzień. W tym przypadku do takich platform można zaliczyć pocztę elektroniczną, stronę internetową, media społecznościowe uczelni, własne lub zewnętrzne platformy, jak USOS. Uczelnie nie powinny zmuszać studentów do wypełniania ankiet, wykorzystując do tego sztuczne metody, jak konieczność wypełnienia ankiet, w celu wejścia do zakładki z ocenami.
4. Dostępność wyników ankiet - ze względu na specyficzny charakter oceny, zespoły odpowiedzialne za opracowanie wyników powinny przygotować ogólny raport określający poziom zadowolenia studentów z kształcenia zdalnego. Raport ten powinien zostać przesłany studentom i umieszczony do informacji publicznej dla wszystkich zainteresowanych grup interesariuszy.

4. Wnioski oraz rekomendacje dla uczelni obejmujące badania oraz własną perspektywę

Zważając na kompleksowy charakter ewaluacji, jak również inne aspekty mające wpływ na jakość kształcenia oraz wsparcie studentów, każda z uczelni powinna uwzględniać znaczącą rolę przedstawicieli samorządu studentów w procesie wypracowywania mechanizmów naprawczych lub wzmacniających pewne obszary jej działania. To właśnie perspektywa samorządu oraz ich (pośredni lub bezpośredni) kontakt ze studentami, pozwala na skonfrontowanie opinii, rekomendacji oraz problemów tej grupy, których wymiar nasila się niewątpliwie ze względu na trwającą wciąż epidemię.

Potwierdzeniem tych słów są w tym przypadku wyniki badania Parlamentu Studentów Rzeczypospolitej Polskiej skierowanego do samorządów studenckich, które pozwoliły zobrazować nam ogólne tendencje oraz drogi, którymi powinny podążać polskie uczelnie.

Jednym z istotnych problemów, które mogą mieć wpływ na proces ewaluacji, jest aspekt włączenia samorządu do procesu decyzyjnego, związanego zarówno z procesem kształcenia, jak też ogólnym funkcjonowaniem uczelni. Pomimo 50% wskaźnika odpowiedzi określających dobrą lub bardzo dobrą współpracę w tym zakresie, istotnym zagrożeniem jest brak jednomyślności związanej z włączeniem do takich grup jakiegokolwiek studenta. O ile zrozumiałym jest, że niektóre sytuacje wymagają niezwłocznej reakcji, tak kierując się dobrem uczelni, istotnym głosem w dyskusji powinien być również głos bezpośrednich odbiorców procesu kształcenia, którzy na co dzień mogą efektywniej przekazywać najważniejsze informacje studentom i skonfrontować ich oczekiwania z możliwościami oraz zagrożeniami wynikającymi z danej sytuacji.

Kolejnym punktem odniesienia jest oczywiście sam proces ewaluacji procesu kształcenia. Uwzględniając prawo studenta związane z oceną pracy nauczycieli akademickich, każda uczelnia powinna zaprojektować odpowiednie i miarodajne narzędzia badania poziomu zadowolenia studentów z zajęć realizowanych w formie kształcenia zdalnego. Niestety, nie wszystkie uczelnie wywiązały się z tego obowiązku i co czwarta uczelnia pozbawiła studentów możliwości oceny. Należy zarazem dodać, że niektóre metody badania opinii nie zostały dostosowane do specyfiki obecnie realizowanych form kształcenia, w związku z tym, uczelnie powinny mieć to na względzie w momencie projektowania ewaluacji w obecnym roku akademickim.

Istotną rekomendacją w tym zakresie powinno być również przygotowanie i upublicznienie wyników ankiet, które określiłyby najważniejsze i najczęściej wspominane problemy lub, wręcz przeciwnie, podkreśliłyby dobre praktyki oraz odpowiednio zaprojektowane rozwiązania, które zwiększają poziom zadowolenia studentów. Takie rozwiązanie wpływa niewątpliwie na transparentność działań uczelni oraz daje szerokie perspektywy do dyskusji wyników z różnymi grupami interesariuszy.

Cenną praktyką w procesie ewaluacji były również indywidualne inicjatywy samorządów studenckich, które zdecydowały się zaprojektować autonomiczne badania dotyczące kształcenia zdalnego. Według danych zawartych w naszym raporcie, statystycznie swoją opinie na ten temat wyraził co piąty student. Do najważniejszych problemów, które wynikają z ankiet, zaliczyć można nieadekwatne metody kształcenia, problemy komunikacyjne, wsparcie psychologiczne oraz techniczne związane z wykorzystywanym oprogramowaniem.

Brak jakiegokolwiek badania opinii uniemożliwia uczelniom zapoznanie się z realnym obrazem sytuacji, zaburzając tym samym przebieg procesu kształcenia. Każda z uczelni powinna zatem wykazać odpowiednią otwartość na perspektywę studentów, która, uzupełniona o sugestie innych grup interesariuszy, może wpłynąć znacznie na zwiększenie poziomu zadowolenia z oferowanych możliwości oraz ocenić skuteczność systemu w procesie zdobywania wiedzy, umiejętności oraz kompetencji.

Dodatkowo uczelnie powinny pamiętać, że arkusz oceny może skutecznie odzwierciedlać stan faktyczny, wyłącznie wtedy, gdy zawiera odpowiednio zbilansowane pytania dotyczące kwestii opisanych w rozdziale trzecim. Komplementarnie, osoby decyzyjne powinny również monitorować ocenę studentów na bieżąco za pomocą innych narzędzi. Może mieć to swoje odzwierciedlenie w nieformalnych jak i formalnych kontaktach z samorządem studentów lub przedstawicielami danych kierunków studiów, którzy powinni mieć poczucie, że ich głos ma znaczenie 

5. Dobre praktyki związane z ewaluacją kształcenia zdalnego.

Koordynowane przez uczelnie:

1. Ewaluacja Zdalnego Nauczania koordynowana przez Biuro Doskonalenia Kompetencji Uniwersytetu Jagiellońskiego w Krakowie, to badanie skierowane do nauczycieli akademickich, doktorantów  oraz studentów, którego celem jest uzyskanie kompletnych informacji na temat organizacji procesu nauczania.
2. Ankieta jakości kształcenia zdalnego przeprowadzona przez Warszawski Uniwersytet Medyczny.
3. Ankieta dotycząca nauki online podczas epidemii COVID-19 w ramach projektu „Uniwersytet dla wszystkich – Level up” koordynowana przez Uniwersytet Warszawski, mająca na celu analizę tego, w jaki sposób osoby ze specyficznymi trudnościami w nauce radziły sobie podczas epidemii, w porównaniu z osobami, które takich trudności nie doświadczają.
4. Ankieta dotycząca kształcenia zdalnego przeprowadzona przez Szkołę Główną Gospodarstwa Wiejskiego w Warszawie.
5. Ankieta oceniająca kształcenie zdalne przygotowana przez Politechnikę Białostocką (dla nauczycieli i studentów).
6. Ankieta dot. jakości zdalnie prowadzonych zajęć oraz aspektom dot. administracji, warunkom technicznym i pracy na Politechnice Warszawskiej .
7. Ocena jakości kształcenia zdalnego koordynowana przez Akademię Sztuki Wojennej w Warszawie.
8. Ankieta dotycząca nauczania na odległość w semestrze zimowym roku akademickiego 2020/21 na Politechnice Krakowskiej.

Koordynowane przez Samorządy Studenckie:

1. Ankietyzacja dotycząca jakości kształcenia zdalnego na Zachodniopomorskim Uniwersytecie Technologicznym w Szczecinie, to ankieta przygotowana przez Parlament Samorządu Studenckiego, stworzona ze względu na sytuację epidemiczną związaną z COVID-19. Rezultaty badania zostały zestawione w kilkunastostronicowym raporcie zawierającym najważniejsze wnioski i rekomendacje dla uczelni w celu usprawnienia procesu.
2. Badanie opinii studentów Uniwersytetu Ekonomicznego w Katowicach nt. jakości nauczania zdalnego koordynowana przez Parlament Studentów.
3. Ankieta dotycząca opinii studentów Uniwersytetu w Białymstoku na temat kształcenia zdalnego.
4. Co sądzisz o kształceniu zdalnym na UW? to ankieta na temat kształcenia zdalnego przeprowadzona przez Samorząd Studentów Uniwersytetu Warszawskiego.
5. Ankieta na temat kształcenia zdalnego koordynowana przez Komisję Dydaktyczną Uniwersytetu Kazimierza Wielkiego w Bydgoszczy.

Materiały dodatkowe:

Global quality in online, open, flexible and technology enhance education - an analysis of strengths, weaknesses, opportunities and threats.

Quality models in online and open education around the globe: State of the art and recommendations

Considerations for quality assurance of e-learning provision

Internal quality assurance benchmarking

Maciej Rewucki