znaki_strona_www

Międzynarodowe Badanie Kompetencji Obywatelskich
zostało dofinansowane ze środków budżetu państwa.

znaki_strona_www

Międzynarodowe Badanie Kompetencji Obywatelskich zostało dofinansowane
ze środków budżetu państwa.

Opis badania

Spis tematów

Podstawowe informacje o badaniu ICCS

Międzynarodowe Badanie Kompetencji Obywatelskich (International Civic and Citizenship Education Study) ICCS to największe międzynarodowe porównawcze badanie dotyczące edukacji obywatelskiej. Inicjatorem i głównym organizatorem badania jest Międzynarodowe Stowarzyszenie Mierzenia Osiągnięć Szkolnych (IEA). Listę krajów biorących udział w poszczególnych edycjach badania znaleźć można na stronie: https://www.iea.nl/studies/iea/iccs.

ICCS wywodzi się z międzynarodowego badania Civic Education Study (CIVED) prowadzonego w latach 1999-2000. Doświadczenia tego projektu zostały wykorzystane do przygotowania badania ICCS. Do tej pory odbyły się dwie edycje tego badania – ICCS 2009 i ICCS 2016, obecnie prowadzona jest trzecia edycja – ICCS 2022. Polska brała udział w badaniu Civic Education Study i w edycji ICCS 2009, bierze również udział w najnowszej edycji badania – ICCS 2022. Badanie ICCS 2022 w Polsce prowadzone jest przez Instytut Badań Edukacyjnych (IBE) na zlecenie Ministerstwa Edukacji i Nauki. Jest to pierwsza edycja badania prowadzona przez IBE.

Głównym celem badania ICCS jest określenie, na ile młodzi ludzie są przygotowani do udziału w życiu społecznym i pełnienia roli obywatela w demokratycznym społeczeństwie. ICCS bada wiedzę i rozumienie zagadnień z zakresu edukacji obywatelskiej, a także postawy i zachowania obywatelskie uczniów. Do pomiaru tych zagadnień wykorzystywany jest test opracowany przez międzynarodowy zespół ekspertów, a także ankiety. Badanie dostarcza rzetelnych i porównywalnych danych o umiejętnościach i postawach uczniów z poszczególnych krajów oraz ich zróżnicowaniu i zmianach w czasie. Ważnym elementem badania są także informacje kontekstowe, które pomagają lepiej zrozumieć wyniki i postawy uczniów, a także pokazują ich uwarunkowania, np. związane z zasobami domu rodzinnego czy procesami nauczania.

W każdej edycji badania wybierane są zagadnienia, na które kładziony jest szczególny nacisk. W ICCS 2022 są to m.in. kwestie związane z edukacją globalną i zrównoważonym rozwojem, a także wykorzystaniem technologii cyfrowych w kontekście aktywności obywatelskiej.

Badana populacja na poziomie międzynarodowym to uczniowie w ósmym roku edukacji szkolnej, przy uwzględnieniu, że ich średni wiek w momencie badania nie jest niższy niż 13,5 roku. W Polsce w badaniu uczestniczą uczniowie ósmych klas szkół podstawowych. W każdym kraju spośród wszystkich szkół, do których uczęszczają uczniowie z tak zdefiniowanej populacji, losowana jest reprezentatywna próba. Następnie na poziomie szkół losowane są konkretne oddziały. Do badania zapraszani są wszyscy uczniowie z wylosowanych oddziałów. W badaniu uczestniczą także nauczyciele uczący w klasach ósmych i dyrektorzy z tych samych wylosowanych szkół.

Badanie prowadzone jest z wykorzystaniem rygorystycznych, wystandaryzowanych procedur badawczych. Zbiory danych z badania są ogólnodostępne, co umożliwia prowadzenie wtórnych analiz.

Międzynarodowe Badanie Kompetencji Obywatelskich ICCS 2022 zostało dofinansowane ze środków budżetu państwa w wysokości 2 659 836 zł.

Organizatorzy badania

Inicjatorem i głównym organizatorem badania ICCS jest Międzynarodowe Stowarzyszenie Mierzenia Osiągnięć Szkolnych (International Association for the Evaluation of Educational Achievement, IEA). Jest to założona w 1958 r. niezależna międzynarodowa organizacja zrzeszającą instytucje badawcze i agencje rządowe. IEA prowadzi szereg międzynarodowych badań porównawczych dotyczących kompetencji uczniów w ramach różnych dziedzin (m.in. TIMSS, PIRLS, ICILS i ICCS).

Rolę Międzynarodowego Centrum Badawczego w badaniu ICCS 2022 pełni Australijska Rada Badań Edukacyjnych (ACER). W skład międzynarodowego konsorcjum badawczego wchodzi także Laboratorium Pedagogiki Eksperymentalnej Uniwersytetu Roma Tre w Rzymie i rzymski Uniwersytet LUMSA. Instytucje te są odpowiedzialne za organizację badania przy ścisłej współpracy z IEA i zespołami badawczymi z krajów uczestniczących w badaniu.

Międzynarodowe Stowarzyszenie Mierzenia Osiągnięć Szkolnych

Australijska
Rada Badań Edukacyjnych

Laboratorium Pedagogiki Eksperymentalnej Uniwersytetu Roma Tre w Rzymie

Uniwersytet
LUMSA
w Rzymie

Realizacja badania w poszczególnych krajach

Badanie w poszczególnych krajach prowadzone jest przez krajowe zespoły badawcze. Każdy kraj powołuje krajowego koordynatora badania (National Research Coordinator). Koordynator wraz z zespołem sprawuje nadzór nad harmonogramem badania, dba o terminowe, rzetelne i zgodne z procedurami przeprowadzenie badania oraz o dostosowanie założeń badawczych do realiów swojego kraju.

Międzynarodowe konsorcjum badawcze szczegółowo nadzoruje realizację poszczególnych etapów badania w uczestniczących w nim krajach (m.in powołuje międzynarodowych kontrolerów jakości, którzy czuwają nad przebiegiem badania w terenie). Wszelkie odstępstwa od rygorystycznych procedur badawczych są odnotowywane w międzynarodowym raporcie z badania. W przypadku poważnych uchybień dany kraj może w ogóle nie zostać ujęty w raporcie.

Narzędzia badawcze

Kluczowym elementem badania jest test – uczniowie rozwiązują zadania znajdujące się w zeszytach testowych. Dodatkowo uczniowie wypełniają dwie ankiety – Międzynarodową ankietę ucznia przeznaczoną dla uczniów ze wszystkich krajów, a także Regionalną ankietę ucznia – dedykowaną wyłącznie uczniom mieszkającym w danym regionie, w przypadku Polski jest to Europejska ankieta ucznia. Ankiety wypełniają także dyrektorzy szkół i nauczyciele uczący w klasach ósmych. Za informacje dotyczące uwarunkowań na poziomie kraju, w szczególności odnoszące się do organizacji systemów edukacji, odpowiedzialne są krajowe zespoły badawcze.

Szczegółowe zestawienie narzędzi badawczych przedstawia poniższa tabela.

Narzędzia badawcze
Zakres danych
Respondent
Test
Wiedza i rozumienie zagadnień z zakresu edukacji obywatelskiej
Uczeń
Międzynarodowa ankieta ucznia
Postawy i zachowania uczniów, informacje kontekstowe dotyczące sytuacji szkolnej i domowej uczniów
Uczeń
Regionalna ankieta ucznia (w przypadku Polski – Europejska ankieta ucznia) 
Postawy uczniów – zagadnienia istotne z perspektywy uczestników z danego regionu
Uczeń
Ankieta nauczyciela
Informacje kontekstowe – procesy edukacyjne na poziomie klasy i szkoły, postawy i doświadczenia zawodowe nauczycieli
Nauczyciel
Ankieta dyrektora szkoły
Informacje kontekstowe – procesy edukacyjne na poziomie szkoły, zasoby i środowisko szkoły
Dyrektor szkoły
Ankieta na temat kontekstu krajowego
Informacje na temat krajowych systemów edukacji, uwarunkowań na poziomie kraju
Krajowy koordynator badania

Proces przygotowywania narzędzi badawczych, które będą zastosowane w badaniu, rozpoczyna się trzy lata wcześniej. Część zadań i pytań wykorzystywanych w badaniu to narzędzia stosowane w poprzednich edycjach badania, które są kluczowe dla możliwości śledzenia zmian w wynikach uczniów pomiędzy edycjami. Jednocześnie dla każdej edycji przygotowywane są nowe zadania i pytania np. nawiązujące do aktualnych kwestii społecznych. Po wypracowaniu teoretycznych założeń badania eksperci układają propozycje nowych zadań i pytań i przesyłają je do międzynarodowego konsorcjum. Po weryfikacji i wstępnych testach konsorcjum wybiera zestaw zadań i pytań, które zostaną wykorzystywane w trakcie badania pilotażowego. Następnie wszystkie narzędzia są tłumaczone i adaptowane do warunków poszczególnych krajów. Adaptacja polega na dostosowaniu kulturowym i językowym pytań. W przypadku ankiet szczególnie istotne jest uwzględnienie specyfiki krajowych systemów edukacji, organizacji pracy szkół i zastosowanie charakterystycznych dla danego środowiska edukacyjnego pojęć. Kolejny etap prac to weryfikacja i uzgodnienia kształtu narzędzi pomiędzy konsorcjum a krajowymi zespołami badawczymi. Konsorcjum zatrudnia weryfikatorów pracujących w językach poszczególnych krajów, którzy dokonują oceny narzędzi, zgłaszają uwagi i komentarze. Zadaniem zespołu krajowego jest odpowiedź na uwagi weryfikatora i ustalenie ostatecznej krajowej wersji narzędzi. Weryfikacji podlega także układ graficzny narzędzia. Dopiero po akceptacji narzędzia mogą być zastosowane w badaniu pilotażowym. Po badaniu pilotażowym konsorcjum prowadzi szczegółowe analizy poszczególnych zadań i pytań, mające na celu zapewnienie odpowiedniej trafności i rzetelności narzędzi. Do badania głównego wybierane są najlepsze pytania i zadania w konkretnych obszarach tematycznych. Narzędzia do badania głównego ponownie przechodzą złożony proces adaptacji, tłumaczeń i weryfikacji przez międzynarodowe konsorcjum.

Pierwsza edycja badania ICCS 2009 prowadzona była za pomocą narzędzi papierowych (paper-based administration – PBA). Od tamtego czasu stopniowo wdrażane są elementy badania wspomaganego komputerowo (computer-based administration – CBA), w tym realizacja badania wśród uczniów z wykorzystaniem komputerów. W przyszłości będzie to forma obowiązująca we wszystkich krajach biorących udział w badaniu.

W ICCS 2022 Polska znajduje się w grupie krajów, w których badanie wśród uczniów przeprowadzane jest z wykorzystaniem narzędzi w formie papierowej (PBA). Podobnie jest w przypadku Ankiety dyrektora szkoły. Natomiast Ankieta nauczyciela prowadzona jest w formie on-line (CBA).

TEST

Większość zadań w teście to zadania zamknięte, w przypadku których uczeń wybiera jedną odpowiedź spośród czterech możliwych, występują także pojedyncze zadania otwarte, na które trzeba napisać krótką jedno-dwuzdaniową odpowiedź. Zadania często zaczynają się krótkim wprowadzeniem, opisem hipotetycznej sytuacji, do której następnie odnosi się pytanie. W przypadku wersji komputerowej testu występują też dodatkowe formy zadań.

W ICCS 2022 w teście w formie papierowej wykorzystywanych 121 różnych zadań. To zbyt wiele zadań dla wypełnienia przez pojedynczego ucznia, dlatego test dzieli się na mniejsze jednostki – bloki – które trafiają do określonych zeszytów testowych, a następnie losowo (według ustalonej procedury) są przydzielane uczniom. Każdy blok zadań występuje w trzech różnych zeszytach testowych. Blisko połowa zadań z ICCS 2022 wykorzystywana była we wcześniejszych edycjach badania, co jest kluczowe z perspektywy obserwacji zmian w umiejętnościach uczniów.

ANKIETY

Międzynarodowa ankieta ucznia, Regionalna ankieta ucznia, Ankieta dyrektora szkoły i Ankieta nauczyciela zbudowane są w podobny sposób. Pojawiają się w nich:
– pytania, w przypadku których należy odnieść się do określonych stwierdzeń na wskazanej, najczęściej czterostopniowej, skali,
– pytania, w przypadku których należy wybrać jedną spośród kilku wskazanych kategorii,
– pytania, w przypadku których należy wybrać kilka spośród wskazanych kategorii,
– pytania otwarte, w przypadku których należy napisać krótką odpowiedź (występują tylko w Międzynarodowej ankiecie ucznia).

Ogólny układ ankiet jest taki sam we wszystkich krajach uczestniczących w badaniu. Dopuszczalne jest (po uzyskaniu zgody międzynarodowego konsorcjum) dołączenie do ankiet kilku dodatkowych pytań krajowych.

Oddzielnym narzędziem wykorzystywanym w badaniu jest ankieta na temat kontekstu krajowego. Za jej pomocą zbierane są informacje na temat krajowych systemów edukacji, ze szczególnym uwzględnieniem edukacji obywatelskiej, a także innych czynników istotnych z perspektywy wyników uczniów. Ankietę wypełnia krajowy koordynator badania we współpracy z zespołem i ekspertami w tej tematyce.

Dobór próby

ICCS to badanie realizowane na reprezentatywnej losowej próbie uczniów, co oznacza, że wnioski dotyczące pomiaru wykonanego w badaniu mogą być uogólniane na populację uczniów w ósmym roku edukacji szkolnej w Polsce i w innych krajach uczestniczących w badaniu. Reprezentatywna jest także próba nauczycieli klas ósmych. Dobór próby w każdym kraju odbywa się zgodnie z rygorystycznymi procedurami międzynarodowymi. Opiera się na dwustopniowym schemacie losowania warstwowego. Najpierw losowane są szkoły, a potem z wylosowanych szkół konkretne oddziały, a także nauczyciele uczący w oddziałach klasy ósmej.

Pierwszy etap – losowanie szkół – przeprowadzany jest przez ekspertów z IEA . Zadaniem zespołów krajowych jest przygotowanie operatu losowania i dostarczenie dodatkowych informacji niezbędnych do przeprowadzenia losowania. W Polsce operat tworzony jest na podstawie danych z Systemu Informacji Oświatowej. Celem badania jest wnioskowanie o całej populacji – wszystkich uczniach klas ósmych, chociaż w praktyce nie jest to nigdy w pełni możliwe. Zgodnie ze standardami technicznymi badania każdy kraj może wyłączyć z badania określone typy szkół, dotyczy to w szczególności: szkół dla uczniów ze specjalnymi potrzebami edukacyjnymi, szkół, w których język nauczania jest inny niż ten, w którym prowadzone jest badanie, szkół małych lub znajdujących się w trudnodostępnych lokalizacjach, szkół o znacząco innych programach nauczania niż obowiązujące w większości szkół kraju. Przy czym odsetek wyłączonych uczniów nie może przekraczać 5% populacji. W Polsce w badaniu ICCS 2022 z operatu wyłączane są szkoły specjalne, szkoły o języku nauczania innym niż język polski i szkoły, w których w 8 klasie było mniej niż 5 uczniów (łącznie około 2% ósmoklasistów). W celu zwiększenia efektywności losowania operat może być podzielony na warstwy. W Polsce warstwami są cztery kategorie wyróżnione ze względu na status administracyjny i wielkość miejscowości, w której znajduje się szkoła. W każdej warstwie losuje się odpowiednią liczbę szkół – każda szkoła ma szansę trafić do próby z prawdopodobieństwem proporcjonalnym do liczby ósmoklasistów, którzy się w niej uczą (tzw. PPS – probabilities proportional to size). Dla każdej szkoły wylosowanej do próby głównej losowane są dwie szkoły zastępcze, na wypadek, gdyby nie było możliwości przeprowadzenia badania w pierwszej szkole.

Drugi etap – losowanie oddziałów i losowanie nauczycieli prowadzone jest przez zespoły krajowe przy użyciu specjalnego oprogramowania i formularzy przygotowanych przez IEA. Po uzyskaniu zgody na badanie od dyrekcji szkoły tworzona jest lista oddziałów klasy ósmej oraz lista nauczycieli uczących w oddziałach klasy ósmej. W zależności od liczby ósmoklasistów w danej szkole, losowany jest jeden lub dwa oddziały do badania. W przypadku nauczycieli do udziału w badaniu zapraszani są albo wszyscy nauczyciele uczący w oddziałach klasy ósmej (jeśli jest poniżej dwudziestu takich nauczycieli) albo wylosowane spośród nich osoby. Do badania włączani są zawsze nauczyciele przedmiotów związanych z edukacją obywatelską – w Polsce – nauczyciele przedmiotu wiedza o społeczeństwie.

Poziom realizacji próby

Jedną z miar jakości badania jest poziom realizacji próby (tzw. response rate), czyli odsetek uczniów, którzy wzięli udział w badaniu w odniesieniu do wszystkich uczniów wylosowanych do badania. W badaniu ICCS definiuje się go bardziej szczegółowo, jako ważony iloraz liczby uczniów biorących udział w badaniu do liczby uczniów ze wszystkich szkół i oddziałów wylosowanych do badania z uwzględnieniem szkół z prób rezerwowych oraz faktu, że niektórzy uczniowie mogą zostać wyłączeni z wyników badania ze względów obiektywnych. Standardy techniczne badania zakładają możliwość wyłączenia ucznia z badania (tzw. wyłączenie wewnątrzszkolne, w odróżnieniu od opisanych powyżej wyłączeń na poziomie szkół). Wyłączeniu mogą podlegać uczniowie, którzy nie posługują się językiem, w którym przeprowadzane jest badanie i uczniowie z niepełnosprawnością funkcjonalną lub intelektualną, która uniemożliwia udział w badaniu. Uczniowie ci są – w miarę ich możliwości – zachęcani do wzięcia udziału w badaniu, ale ich udział nie jest uwzględniany w podstawie do obliczania wskaźnika poziomu realizacji (response rate) i w wyliczeniach wyników badania. Dodatkowo w podstawie do obliczania wskaźnika poziomu realizacji nie wliczani są uczniowie długotrwale nieobecni w szkole (np. nieobecni przez wiele tygodni w okresie badania, uczniowie, którzy w międzyczasie zmienili szkołę).

Wartość wskaźnika poziomu realizacji próby uznaje się za zadowalającą, gdy w badaniu wzięło udział co najmniej 85% wylosowanych szkół (nie licząc ewentualnych szkół zastępczych) i co najmniej 85% uczniów w oddziałach, które przystąpiły do badania. Dopuszczalna jest sytuacja, w której procentowy udział szkół albo uczniów jest odrobinę niższy, ale iloczyn uczestniczących w badaniu szkół (nie licząc zastępczych) i uczniów daje ogólny wskaźnik udziału wyższy niż 75%.

Analogiczne wymogi obowiązują w przypadku poziomu realizacji próby w badaniu nauczycieli.

Kraje, które nie spełniają tych kryteriów, oznaczane są przy prezentacji wyników specjalnymi adnotacjami w związku z gorszą jakością realizacji, a co za tym idzie mniejszą dokładnością oszacowań i mniejszą pewnością przy wnioskowaniu na podstawie wyników badania.

Przebieg badania ICCS 2022 w szkole

Badanie w szkołach w Polsce i innych krajach półkuli północnej przeprowadzane jest wiosną, w ustalonym z każdą szkołą, dogodnym dla niej terminie. Z odpowiednim wyprzedzeniem dyrektorzy szkół, nauczyciele, rodzice/opiekunowie uczniów z wylosowanych oddziałów, a także sami uczniowie otrzymują zestaw materiałów informacyjnych na temat badania, rodzice/opiekunowie również formularz zgody na udział ich dziecka w badaniu. W tym samym terminie dyrektorom szkół przekazywane są przeznaczone dla nich ankiety. Wylosowani do badania nauczyciele otrzymują koperty z instrukcją, linkiem, indywidualnym loginem i hasłem, które pozwalają na wypełnienie ankiety online.

W ustalonym dniu do szkoły przyjeżdża przeszkolony ankieter, który przywozi ze sobą wszystkie materiały potrzebne do realizacji badania. Ankieter odbiera od szkolnego koordynatora badania zgody rodziców/opiekunów na udział dzieci w badaniu, a także ankietę wypełnioną przez dyrektora szkoły.

Sesje badawcze we wszystkich uczestniczących w badaniu krajach mają dokładnie ten sam przebieg i prowadzone są według ściśle określonych, procedur, tak aby wszyscy uczniowie mieli zapewnione porównywalne warunki. Cała sesja badawcza zajmuje około 2-2,5 godzin i obejmuje następujące etapy:

  • Przygotowanie – ankieter wita uczniów, sprawdza obecności, informuje o międzynarodowym charakterze badania, rozdaje zeszyty testowe, zapoznaje uczniów ze sposobem rozwiązywania testu.
  • Rozwiązywanie zadań w zeszycie testowym (dokładnie 45 minut) – uczniowie zaznaczają właściwe odpowiedzi lub piszą swoje odpowiedzi w zeszycie testowym.
  • Wypełnianie Międzynarodowej ankiety ucznia (ok. 40 minut) – ankieter rozdaje ankiety, czyta krótką instrukcję, a następnie uczniowie zaznaczają właściwie pola.
  • Wypełnianie Regionalnej ankiety ucznia – w Polsce jest to Europejska ankieta ucznia (ok. 20 minut) – ankieter rozdaje ankiety, czyta krótką instrukcję, a następnie uczniowie zaznaczają właściwie pola.
  • Zakończenie – ankieter zbiera narzędzia badawcze i inne materiały, dziękuje uczniom za udział w badaniu, porządkuje wszystkie materiały.

Pomiędzy poszczególnymi częściami przewidziano krótkie przerwy. Jeśli w badaniu weźmie udział mniej niż 90 proc. uczniów, ankieter w porozumieniu z zespołem badawczym ICCS organizuje sesję uzupełniającą dla uczniów nieobecnych w dniu sesji głównej.

Kodowanie odpowiedzi uczniów i wprowadzanie danych

Po zakończeniu realizacji badania w szkołach wszystkie materiały badawcze są przewożone do IBE i segregowane. Odpowiedzi uczniów na zadania otwarte w zeszytach testowych i pytania otwarte w ankietach są kodowane zgodnie z procedurami międzynarodowego konsorcjum.

Kodowanie odpowiedzi uczniów na zadania otwarte w zeszytach testowych polega na przypisaniu im odpowiedniego kodu, który wskazuje na stopień poprawności udzielonej odpowiedzi. Kodowanie prowadzone jest z wykorzystaniem przetłumaczonych i zaadaptowanych kluczy kodowych, przez szczegółowo przeszkolonych koderów. Jakość i spójność pracy koderów jest weryfikowana na bieżąco przez zespoły krajowe m.in. poprzez podwójne kodowanie (jednocześnie przez dwóch różnych koderów) części odpowiedzi uczniów. Procesowi kodowania podlegają również odpowiedzi uczniów na pytania ankietowe dotyczące zawodów wykonywanych przez ich rodziców/opiekunów. Odpowiedzi te kodowane są zgodnie z międzynarodową klasyfikacją zawodów ISCO-08.

Przydzielone kody są następnie wprowadzane do bazy, tak samo jak pozostałe odpowiedzi z ankiet i zeszytów testowych. Odpowiedzi wpisywane są do bazy za pomocą oprogramowania zapewnionego przez międzynarodowe konsorcjum badawcze (IEA Data Management Expert), przez specjalnie wyszkolone osoby w ramach ścisłej procedury (z ang. punching). Krajowe zespoły nadzorują wprowadzanie danych, dbają o stosowanie ścisłych zasad zapewniania jakości (m.in. wprowadzanie danych z tych samych, losowo wybranych narzędzi niezależnie przez różne osoby). Dane z każdego narzędzia tworzą oddzielne bazy danych. Po wprowadzeniu wszystkich danych następuje weryfikacja baz danych (wewnątrz oraz między zbiorami) i są one przesyłane do konsorcjum.

Metody obliczeniowe związane z doborem próby

Z doborem próby nierozerwalnie związany jest sposób analizowania danych z badania. Ze względu na to, że schemat doboru próby zakłada nierówne prawdopodobieństwa trafienia uczniów (oraz nauczycieli uczących w klasach ósmych) z całej populacji do próby, w trakcie analiz używa się specjalnie wyliczonych wag, uwzględniających m.in. prawdopodobieństwa wylosowania szkół, prawdopodobieństwa wylosowania oddziałów (w przypadku populacji uczniów) oraz poprawki związane ze wskaźnikami poziomu realizacji próby. Po zastosowaniu ważenia danych wyniki uzyskane na próbie uczniów mogą być uogólniane na populację ósmoklasistów w Polsce. Z kolei wyniki uzyskane na próbie nauczycieli mogą być uogólniane na populację nauczycieli uczących klasy ósme. Uogólnienie musi uwzględniać wielkość błędów losowych, która nie jest znana, jednak może zostać oszacowana zgodnie z regułami rachunku prawdopodobieństwa. Wokół oszacowań (np. obliczonej średniej lub odsetka) wylicza się tzw. przedziały ufności, czyli wielkość, której błąd losowy nie przekroczy z określonym prawdopodobieństwem (np. przy 95% prawdopodobieństwie mówimy o 95% poziomie ufności). Schemat zastosowany w doborze próby jest złożony. Przy wyliczaniu błędów standardowych, a co za tym idzie przy wyliczaniu przedziałów ufności, należy zatem uwzględnić również specyficzne dla tego typu schematów techniki obliczeniowe. W badaniu ICCS stosuje się technikę Jackknife Repeated Replication (JRR), która pozwala na wyznaczanie przedziałów ufności oraz weryfikację hipotez statystycznych z uwzględnieniem specyfiki przyjętego schematu doboru próby. Oprogramowanie analityczne rozwijane na potrzeby obliczeń statystycznych w badaniu ICCS ma zaimplementowane wszystkie powyższe rozwiązania. Jest ono dostępne, wraz z bazami danych z poprzednich edycji, na stronie IEA.

Skalowanie wyników

Szczególne znaczenie w międzynarodowych badaniach uczniów ma sposób wyliczania wyników uczniów w testach. W ICCS wyniki przypisywane są poszczególnym uczniom na podstawie procedury skalowania, uwzględniającej liczbę poprawnie rozwiązanych zadań oraz ich trudność. Uczniowie rozwiązują różne bloki (zestawy) zadań, które są losowo rozłożone w kilkunastu zeszytach testowych (tzw. matrix sampling). Zaletą takiego rozwiązania jest możliwość wykorzystania znacznie większej liczby różnorodnych zadań, niż gdyby wszyscy uczniowie mieli rozwiązywać te same zadania. Jest to też sposób zapewnienia możliwości porównywania wyników różnych edycji badania, pomimo że jedynie część zadań (tzw. zadania kotwiczące) powtarzanych jest w kolejnych edycjach.

Oszacowanie wyników na podstawie danych z tak skonstruowanego badania umożliwiają modele statystyczne z rodziny Item Response Theory (IRT), np. model Rascha. Podstawą jest obliczenie, dla każdego ucznia, prawdopodobieństwa rozwiązania zadania, które jest funkcją trudności danego zadania oraz poziomu umiejętności ucznia. Trudność zadania oraz poziom umiejętności uczniów są określane dzięki przełożeniu wyników empirycznych (odpowiedzi uczniów w teście) do postaci standaryzowanej skali. Wynik ucznia wyrażany jest za pomocą losowych „wartości potencjalnych” (plausible values) przykładanych do utworzonej skali. Dzięki temu analizy uwzględniają błąd pomiaru związany z niedokładnością narzędzi testowych. Szczegóły metodologiczne dotyczące skalowania wyników znajdują się w raportach technicznych publikowanych podczas każdej edycji badania na stronach IEA.

Sposób prezentowania wyników

Skale umiejętności będące efektem badania ICCS nie mają obiektywnego punktu zerowego. Wyniki pomiaru umiejętności podawane są na wystandaryzowanej skali o średniej 500 i odchyleniu standardowym 100. Użycie zadań kotwiczących o trudności szacowanej w poprzednich edycjach badania ICCS umożliwia porównywanie wyników kolejnych edycji. Dzięki temu oprócz porównań międzykrajowych możliwe jest również monitorowanie, jak wyniki danego kraju zmieniają się w czasie. Używane w prezentacji wyników badania pojęcie średniej osiągnięć uczniów jest zgodne z intuicyjnym rozumieniem średniej, zwanej inaczej wartością przeciętną. Odchylenie standardowe jest miarą zróżnicowania. Szczególnie ważne w analizach jest monitorowanie zróżnicowania wyników uczniów w kolejnych edycjach ICCS lub porównania zróżnicowania wyników w różnych grupach w ramach jednej edycji.

Ogłoszenie wyników badania

Konsorcjum międzynarodowe weryfikuje i analizuje dane, które uzyskało z uczestniczących w badaniu krajów. Prace te trwają około roku. Kolejne pół roku jest poświęcone na przygotowanie materiałów z badania (raport, bazy i tabele wynikowe, odtajnione zadania itp.). W tym samym czasie krajowe zespoły badawcze przygotowują własne raporty. Ogłoszenie wyników następuje zwykle w listopadzie lub grudniu około półtora roku po zakończeniu badania głównego w szkołach i jest organizowane przez IEA. Upubliczniane są wtedy wyniki uzyskane przez uczniów wszystkich krajów biorących udział w badaniu. Jednocześnie zespoły krajowe organizują własne konferencje i seminaria służące omówieniu i upowszechnieniu wyników badania.

Wyniki badania ICCS 2022 ogłoszone zostaną 28 listopada 2023 roku.