Z metodologického hlediska je disertační práce netypická tím, že sama řeší metodologické otázky týkající se možností a způsobů odhadu obtížnosti položek znalostních testů na základě textového zadání a odpovědí žáků. Přestože je přirozené dívat se na interakci žáka se znalostní úlohou z kvalitativního pohledu, v práci vnímáme problém skrze kvantitativní výzkumný přístup, jelikož i samotná textová zadání s využitím metod zpracování přirozeného jazyka (Natural Language Processing, NLP) převádíme na číselné reprezentace (Mikolov et al., 2013).
Další specifikum spočívá ve výzkumném vzorku – jednotkou analýzy v naší práci nejsou jednotliví žáci, ale multiple-choice položky znalostních testů, na něž žáci odpovídají. V závislosti na konkrétní použité metodě je zapotřebí nižších stovek až vyšších desetitisíců položek s textovým zadáním (tj. úryvek, otázka a možnosti) a dostatečným počtem žákovských odpovědí (řádově nižší stovky; Martinková & Hladká, 2023). Vzhledem k požadavkům na rozsah nepředpokládáme vlastní sběr; vhodným, veřejně dostupným datasetem je např. PALRACE (Pruned And Labeled ReAding Comprehension dataset from Examinations; Zou et al., 2022), který ověřuje porozumění anglicky psanému textu. Dalším zdrojem budou např. položky stejného formátu z didaktického testu české maturitní zkoušky z anglického jazyka.
Samotná analýza pak začíná nalezením modelu vycházejícího z tzv. teorie odpovědi na položku, který bude nejlépe popisovat pozorované odpovědi respondentů. Cílem je získat odhady obtížností zatížené co nejmenší chybou, neboť s nimi v následujícím postupu pracujeme jako s „pravými“ obtížnostmi. Poté již můžeme přistoupit k samotné predikci. V kontrastu se současnými postupy popsanými v literatuře navrhujeme 1) využít celé textové zadání položky bez jakýchkoliv úprav, které mohou ústit ve značnou ztrátu informace a 2) pro celý proces od reprezentace textu pro predikci obtížnosti použít jediný model (tj. vyhnout se extrakci textových charakteristik a jejich „sekundárnímu“ modelování). Navrhujeme aplikovat tzv. předtrénovaný encoder-only transformer (Vaswani et al., 2017), který dokáže dobře reprezentovat zadání položky včetně všech gramatických jevů, syntaxe, kontextu a vztahu jednotlivých částí, a na jeho výstup přidat regresní vrstvu, jež ústí v predikci obtížnosti. Výsledný model poté můžeme vcelku trénovat, přičemž s váhami přidané regresní vrstvy dále měníme i váhy samotného transformeru.
Literatura
Martinková, P., & Hladká, A. (2023). Computational Aspects of Psychometric Methods: With R. Chapman and Hall/CRC. https://doi.org/10.1201/9781003054313
Mikolov, T., Chen, K., Corrado, G., & Dean, J. (2013). Efficient estimation of word representations in vector space. arXiv. https://doi.org/10.48550/arXiv.1301.3781
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention is all you need. arXiv. https://doi.org/10.48550/arXiv.1706.03762
Zou, J., Zhang, Y., Jin, P., Luo, C., Pan, X., & Ding, N. (2022). PALRACE: Reading comprehension dataset with human data and labeled rationales. arXiv. https://doi.org/10.48550/arXiv.2106.12373