Abstract
This article compars achievement tests and so-called “teacher-made” tests. The main objective of this case study is to explore and discrepate the results of pupils’ scorings based on whether is test of the same subject has been matter created by the educator or by the researcher. For this reason, the authors ascertain: (1) the quality of teacher-made tests and achievement tests created by the researchers in relation to the regularities of creating achievement tests and (2) the existence of a connection between pupils’ results within their percentage scoring in teacher-made tests and in achievement tests. In order to meet the objectives, the researchers compiled 5 achievement tests on topics that the pupils had been subjected to in the fourth grade of elementary school, during primary science classes. These were then compared to 5 teacher-made tests made by the educator. The study indicates insufficient qualitative aspects of the teacher-made tests (reliability; the ratio of subjectively and objectively scoreable tasks; the ratio of tasks requiring lower and higher cognitive operations; scoring method). Although the correlation analysis revealed a moderately high correlation between the percentage score of pupils in teacher-made tests and achievement tests, we would rather expect a continuity approaching absolute continuity. The results are discussed in relation to the current paradigm of creating didactic tests. The article also points out the limitations of the study and indicates potential ways of further empirical direction.
References
Anderson, L.W., Krathwohl, D.R., Airasian, P.W., Cruikshank, K.A., Mayer, R.E., Pintrich, P.R., Raths, J., & Wittrock, M. C. (2000). A taxonomy for learning, teaching, and assessing: A revision of Bloom’s taxonomy of educational objectives, abridged edition. Pearson PLC.
Byčkovský, P. (1982). Základy měření výsledku výuky. Tvorba didaktického testu, ČVUT VÚIS.
Cizek, G. J. (2004). Achievement tests. Encyclopedia of Applied Psychology, 1, 41–42.
Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52(4), 281–302. https://doi.org/10.1037/h0040957
Čapek, R. (2015). Moderní didaktika: lexikon výukových a hodnoticích metod. Grada.
Disman, M. (2005). Jak se vyrábí sociologická znalost. Karolinum.
Dutke, S., Barenberg, J., & Leopold, C. (2010). Learning from text: Knowing the test format enhanced metacognitive monitoring. Metacognition and Learning, 5(2), 195–206. https://doi.org/10.1007/s11409-010-9057-1
Fayol, M., Alamargot, D., & Berninger, V.W. (2012). Translation of thought to written text while composing: advancing theory, knowledge, research methods, tools, and applications. Psychology Press/Taylor & Francis Group.
Fitzpatrick, C., Côté-Lussier, C., & Blair, C. (2016). Dressed and groomed for success in elementary school: Student appearance and academic adjustment. Elementary school journal, 117(1), 30–45. https://doi.org/10.1086/687753
Flybvjerg, B. (2006). Five misunderstandings about case-study research. Qualitative inquiry, 12(2), 219–245. https://doi.org/10.1177/1077800405284363
Germ, M., & Harms, U. (2008). What do biology tests look like in German grammar schools? A descriptive study about task formats and teachers intentions for surveying different cognitive dimensions. In M. Hamman, M. Reiss, C. Boulter, & S. D. Tunnincliffe (Eds.), Biology in Context: Learning and Teaching for the twenty-first century (pp. 248–258). Institute of Education.
Haladyna, T.M., Downing, S. M., & Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied measurement in education, 15(3), 309–333. https://doi.org/10.1207/S15324818AME1503 5
Hališka, J. (1999). Jak testy sestavit a pracovat s nimi. Středisko služeb školám.
Hartell, E., & Strimel, G. J. (2019). What is it called and how does it work: examining content validity and item design of teacher-made tests. International Journal of Technology and Design Education, 29(4), 781–802. https://doi.org/10.1007/s10798-018-9463-2
Hawkes, H.E., Lindquist, E. F., & Mann, C.R. (1936). Construction and use of achievement examinations. Houghton Millin Company.
Hendl, J. (2012). Přehled statistických metod. Portál.
Hofer, S. I. (2015). Studying gender bias in physics grading: The role of teaching experience and country. International Journal of Science Education, 37, 2879–2905. https://doi.org/10.1080/09500693.2015.1114190
Holeček, V. (2014). Psychologie v učitelské praxi. Grada.
Chlup, O. (1931). O školu měšťanskou. Nové školy. Knihovny nových škol.
Chráska, M. (1999). Didaktické testy: příručka pro učitele a studenty učitelství. Paido.
Chráska, M. (2002). Didaktické testy ve školní praxi. Brno.
Chráska, M. (2007). Metody pedagogického výzkumu. Grada.
Chráska, M (2016). Metody pedagogického výzkumu. Grada.
Janík, T., & Stuchlíková, I. (2010). Oborové didaktiky na vzestupu: přehled aktuálních vývojových tendencí. Scientia in educatione, 1, 5–32.
Jeřábek, O., & Bílek, M. (2010). Teorie a praxe tvorby didaktických testů [online] [cit. 10. 5. 2020]. UPOL. Dostupné z http://zvyp.upol.cz/publikace/bilek jerabek.pdf.
Johanson, R. (2003). Case study methodology. Acta Linguistica Hungarica – ACTA LINGUIST HUNG, 32, 22–24.
Johnson, R., & Penny, J. (2005). Split-Half Reliability. In K. Kempf-Leonard (Ed.), Encyclopedia of Social Measurement (pp. 649–654). Elsveir.
Junková, J. (2006). Didaktické testování [online] [cit. 17. 5. 2020]. Dostupné z https://is.muni.cz/el/1441/podzim2009/ZS1BK PDD/didakticke testovani.pdf.
Junková, J. (2009). Didaktické testování [online] [cit. 25. 9. 2020]. Dostupné z https://is.muni.cz/el/1441/podzim2009/ZS1BK PDD/didakticke testovani.pdf
Kalhous, Z., & Obst, O. (2002). Školní didaktika. Portál.
Komenda, S., & Mazuchová, J. (1995). Tvorba a testování testu. UP.
Laufková, V., & Starý, K. (2016). Formativní hodnocení ve výuce. Portál.
Lazarová, B., & Pol, M. (2002). Multikulturalita a rovné příležitosti v české škole. Institut pedagogicko-psychologického poradenství ČR.
Linn, R. L. (2008). Measurement and assessment in teaching. Pearson Education India.
Mareš, J. (2015). Tvorba případových studií pro výzkumné účely. Pedagogika, 65(2), 113–142.
Marinova, V., Tsvetkov, D., & Hristov, L. (2005). On the reliability of didactic tests. Pedagogical Almanac, 13(1), 242–248.
Millman, J., & Greene, J. (1993). The specification and development of tests of achiievement and ability. In R. L. Lin (Ed.), The American Council on Education/Macmillan series on higher education. Educational measurement (pp. 335–366). Macmillan Publishing Co, Inc; American Council on Education.
Mpofu, B. (2011). Formative evaluation versus summative evaluation. Longman.
Popham, W. J. (2017). The ABCs of educational testing: demystifying the tools that shape our schools. Corwin.
Pulpán, Z. (1991). Základy sestavování a klasického vyhodnocování didaktických testů. Kotva.
Rámcový vzdělávací program pro základní vzdělávání. (2017). MŠMT. [on-line] [cit 5. 3. 2020]. Dostupné z: https://www.msmt.cz/file/41216/
Sedláčková, J. (1993). Diagnostické metody ve vyučování matematice. PřF UPOL.
Sekaran, U. (1992). Research methods for business: A skill building approach. 2nd ed. Wiley.
Schindler, R. (2006). Rukověť autora testových úloh. Centrum pro zjišťování výsledků vzdělávání.
Skutil, M. (2011). Základy pedagogicko-psychologického výzkumu pro studenty učitelství. Portál.
Smékal, V., Švec, V., & Zajac, J. (1973). Didaktické testy a jejich vyhodnocování. Středisko pro výzkum učebních metod a prostředků.
Suchoradský, O. (2008). Testy a jejich užití při hodnocení žáků. Metodický portál [on-line] [cit. 11. 3. 2020]. Dostupné z https://clanky.rvp.cz/clanek/c/Z/2666/TESTY-A-JEJICH-UZITI-PRI-HODNOCENI-ZAKU.html.
Šatánek, A., & Hubálovská, H. (1972). Příspěvek k hodnocení výkonů v testových zkouškách. Pedagogika, 2 185–189.
Škoda, J., & Doulík, P. (2007). Tvorba a hodnocení didaktických testů: cvičebnice pro studenty učitelství a účastníky kurzu DPS. PF UJEP.
Škoda, J., Doulík, P., & Hajerová-Müllerová, L. (2006). Zásady správné tvorby, použití a hodnocení didaktických testů v přípravě budoucích učitelů [on-line] [cit. 2. 2. 2020]. Dostupné z http://cvicebnice.ujep.cz/cvicebnice/FRVS1973F5d/
Švamberk Šauerová, M. (2016). Hyperaktivita nebo hypoaktivita – výchovný problém. Wolters Kluwer.
Tavakol, M., & Dennick, R. (2011). Making sense of Cronbach’s alpha. International Journal of Medical Education, 2, 53–55. https://doi.org/10.5116/ijme.4dfb.8dfd
Tournaki, N. (2003). Effect of student characteristics on teachers’ predictions of student success. Journal of Educational Research, 96(5), 310–319. https://doi.org/10.1080/00220670309597643
Trčková, V. (2013). Didaktické testování jako profesní kompetence učitele matematiky na základní škole (Diplomová práce). [online] [cit. 9. 3. 2020]. Dostupné z https://theses.cz/id/03mwq9/.
Urbánek, T. (2002). Základy psychometriky. Masarykova univerzita.
Vrána, S. (1948). Zkoušení a známkování. Komenium, učitelské nakladatelství.
Ward, A., Stoker, H.W., & Murray-Ward, M. (1996). Educational measurement: Theories and applications (Vol. 2). University Press of America.