Abstract
This article introduces results of item analysis of chemistry tests used as a part of the admission procedure at the Faculty of Science, Charles University, between 2016 and 2019. This paper focuses on organic chemistry and biochemistry as it follows already published papers focusing on general and inorganic chemistry. The aim of the research was to determine which tasks were the most troublesome for applicants and those with a low discrimination index. The troublesome tasks were found based on the calculation of difficult indexes whereas the item discrimination index was represented by ULI(1/2) and RIR coefficients.
The results of the item analysis showed that there are four topics containing troublesome tasks in organic chemistry and biochemistry (reactions in organic chemistry, isomery and constitution of compunds, classification in organic chemistry and enzymes). Additionally, the analysis revealed five topics containing items with a low discrimination index (for example: acidity and basicity of organic compounds, formulae in biochemistry, biochemical reactions, . . . ). Further analysis showed that in many cases, the dicsrimination index of the item decreased with a number of steps necessary for succeeding in the task.
References
Adesope, O. O., Trevisan, A. D., & Sundararajan, N. (2017). Rethinking the use of tests: A meta-analysis of practice testing. Review of Educational Research, 87(3), 659–701. https://doi.org/10.3102/0034654316689306
American Educational Research Association. (2014). Standards for educational and psychological testing: AERA, APA & NCME. Washington: American Educational Research Association. IX. 230 p.
Benešová, M., & Satrapová, H. (2002). Odmaturuj z chemie. 1. vydání. Didaktis spol. s r. o.
Belháčová, Z. (2009). Přijímací zkoušky na vysoké školy a nová maturita z chemie. [Diplomová práce, Univerzita Karlova]. Repozitář Univerzity Karlovy. https://dspace.cuni.cz/handle/20.500.11956/22792
Berger, S. J. (2012). The rise and demise of the SAT: The University of California. American Educational History, 39(1), 165–180.
Brown, H.D. (2003). Language assessment: principles and classroom practices. 1st ed. Pearson/Longman.
Cowan, N. (2001). The magical number 4 in short-term memory: A reconsideration of mental storage capacity. Behavioral and Brain Sciences, 24(1), 87-185. https://doi.org/10.1017/S0140525X01003922
Čipera, J., Klímová, H., & Čiperová, M. (1985). Ovlivňování složitosti úloh. Pedagogika, (26), 563–574.
Desai, J., & Shah, V. (2019). Item analysis of biochemistry multiple choice questions – A retrospective study and scope in improvement and method of assessment of MBBS students. International Journal of Clinical Biochemistry and Research, 6(3), 330–335. https://doi.org/10.18231/j.ijcbr.2019.072
Driessen, E., Tartwijk, J.V., Van Der Vleuten, C., & Wass, V. (2007). Portfolios in medical education: Why do they meet with mixed success? A systematic review. Medical Education, 41(12), 1224–1233. https://doi.org/10.1111/j.1365-2923.2007.02944.x
Ealy, J. (2018). Analysis of students’ missed organic chemistry quiz questions that stress the importance of prior general chemistry knowledge. Education Sciences, 8(2), 42–53. https://doi.org/10.3390/educsci8020042
Huvarová, M. (2010). Nejpoužívanější středoškolské učebnice chemie na gymnáziích. [Bakalářská práce, Univerzita Palackého v Olomouci]. Archiv Univerzity Palackého. https://theses.cz/id/bmn3n5/
Chráska, M. (1999). Didaktické testy. Paido.
Chvál, M., Procházková, I., & Straková, J. (2015). Hodnocení výsledků vzdělávání didaktickými testy. TISKÁRNA BÍLÝ SLON s. r. o.
Jedličková, A. (2007). Přijímací zkoušky z chemie – analýza a tvorba úloh. [Diplomová práce, Univerzita Karlova]. Repozitář Univerzity Karlovy. https://dspace.cuni.cz/handle/20.500.11956/93513
Martincová, J. (2001). Souhrnná analýza úloh přijímacích testů z chemie na Přírodověděckou fakultu UK z let 1995, 1996, 1998 a 2000. [Disertační práce, Univerzita Karlova]. Přírodovědecká Fakulta UK.
Mareček, A., & Honza, J. (2005a). Chemie pro čtyřletá gymnázia 2. díl. (3.vydání) Nakladatelství Olomouc s. r. o.
Mareček, A., & Honza, J. (2005b). Chemie pro čtyřletá gymnázia 3. díl. (3. vydání) Nakladatelství Olomouc s. r. o.
Miller, G.A. (1956). The magical number seven, plus or minus two: Some limits on our capacity for processing information. Psychological Review, 63(2), 81–97. https://doi.org/10.1037/h0043158
MŠMT ČR. (2007). Rámcový vzdělávací program pro gymnázia: RVP G. Výzkumný ústav pedagogický v Praze.
Nedungadi, S., Paek, S.H., & Brown, C. E. (2019). Utilizing Rasch analysis to establish the psychometric properties of a concept inventory on concepts important for developing proficiency in organic reaction mechanisms. Chemistry Teacher International, 2(2), 20190004. https://doi.org/10.1515/cti-2019-0004
Pikálková, S., Vojtěch, J., & Kleňha, D. (2014). Úspěšnost absolventů středních škol ve vysokoškolském studiu, předčasné odchody ze vzdělávání. Národní ústav pro vzdělávání.
PřF UK (Přírodovědecká fakulta Univerzity Karlovy). (2021). Fakulta / Uchazeči o studium / Podmínky přijímacího řízení k bakalářskému studiu na Přírodovědecké fakultě pro akademický rok 2021/2022. https://www.natur.cuni.cz/fakulta/uchazeci/podminky-prijimaciho-rizeni-k-bakalarskemu-studiu-na-prirodovedecke-fakulte-pro-akademicky-rok-2021-2022
Ross, K. (2016). Factors influencing the academic sucess of first-year of chemistry at an agricultural training institution. [Diplomová práce, Univerzita Stellenbosch]. Repozitář Univerzity Stellenbosch. http://scholar.sun.ac.za/handle/10019.1/98385
Rubešová, J. (2009). Souvisí úspěšnost studia na vysoké škole se středoškolským prospěchem? Pedagogická orientace, 19(3), 89–103.
Sonone, K., Rai, P. S.K., & Ingale, P. (2019). Item Analysis of MCQS in Biochemistry – to Increase MCQ Validity. International Journal of Advanced Research, 7(9), 456–459. https://doi.org/10.21474/IJAR01/9683
Škaloudová, A. (2003). Predikce úspěšnosti ve studiu učitelství. [Disertační práce, Univerzita Karlova]. Pedagogická fakulta UK.
Šrámek, M., & Teplá, M. (2020). Prediktory akademického úspěchu. In A. Vargová, & K. Szarka, 15. Medzinárodná konferencija študentov doktorandského štúdia v oblasti teórie prírodovedného vzdelavania (Zborník príspevkov) (s. 96–100). 1. vyd. J. Selye University.
Šrámek, M., & Teplá, M. (2021a). Vlastnosti úloh z obecné chemie vyplývající z analýzy přijímacího řízení na Přírodovědeckou fakultu University Karlovy. Scientia in educatione, 12(2), 32–41. https://doi.org/10.14712/18047106.2068
Šrámek, M., & Teplá, M. (2021b). „Problematické partie středoškolské chemie vyplývající z analýzy přijímacího řízení na Přírodovědeckou fakultu Univerzity Karlovy. In V. Machková, 16th International seminar for PhD students of chemistry didacticsand related doctoral study programs. PROCEEDINGS. (s. 101–108) 1. vyd. Univerzita Hradec Králové.
Šrámek, M., & Teplá, M. (2022). The qualities of tasks in inorganic chemistry based on the analysis of entrance procedure at the Faculty of Science, Charles University. In M. Rusek, Project based education and other activating strategies in science education XVIII. Proceedings. 1. vyd. Univerzita Karlova
Štefanová, L. (2007). Přijímací zkoušky z chemie – analýza a tvoba úloh. [Diplomová práce, Univerzita Karlova]. Repozitář Univerzity Karlovy. https://dspace.cuni.cz/handle/20.500.11956/98334
Štuka, Č. (2012). Úspěšnost studia z pohledu moderních metod analýzy dat. [Disertační práce, Univerzita Karlova]. Repozitář Univerzity Karlovy. https://dspace.cuni.cz/bitstream/handle/20.500.11956/47286/140020210.pdf?sequence=1&isAllowed=y
Štuka, Č., & Vejražka, M. (2021). Testování a hodnocení studentů na VŠ. Univerzita Karlova. https://doi.org/10.14712/9788024651088
Taherdoost, H. (2016). Validity and reliability of the research instrument; How to test the validation of a questionnaire/survey in a research (August 10, 2016). Available at SSRN https://ssrn.com/abstract=3205040 or https://doi.org/10.2139/ssrn.3205040
Thorat, S., Gupta, M., & Wasnik, M. (2019). Item analysis – Utility for increase in MCQ validity in biochemistry for MBBS students. Journal of Education Technology in Health Sciences, 6(3), 2019, 88–89. https://10.18231/j.jeths.2019.021
Tvarohová, E. (2016). Výuka organické chemie na SŠ – problémové úseky učiva. [Diplomová práce, Univerzita Karlova]. Repozitář Univerzity Karlovy. http://hdl.handle.net/20.500.11956/82812
Vacík, J., Barthová, J., Pacák, J., Strauch, B., Svobodová, M., & Zemánek, F. (1999). Přehled středoškolské chemie. (4. vydání) Státní pedagogické nakladatelství, a. s.
Varma, S. (2020). Preliminary item statistics using point-biserial correlation and P-Values. Eddata. https://eddata.com/wp-content/uploads/2015/11/EDS Point Biserial.pdf
Yang, B.W., Razo, J., & Persky, A. M. (2019). Using testing as a learning tool. American Journal of Pharmaceutical Education, 83(9), 7324. https://doi.org/10.5688/ajpe7324
Žoudlík, J. (2009). Přijímací zkoušky jako prediktor akademické úspešnosti. [Diplomová práce, Masarykova University]. Repozitář Masarykovy Univerzity. https://is.muni.cz/th/cy7d8/