Reliability of Different Scoring Patterns in Project Competitions: A Simulation Study with Generalizability Theory
DOI:
https://doi.org/10.64782/istlj.2250273-298Keywords:
Crossed Pattern, Project Evaluation, Simulation Study, Generalisability Theory, Rater Reliability, Nested PatternAbstract
Project-based learning, which enables students to learn by using scientific research methods required in the information age, holds an important place today in fostering generations who produce and innovate rather than merely consume. In this context, award-based project competitions (e.g., TÜBİTAK, Teknofest, Ministry of Education competitions) are organized to promote project-based learning and encourage students to engage more in this field. The aim of this methodological study is to construct different designs based on Generalizability Theory for the evaluation processes of project competitions and to reveal the influence of different raters on these processes. A simulated dataset reflecting the evaluation structure of project competitions on robotics and coding was used in the study. Ten separate projects, three raters specialized in project writing, and six raters specialized in information technologies participated. In the first of the two designs developed—the crossed design (b × m × p)—10 projects were evaluated by three project-writing experts; in the second, the nested design (b × (p:m)), raters were nested within items such that some items for each of the 10 projects were scored by project-writing experts while others were scored by information technology experts. G- and D-studies were conducted by analyzing the data, and G and Phi coefficients obtained under different numbers of items and raters were examined in detail. According to the simulation results, while measurement operations conducted with both the crossed and nested designs yielded high reliability for relative decisions, they did not produce adequate values for absolute decisions. Decision studies showed that reliability increased in both designs as the number of raters increased. The findings indicate that having all raters evaluate all criteria in project competitions may yield more reliable results than distributing items according to areas of expertise. This methodological comparison provides valuable insights to educational institutions and organizers for making evidence-based decisions when designing evaluation processes.
Downloads
References
Aktaş, M., & Alıcı, D. (2017). Kontrol Listesi, Analitik Rubrik ve Dereceleme Ölçeklerinde Puanlayıcı Güvenirliğinin Genellenebilirlik Kuramına Göre İncelenmesi. International Journal of Eurasia Social Sciences (Uluslararası Avrasya Sosyal Bilimler Dergisi), 8(29), 991-1010.
Atılgan, H. (2019). Genellenebilirlik Kuramı ve Uygulaması (1. Baskı). Anı Yayıncılık.
Ayvaz Tuncel, Z. (2021). Proje Tabanlı Öğrenme. Eğitimde Proje Geliştirme ve Yönetme içinde (Ed: Murat Taşdan, Halil İbrahim Kaya). Pegem Akademi Yayıncılık. 9786257676823
Baykul, Y. (2021).Eğitimde ve Psikolojide Ölçme: Klâsik Test Teorisi ve Uygulaması(4. Baskı). Ankara: Pegem Akademi Yayıncılık.
Bell, S. (2010) Project-Based Learning for the 21st Century: Skills for the Future, The Clearing House, 83(2), 39-43, DOI: 10.1080/00098650903505415 DOI: https://doi.org/10.1080/00098650903505415
Brennan, R. L. (2001). Generalizability theory. New York: Springer- Verlog. DOI: https://doi.org/10.1007/978-1-4757-3456-0
Büyükkıdık, S., & Anıl, D. (2015). Performansa Dayalı Durum Belirlemede Güvenirliğin Genellenebilirlik Kuramında Farklı Desenlerle İncelenmesi. Eğitim ve Bilim Dergisi, 40(177), 285-296. DOI: https://doi.org/10.15390/EB.2015.2454
Crocker, L., & Algina, J. (2006). Introduction to Classical and Modern Test Theory. Thomson Learning.
Chang, C. C., & Tseng, K. H. (2011). Using a Web-based portfolio assessment system to elevate project-based learning performances. Interactive Learning Environments, 19(3), 211-230. DOI: https://doi.org/10.1080/10494820902809063
Çetin, O. ve Şengezer, B. (2013). Ortaokul öğrencilerinin proje çalışmalarına ilişkin görüşleri. Ege Eğitim Dergisi, 14 (1), 24–49.
Eser, Ç. D., & Gelbal, S. (2012). Genellenebilirlik kuramı ve lojistik regresyona dayalı hesaplanan puanlayıcılar arası tutarlılığın karşılaştırılması. Kastamonu Üniversitesi Eğitim Fakültesi Dergisi, 21(2), 421-438.
Sun, A., Valiga, M. J., & Gao, X. (1997). Using Generalizability Theory to Assess the Reliability of Student Ratings of Academic Advising. The Journal of Experimental Education, 65(4), 367–379. http://www.jstor.org/stable/20152537 DOI: https://doi.org/10.1080/00220973.1997.10806611
Göloğlu Demir, C. (2019). Öğretmenlerin TÜBİTAK ortaokul ve lise öğrencileri araştırma projeleri yarışması ve proje hazırlama sürecine yönelik görüşleri. II. Uluslararası İnsan ve Toplum Bilimleri Araştırmaları Kongresi Bildiri Kitabı, 4-6.
Güler, N. (2008). Klasik test kuramı, genellenebilirlik kuramı ve rasch modeli üzerine bir araştırma. (Doktora Tezi). Hacettepe Üniversitesi, Ankara.
Güler, N. (2009). Genellenebilirlik kuramı ve SPSS ile GENOVA programlarıyla hesaplanan G ve K çalışmalarına ilişkin sonuçların karşılaştırılması. Eğitim ve Bilim, 34(154), 93-103.
Gülle, A., Uzun, N. B., & Akay, C. (2018). Ortaokul Öğrencilerine Yönelik Blok Flüt İcra Performansı Dereceli Puanlama Anahtarının Güvenirliğinin Genellenebilirlik Kuramı ile İncelenmesi. İlköğretim Online, 17(3), 1463-1475. DOI: https://doi.org/10.17051/ilkonline.2018.466366
Lafave, M. R. and Butterwick, D. J. (2014) A generalizability theory study of athletic taping using the technical skill assessment instrument. Journal of Athletic Training, 49(3), 368-372. https://doi.org/10.4085/1062-6050-49.2.22 DOI: https://doi.org/10.4085/1062-6050-49.2.22
Lane, S., & Stone, C. A. (2006). Performance assessment. In R. L. Brennan (Ed.), Educational measurement (4th ed., pp. 387-431). American Council on Education.
Lee, M., & Cha, D. (2016). A comparison of generalizability theory and many facet rasch measurement in an analysis of mathematics creative problem solving test. Journal of Curriculum Evaluation, 19(2), 251-279. DOI: https://doi.org/10.29221/jce.2016.19.2.251
Menéndez-Varela, J. L., & Gregori-Giralt, E. (2018). The reliability and sources of error of using rubrics-based assessment for student projects. Assessment & Evaluation in Higher Education, 43(3), 488-499. DOI: https://doi.org/10.1080/02602938.2017.1360838
Millî Eğitim Bakanlığı [MEB] (2020). Araştırma ve Uygulamalarıyla Proje Temelli Öğrenme. Yenilik ve Eğitim Teknolojileri Genel Müdürlüğü, Ankara, Türkiye. Erişim: http://fclturkiye.eba.gov.tr/2020/09/07/arastirma-ve-uygulamalariyla-proje-tabanli-ogrenme
Millî Eğitim Bakanlığı [MEB] (2024). 16. Uluslararası MEB Robot Yarışması Uygulama Kılavuzu. Mesleki ve Teknik Eğitim Genel Müdürlüğü. https://robot.meb.gov.tr/organizasyon /uygulama-kilavuzu
Özbaşı, D. & Arcagök, S. (2021). Öğrenci projelerinin genellenebilirlik kuramı ile incelenmesi. Eğitimde Kuram ve Uygulama, 17(2), 69-78. doi: 10.17244/eku.1024532 DOI: https://doi.org/10.17244/eku.1024532
Price, L.R. (2021). Psikometrik Yöntemler, Kuramdan Uygulamaya. Çeviri Editörü: Arif Özer, Burcu Atar. Mentis Yayıncılık.
Schwab, K. (2016). The Fourth Industrial Revolution. Crown Business.
Shavelson, R. J., & Webb, N. M. (1991). Generalizability Theory: A Primer. SAGE Publications. DOI: https://doi.org/10.1037/10109-051
Taştan, Z., & Bilge Uzun, N. (2021). Genellenebilirlik Kuramında Çok Yüzeyli Desenlerin İncelenmesi. Türkiye Sosyal Araştırmalar Dergisi, 25(3), 743-756.
Türkiye Bilimsel ve Teknolojik Araştırma Kurumu (TÜBİTAK). (2019). 2242-Üniversite Öğrencileri Araştırma Proje Yarışmaları Proje Rehberi. https://www.usak.edu.tr/UsersData/duyuru /1883/uni_proje_rehberi.pdf
Türkiye Bilimsel ve Teknolojik Araştırma Kurumu (TÜBİTAK). (2024). 2204-B Ortaokul Öğrencileri Araştırma Projeleri Yarışması Proje Rehberi. https://tubitak.gov.tr/sites/default/files/2024-10/ortaokul_proje_rehberi_2024-2025.pdf
Urbina, S. (2004). Essentials of Psychological Testing. John Wiley & Sons.
VanLeeuwen, D. M. (1997). Assessing Reliability Of Measurements With Generalizability Theory: An Application To Inter-Rater Reliability. Journal of Agricultural Education, 38(3), 36–42. https://doi.org/10.5032/jae.1997.03036 DOI: https://doi.org/10.5032/jae.1997.03036
Yılmaz, F. N., & Gelbal, S. (2011). İletişim becerileri istasyonu örneğinde genellenebilirlik kuramıyla farklı desenlerin karşılaştırılması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 41(41), 509-518.
Yin, Y., & Shavelson, R. J. (2008). Application of Generalizability Theory to Concept Map Assessment Research. Applied Measurement in Education, 21(3), 273–291. https://doi.org/10.1080/08957340802161840. DOI: https://doi.org/10.1080/08957340802161840
Downloads
Additional Files
Published
Issue
Section
Categories
License
Copyright (c) 2025 International Society that Learn Journal
This work is licensed under a Creative Commons Attribution 4.0 International License.
