Proje Yarışmalarında Farklı Puanlama Desenlerinin Güvenilirliği: Genellenebilirlik Kuramı ile Bir Simülasyon Çalışması
DOI:
https://doi.org/10.64782/istlj.2250273-298Anahtar Kelimeler:
Çaprazlanmış Desen- Puanlayıcı Güvenirliği- Yuvalanmış Desen- Genellenebilirlik Kuramı- Simülasyon Çalışması- Proje DeğerlendirmeÖne çıkanlar
Öz
Tüketen değil, üreten ve geliştiren nesillerin yetiştirilmesi adına, öğrencilerin bilgi çağının gerekliliği olan bilimsel araştırma yöntemlerini kullanarak öğrenmelerini sağlayan proje tabanlı öğrenme günümüzde önemli bir yere sahiptir. Bu bağlamda proje tabanlı öğrenmenin teşviki ve öğrencilerin bu alanda daha çok çalışma yapmalarına imkân sağlamak için ödüllü proje yarışmaları (TÜBİTAK, Teknofest, MEB vb.) düzenlenmektedir. Bu metodolojik araştırmanın amacı, proje yarışmalarına ait değerlendirme süreçlerinde genellenebilirlik kuramına dayalı farklı desenler oluşturarak farklı puanlayıcıların bu süreçler üzerindeki etkisini ortaya koymaktır. Çalışmada, robotik-kodlama ile ilgili proje yarışmalarının değerlendirme yapısını yansıtacak şekilde tasarlanmış simüle bir veri seti kullanılmıştır. 10 ayrı proje, proje yazımı konusunda uzman olan üç puanlayıcı ve bilişim teknolojileri alanında uzman altı puanlayıcı yer almıştır. Oluşturulan iki farklı desenin ilki olan çaprazlanmış desende (bxmxp) 10 proje, 3 proje uzmanı tarafından değerlendirilmiş, ikinci olarak yuvalanmış desende (bx(p:m)) puanlayıcılar maddelerde yuvalanarak 10 proje için bazı maddeleri proje yazım uzmanı, bazı maddeleri bilişim teknolojileri alan uzmanı puanlayıcılar puanlamıştır. Veriler analiz edilerek G ve K çalışmaları gerçekleştirilmiş, farklı madde ve puanlayıcı sayılarından elde edilen G ve Phi katsayıları ayrıntılı olarak incelenmiştir. Simülasyon sonuçlarına göre, çaprazlanmış ve yuvalanmış desenle yapılan ölçme işlemleri bağıl değerlendirmeler için yüksek güvenirlik sonuçları verirken, mutlak değerlendirme için uygun değerler görülmemiştir. Karar çalışmaları, puanlayıcı sayısı artırıldığında her iki desende de güvenirliğin arttığını göstermiştir. Bulgular, proje yarışmalarının değerlendirme süreçlerinin tasarlanmasında tüm puanlayıcıların tüm kriterleri değerlendirmesinin, uzmanlık alanlarına göre madde dağılımına kıyasla daha güvenilir sonuçlar üretebileceğini ortaya koymaktadır. Bu metodolojik karşılaştırma, eğitim kurumları ve organizatörlere değerlendirme süreçlerini tasarlarken kanıta dayalı kararlar alabilmeleri için önemli bilgiler sunmaktadır.
İndirmeler
Referanslar
Aktaş, M., & Alıcı, D. (2017). Kontrol Listesi, Analitik Rubrik ve Dereceleme Ölçeklerinde Puanlayıcı Güvenirliğinin Genellenebilirlik Kuramına Göre İncelenmesi. International Journal of Eurasia Social Sciences (Uluslararası Avrasya Sosyal Bilimler Dergisi), 8(29), 991-1010.
Atılgan, H. (2019). Genellenebilirlik Kuramı ve Uygulaması (1. Baskı). Anı Yayıncılık.
Ayvaz Tuncel, Z. (2021). Proje Tabanlı Öğrenme. Eğitimde Proje Geliştirme ve Yönetme içinde (Ed: Murat Taşdan, Halil İbrahim Kaya). Pegem Akademi Yayıncılık. 9786257676823
Baykul, Y. (2021).Eğitimde ve Psikolojide Ölçme: Klâsik Test Teorisi ve Uygulaması(4. Baskı). Ankara: Pegem Akademi Yayıncılık.
Bell, S. (2010) Project-Based Learning for the 21st Century: Skills for the Future, The Clearing House, 83(2), 39-43, DOI: 10.1080/00098650903505415 DOI: https://doi.org/10.1080/00098650903505415
Brennan, R. L. (2001). Generalizability theory. New York: Springer- Verlog. DOI: https://doi.org/10.1007/978-1-4757-3456-0
Büyükkıdık, S., & Anıl, D. (2015). Performansa Dayalı Durum Belirlemede Güvenirliğin Genellenebilirlik Kuramında Farklı Desenlerle İncelenmesi. Eğitim ve Bilim Dergisi, 40(177), 285-296. DOI: https://doi.org/10.15390/EB.2015.2454
Crocker, L., & Algina, J. (2006). Introduction to Classical and Modern Test Theory. Thomson Learning.
Chang, C. C., & Tseng, K. H. (2011). Using a Web-based portfolio assessment system to elevate project-based learning performances. Interactive Learning Environments, 19(3), 211-230. DOI: https://doi.org/10.1080/10494820902809063
Çetin, O. ve Şengezer, B. (2013). Ortaokul öğrencilerinin proje çalışmalarına ilişkin görüşleri. Ege Eğitim Dergisi, 14 (1), 24–49.
Eser, Ç. D., & Gelbal, S. (2012). Genellenebilirlik kuramı ve lojistik regresyona dayalı hesaplanan puanlayıcılar arası tutarlılığın karşılaştırılması. Kastamonu Üniversitesi Eğitim Fakültesi Dergisi, 21(2), 421-438.
Sun, A., Valiga, M. J., & Gao, X. (1997). Using Generalizability Theory to Assess the Reliability of Student Ratings of Academic Advising. The Journal of Experimental Education, 65(4), 367–379. http://www.jstor.org/stable/20152537 DOI: https://doi.org/10.1080/00220973.1997.10806611
Göloğlu Demir, C. (2019). Öğretmenlerin TÜBİTAK ortaokul ve lise öğrencileri araştırma projeleri yarışması ve proje hazırlama sürecine yönelik görüşleri. II. Uluslararası İnsan ve Toplum Bilimleri Araştırmaları Kongresi Bildiri Kitabı, 4-6.
Güler, N. (2008). Klasik test kuramı, genellenebilirlik kuramı ve rasch modeli üzerine bir araştırma. (Doktora Tezi). Hacettepe Üniversitesi, Ankara.
Güler, N. (2009). Genellenebilirlik kuramı ve SPSS ile GENOVA programlarıyla hesaplanan G ve K çalışmalarına ilişkin sonuçların karşılaştırılması. Eğitim ve Bilim, 34(154), 93-103.
Gülle, A., Uzun, N. B., & Akay, C. (2018). Ortaokul Öğrencilerine Yönelik Blok Flüt İcra Performansı Dereceli Puanlama Anahtarının Güvenirliğinin Genellenebilirlik Kuramı ile İncelenmesi. İlköğretim Online, 17(3), 1463-1475. DOI: https://doi.org/10.17051/ilkonline.2018.466366
Lafave, M. R. and Butterwick, D. J. (2014) A generalizability theory study of athletic taping using the technical skill assessment instrument. Journal of Athletic Training, 49(3), 368-372. https://doi.org/10.4085/1062-6050-49.2.22 DOI: https://doi.org/10.4085/1062-6050-49.2.22
Lane, S., & Stone, C. A. (2006). Performance assessment. In R. L. Brennan (Ed.), Educational measurement (4th ed., pp. 387-431). American Council on Education.
Lee, M., & Cha, D. (2016). A comparison of generalizability theory and many facet rasch measurement in an analysis of mathematics creative problem solving test. Journal of Curriculum Evaluation, 19(2), 251-279. DOI: https://doi.org/10.29221/jce.2016.19.2.251
Menéndez-Varela, J. L., & Gregori-Giralt, E. (2018). The reliability and sources of error of using rubrics-based assessment for student projects. Assessment & Evaluation in Higher Education, 43(3), 488-499. DOI: https://doi.org/10.1080/02602938.2017.1360838
Millî Eğitim Bakanlığı [MEB] (2020). Araştırma ve Uygulamalarıyla Proje Temelli Öğrenme. Yenilik ve Eğitim Teknolojileri Genel Müdürlüğü, Ankara, Türkiye. Erişim: http://fclturkiye.eba.gov.tr/2020/09/07/arastirma-ve-uygulamalariyla-proje-tabanli-ogrenme
Millî Eğitim Bakanlığı [MEB] (2024). 16. Uluslararası MEB Robot Yarışması Uygulama Kılavuzu. Mesleki ve Teknik Eğitim Genel Müdürlüğü. https://robot.meb.gov.tr/organizasyon /uygulama-kilavuzu
Özbaşı, D. & Arcagök, S. (2021). Öğrenci projelerinin genellenebilirlik kuramı ile incelenmesi. Eğitimde Kuram ve Uygulama, 17(2), 69-78. doi: 10.17244/eku.1024532 DOI: https://doi.org/10.17244/eku.1024532
Price, L.R. (2021). Psikometrik Yöntemler, Kuramdan Uygulamaya. Çeviri Editörü: Arif Özer, Burcu Atar. Mentis Yayıncılık.
Schwab, K. (2016). The Fourth Industrial Revolution. Crown Business.
Shavelson, R. J., & Webb, N. M. (1991). Generalizability Theory: A Primer. SAGE Publications. DOI: https://doi.org/10.1037/10109-051
Taştan, Z., & Bilge Uzun, N. (2021). Genellenebilirlik Kuramında Çok Yüzeyli Desenlerin İncelenmesi. Türkiye Sosyal Araştırmalar Dergisi, 25(3), 743-756.
Türkiye Bilimsel ve Teknolojik Araştırma Kurumu (TÜBİTAK). (2019). 2242-Üniversite Öğrencileri Araştırma Proje Yarışmaları Proje Rehberi. https://www.usak.edu.tr/UsersData/duyuru /1883/uni_proje_rehberi.pdf
Türkiye Bilimsel ve Teknolojik Araştırma Kurumu (TÜBİTAK). (2024). 2204-B Ortaokul Öğrencileri Araştırma Projeleri Yarışması Proje Rehberi. https://tubitak.gov.tr/sites/default/files/2024-10/ortaokul_proje_rehberi_2024-2025.pdf
Urbina, S. (2004). Essentials of Psychological Testing. John Wiley & Sons.
VanLeeuwen, D. M. (1997). Assessing Reliability Of Measurements With Generalizability Theory: An Application To Inter-Rater Reliability. Journal of Agricultural Education, 38(3), 36–42. https://doi.org/10.5032/jae.1997.03036 DOI: https://doi.org/10.5032/jae.1997.03036
Yılmaz, F. N., & Gelbal, S. (2011). İletişim becerileri istasyonu örneğinde genellenebilirlik kuramıyla farklı desenlerin karşılaştırılması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 41(41), 509-518.
Yin, Y., & Shavelson, R. J. (2008). Application of Generalizability Theory to Concept Map Assessment Research. Applied Measurement in Education, 21(3), 273–291. https://doi.org/10.1080/08957340802161840. DOI: https://doi.org/10.1080/08957340802161840
İndir
Ek Dosyalar
Yayınlanmış
Sayı
Bölüm
Kategoriler
Lisans
Telif Hakkı (c) 2025 Uluslararası Öğrenen Toplum Dergisi
Bu çalışma Creative Commons Attribution 4.0 International License ile lisanslanmıştır.
