12.11 Dokuzuncu adım: değerlendirin ve iyileştirin

Şekil 12.11.1 Değerlendirmek ve yenilik yapmak Görsel: Hillarıy Page-Bucci, 2002

Dijital çağda kaliteli öğrenme ve öğretme sürecinin son ‘temel’ unsuru, değerlendirme ve iyileştirmedir. Yani ne yapıldığının değerlendirilmesi ve sonrasında nasıl iyileştirileceği ( çevrim içi öğrenmenin değerlendirilmesinde yer alan konular hakkında daha ayrıntılı bir tartışma için bkz. Gunawardena vd. 2000 ).

12.11.1 Değerlendirme niçin önemlidir

Eğer ders veriyorsanız, akademik olarak yükselmek için yaptığınız öğretim faaliyetinin başarılı olduğunu kanıtlamanız gerekir. Her gün öğretimle ilgili yeni bir yaklaşımla veya yeni bir araçla karşılaşıyoruz. Bu araçlar ve yaklaşımlar ufak deneyler yaparak sonuçların iyileşip iyileşmediğini görmemizi sağlıyor; bunu yaptığımızda ise yeni bir aracın veya ders tasarımının kullanımının etkisini değerlendirmek zorunda kalıyoruz. Çünkü profesyonel insanlar bunu yapar. Ama asıl sebep şu ki öğretim golf oynamak gibidir mükemmeliyeti amaçlarız ama asla başaramayız. Her zaman daha iyiye gitmek mümkündür ve bunun en iyi yöntemlerinden biri de geçmişin sistematik bir analizini yapmaktır.

12.11.2 Neyi değerlendireceğiz: özetleyici değerlendirme / sonuç değerlendirmesi

1. adım’da kaliteyi çok kısaca şöyle tanımlamıştım:

öğrencilerin dijital çağda ihtiyaç duyacakları bilgi ve becerileri geliştirmelerine yardımcı olacak öğretim yöntemleri.

Bu kitabı okudukça gördüğünüz gibi bu hedeflere ulaşabilmek için çoğu dersi ve programı yeniden tasarlamak gerekecektir. Bu nedenle, yeniden tasarlanan bu derslerin ‘eski’ derslerden daha etkili olup olmadığını bilmek önemlidir. Bu yeni dersleri değerlendirmenin bir yolu, eski derslerle karşılaştırmak olacaktır. Örneğin:

• dersten geçme oranının, ders(ler)in yeni hâlinde en azından eski derslerdeki kadar yüksek olması gerekir.
• öğrenme ölçümlerinin (notlar), ders(ler)in yeni hâlinde en azından eski derslerdeki kadar yüksek olması gerekir.

Sayısal olarak baktığımızda, ilk iki ölçütün ölçülmesinin oldukça kolay olduğunu görebiliriz. En az yüzde 85’lik tamamlama oranlarını hedeflememiz gerekir. Yani derse başlayan 100 öğrencinin 85’inin dönem sonundaki değerlendirmeyi başarıyla geçmesinden bahsediyorum. Ne yazık ki birçok derste bu oran sağlanamamaktadır; ancak eğer iyi bir öğretimden bahsediyorsak mümkün olan en fazla sayıda öğrenciyi belirlenen standartlar düzeyine çıkarmaya çalışıyor olmalıyız.

İkinci ölçüt, notların karşılaştırılmasıdır. Bir yandan aynı (yüksek) standartları veya daha üstünü sağlarken, diğer yandan da eski derste olduğu kadar çok sayıda A’lar ve B’ler görmeyi beklemeliyiz.

Ancak, değerlendirmenin geçerli olabilmesi için dijital çağın gerektirdiklerine cevap verecek bilgi ve becerilerin ders içinde tanımlanıp öğretimin bu hedefe ulaşmada ne kadar etkin olduğunu ölçmek gerekecektir. Dolayısıyla üçüncü ölçütümüz de şu olacaktır:

• yeni tasarım(lar), dijital çağın gereksinimlerine daha yakın, yeni ve farklı öğrenme çıktılarına yönlendirmelidir.

Bu üçüncü ölçütü yerine getirmek daha güçtür çünkü dersin ya da programın öğrenme amaçlarında değişiklik yapılmasını gerektirir. Bu değişiklik kapsamında öğrencilerin iletişim becerilerinin yeni medya türleriyle değerlendirilmeye başlanması veya konu alan içinde bilgiye erişim, değerlendirme, çözümleme ve uygulama becerilerinin (bilgi yönetimi) değerlendirilmesi gerekebilir. Bunu yapabilmek için hangi öğrenme amaçlarının daha önemli olduğuna ilişkin nitel bir yargılamaya ihtiyaç olacaktır. Dolayısıyla bölümün öğretim programı komisyonunun hatta dışarıdan bir akreditasyon biriminin onayı veya desteği gerekebilir.

Yeni bir tasarım ve yeni öğrenme çıktılarıyla, bu standartlara hemen ulaşmak mümkün olmayabilir; ancak iki ya da üç sene içinde beklenen hedefe ulaşılacaktır.

12.11.3 Neyi değerlendireceğiz: süreç değerlendirme

Bununla birlikte bu üç ölçütü kullanarak dersi değerlendirsek bile derste neyin çalışıp neyin çalışmadığını tam olarak bilemeyeceğiz. Bunun için öğrencilerin öğrenme becerilerini etkilemiş olabilecek faktörlere daha yakından bakmamız gerekir. Bu faktörlerden bazılarını, 1-8 adıma kadar konuştuk. Cevap almak isteyebileceğiniz sorulardan bazılarını da aşağıdaki gibi sıralayabiliriz:

• Öğrenme çıktıları veya hedefleri öğrenciler için açık ve anlaşılır mıydı?
• Öğrenciler en fazla hangi öğrenme çıktılarında zorlandılar?
• Öğretim materyalleri anlaşılır mıydı ve iyi yapılandırılmış mıydı?
• Öğrenciler öğrenme materyallerine ve araçlarına kolaylıkla ve 7×24 erişebiliyorlar mıydı?
• Hangi konular tartışma ortamı yarattı? Hangileri yaratmadı?
• Öğrenciler tartışma forumlarında veya ödevlerde ders materyallerini doğru şekilde kullandılar mı?
• Öğrenciler kendilerine uygun kaynakları kendi çabalarıyla bulup tartışmalarda, ödevlerde ve diğer öğrenci etkinliklerinde etkili bir şekilde kullandılar mı?
• Hangi öğrenci etkinlikleri iyi sonuç verdi, hangileri kötü sonuçlandı? Neden?
• Öğrenciler kendilerine verilen öğrenme materyallerinden hangilerini en çok, hangilerini en az kullandılar?
• Ödevler, dersin öğretmek istediği bilgi ve becerileri yeterli düzeyde ölçebildi mi?
• Öğrencilerin iş yükü çok muydu?
• Öğretmen olarak benim iş yüküm çok muydu?
• Benim (veya öğrencilerimin) iş yükünü kaliteyi kaybetmeden nasıl daha iyi yönetebilirim?
• Öğrenciler dersten ne kadar memnun kaldılar?
• Ben dersten ne kadar memnun kaldım?

Şimdi, iş yükünü çok artırmadan bu sorulara nasıl cevap verebileceğimiz konusunda önerilerde bulunacağım.

12.11.4 Öğrenmeyi etkileyen faktörleri nasıl değerlendiririz?

Bunu yapmak için aslında geleneksel yüz yüze kursların değerlendirilmesinden çok daha fazla kaynaktan faydalanabilirsiniz çünkü çevrim içi öğrenme, geleneksel bir yüz yüze dersi değerlendirmede kullanacağınız çok daha fazla izlenebilir bir dijital kanıt izi bırakır:

• öğrencilerin aldığı notlar;
• öğrencilerin çevrim içi etkinliklere katılma oranları (kendi kendini değerlendirme soruları, tartışma forumları, ses dosyaları gibi);
• tartışma forumlarının nitel analizi (yorumların niteliği ve kapsamı, derinliği, düşünce düzeyi gibi); tartışma forumlarının nitelik analizi, örneğin, katılım veya düşünme düzeyini ya da derinliğini gösteren yorumların niteliği ve kapsamı, derinliği, düşünce düzeyi;
• öğrencilerin elektronik portfolyoları, ödevler ve sınavları;
• öğrenci anketleri;
• odak grup çalışmaları.

Bununla birlikte başlamadan önce, daha önceki kısımda yaptığımız gibi bir soru listesi hazırlayıp sorulara cevap bulmada hangi kaynakların bize yardım edeceğini ortaya koymak daha faydalı olacaktır.

Şekil 12.11.2 Örnek olarak alınan sınav cevaplarının analizi, dersin yapısı ve materyallerin sunumu hakkında bilgi verir

Genellikle bir ders bittiğinde öğrencilerin aldıkları notlara bakıp hangi öğrencilerin iyi bir performans gösterdiğine ve hangilerinin mücadele ettiğine bakarım. Tabii ki sınıftaki öğrenci sayısına bağlı olarak. Sınıf mevcudunun çok olduğu derslerde, notlara göre örneklem alıp öyle çalışırım. Daha sonra dersin en başına geri dönüp, çevrim içi etkinliklere katılımlarına bakarım. Bir öğrenme yönetim sistemi kullanıyorsanız bunu rahatça yapabilirsiniz, ancak elbette öğrenme analitikleri sayesinde artık çok daha kolaylaştı. Bu değerlendirmeyle bazı faktörlerin öğrenciye göre değiştiğini (örneğin herkesle iletişim kuran girişken bir öğrenci gibi) bazılarının da derse özel (öğrenme amaçlarıyla veya içeriği öğrencilere nasıl verdiğimle alakalı) olduğunu görüyorum. Bu nitel yaklaşım, gelecekte ya içerikte ya da öğrencilerle etkileşim yöntemimde değişiklik yapmam gerektiğini gösteriyor. Belki de, bir dahaki sefere tartışmaları tekeline alan öğrencileri nasıl daha iyi yönetmem gerektiğine karar verebilirim.

Birçok okulun, her ders için dönemin sonunda kullandığı ‘standart’ bir öğrenci raporlama sistemi vardır. Bu sistemler, çevrim içi boyutu olan dersleri değerlendirmede fazla etkili değillerdir. Bu tür sistemlerde yer alan soruların, ders verme biçimine göre uyarlanması gerekir. Bununla birlikte bu tür anketler çapraz değerlendirme fırsatı da verdiğinden, bu değerlendirme formlarını kullanan kişiler çevrim içi öğretim için farklı bir sürüm kullanmada isteksizdir. İkinci olarak bu anketler dönem bittikten sonra öğrenciler tarafından gönüllü olarak doldurulduğu için anketlerin geri dönüş oranı oldukça düşüktür (yüzde 20’den bile az). Cevap oranlarının düşüklüğü nedeniyle alınan sonuçlar en iyi ihtimalle yanlış yönlendirecektir. Dersi bırakan veya dersten kalan öğrenciler, çoğu zaman ankete bakmayacaklardır bile. Cevap oranlarının düşüklüğü, başarılı öğrenciler nezdinde taraflı olacaktır. Halbuki, asıl görüşlerine ihtiyaç duyduklarımız derste güçlük yaşayan, dersi bırakan veya dersten kalan öğrencilerdir.

Bu nedenle, öğrenci anketlerinden ziyade küçük odak grup toplantılarını daha çok seviyorum. Bu toplantıları yüz yüze veya Blackboard Collaborate gibi eş zamanlı video konferans yazılımlarını kullanarak yapıyorum. Başarı notlarına göre (FF’den A’ya kadar) herkesi temsil edecek 7-8 öğrenci seçiyorum ve dersle ilgili belli sorular etrafında tartıştığımız bir saatlik bir görüşme yapıyorum. Seçtiğim öğrencilerden biri katılmak istemezse, aynı kategoriden bir başkasını buluyorum. Eğer zamanınız varsa böyle iki veya üç odak grup toplantısı ile çok değerli geri bildirimler ya da dönütler elde edebilirsiniz.

12.11.5 Yenilenme ve iyileştirme

Genellikle yeniden tasarlanan bir kursun ilk sunumunun sonunda biraz zaman geçiriyorum ve genellikle güvenilir bir öğretim tasarımcısı ile birlikte çalışarak bir sonraki sürümde değişiklikler yapıyorum. Dersi üçüncü veya dördüncü verişimden sonra, dersi iyileştirme ve yenileme yollarını aramaya başlıyorum.

Dersi üçüncü veya dördüncü verişimden sonra yapacağım muhtemel şey, örneğin, yeni bir yazılım gibi yeni harici faktörlerin sonucu olan dersi geliştirme yollarını aramaya başlamak olacaktır. (e-portfolyo yazılımı gibi) veya yeni süreçler (örneğin öğrencinin cep telefonu veya fotoğraf makinesi kullanarak içerik geliştirmesi gibi) ve benzeri yeni dışsal faktörler olabilir. Bu yenilikler, dersi ‘tazeleyecek’ ve daha ilginç olmasını sağlayacaktır. Bununla birlikte kısmen iş yükünden kaynaklanan nedenlerde de olsa derste yapacağım değişikliği tek bir kapsamlı değişiklikle sınırlıyorum; çünkü böylece, değişimin etkisini ölçmek çok daha kolay bir hâl alıyor.

Öğretmenlik yapacağımız en iyi zaman diliminde yaşadığımızı düşünüyorum. Özellikle, WordPress de dâhil olmak üzere yeni nesil web 2.0 araçları, Instructure Canvas gibi yeni, eğitmen odaklı ‘kullanımı kolay’ ÖYS’ler, açık eğitim kaynakları, mobil öğrenme, tabletler ve iPad’ler, KAÇD’ler ile ciddi oyunlar, sanal ve artırılmış gerçeklik ve yapay zekâ gibi yeni teknolojilerin hepsi yenilenme için çok çeşitli fırsatlar sunar. Bu araçların bir kısmı var olan öğrenme yönetim sistemine veya ders yapısına eklenebildiği gibi daha radikal tasarımlar yapmak da mümkündür. 3,4 ve 5. temalarda farklı tasarım modellerinden bahsedilmektedir.

Önemli olan asıl amacın öğrencilerin etkili bir şekilde öğrenmesini sağlamak olduğunu hatırlamaktır. Standart öğrenme yönetim sistemleri üzerinde ‘güvenli’ ve etkili öğrenme ortamları tasarlayacak yeterli bilgi ve beceriye sahibiz. Yeni olan her zaman daha iyi olan anlamına gelmez. Bu sebeple, çevrim içi öğrenmeye yeni başlayan öğretmenlere her zaman dikkatli olmalarını öneririm. Daha önceden deneyimlenmiş rotayı takip edin, daha sonra deneyim kazandıkça aşamalı olarak yeni öğrenme yaklaşımlarını ve yeni araçları deneyebilirsiniz.

Son olarak dersinizde ilgi çekici bir yenilik yaparsanız, bu yeniliği yukarıda önerildiği şekilde değerlendirmeyi ve bulgularınızı meslektaşlarınızla paylaşmayı ihmal etmeyin. Meslektaşlarınız bu yeniliği kendi derslerinde kullanabilecekleri gibi üzerinde birtakım değişiklikler yaparak yeniliği daha da iyi bir hâle getirebilirler. Böylece, birbirimizden öğrenebiliriz.

Kaynakça ve ek okumalar

Gunawardena, C., Lowe, C. & Carabajal, K. (2000) Evaluating Online Learning: models and methods in D. Willis et al. (eds.), Proceedings of Society for Information Technology & Teacher Education International Conference 2000 San Diego CA