"

11 DEĞERLENDİRME VE GERİ BİLDİRİM

Dr. Debra Abbott

Gelecekteki öğrenme ekosistemi, sistemlere, topluluklara ve zamana göre öğrenenlerin verilerinin yönetimini ve işlenmesini değiştirecektir. Yeni analitik yetenekleri geliştikçe, değişimi çeşitli yollarla katalize edeceklerdir: öğrenenlerin daha uzun süreler boyunca nasıl geliştiğine dair içgörü düzeyini artırarak, eğitmenlerin öğretimi daha duyarlı ve uyarlanabilir hale getirme becerilerini geliştirerek ve bireylerin ihtiyaçlarını karşılamak için tasarlanmış deneyimler ve öğrenme patikaları önererek. Ancak, yeni teknolojiler amaçsız uygulanırsa öğrenmeyi geliştirmemektedir. Mevcut sistem, çoğu zaman etkili bir şekilde kullanmadan bol miktarda öğrenen performans verisi ortaya çıkarmaktadır. Çoğu zaman, motivasyon ve uzun vadeli hedefler gibi öğrenme için gerekli olan diğer faktörler göz ardı edilir veya öğrenenler ne yararlı ne de eyleme geçirilebilen ve bu nedenle de çabucak unutulan geri bildirimler almaktadır. Bu bölüm, değerlendirme için güncellenmiş bir çerçeve ortaya koymakta ve aynı zamanda, değerlendirme faaliyetlerinin ardındaki amacı analiz etmenin önemini, biçimlendirici geri bildirimin iyileştirilmesiyle elde edilebilecek reformları ve teknoloji destekli bir değerlendirme sisteminde gerekli olan imkânları vurgulamaktadır.

Mevcut Uygulamanın Arka Planı ve Sınırları

Teknoloji eğitim ve öğretimi hızla değiştirdiği için, öğrenme değerlendirmesine ilişkin seçimler, eğitmenler için kafa karıştırıcı hale gelmekteyken; programlar, sınıflar ve çıktılar hakkında akıl karıştırıcı bir hesap verebilirlik odaklı veriye ulaşması gereken eğitim ve öğretim programı yöneticileri için ise daha riskli hale gelmektedir. Ne yazık ki, aslında belirli öğrenme hedeflerine bağlı veri olarak tek başına olan bu tür kayıt tutma, kendi iyiliği için toplanması, sürdürülmesi ve raporlanması gereken bir kurumsal varlık haline gelmektedir. Buna ek olarak, araştırmadaki gelişmeler, değerlendirmede paradigma değişimleri ve öğrenme ortamındaki değişiklikler esasen oyunun kurallarını yeniden yazmıştır. Bununla birlikte, eğitim ve öğretim paydaşlarının mesleki gelişimi, bu değişikliklere ayak uydurmamıştır ve bu, öğretmenlerin, öğretim tasarımcılarının ve diğerlerinin, değerlendirmelerin öncelikle özetleyici, niceliksel olduğu ve öğrenen performansının bağlamdan arındırılmış anlık görüntülerine odaklandığı eski değerlendirme modelleri altında çalışmalarına neden olmaktadır.

Sonuç değerlendirmesinden çok biçim değerlendirmesine ihtiyacımız var; daha iyi bir iş yapmak ve analitiği doğrusal veya düğüm şeklinde kullanmak için bu teknoloji araçlarını zorlamalı ve yumuşatmalıyız. Amaç, eğitimin bireysel yönlerini anlamaktır, bu da onlara şimdiye kadar sahip olduklarından daha iyi bir eğitim vermemizi sağlar.

Dr. Keith Osburn, Eğitimci,

Müdür Yardımcısı, Georgia Sanal Öğrenme, Georgia Eğitim Bakanlığı

Valerie Shute ve Matthew Ventura, bu durumun sonuçlarını şöyle özetlemektedir:

Bugünün sınıf değerlendirmelerinin çoğu, derin öğrenmeyi veya karmaşık yeterliliklerin edinilmesini desteklememektedir. Mevcut sınıf değerlendirmeleri (“öğrenme değerlendirmeleri” olarak adlandırılır), genel olarak, öğrencilere tanı desteği veya öğretmenlere tanı bilgisi sağlamadan bir öğrenci (veya öğrenen grubunu) zamansal olarak tek bir noktada değerlendirmek için tasarlanmıştır.

 

Çoğu zaman, bir çözüme doğru net bir yol sağlamak yerine, öğrenmeyi kişiselleştiren algoritmalar, yeni dağıtım platformları ve bir dizi hızla genişleyen seçenekler de dâhil olmak üzere, teknolojinin ilerlemesi suları bulanıklaştırmaktadır. Yenilik etkileri veya bazı öğrenme teknolojilerinin karmaşıklığı tasarımdaki kusurları maskeleme riski bulunmaktadır. Araştırmaya dayalı ilkeler ile şekillendirilmiş öğrenme bilimleri, öğrenmenin sanal gerçeklikte mi yoksa sınıf seminerinde mi, öğrenme biliminin tarihi, ilkeleri ve süreçleri, öğrenme ekosistemi tasarımcıları ve geliştiriciler için değerli bir araç kiti oluşturup oluşturmadığını öğrenmenize yardımcı olabilmektedir.

DEĞERLENDİRME ÖNLEMLERİ: TEMELLER

Görünür Öğrenme‘de, John Hattie iki unsuru “öğrenmenin olmazsa olmazı” olarak adlandırmaktadır: (1) öğrenen için bir meydan okuma ve (2) geri bildirim. Benzer şekilde, her iki faktör de bir temel görevi görür veya değerlendirme için minimum gereksinimler olarak hizmet etmektedir. Eğer meydan okuma yetersizse, öğrenenin beyninde nöral bağlantılar ne güçlendirilir ne de değiştirilir ve eğer yararlı geri bildirim yoksa, öğrenen körü körüne hareket etemkete, performansını mevcut veya gelecekteki öğrenme hedefleriyle ilişkilendirememektedir.

Yeni çağ öğrenme analitiği, performansın sürekli, gerçek zamanlı izlenmesine imkân tanıdığı ve paydaşlara güncel gösterge tabloları sunabildiği için ibreyi önemli ölçüde hareket ettirmiştir. Bu, büyükanne ve büyükbabalarımızın çağındaki değerlendirmeden çok farklıdır. 20. yüzyılın büyük bir bölümünde, eğitim ve öğretimin bir “fabrika modeli” hüküm sürmüş ve bununla birlikte, öğretim, öğrenenlerin alıcı tarafta olduğu bir aktarım süreci olarak varsayıldı. Amaç, herkesin kafasını bilgiyle doldurmak ve mezun olan öğreneni topluma tekdüze bir ürün şeklinde sunmaktı. Eğitmenlere, mütemadiyen bir eğitim döneminin bitiminde bir değerlendirme yapılması ve ardından başka bir öğretim döneminin ve bir eğitim programı sona erene kadar bir başka değerlendirmenin yapılması gerektiği söylendi. Değerlendirmenin, bu doğrusal süreçte yer alan sürekli bir şekilde bitip yeniden başlayan bir oluşum olduğu düşünülmüştür.

Onlarca yıl önce, değerlendirmelerin tasarımı özellikle önemli sayılmamış, çünkü bunlar öğretim ve öğrenmenin birincil odak noktasına yardımcı etkinlikler olarak algılanmıştır. Performansın önemli olduğu sanat, konuşma veya beden eğitimi gibi spesifik alanları saymazsak, testler ve makaleler gibi kâğıt tabanlı etkinlikler hâkimiyete sahipti. Bu ortamda, öğrencilerin diğer herhangi bir bilgi türüyle aynı şekilde geri bildirim alabilecekleri varsayılmıştır: Pek çok eğitmen, öğrencilerin kâğıtlarını kırmızı kalemle işaretlemeyi veya yazı yazma yeteneklerinin ya da belirli bir düşünme tavırlarına sahip olmadıklarını (bazı öğrencilerin öğrenilmiş çaresizlik durumuna götürecek bir uygulamaydı) onlara sert bir şekilde söylemeyi iki kez düşünmemiştir. Aksine; yüksek performanslı öğrencilerin yeteneklerini ve zekâsını övmek, çoğu kez gelişim zihniyetlerini zayıflatmak ve öğrenme için gereken çaba düzeyine dair yanlış bir his aşılamak daha çok kabul gömektedir.

image

Günümüzde, çoğu sınıf ister bir şirkette ister bir askerî üssünde veya bir bilgisayar ekranında olsun, değerlendirme uygulamasında ve buna yönelik tutumlarda hiç olmazsa bazı farklılıkları artık yaşamaktadır. Birçok yerdeki gelişme seviyesi değerlendirmesinin, geçmişe göre daha öğrenen merkezli olduğu (her ne kadar ihtiyatlı olsa da) ifade edilebilmektedir. Bu değişiklikler, yapılandırmacı öğrenme kuramlarının ve aktif öğrenme ve öğrenen merkezli tasarım gibi yöntemlerin etkisine bağlanabilmektedir. İyileştirilmiş uygulamalar ve tutumlar, son yüzyılın çeyreğinde popülerlik derecesinde olmasa da dikkat çeken çok sayıda değerlendirme hareketinden de kaynaklanmıştır: özgün değerlendirme, performans değerlendirmesi, alternatif değerlendirme, biçimlendirici değerlendirme, portföy değerlendirmesi, gömülü biçimlendirici değerlendirme, boylamsal değerlendirme ve öğrenme için değerlendirme (öğrenmenin değerlendirmesinden farklıdır).

Öyleyse, bu yeni çağda her zaman değerlendirme yapmalı mıyız? Öğrenenler için en iyisi nedir? Şu an ve öngörülebilir gelecekte, herhangi bir değerlendirmenin önemi sosyal olarak inşa edildiğinden, bazı öğrenen çalışmaları ve performans biçimlerine diğerlerine nazaran öncelik verilecektir. Örneğin, yetişkin eğitiminde, otantik iş yeri görevlerini yansıtan değerlendirmeler daha büyük ölçüde değerli olabilmekte ve öğrenme hedeflerini ifade etmede daha çok işe yarayabilmektedir. Bireylerin ürettiği tüm eylemlerin veya öğrenme eserlerinin öğrenme hedeflerine, program hedeflerine veya öğrenme çıktılarına göre eşit değere sahip olmayacağının bilincinde olmak önemlidir. Bu nedenle, zorluğun bir kısmı sadece etkili değerlendirmeleri tasarlama ve sunmada değil, uygulamaları öncelik belirlemede ve öğrenme ekosistemindeki daha geniş rollerini göz önünde bulundurmada yatmaktadır.

Bugüne kadar kaydedilen ilerlemeye dayanarak, gelecekteki değerlendirme eğitim ve öğretim paydaşlarını güçlendirmek için devam etmelidir. Değerlendirmeyi kavramak küçük bir başarı değildir ancak başlamak için, bireysel yüksek puanlı değerlendirmeler de dâhil olmak üzere değerlendirme sistemlerinin gerçek amacını açıklığa kavuşturmak ve geçerli ölçümü neredeyse yalnızca testler, makaleler, sınavlar ve benzeri gibi özetleyici ölçümlerle birleştiren 20. yüzyıl ön yargılarından uzaklaşan bir zihniyet değişikliğini teşvik etmek faydalıdır. Biçimlendirici değerlendirme araştırmalardan ve öğrenmeyle sembiyotik bir ilişkiye sahip olan yakın kuzeni geribildirimden de kaynaklanan gelişmeler hakkında bilgi sahibi olmak faydalıdır. Son olarak, öğrenmeye daha teknoloji odaklı bir yaklaşımı benimsediğimizde, değerlendirmenin gerçek zamanlı ve sürekli olarak gerçekleşebileceği ortamlarda, öğrenenlerin ihtiyaç duyacağı yeterlilikleri göz önünde bulundurmak faydalı olacaktır.

Değerlendirmenin Amacı

Öğrenmeyi değerlendirmenin görünürdeki nedeni karar vermeye yardımcı olmaktır. Ancak, değerlendirmeler genellikle bir kuruluşu veya kişiyi önceden tanımlanmış kriterleri karşılamaktan veya belirli sonuçları elde etmekten sorumlu tutmak için kullanılmaktadır. Bu nedenle, öğrenen öğrenme çıktıları, neredeyse her zaman, konu alanı becerisinde ilerlemede veya bir sertifika kuruluşu, eyalet düzeyinde bir eğitim departmanı veya bir işveren tarafından tanımlanan bir müfredat hedefine ulaşılmasında belirli bir düzeyde istenilen değişikliği yansıtacak şekilde yazılmıştır. Bir sınıfta, öğrencileri ders çalışma konusunda sorumlu tutmak için sınavlar kullanılabilir; örgütsel düzeyde, standartlaştırılmış testler okul bölgelerini toplu performanstan sorumlu tutabilir ve iş gücü bağlamında, çalışanların uyum eğitimini tamamladıklarını doğrulayarak düzenlemelere uyma sorumluklarını atamak için değerlendirmeler kullanılabilir.

Ancak, pratik faydalarına rağmen, öğrenmenin bu tür hesap verebilirlik değerlendirmeleri genellikle öğrenme için daha az faydaya sahiptir. Kansas Eyalet Üniversitesinde yüksek öğrenimde öğrenmeyi iyileştirmeye yönelik uzun süredir uygulayıcı bildiri dizisindeki Susan Hatfield, şu ayrımın altını çizmişdir:

Değerlendirmeyi yapmanın nedenini belirlemenin en iyi yolu, planın odak noktasını incelemektir. Odak sırf veri toplama üzerine midir? Yoksa öğrenen öğrenmesini geliştirmek için veri kullanmaya odaklanmak mıdır? Başkalarını rahatlatmak için tasarlanan değerlendirme planları genellikle çok fazla veri toplamayı içerir ancak nadiren anlamlı bir şekilde kullanılırlar. Öğrenci öğrenmesine odaklanan planlar, toplanan verileri potansiyel eylem kurslarına bağlar.

Hatfield’ın bahsettiği potansiyel “eylem dersleri”, daha acil görev veya ders odaklı bakış açılarından kurumsal ve yaşam boyu öğrenme konularına kadar çeşitli kavramsal seviyelerde gerçekleşebilmektedir. Başka bir deyişle, hesap verebilirlik veya biçimlendirici öğrenme için kullanıldığında, makro seviye kararları şekillendiren değerlendirmelerin (ve genellikle yapılması gereken) mikro düzeydekilerden farklı olması gerekmektedir. Makro düzeydeki kararlar nadiren tek bir kanıt kaynağına dayanmamaktadır. Bir eğitim sisteminde, örneklem için yüksek olanı, karar verme ağacını sınıftan, okula, bölgeye, devlete kadar yükseltir, sonuçları çok çeşitli, çeşitli değerlendirmelerden toplamanın ve ince düşünülmüş bir insani yargıda bulunmanın önemi artmaktadır. Değerlendirme, doğru verilere ve bilgili öğretim uygulamalarına dayalı menşei muhakeme kapasitesine bağlı olan karmaşık bir sanattır. Etkili ölçme ve değerlendirme deneyimi ve öğretim gerçekte, bireylerin iyi değerlendirme muhakemesi kazanmalarına imkan veren bir potadır.

Değerlendirme resme dâhil olunca, değerlendirmelerin amacı ve faydası hakkındaki bakış açısını genişletmektedir. Değerlendirmeler ve makro düzeyindeki diğer değerlendirmeler, öğrenmenin etkisi açısından üniversite kabul oranları veya iş performansındaki iyileştirme gibi anlamlı sonuçlar açısından etkililik ölçümlerini vurgulamalıdır. Etkililik ölçüleri, performans ölçütleriyle veya bir öğrenenin not ortalaması veya bir eğitim atölyesi çalışmasını kaç kişinin tamamladığı gibi süreç odaklı ölçülerle karşılaştırılır.

image

Geçenlerde Google Eğitim Sertifikasının bir sınavına katıldım. Tipik bir test olacağını düşünmüştüm, bu yüzden hızlıca işaretlemeye başladım… her zaman sınavlarda yaptığım gibi. Şimdiye kadar yaptığım her sınavda genellikle bu şekilde uygulama yapılıyordu. Ancak, teste başladıktan sonra sınavın bu şekilde ilerlemeyeceğini fark ettim! Tüm sorular uygulama temelli olarak hazırlandığını sınav esnasında öğrendim. Tüm araçlara sahiptim, eğlendiğimi keyif aldığımı hissettim ve hepsinden önemlisi oldukça da manidardı. Bu tecrübeyi çok önemsiyorum!

Serideki 2.seviye sınava girerken, her zamanki şekilde hazırlanmadım! Problemlere baktım ve senaryolar aracılığıyla düşündüm. Sınavdayken zamanın nasıl geçtiğin anlamadım. Sınavda boğuluyorum hissi yaşamadım. Ondan sonra, öğrencilerimi aynı şekilde değerlendirmeye başlamak için kendimi zorladım.

İşin sırrı orijinallikte. Çoktan vakti geçmiş ve gitmiş bir yüzyılda mahsur kaldık. Bunu bırakmalı ve öğrencilerin başarı sergilemelerini büyüyüp serpilmelerini ve vakarla çaba harcamalarını sağlayacak büyüme zihniyetini teşvik etmeye başlamalıyız. Böylece kendilerini hayata daha hazır hissedecekler. Hayat okulu… hepsi yetkinlik temelli.

Kimberly Eckert

Brusly Lisesi Öğretmeni Louisiana Eyaleti 2018 Yılın Öğretmeni

Bu ayrım eğitim ve öğretimin tam merkezinde yer almaktadır. Bireyler ister lise yazma kursuna ister kurumsal eğitim programına isterse de profesyonel askerî eğitim seminerine kaydolmuş olsun, çoğu resmî ve gayriresmî öğrenmenin amacı, pratik bir yeterliliği (belirli bir bağlamda veya ortamda zorunlu olarak somutlaştırılmış olan yetkinliği) sağlamaktır. Ör., öğrencilere bir dizi genel iletişim becerileri kazanmaları gerektiğini söylerseniz, muhtemelen dudak bükük sizden uzaklaşacaklardır. Ancak, bu öğrencileri üniversiteye sınavı denemeleri, kurumsal çalışma planları veya beş paragraflık saha çalışması ile ilgili yazmalarını isteseniz de daha fazla motivasyon göstermeleri muhtemel değildir ancak yeteneklerinin değerlendirilmesinde daha özgün, anlamlı, daha güvenilir ve dürüst olacaktır.

(Yetişkin) eğitim ve öğretimindeki en kalıcı sorunlardan biri, uygulanan performansın (gerçek işleri yapan gerçek kişilerin) öğrenme çıktılarıyla ne kadar ilişkili olduğunu yeterince anlamamasından kaynaklanmaktadır. Zorluğun bir kısmı, yetkinlik, yeterlilikler ve öğrenme çıktıları arasındaki farklılıkları anlamaktan geçmektedir. Yetkinlik, bir kişi, takım veya kuruluşa özgü gizli bir özelliktir. Doğrudan değerlendirilemez. Diğer yandan, yetkinlikler, bilgi kümeleri, beceriler, tutumlar, özellikler ve yeterliliği ifade etmeye çalışan diğer özelliklerdir. Buna karşılık, bu yetkinlik tanımları iş gereksinimlerini ifade etmek veya eğitim ve öğretim için öğrenme çıktılarını tanımlamak için de kullanılabilir. (Yetkinlik temelli öğrenmeyle ilgili daha fazla bilgi için Bölüm 13’e bakınız)

Ne yazık ki, belirli bir faaliyet ne kadar yüksek seviyeli bilişsel ve sosyal-duygusal yetkinliği gerektiriyorsa, örneğin, kişisel iletişim veya liderlik becerileri gibi, bileşenlerinin belirlenmesi, tanımlanması ve değerlendirilmesi o kadar zordur. Benzer şekilde, pratik yeterlilik, farklı zorlukların (konu uzmanlığı ile birlikte empati ve iletişim becerileri gibi) etkileşimini gerektirmektedir; bu da zorluk yaratmaktadır.

Bu klasik ” buz dağı sorunu”. Örneğin, patronunuzun işiniz için önemli olduğunu düşündüğü yetenekler, en görünür yönlerine bağlanırken, işinizin daha az görünür, daha az iyi tanımlanmış yönlerden oluşan başka bir kümeyi de içerdiğini biliyorsunuz. Aynı durum, bir istihdam bağlamı dışında da geçerlidir; birini yaşam için hazırlayan veya toplumumuzun iyi bir üyesi olan bu yetenekler karakterize etmek, tasvir etmek ve ölçmek için problemlidir.

Özetle, bir değerlendirmenin amacına dair net bir görüşe sahip olmak, verimliliğini de arttırma yolunda ilk adımdır. Gerçek amaç analiz edilmelidir: En anlamlı şeyleri mi ölçmeliyiz yoksa en kullanışlı olanı mı? Değerlendirme sistemi gerçek dünyadaki yeterlilikleri yeterince ele aldı mı ve değerlendirmeler bunları gerçekçi bir şekilde ölçmek için yeterli genişlik ve derinliğe sahip mi? Son olarak, öğretimi iyileştirmek için değerlendirme sonuçlarının kullanıldığına dair ne gibi kanıtlar var? İkinci soruya göre, değerlendirmelerden elde edilen sonuçlar öğretim uyarlamalarını veya kurumsal kararları şekillendirebilirler ve özellikle öğrenenler, öğretmenler, eğitmenler ve kuruluşlar için değerli geri bildirimler üretmek için kullanılabilir.

ÖĞRENENLERİN DEĞERLENDİRMELERE NEDEN İHTİYAÇLARI VAR

Doğaları gereği, değerlendirmeler öğrenmeyi etkilemektedir. Bireyler test edileceklerini bildikleri taktirde davranışlarını değiştireceklerdir ve değerlendirmeyi tamamlamak, öğrenenlerin bilgi ve becerilerini hatırlamalarını ve kullanmalarını teşvik eder. Ancak, bir değerlendirmeden toplanan kanıtları kullanarak gerçek anlamda daha fazla değer elde edilmektedir. Ne yazık ki, çoğu zaman veri yığınları, bunların herhangi bir pratik kullanımı olmadan üretilir.

1. Kullanışlı Geri Bildirim

Değerlendirmeye verilen geri bildirimin kıymeti pek bilinmez ve yüksek kaliteli geri bildirimi oluşturan bileşenler genellikle yanlış anlaşılır. En temel düzeyde, kaliteli geri bildirim, bir öğretim sisteminin döngüyü (loop) kapatmasını (tam döngüye girmesini) sağlarken, aynı zamanda öğrenenlere ve organizasyonlara gelişim süreçlerini iyileştiren veriler sağlar. Royce Sadler, biçimlendirici değerlendirme konusundaki geniş çapta alıntı yaptığı makalede şunları gözlemlemiştir:

Eğer bilgiler basitçe kaydedilip, sonucu değiştirmek için bilgi veya güce sahip olmayan veya uygun eyleme yol açacak kadar derin kodlanmış (ör., öğretmen tarafından verilen bir özet not olarak) üçüncü bir tarafa aktarılırsa, kontrol döngüsü kapatılamaz ve “muallaktaki veriler” etkin bir geri bildirimin yerini alır.

Sadler’in alıntısındaki “kontrol döngüsü”, belirli bir kapasitenin gerçek seviyesi ile istenen düzeyi arasındaki boşluğu yinelemeli olarak kapatmak için kullanılan bir müdahale olarak, öğrenmeyi bir döngü ve geri bildirim olarak kavramsallaştıran sistem kontrol işleviyle ilgilidir. Öğretme ve öğrenmenin bazı yönlerini anlamlı bir şekilde şekillendirmeyen ya da bu ilerlemeye yardımcı olamayan değerlendirme sonuçları “muallaktaki veriler” olarak değerlendirilir.

“Geribildirim” terimi sadece belirsiz değil, aynı zamanda yanlış bir isimlendirmedir. Ölçme ve Değerlendirme uzmanı Dylan Wiliam, bunun dikiz aynasına bakmaktan ziyade ön camdan manzarayı seyretmeye daha uygun göründüğünü vurgulamaktadır. Performans gözlemlerine veya tavsiyesine, yansıtıcı bilgi istemlerine ve sorulara ya da bir birey veya grupla ilgili diğer bilgilere atıfta bulunabilmekte ve geçmiş, mevcut veya gelecekteki performansı ifade edebilmektedir.

Öyleyse, öğretmenler ve eğitmenler doğru ve ilgili geri bildirimde bulunduğu sürece, zorluk nedir? Anahtarı tekrar ortaya çıkaran yen Sadler oldu: Geri bildirim, örnek niteliğinde, faydalı ve bir öğretim döneminde yeterince erken teslim edilmiş olsa bile, bir katılımcının geri bildirimi uygulamada sorun yaşamasının birkaç nedeni olabilmektedir. İlk olarak, öğrenilen kişi ile gerçekleştirilen işle amaçlanan arasındaki çizgi bulanık olabilmektedir; bireyler, eğitmenlerin kusurlu iş olarak görebildiği yerlerde potansiyel görebilir. İkincisi, öğretim göreviyle ilgili terminoloji veya kriterler yeterince anlaşılmayabilir. Üçüncüsü, öğrencileri örtük bilgiyi kavramada başarısız olabilirler. Örneğin, “bu daha önceki yaklaşımları mantıksal olarak tamamlar” gibi ifadeler, vasatın altındaki dile ait ayırt edici özellikleri tanımayan öğrenciler için bir anlam ifade etmez: onlara göre gayet mantıklı geliyor. Son olarak, öğrenenler çoğu zaman öğrenmeyi sürdürmek için önerileri yeterince hızlı bir şekilde pekiştiremez ve uygulayamazlar. Öyleyse, etkili bir geribildirim sağlayıcısı olmak için öğretmen ve eğitmenler, öğrencilerin öğrencilerin işle ilgili görüşlerini, zorluklarını ve öğrenmede boşluklarını daha iyi anlamaları gerekmektedir. Ayrıca, öğrenme kolaylaştırıcılarının, öğrenenlerin öz değerlendirmelerini ve akran değerlendirmesini uygulamaları akıllıca olacaktır, çünkü her ikisi de bu ihtiyaçların karşılanmasında uzun bir yol kat ettirebilmektedir.

Daha kapsamlı ve uygun geri bildirimin yaratılması için bir başka model, John Hattie ve Helen Timperley’nın çalışmalarını temel almaktadır. Onlar öğrenenlerin performanslarıyla ilgili olarak cevaplandırması gereken üç soru olduğuna inanmaktadırlar. Öncelikle, “Nereye gidiyorum?” sorusuna cevap veren performans hedefi hakkında bilgiye ihtiyaçları vardır. Bu, belirli ve anlaşılır başarı ölçütlerini içerir ve “beslenme” aşaması olarak adlandırılır. Bunu, “Nasıl gidiyorum?” sorusunun yanıtlandığı “geri bildirim” aşaması takip eder. Son olarak, soru “Sıradaki nereye?” Bu son aşamaya “ileri besleme” denir ve uygulamalı öğrenme ve geliştirme için muhtemelen en kritik dönemeçtir. Hattie ve Timperley ayrıca geri bildirim için dört hedef belirler: görev hakkında geri bildirim, görevin işlenmesi, öz düzenleme ve kişi olarak kendisi hakkında geri bildirim. Üç soru, bu kategorilerin her birine uygulanır ve bu on iki hedef birlikte öğrenenin geri bildirimi için faydalı, sezgisel bir katalog haline gelir.

2. Kanıta Dayalı Sistemler

Eğitim ve öğretimin özellikleri, gelecekteki öğrenme ekosistemi kavramının sağladığı imkânlarla geliştikçe, yeni değerlendirme ve geri bildirim modelleri daha kolay desteklenebilmektedir. Örneğin, yeni medya cihazları, giyilebilir algılayıcılar ve Nİ cihazlarının çoğalması buna bağlı olarak bir veri bolluğu yaratmıştır. Bu yeni donanım araçları olmadan bile, birinin faaliyetleri (ör., bir sosyal medya uygulamasında veya bir e-ticaret sitesinde) ürkütücü bir hassasiyetle izlenebilmektedir. Bu verilerin ortaya koyduğu gibi bir bireyin davranışlarını analiz ederek, eski değerlendirmelerle hayal bile edilemeyecek şekillerde tutumlarını ve yeteneklerini daha iyi anlamaya başlayabiliriz.

Valerie Shute vd. kanıt merkezli tasarım ilkeleriyle doğrudan ve örtük bir şekilde bir uygulama ortamının dokusuna dâhil edilen iç içe geçmiş değerlendirmeleri içeren “saklı değerlendirme” kavramını popüler hale getirmiştir. Örneğin, saklı değerlendirmeyi popüler bir video oyununa (Plants vs. Zombies 2) dâhil ettiler ve oyuncu etkileşimlerinden problem çözme becerilerinin ölçütlerini çıkartabiliyorlardı. Bu yaklaşımı uygulamalı, yetkinlik temelli değerlendirmeler için, özellikle kalıcılık, yaratıcılık, öz yeterlik, açıklık ve ekip çalışması gibi değerlendirilmesi zor olan bazı eğreti tanımlanmış yetenekler için tavsiye etmişlerdir.

Geribilidirim

Shute vd. değerlendirmenin örtük olmasını ya da bireyleri farkında olmadan değerlendirilmemesi tavsiye etmektedirler daha ziyade “örtük” terimi, ile ölçümün harici bir faaliyetten ziyade doğası gereği bir görev içinde yer aldığı ölçümün zorlamadan dâhil etmeyi vurgulamaktadır. Örtük değerlendirmenin diğer iki özelliği, sürekli (tek nokta birikim testin aksine) ve olasılığa (iyi tanımlanmış doğru ve yanlış cevaplara sahip standartlaştırılmış sınavlar tarafından sıkça kullanılan önceden tanımlanmış kriterlerin aksine) olmasıdır.

Örtük değerlendirme, çeşitli veri odaklı analiz yöntemleri ile desteklenebilir veya başka şekilde bilgilendirilebilir. Bu kitabın 9. bölümünde tartışıldığı gibi, öğrenme analtiği ve eğitsel veri madenciliği bu tür iki yaklaşıma örnektir. Stanford Üniversitesi Profesörü Candace Thille, benzer teknolojilerin e-ticareti dönüştürme biçimine paralellikler getirmektedir: Şirketler, satın alma alışkanlıklarını tahmin edebilir, hedefli reklamları kullanabilir ve işletmelerini sürekli olarak geliştirmek için sık sık A / B testi uygulayabilir. Grup veya türe göre öğrenen ihtiyaçlarını ortaya çıkarmak, öğrenmeyi bireysel ihtiyaçlara ve özelliklere göre kişiselleştirmeye yardımcı olmak veya belirli bir derste hangi kişilerin başarılı olacağını tahmin etmeye yardımcı olmak için öğrenmeye benzer yetenekler uygulanabilmektedir.

“Bu teknolojinin en büyük gücü, bu etkileşimleri inşa edebilmemiz, öğrencilerin etkileşimleri ile ilgili verileri toplayabilmemiz ve bunu öğrenme sisteminde çok güçlü geri bildirim döngüleri oluşturmak için kullanmamızdır”. –Candace Thille

 

Bununla birlikte, gizli değerlendirme, öğrenme analitiği ve eğitsel veri madenciliği, Sadler’in bahsettiği “muallaktaki veri” sorunundan mustarip olabilmektedir. Başka bir deyişle, birinin problem çözme yeteneğini, örneğin, gelişimini desteklemek için adımlar atmadan ve hatta değerlendirme sonuçlarını öğrenene iletmeden tahmin etmek mümkündür. İdeal olanı, bu tür veriler yalnızca harici yargılarda bulunmak için kullanılmamalıdır. Sonuçlar işe koşulmalı, bireylere ve kuruluşlara hedeflerine daha iyi ulaşmaları için yardımcı olmalıdır. Bu aynı zamanda sadece otomatik kişiselleştirme veya YZ tabanlı uyarlamayı şekillendirmek amacıyla verileri kullanmak anlamına gelmemektedir.

Otomasyonun giderek artan kullanımıyla, öğrenenleri, öğretmenleri ve eğitmenleri etkisiz hale getirme ve cesaretlerini kırma risk altındadır. Muazzam potansiyellerine rağmen, otomasyon sistemler yalnızca en zayıf halkaları kadar güçlüdür; bu da çoğu zaman kullanıcı ara yüzü ve kullanıcı deneyimidir. Bugün bile, tartışmasız daha basit zamanlarda, bilgisayar destekli öğretim kullanıcı ara birimi / kullanıcı deneyimi tasarım zorlukları, dağıtım aracı uyumsuzlukları ve öğrenenlerin ilgisiz olduğunu düşündüğü değerlendirmelerle karşı karşıyadır. Yeni teknolojiler daha sık ve daha iyi uyarlanmış değerlendirmeleri mümkün kılarken, öğrenenlere ve eğitmenlere değerlendirmeleri, geribildirimleri ve sonraki müdahale tavsiyelerini anlama ve kullanma gibi yeterli etkileşim ilişkilerini sunmakta başarısız olduklarında nispeten anlamsız kalabilmektedirler.

3. Öğrenen Özerkliği

Athabasca Üniversitesinden Profesör Jon Dron, burada alakalı olabilecek bir işlem tabanlı kontrol teorisi ortaya koymuştur. Bu Michael Moore’un iyi bilinen bir yaşantısal uzaklık teorisi üzerine kuruludur; bu temelde bir kişinin bir e-öğrenme bağlamında hissettiği göreceli “uzaklığın”, öğrenenler ve öğretenler arasındaki fiziksel uzaklıktan ziyade, içindeki etkileşim oranı ve yapılandırmaya dayandığını gösterir.

Dron, işlem mesafesi teorisini, kontrollerin veya seçimlerin öğretmenler ve öğrenenler tarafından ne ölçüde yapıldığını vurgulamak için genişletmiştir. Temel fikir, esnekliğin, kontrolün müzakere edilmesi (veya “diyalog”) ve özerkliğin, öğrenme bağlamlarında çok önemli olmasıdır.. Çözüm öğrenenlerin (eğitmenlerin) özerkliğini kısıtlamak kadar basit değildir; aksine incelikli ve kontrollü bir yaklaşıma, ihtiyaç bulunmaktadır. Dron’un açıkladığı gibi:

Çoğu öğrenme işlemi, öğrenenin veya daha sık olarak öğretmenin kontrolüne yönelir. Öğrenenin bakış açısına göre, onu etkin bir şekilde kullanma gücü olmadan kontrolün verilmesi kötüdür: öğrenenler, tanım gereği, öğrenme yörüngelerinin en azından bazı yönleri hakkında etkili kararlar alabilmek için yeterince bilgi sahibi değildir. Öte yandan, çok fazla öğretmen kontrolü kötü bir şekilde uyarlanmış öğrenme deneyimlerine yol açacaktır bunun sonucu olarak da öğrenen sıkıntı, motivasyon kaybı veya kafa karışıklık yaşayacaktır. Diyalog genellikle problemlerin en iyi çözüm yoludur ve sürekli bir denetim müzakeresi yapılmasını sağlar, böylece bir öğrenenin ihtiyaçları karşılanır… İdeal olan, öğrencinin bir öğrenme işleminin herhangi bir noktasında kontrolü devredip devredemeyeceğini ve ne zaman devredeceğini seçmesidir.

Önemli bir çıkarım şudur ki, öğrenenlere katılımlarını sürdürmek, kendi bilgi ve becerilerini inşa etmek ve öz düzenleme yeteneklerini geliştirmek için yeterli özerklik sağlanmalıdır. Öğretmen kontrollü (veya yapay zekâ kontrollü) öğrenme ile öğrenen denetimli kargaşa arasında doğru dengeyi kurmak çok önemlidir. Dron’un alıntısının vurguladığı gibi, mümkün olduğunca müzakere kontrolünü tercih eden sistemler tercih edilmektedir. Gelecekteki öğrenme ekosisteminde bu, kontrolün bireysel ve toplu öğrenenler, öğretmenler ve otomatik sistemler arasında nasıl dağıldığını değerlendirmemizi istemektedir.

ÖNERİLER

Değerlendirme ve geri bildirim ilkelerinin yanı sıra yeni teknolojilerin sağladığı fırsatların (ve zorlukların) yanı sıra, gelecek için değerlendirme ve geri bildirimle ilgili göz önünde bulundurulması gereken birkaç ilke bulunmaktadır.

1. HER ŞEYDEN ÖNCE ÖĞRENEN MOTİVASYONUNU YÜKSELTİN, Öğretim tasarımcıları, değerlendirme faaliyetleriyle ilgili olarak öğrenenlerin ilgi ve motivasyonlarını geliştirmek için çabaladıkları sürece, mükemmel değişim aracılarıdır. İyi tasarlanıp uygulandığında, değerlendirmeler öğrenenlerin kavramları, iletişim becerilerini, konu alanı uzmanlığını, yargılarını ve yeteneklerini geliştirmek için zengin fırsatlar sağlar.

2. DEĞERLENDİRME VE GERİ BILDIRIM ÖĞRENEN ODAKLI YAPIN. Öğrenenler sadece pasif gemiler değil, motive edildiklerinde faydalı geri bildirim arayan aktif katılımcılardır. Eğitimciler ve eğitmenler değerlendirmeyi onların gözleriyle görmeye çalışmalıdırlar. Değerlendirme başarısı, öğrenenin katılımına bağlıdır (eğitim ve öğretimdeki her şeyde olduğu gibi). Yapay Zekâ sistemlerinin öğrenme önceliklerini, içeriğini ve sırasını belirleme yeteneğine sahip olduğu hayali bir gelecekte bile, öğrenenlerin aktif bir şekilde etkileşime girmeleri, açık geri bildirimler vermeleri ve kendi öğrenmeleri için kurum kazanmaları gerekecektir.

3. ÖĞRETİM VE DEĞERLENDİRMEYİ BİRLİKTE DEĞERLENDİRİN. Öğretim ve değerlendirmenin gerçek anlamda simbiyotik bir ilişkisi vardır; ayrılmaz bir şekilde bağlantılı ve etkileşimlidirler. Dersler, modüller ve eğitim kursları boyunca çeşitli değerlendirme faaliyetleri yerine getirilmelidir. Buna rağmen, değerlendirmeler her zaman göreli öneme sahip olmaları bakımından farklılık gösterecektir ve bu olması gerektiği gibi olacaktır: Bir değerlendirmenin, eğitimin genel amacını yerine getirme derecesi, toplumsal olarak inşa edilmiş değere sahip olduğu dereceyi temsil eder.

image

image

KONSER İÇİN ÇALIŞAN BİLGİSAYARLAR VE İNSANLAR: Arizona Eyalet Üniversitesinde, 3000 öğrenciyi Kolej Cebiri gibi çok büyük giriş kurslarımız var. Yaklaşık 5 yıl önce, uyarlanabilir bir genel eğitim yapısı oluşturduk. Kolej Cebinin yaklaşık 13 modülü var ancak öğrenciler erken bitirirlerse kursun esnek versiyonuna kayıt olabilirler; tamamen ücretsizdir ve kursiyerlere ikinci dönem için kredi olarak eklenir. Her öğrenenin hangi dersleri almaya hazır olduğunu belirlemek için öğretim, uyarlamalı test ve uyarlamalı yerleştirme için ALEX adlı bir program kullanıyoruz (Cebir, Precalculus veya Matematik). ALEX mükemmel olmayabilir; bazen birileri üniversite dersine alır daha ilk ayda tamamlar; olsun bu güzel bir şey aslında! Bunun bir boyutu daha var ancak iyi ölçeklenmedi: Öğrenciler ayrıca, öğretim asistanlarını koçluk yaptığı ve sınava girecekleri sınıfa katılmaları gerekiyor. Her hafta, daha karmaşık problemleri olan küçük gruplar halinde çalışırlar ve işbirlikçi problem çözme önemli bir beceri olduğu için grup olarak puanlanıyorlar. O günlerde öğrenciler aktif ve gürültücü oluyorlar! ama bu durum onların derse katılmalarına yardımcı oluyor. Onların lisans öğrenenleri olduğuna unutmayın; bu nedenle, yüz yüze dersler aynı zamanda bir miktar klinik danışmanlık aracı olarak da işlev görür. Asistanlar mentora yardım eder ve zorluk çeken öğrenciler bulurlarsa onları bir danışmana yönlendirebilirler. Danışma personeli için de web tabanlı bir sistemimiz var. İlk kez birinci sınıf okuyacak olan öğrenenlere yardım etmek istiyoruz!

Prof. Dr. Kurt VanLehn’in İzniyle, Bilgi İşlem, Bilişim ve Karar Sistemleri Mühendisliği, Arizona State University

 

4. TOPLANAN VERİ TÜRLERİ DEĞİŞTİRİN. Öğrenme için işlevsel bir değerlendirme sistemi eklektik olmalı, nicel, nitel, tahmini ve kestirime dayalı veri türleri gibi çeşitli ölçüleri içermelidir. Bu yaklaşım, ölçüm hedefinin sosyal bilim alanın uygundur. İleriye baktığımızda, bağlantılı öğrenme ekosisteminin vizyonu ortaya çıktıkça, çok çeşitli kaynaklardan gelen değerlendirme kanıtları toplanabilir, kalıcı öğrenen profillerinde saklanabilir ve toplu olarak incelenebilir. Bu, çeşitli bilgi, beceri, tutum ve diğer özelliklerin yanı sıra yerinde yeterliliklere daha fazla ışık tutmaya başlayacaktır­.

5. AKICILIK YANILSAMASI RİSKİNİ AZALTIN. Bugün, en değerli değerlendirmelerimiz genellikle uygulama ve çalışma bağlamlarından önemli ölçüde farklılık gösteren sonuç performanslardır (ör., final sınavları, resmî sunumlar, final projeleri, profesyonel portföyler). Bu tutarsızlık, kişilerin akıcılıklarının (ya da becerileri hatırlama ve uygulama yeteneğinin) uygulama ayarlarında performans senaryolarına çevrileceğini düşünerek yeteneklerini yanlış değerlendirdikleri bir “akıcılık yanılsaması” yaratabilir. Bunu hafifletmek için, öğrenenler zaman içinde ayrılan, yerlerin bir karışımında veya farklı koşullar altında gerçekleşen ve sorunları veya içerik öğelerini karıştıran özel bir şekilde dizilen ön testler veya deneme performansları gibi uygulama değerlendirmeleri için fırsatlar isterler (eğitimciler ve psikologlar tarafından “eklenmiş” uygulama olarak adlandırılır).

6. MÜFREDAT İÇİN ÖNCEDEN PLAN YAPIN. İyi bir değerlendirme, öğretim tasarımı sürecinin çok erken dönemlerinde planlanır ve eğitim sonrası başarının neye benzediğini hayal ederek başlar. Sonuçlar ve değerlendirmeler, öğretimin “iskeleti” gibidir ve önce inşa edilmelidir, böylece dersler onların etrafında yapılandırılabilir. Bu süreç, geriye dönük değerlendirme tasarımı olarak adlandırılır. Değerlendirmenin yardımcı bir kaygıya aktarılması tipik olarak, ilgilenilen belirli öğrenme hedefiyle ilgili olmayan ölçüm başarılarının olasılığını artırarak geçerliliği riske sokar.

7. GERİ BİLDİRİMİ ÖĞRENME TASARIMIYLA BÜTÜNLEŞTİRİN. Değerlendirmede olduğu gibi, geribildirim yaklaşımları da öğretim tasarımı sürecine erken dâhil edilmelidir. Eğitmenler ve öğrenenler arasında bir diyalog olarak geri bildirim oldukça verimli olsa da öğrenenler birden fazla kaynaktan geri bildirim alabilirler (ve sıklıkla alırlar). Bu çok yönlü ve dağıtık geri besleme döngülerinin öğretim tasarımına nasıl uyduğunu planlama gerektirmektedir. Özellikle otomasyonun yaygınlaşması ve bireylerin öğrenme kontrolünü ve şeffaflığını azaltma tehdidi oluşturmasıyla birlikte, açık ve dikkatli çabalara ihtiyaç duyulmaktadır. İyi geri bildirim tasarımı, öğrenenlerin zamanında, eyleme geçirilebilir ve ihtiyaçlarına göre özelleştirilmiş yararlı bilgiler almasını sağlamaktadır.

8. SİSTEMİK DEĞİŞİM PLANI. Değerlendirmenin en zorlu yönü, genellikle tüm parçaların birbirine nasıl uyduğunu anlamak için gerekli olan araştırmadır: Öğretici tasarım, sunum, değerlendirmeler ve ölçüm verileri bir grup veya birey için bir öğrenme deneyiminin nasıl olduğunu ve bu deneyimleri sistematik olarak nasıl geliştirebileceğimizi nasıl anlıyor? Örgütsel olarak, değerlendirme sonuçlarının kullanılmasına neden olan bir zorlama işlevi veya mekanizması olmalıdır. Ancak, öğretmenler ve eğitmenler veya otomatik sistemler bu kararları tek başına vermemelidir. Kıyaslama esasına cevaben harekete geçmek önemlidir fakat aynı derecede kritik olan, öğrenenleri bu denkleme nasıl getireceğinizi düşünmektir.

Sonuç

Öğretme pratiği ile tıp pratiği arasında daha sık karşılaştırmalar yapmamamız garip. Her ikisi de yoğun miktarda beceri, profesyonel gelişim ve tutarlı uygulama gerektirir. Değerlendirme uzmanı Dylan Wiliam’ın dediği gibi: Öğretmenlerin mesleki gelişime ihtiyacı var çünkü öğretim işi o kadar zor, o kadar karmaşık ki, bu konuda ustalaşmak için bir ömür yeterli değil. Öğretimde değerlendirmede uzmanlaşmak, acil serviste triyaj becerilerinde ustalaşmak gibidir, çünkü başarılı müdahale her bireyin benzersiz durumunun başarılı bir şekilde değerlendirilmesine bağlıdır. Evet, hayatta kalmamızın ve gelecekteki başarımızın büyük bir kısmı etkili yetiştirme ve öğretim almaya bağlı olduğundan, kişinin öğrenme ihtiyaçları çoğu zaman (en azından teorik anlamda) birçok sağlık ihtiyacı kadar acildir. Belki de neredeyse hepimiz koç, iş yeri çıraklarına eğitmen veya kendi çocuklarımıza öğretmen olduğumuz için, öğretim süreci bir yerlerde gizemini kaybetmiş olabilir. Umarım, daha net bir vizyon, gizemi takdir etmemize, biraz coşkuyu yeniden kazanmamıza ve öğrencilerimizi yükseltmek ve motive etmek için daha etkili ve amaçlı bir şekilde çalışmak için değerlendirmeleri yeniden tanımlamamıza ve yeniden tasarlamamıza yardımcı olabilir.

Kaynakça

1 NOT: Bu bölümde ifade edilen görüşler tamamen yazarın, Metis Solutions yüklenicisinin görüşlerine aittir ve ABD Hükûmeti Savunma Bakanlığının, ABD Özel Operasyonlar Komutanlığı veya Ortak Özel Operasyonlar Üniversitesinin görüşlerini, politikasını veya pozisyonunu yansıtmayabilir.
2 Shute, V. & Ventura, M. (2013). Stealth assess-ment: Measuring and supporting learning in video games. Boston, MA: MIT Press.
3 Hattie, J. (2009). Visible learning: A synthesis of over 800 meta-analyses relating to achievement. Abingdon, UK: Routledge. Bk., sayfa 24.
4 Hatfield, S. (2009). Assessing your program-level assessment plan. Number 45 in IDEA paper series. Manhattan, KS: IDEA Center. See page 1.
5 Sadler, D.R. (1989). Biçimlendirici Değerlendirme ve öğretim sistemlerinin tasarımı. Instructional Science, 18, 119–144. Sayfa 121’e bakın.
6 Sadler, D.R. (2010). Beyond feedback: Developing student capability in complex appraisal. Assess-ment & Evaluation in Higher Education, 35(5), 535–550.
7 Hattie, J. & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81–112.
8 Gizli değerlendirme örnekleri için bakınız: Shute, V. ve Spector, J. M. (2008). SCORM 2.0 white paper: Stealth assessment in virtual worlds. Unpublished manuscript. age Shute & Ventura (2013). Son Not 11-2.
9 Thille, C. (2015, November 19). Büyük veri, öğrenme bilimi, analitik ve eğitimin dönüşümü [Video dosyası]. Stanford Üniversitesi, İş birliği ve Üretkenlik için medya X konferans Platformlarında sunulmuştur. https://youtu.be/cYq-s0Ei2tFo
10 age Thille (2015). Son Not 11-9 Son Not 9.
11 Dron, J. (2007a). Designing the undesignable: Social software and control. Educational Technology and Society, 10(3), 60–71. Dron, J. (2007b). The teacher, the learner and the collective mind. AI & Society, 21, 200–216
12 age Dron (2007a). Sonnotlar 11-11. Bk. sayfa 61.
13 age Hattie & Timperley (2007). Son not 11-7
14 Scott, S. (2013). Practicing what we preach: To-wards a student-centered definition of feedback. Teaching in Higher Education, 19(1), 49–57.
15 Boud, D. & Molloy, E. (2013a). Feedback in higher and professional education: Understanding it and doing it well. Abingdon: Routledge.Boud, D. & Molloy, E. (2013b). Rethinking models of feedback for learning: The challenge of design. Assessment & Evaluation in Higher Education, 38 (6), 698–712.
16 Akıcılık yanılgısı, bir beceriyi hatırlama ve uygulama kolaylığının öğrenme düzeyiyle karıştırılmasıdır.
17 Carey, B. (2014). How we learn: The surprising truth about when, where, and why it happens. New York: Random House
18 Wiggins, G. & McTighe, J. (2005). Understanding by design, 2nd edition. Alexandria, VA: Association for Supervision and Curriculum Development
19 Michael, N. & Libarkin, J. (2016). Understanding by design: Mentored implementation of back-ward design methodology at the university level. Bioscene, 42(2), 44–52. Reynolds, H. & Kearns, K. (2017). Üniversite sınıfında geriye dönük tasarım, aktif öğrenme ve otantik değerlendirme dâhil etmek için bir planlama aracı. College Teaching, 65(1), 17–27
20age Boud & Molloy (2013b). Son not 11-15. Hattie & Timperley (2007). Sonnotlar11-7. 20 Wiliam
21 William, D. (2018). Embedded formative feedback. Bloomington, IN: Solution Tree Press. Bk., sayfa 29.

Yazar hakkında

Metis Solutions Yüklenicisi

Lisans

 Creative Commons Atıf-Gayri Ticari-Türetilemez 4.0 Uluslararası Lisansı için ikon

Öğrenmeyi Modernleştirmek Copyright © 2019 by J.J. Walcutt & Sae Schatz (veya İDÖ Girişimi) ve Açıkkitap is licensed under a Creative Commons Atıf-Gayri Ticari-Türetilemez 4.0 Uluslararası Lisansı, except where otherwise noted.