Bölüm 14 ÖA ve EVM’de Verilere Dayalı Öğrenci Geri Bildirimi Sağlama

Abelardo Pardo ¹, Oleksandra Poquet ², Roberto Martfnez – Maidonado ³, Shane Dawson²

¹ Bilgi İletişim ve Mühendislik Fakültesi, Sidney Üniversitesi,Avustralya

²Öğretim İnovasyon Birimi, Güney Avustralya Üniversitesi, Avustralya

³Bağlantısal Zekâ Merkezi, Teknoloji Üniversitesi Sydney, Avustralya

DOI: 10.18608/hla17.014

ÖZ

Öğrenme analitiği (ÖA) ve eğitsel veri madenciliği (EVM) alanları, öğrenme ortamları hakkındaki bilgileri geliştirmek ve öğrencilerin genel deneyim kalitesini artırmak için verilerin kullanımını araştırmaktadır. Her iki disiplinin odak noktası, öğretim tasarımı, özel ders verme, öğrenen başarısı, duygusal esenlik vb. İle ilgili geniş bir yelpazeyi kapsar. Bu bölüm, bu disiplinlerden elde edilen bilgileri, öğrencilere geri bildirim sağlama konusundaki mevcut araştırmalar ile birleştirme potansiyeline odaklanmaktadır. Geribildirim, bir öğrenme senaryosunda önemli iyileştirme sağlayabilecek faktörlerden biri olarak tanımlanmıştır. Geri bildirimi karakterize eden sağlam bir çalışma topluluğu olmasına rağmen, öğrenenler hakkındaki her yerde bulunan verilerin varlığı ile bir araya gelmek, yeni veri odaklı öğrenen destek eylemlerini keşfetmek için verimli bir zemin sunar.

Anahtar Kelimeler: Uygulanabilir bilgi, geri bildirim, müdahaleler, öğrenen destek eylemleri

Son yirmi yıl boyunca, eğitim uygulaması birçok cephede önemli ölçüde değişmiştir. Buna eğitim politikasındaki değişimler de dâhildir, teknoloji zengini öğrenme alanlarının ortaya çıkışı, öğrenme teorisindeki gelişmeler ve kalite güvencesi ve değerlendirmesinin uygulanması, bunlardan birkaçıdır. Bu değişikliklerin tümü, çağdaş öğretim uygulamasının şimdi nasıl uygulandığını ve somutlaştırıldığını etkilemiştir. Eğitim alanındaki çok sayıda paradigma kaymasına rağmen, öğrenenin öğrenmesini teşvik etmede geri bildirimin kilit rolü, etkili öğretim olarak kabul edilenler için temel olmaya devam etmiştir. Ayrıca, eğitimin kitleselleşmesiyle hem öğretmenlere hem de öğrenenlere gerçek zamanlı geri bildirim ve eyleme geçirilebilir içgörüler sağlama ihtiyacı giderek daha da artmaktadır. Eğitim dijital teknolojileri benimsediğinden, bu tür teknolojilerin kullanılmasının öğrenenin öğrenmesine daha fazla yardımcı olacağı, onları teşvik edeceği ve sosyo-kültürel ve ekonomik eşitsizlikleri ele alacağına ilişkin yaygın bir varsayım vardır. Bu pozitivist ideal, daha kişiselleştirilmiş ve uyarlanabilir öğrenme yolları oluştururken, eğitime erişilebilirliği artırmak için teknolojilerin benimsenebileceği fikrini yansıtmaktadır.

Bu bağlamda, öğrenme analitiği (ÖA) ve eğitsel veri madenciliği (EVM) alanları eğitim ile doğrudan ilişkilidir. ÖA ve EVM, daha etkili öğretim uygulamaları geliştirmek için öğrenme süreçlerini daha iyi anlamayı amaçlamaktadır (Baker ve Siemens, 2014). Öğrencinin ilerlemesi hakkında geri bildirim sağlamak için çeşitli teknolojilerle öğrenen etkileşimlerinden gelişen verilerin analizi, ÖA ve EVM çalışmalarının merkezinde yer almıştır. Bu bölümde, geri bildirimin öğrenenin öğrenmesini etkileyen en güçlü itici güçlerden biri olduğunu savunuyoruz. Bu nedenle, öğrenme deneyiminin genel kalitesi, bir öğrenenin aldığı geri bildirimin uygunluğu ve belirginliği ile derinden iç içedir. Ayrıca, geri bildirim sağlama, değerlendirme yaklaşımları (Boud, 2000), öğrenme tasarımı (Lockyer, Heathcote ve Dawson, 2013) veya öğrenenlerin öz yönetimini teşvik etme stratejileri gibi bir öğrenme deneyiminin diğer yönleriyle yakından ilgilidir. (Winne, 2014; Winne ve Baker, 2013). Bu bölümdeki tartışmanın çoğunluğu tüm eğitim alanlarına uygulanabilse de inceleme ağırlıklı olarak ortaöğretim sonrası eğitim ve mesleki gelişim üzerine odaklanmaktadır.

ÖĞRENMEDE VERİ GÜDÜMLÜ GERİ BİLDİRİMİN ROLÜ

Geri bildirim ile ilgili tartışmalar genellikle bir değerlendirme ve öğrenen başarısı etrafında gerçekleşir (Black ve Wiliam, 1998; Boud, 2000). Bu bağlamda, geri bildirimin birincil rolü, öğrenenin bir değerlendirme maddesinin tamamlanmasıyla tespit edilen (algılanan) açıkları gidermesine yardımcı olmaktır. İronik olarak, değerlendirme puanları ve öğrenci başarısı verileri aynı zamanda politik öncelikleri ve gündemleri yönlendirmek için bir araç haline gelmiştir ve aynı zamanda kalite güvence şartlarında göstergeler olarak kullanılmaktadır. Özünde değerlendirme, kalite güvencesini ölçmek ve rekabetçi sıralamaları oluşturmak için bir araç olduğu kadar, öğrenmeyi teşvik etmek için kullanılan iki ucu keskin bir bıçaktır (Wiliam, Lee, Harrison ve Black, 2004). Kalite güvencesi için değerlendirmenin önemini kabul ederken, özellikle biçimlendirici değerlendirme ile ilgili genellikle geri bildirimin değerine veya sadece belirlenmiş öğrenme görevlerini öğrenenin tamamlamasının bir bileşeni olarak odaklanırız. Bu nedenle, bu bölüm, geri bildirim mekanizmalarına odaklanarak değerlendirme uygulamalarının özünün dönüşümünü kolaylaştırmak için öğrenen izleme verilerinden nasıl yararlanılabileceğini araştırmaktadır. Bu amaçla, öğrenme analitiği ve eğitsel veri madenciliği (ÖA / EVM) konusundaki araştırmaların geniş kapsamlı bir örneği ile örneklenen veri ile geliştirilmiş geri bildirimlerin yaratılması ve sunulmasına yönelik mevcut yaklaşımları vurgulayıp tartışıyoruz.

Teorik Geribildirim Modelleri

Eğitim bağlamlarında birleşik bir geri bildirim tanımı bulunmamakla birlikte, öğrenme üzerindeki etkilerinin çeşitli kapsamlı analizleri yapılmıştır (ör. Evans, 2013; Hattie ve Timperley, 2007; Kluger ve DeNisi, 1996). Özetle, güçlü görgül/deneysel kanıtlar, geri bildirimin öğrenenin öğrenmesini etkileyen en güçlü faktörlerden biri olduğunu göstermektedir (Hattie, 2008). Çalışmaların çoğunluğu, geri bildirimin sağlanmasının akademik performans üzerinde olumlu bir etkiye sahip olduğu sonucuna varmıştır. Bununla birlikte, genel etki büyüklüğünün değişmesi ve bazı durumlarda olumsuz bir etkiye sahip olduğu kaydedilmiştir. Örneğin, Kluger ve DeNisi (1996) tarafından yapılan bir üst analiz, yetersiz bir detay seviyesi veya verilen bilginin ilgisizliği ile karakterize edilen kötü uygulanan geri bildirimlerin öğrenen performansı üzerinde olumsuz bir etkisi olabileceğini göstermiştir. Bu durumda, yazarlar, öğrenenin geri bildirim odağı olan üç düzey arasında geri bildirime dikkat çekmiştir: görev, güdüleme ve üst görev seviyesi. Üçü de eşit derecede önemlidir ve odakta kademeli olarak değişebilir. Ek olarak, Shute (2008) geri bildirimi karmaşıklığı ile bağlantılı olarak sınıflandırmış ve olumsuz etki potansiyeli, hedef yönelimi ile bağlantı, motivasyon, bilişsel destek mekanizmalarındaki varlığı, zamanlama veya farklı öğrenen başarısı seviyeleri gibi geri bildirimin sağlanmasını etkileyen faktörleri analiz etmiştir. Shute, etkisini en üst düzeye çıkarmak için, bir öğrencinin eylemine cevap olarak verilen geri bildirimlerin, değerlendirme dışı, destekleyici, zamanında ve özel olması gerektiğini belirtmiştir.

Öğrenmeyle geri bildirimi ilişkilendiren erken modeller, büyük ölçüde, öğrenciye sağlanan bilgi türlerini tanımlamayı amaçlamaktadır. Temel olarak, bu çalışmalar farklı türdeki bilgilerin öğrencinin öğrenmesi üzerine oynayabileceği etkiyi karakterize etmeye çalışmıştır (Kulhavy ve Stock, 1989). Geri bildirimin ilk kavramsallaştırılması, öğrenmenin gerçek ve istenen durumu arasındaki açığın nasıl kapanabileceğine ilişkin öğrenme biliminin kuramsallaştırmasındaki farklılıklardan kaynaklanmıştır (bk. Tarihsel inceleme, Kluger ve DeNisi, 1996; Mory, 2004). Mory (2004)’e göre, çağdaş modeller, öğrencilerin güçlü bir beceri paketi kullandıkları görevlerle meşgul olma hallerinde olduğu gibi (Butler ve Winne, 1995) geri bildirimleri öz yönetimli öğrenme (ÖYÖ) bağlamında gören eski paradigmalar üzerine inşa edilmiştir . Bu beceriler, hedeflerin belirlenmesi, stratejilerin düşünülmesi, doğru stratejilerin seçilmesi ve bu stratejilerin hedeflere yönelik ilerleme üzerindeki etkilerinin izlenmesi, öğrencilerin başarısı ile ilişkilidir (Butler ve Winne, 1995; Pintrich, 1999; Zimmerman, 1990). Geri bildirim ve öz yönetimli öğrenme arasındaki teorik sentezlerinin bir parçası olarak Butler ve Winne (1995, s. 248), modellerine iki geri besleme döngüsü yerleştirmiştir. İlk döngü, bilişsel sistem içinde yer alır ve bireylerin kendi iç bilgilerini ve inançlarını, amaçlarını, taktiklerini ve stratejilerini izleme ve öğrenme senaryosunun gerektirdiği şekilde değiştirmelerini sağlar. İkinci döngü, bir görevle ilgilenen bir öğrenciden kaynaklanan ürün ölçülürken ortaya çıkar ve öğrenciye geri iletilen dış geri bildirimin yaratılmasını sağlar; örneğin, bir değerlendirme puanı veya bir görevin tamamlanması üzerine yorum yapan bir öğreten.

Hattie ve Timperley (2007) geri bildirim ve bunun başarıya olan etkisi üzerine en etkili çalışmalardan birini sağlamıştır. Yazarların kavramsal analizleri, bir öğrencinin performansı veya anlayışı hakkında bir aracı tarafından sağlanan bilgiler olarak geri bildirim tanımları ile desteklenmiştir. Yazarlar, kavram etrafında dile getirilen herhangi bir geri bildirimin, öğrencinin mevcut anlayışı ile istenen öğrenme hedefi arasındaki uyuşmazlığı azaltmayı amaçlaması gerektiği şeklinde bir geribildirim modeli önermiştir. Bu nedenle, geribildirim üç soru etrafında çerçevelenebilir: nereye gidiyorum, nasıl gidiyorum ve bundan sonra nereye olacağım? Hattie ve Timperley (2007), bu soruların her birinin dört farklı seviyeye uygulanması gerektiğini önerdi: öğrenme görevi, öğrenme süreci, öz düzenleme ve kişi. Öğrenme görevi seviyesi basit bir görevin unsurlarını ifade eder; örneğin, bir cevabın doğru veya yanlış olup olmadığını öğrenene bildirmek. Öğrenme süreci, farklı zamanlarda çeşitli görevler içeren genel öğrenme hedeflerini ifade eder. Öz yönetim seviyesi, öğrenme hedefleri üzerine derin düşünme, doğru stratejiyi seçme ve bu hedeflere doğru ilerlemeyi izleme kapasitesini ifade eder. Son olarak, benlik düzeyi, öğrenme deneyimi ile ilişkili olmayabilecek soyut kişilik özelliklerini ifade eder. Süreç ve düzenleme seviyelerinin, derin öğrenmeyi ve görev ustalığını arttırmada en etkili olduğu iddia edilmektedir. Görev seviyesinde geri bildirim, sadece önceki iki seviyeye ek olarak etkilidir; öz düzeydeki geri bildirimin en az etkili olduğu gösterilmiştir. Bu üç soru ve dört geri bildirim seviyesi, geri bildirimi zamanlama, pozitif ve negatif iletiler (kutupluluk da denir) gibi diğer yönlerle ve aynı zamanda bir değerlendirme aracının bir parçası olarak geri bildirimi dâhil etmenin sonuçları ile bağlantı kurma hakkı sağlar. Bu yönlerin pozitif veya negatif olabilen birbirine bağımlı bir etkiye sahip olduğu gösterilmiştir (Nicol ve Macfarlane-Dick, 2006).

Yerleşik geri bildirim modellerini incelerken, Boud ve Molloy (2013), genellikle kaynak kısıtlamaları, önerilen geri bildirim modelleri veya en azından her öğrencinin için değerlendirici, destekleyici, zamanında ve özel geri bildirim üretme mekanizmasının elverişli olmayacağı veya en azından çağdaş eğitim senaryoları içerisinde sürdürülebilir olmaması nedeniyle zaman zaman öğrenciler ve eğitim ortamı ile ilgili gerçekçi olmayan varsayımlara dayandıklarını savunmuşlardır. Bu noktada, ÖA / EVM çalışması geri bildirimlerin düzensiz ve tek yönlü bir durumdan etkin birimler arasında aktif bir diyaloga taşınmasında önemli bir rol oynayabilir.

VERİ DESTEKLİ GERİ BİLDİRİM

Öğrenmenin özelliklerini geliştirmek için çok miktarda veri kullanan ilk girişimler, uyarlanabilir hiper ortam (Brusilovsky, 1996; Kobsa, 2007), akıllı öğretici sistemleri (AÖS’ler) (Corbett, Koedinger ve Anderson, 1997; Graesser, Conley ve Olney) ve akademik analitik (Baepler ve Murdoch, 2010; Campbell, DeBlois ve Oblinger, 2007; Goldstein ve Katz, 2005) gibi alanlara kadar dayandırılabilir. Bu araştırmanın çoğu, eğitim uygulamalarını ilerletmek amacıyla, eğitim ortamının araştırılmasına yönelik veri yoğun yaklaşımlara ortak ilgi duyan ÖA / EVM araştırma toplulukları içerisinde gerçekleştirilmiştir (Baker ve Inventado, 2014). Bu toplulukların birçok benzerliği olsa da ÖA ve EVM arasında bazı kabul edilmiş farklılıklar vardır (Baker ve Siemens, 2014). Örneğin, EVM, ÖA’ların bütünsel sistemler içinde yer alan insan liderliğindeki araştırmaların aksine, otomatik keşif yöntemleri üzerine daha indirgemeci bir odaklanmaya sahiptir. Baker ve Inventado (2014), ÖA ve EVM arasındaki temel farklılıkların, çoğunlukla tercih edilen metodolojilerde olmadığını ancak odakta, araştırma sorularında ve modellerin nihai kullanımında olduğunu belirtmiştir.

ÖA / EVM’yi geri bildirim merceği aracılığıyla değerlendirirken, araştırma yaklaşımları geri bildirimin yönü ve alıcısı ile ilgili olarak farklılıklar gösterir. Örneğin, ÖA girişimleri genel olarak öğreneni öğrenme sürecinde geliştirmeye yönelik geri bildirim sağlar (ör. öz yönetim, hedef belirleme, motivasyon, stratejiler ve taktikler). Buna karşılık, EVM girişimleri, öğrenme ortamındaki değişiklikleri ele almak için geri bildirim sağlama konusuna odaklanma eğilimindedir (ör. bir görevi değiştirecek ipuçları sağlama, çevreyi ilgili kaynaklarla donatacak buluşsal yöntemler vb.). Bu genellemelerin toplulukların zor bir sınıflandırması olmadığını, daha ziyade ÖA / EVM çalışmalarında disiplin geçmişlerini ve ilgi alanlarını yansıtan gözlemlenen bir eğilim olduğunu not etmek önemlidir. Aşağıdaki bölüm, öğrenenlerin öğrenmelerine yardımcı olmak için geri bildirim sağlama ile ilgili hem EVM hem de ÖA topluluklarındaki çalışmaları daha da açmaktadır.

1. 1. 1. 1. Eğitsel Veri Madenciliğinde Geribildirime Yaklaşımlar

EVM’de yapılan araştırmalar, eğitimde yapay zekâ (EYZ) ve akıllı öğretici sistemleri (AÖS’ler) gibi disiplinlerle bağlantılıdır ve ilişkilidir (Pinkwart, 2016). Geri bildirim süreçleriyle ilgili olarak, çok sayıda EVM araştırma girişimi, uyarlanmış ve kişiselleştirilmiş geri bildirim veya önerilerin öğrenenlere etkisini geliştirmek ve değerlendirmekle ilgilenmektedir (Hegazi ve Abugroon, 2016). Bu çalışma, öğrenen modellemesi ve / veya tahmine dayalı modelleme araştırmasına dayanmaktadır. Temel olarak, odak noktası, öğrencinin özel ihtiyaçlarına cevap vermek için geri bildirimin verilmesini sağlayan özel sistemler oluşturmak, böylece öğrenmedeki gelişmeleri kolaylaştırmak, akademik performansı güçlendirmek (olumlu) veya öğrencilerin belirli davranışları yerine getirmelerini engellemek olmuştur (Romero; Ventura, 2013).

Geri bildirim sağlama ile ilgilenen EVM yaklaşımları, genel olarak bazı istisnalar dışında, görev düzeyinde geri bildirime vurgu yapmıştır (ör. Arroyo, Meheranian ve Woolf, 2010; Kinnebrew ve Biswas, 2012; Lewkow, Zimmerman, Riedesel ve Essa, 2015; Madhyastha ve Tanimoto, 2009). EVM üzerine yapılan erken araştırmalar (bk. 2008 ve 2009’daki EVM konferansı bildirileri), veri odaklı modelleme (ör. Mavrikis, 2008), öğretim görevlileri (ör. Jeong) tarafından (ör. Jeong ve Biswas, 2008), talep üzerine ve anlık bilgi istemlerinin sağlanması (Lynch, Ashley, Aleven ve Pinkwart, 2008) değerlendirme görevlerinin bir parçası olarak ayrıntılı geri bildirim (Pechenizkiy, Calders, Vasilyeva ve De Bra, 2008), gecikmiş geri bildirimi (Feng, Beck ve Heffernan, 2009) ve süreç modellemesi (Pechenizkiy, Trcka, Vasilyeva, van der Aalst ve De Bra, 2009) yoluyla öğrenenlere geri bildirim sağlamayı amaçlayan çok çeşitli yaklaşımlar ortaya koymuştur. Bu EVM çalışması, gelecekteki sistemleri bilgilendirmek için geri bildirim mekanizmalarının araçsallaştırılması ve bu modellerin nasıl geliştirilebileceğinin anlaşılması için ileriye dönük çabaları içermektedir. Başka bir deyişle, algoritmalar potansiyel olarak daha iyi geri bildirim sağlayan yeni sistemlerin tasarımını etkileyecek teknik bilgi sağlayabilir. Örneğin, Barker-Plummer, Cox ve Dale (2009), daha iyi algoritmaların sağlanmasının ötesine geçme ve görev düzeyinde geri bildirimin epistemik ve pedagojik durumdan nasıl etkilendiğini anlama gereğini öne sürdüler. Başka bir deyişle, öğrenme sürecindeki geri bildirim veya öz yönetim becerileri hakkındaki bilgiler, görev düzeyinde geri bildirimin çerçeveye alınmasına yardımcı olabilir.

Uyarlanabilir geri bildirim ile ilgili çalışmaların büyük bir kısmı akıllı öğretici sistemleri (AÖS’ler; örneğin, Abbas ve Sawamura, 2009; Eagle ve Barnes, 2013; Feng vd., 2009), öğrenme yönetim sistemleri (ÖYS; Dominguez, Yacef ve Curran, 2010; Lynch vd., 2008; Pechenizkiy vd., 2008) veya belirli bilgi alanlarındaki öğrencilere bir dizi öğrenme görevi sağlayan eşdeğer tek kullanıcılı sistemler aracılığı ile geliştirilmiştir. Bu sistemlerin çoğu, öğrenen modellerini farklı şekillerde çeker: örneğin öğrenen davranışının izleri, bilgi, başarı, bilişsel durumlar veya duygusal durumlar. Bu modellere dayanarak, sistem genellikle sonraki adım ipuçları gibi çeşitli görev düzeyinde geri bildirim türleri sunar (ör. Peddycord, Hicks ve Barnes, 2014); bayrak geri bildirimi olarak da bilinen doğruluk ipuçları (Barker – Plummer, Cox ve Dale, 2011); olumlu ya da cesaretlendirici ipuçları (Stefanescu, Rus ve Graesser, 2014); sonraki adımlar veya görevlerle ilgili öneriler (Ben-Naim, Bain ve Marcus, 2009); veya yukarıdakilerin çeşitli kombinasyonları. Bu nedenle, davranış modellemesi üzerine yapılan çalışmalar, EVM araştırmalarında otomatik geri bildirim süreçleri geliştirmenin ayrılmaz bir parçası olmuştur (DeFalco, Baker ve D’Mello, 2014).

Son yıllarda, EVM’nin öğrenen modellemesindeki çalışması, araştırmacıların daha az yapılandırılmış öğrenme görevleri için geri bildirim mekanizmaları üretmelerine izin veren yeni yöntemlerin ortaya çıkmasıyla zenginleştirilmiştir. Bir örnek öğrenci yazma çalışması biçimlendirici ve özetleyici geri bildirim sağlamayı içerir (Allen ve McNamara, 2015; Crossley, Kyle, McNamara ve Allen, 2014). Daha karmaşık algılayıcı cihazların ve tahmine dayalı algoritmaların ortaya çıkması, güven, tutum, kişilik, motivasyon (Ezen-Can ve Boyer, 2015) ve etkileme gibi daha karmaşık beşeri boyutlarının izlerini dâhil ederek öğrenen modellerinin geliştirilmesine olanak sağlamıştır (Fancsali, 2014). Bu daha farklı veri yardımları her öğrenen için kişiselleştirilebilecek daha iyi cevap veren uyarlanabilir geri bildirim mekanizmalarının geliştirilmesine yardımcı olur. Öğrenci modellerinin karmaşıklığına paralel olarak, bazı araştırmacılar açık öğrenen modelleme (AÖM) kavramını araştırdılar (OLM; Bull ve Kay, 2016). AÖM düşüncesi görsel veri sunumuna benzer ancak bir araç tarafından oluşturulan modele uygulanır. AÖM’ler EYZ topluluğunda, tavsiyeler, düzeltici eylemler veya bir sonraki adımla ilgili ipuçlarıyla karşılaştırıldığında daha az kuralcı geri bildirim biçimleri sağlama peşinde koşmuştur. AÖM’ler, kullanıcının (öğrenen, öğretmen, akranlar, vb.) insan tarafından anlaşılabilir formlarda sunulan öğrenen modelinin içeriğini görüntülemesine ve yansıtmasına (hatta incelemesine) izin verdiği için, yenilenmiş ilgi görmüştür. Bu modellerin avantajlarından biri, öğrenenlerin öz yönetim becerilerini yansıtmasına ve teşvik etmesine yardımcı olmaktır.

Son zamanlarda, kitlesel açık çevrimiçi derslerin artan popülaritesi nedeniyle, bilimsel EVM çalışmalarında geri bildirimlerin artırılması güç kazandı (KAÇD’ler; Wen, Yang ve Rose, 2014). KAÇD’lerde (Pardos, Bergner, Seaton ve Pritchard, 2013) öğrenen çalışmaları için kişiselleştirilmiş geri bildirim sağlamanın yanı sıra, büyük topluluklarda yüksek kalitede geri bildirime uygun erişim sağlamak için mekanizma üretmeye de ilgi duyulmaktadır. Bazı geri bildirim çözümleri, karmaşık, açık uçlu öğrenme görevlerini video tabanlı geri bildirimler aracılığıyla (Ostrow ve Heffernan, 2014) veya akran geri bildirimleri üzerine temellendirerek (Piech vd., 2013) ele almaktadır.

EVM’de öğrencilere görev düzeyinde, gerçek zamanlı geri bildirim sağlama konusunda büyük bir vurgu olmasına rağmen, diğer yaklaşımlar da araştırılmıştır. Örneğin, bazı çabalar öğrencilerin öğrenme sürecindeki aksaklıkları önlemek için gecikmeli geri bildirim sağlamaya odaklanmıştır (Feng vd., 2009; Johnson ve Zaiane, 2012). EVM’nin “düzeltici” geri bildirimin ötesine geçmesi ve kutupluluğun (olumlu, olumsuz veya birleşik geri bildirim) ve geri besleme zamanlamasının öğrencilerin diyaloğunda (Ezen-Can ve Boyer, 2013), güvende (Lang, Heffernan, Ostrow ve Wang, 2015) veya işbirlikli senaryolarda (Olsen, Aleven ve Rummel, 2015) oynayabileceği rolü anlamak da ilgi çekmiştir. Sistematik olarak farklı seviyelerde öğrenen faaliyetini hedefleyen geri bildirim sağlama, bazı örnekler sunulmuş olsa da henüz hak ettiği ilgiyi görmemiştir. Örneğin, Arroyo vd. (2010) ‘da dijital öğrenme yoldaşı bilişsel (ipuçları), duygusal (övgü) ve üst bilişsel seviyelerde (ör. ilerleme gösteren) geri bildirim veren akranlar olarak hareket etmiştir. Görev düzeyinde bilişsel seviye veya ipucu sağlanması önerildi. İlerleme gösterme, öz derin düşünme¹ kapasitesine değindi (yani bir hedefe yönelik ilerlemeyi izlemek). Öz yönetimli öğrenmeye yönelik diğer geri bildirim örnekleri, ÖYÖ davranışını ve öz değerlendirmeyi desteklemeye (Bouchet, Azevedo, Kinnebrew ve Biswas, 2012); üst düzey öğrenci stratejilerini bilişsel desteklemeye (Eagle ve Barnes, 2014); bilgi inşası stratejilerinin önerilmesine (Kinnebrew ve Biswas, 2012) ve geri bildirimin öğrencilerin öğrenme süreçlerinde nasıl yer aldığını anlamaya (Howard, Johnson ve Neitzel, 2010) odaklanmıştır.

1. 1. 1. 2. Öğrenme Analitiğinde Geribildirime Yaklaşımlar

Los Angeles’taki araştırmada geri bildirime odaklanma genellikle öğrencinin öğrenme durumunu çeşitli paydaşlara, yani öğretmenlere, öğrencilere veya yöneticilere iletme ihtiyacı olarak yorumlanır. İlk ÖA araştırmaları (ör. LAK 2011 ve 2012 konferansı işlemleri) kendi başına geri bildirime odaklanmamasına karşın, ÖA’yı “harekete geçirilebilir zekâ” üretmek için (McKay, Miller ve Tritz, 2012) ölçeklenebilir geri bildirim süreçleriyle döngüyü kapatması gereken bir disiplin olarak vurgulamıştır (Clow, 2012; Lonn, Aguilar ve Teasley, 2013). ÖA araştırmaları, geri bildirimin, insanlara öğrenmenin eylemlilik ve doğasına dair farklı anlayışlarıyla çok sayıda disipline ait sesler aracılığıyla iletildiğini kabul etmiştir (Suthers ve Verbert, 2013). Buna paralel olarak, Wise (2014) veri odaklı öğrenme müdahalelerinin tasarımını, kendi sosyokültürel bağlamlarında nasıl konumlandıklarının farkındalığı ve öğrenen desteğini ele alma amacı ile yüklemiştir. Bağlamın önemi nedeniyle, veri destekli geri bildirimin algılanması ve yorumlanması, ÖA geri bildirimi ile ilgili araştırmalarda ayrı bir tema olmuştur. ÖA topluluğu, analitik ve paydaşlar arasındaki diyalogun araştırmacılar tarafından öngörüldüğü gibi gerçekleşmesini sağlamak için kanıt ve uygulamaları araştırmıştır. Örneğin, Corrin ve de Barba (2015) panolardaki öğrencilerin algılarını araştırmıştır; Beheshitha, Hatala, Gašević ve Joksimović (2016), farklı başarı hedef yönelimli öğrencilerin gösterge panosu geri bildirimlerini aynı şekilde algılayıp algılamadıklarını incelemiştir ve birkaç çalışma, nitel görüşmeleri veya insan yorumlayıcıların çalışmalarını veri odaklı analizlerle birleştirerek daha verimli bir araştırma yapmanın yollarını konu edinmiştir (Arnold, Lonn ve Pistilli, 2014; Clow, 2014; Mendiburo, Sulcer ve Hasselbring, 2014; Pardo, Ellis ve Calvo, 2015). Öğrencilerin bir tür özete veya etkinliklerinin göstergelerine maruz bırakılması, Hattie ve Timperley (2007) tarafından önerilen taksonomide somut bir geri bildirim düzeyi ile ilişkilendirilemez. Bununla birlikte, gösterge panelleri genellikle görev düzeyinde bilgiler içerir, çünkü öğrenme süreci veya öz yönetim becerileri hakkında bilgi edinmek çok daha zordur.

EVM’ye benzer şekilde, ÖA topluluğunun ilgisi, Hattie ve Timperley (2007) tarafından önerilen taksonomideki üçüncü seviye olan öz-izleme ve öz yönetim süreçleri için öğrenenlere otomatik, ölçeklendirilmiş ve gerçek zamanlı geri bildirim sağlamaktır. Bu yönlendirme, görselleştirme, yansıtma ve farkındalık için araçlar olarak ÖA uygulamalarının istikrarlı bir şekilde büyümesiyle elde edilmiştir (ör. Verbert, Duval, Klerkx, Govaerts ve Santos, 2013; Verbert vd., 2014). Özel görev düzeyinde geri bildirimler, EVM / AÖS yaklaşımlarından daha az ön planda olsa da ÖA geri bildirimi yorumlama ve harekete katılan insan-eylemliliğinin daha çok üzerinde durur. ÖA, öğrenme etkinliklerinin izlerini görselleştirerek süreç düzeyinde geri bildirimleri teşvik etme eğilimindedir. Örneğin, öğrenme gösterge panelleri, öğrenenlerin hedefleri tanımlamasını ve bu hedeflere doğru ilerlemeyi izlemesini sağlamak için harcanan zaman, kullanılan kaynaklar veya sosyal etkileşim gibi veri kaynaklarını yakalar (bk. Verbert vd., 2014). Öğrenme gösterge panolarının son uygulamaları zaman sayısından veya öğrenme ile ilgili nesnelerin kullanılmasından kavramsallaştırılmış bir süreçle ilgili ilerlemeyi görselleştirmeye, örneğin sorgulamaya dayalı öğrenmeye yönelik masa üstü görselleştirmelere (Charleer, Klerkx ve Duval, 2015), ya da yeterlilik grafikleri içindeki öğrenme yollarının görselleştirmelerine kaydırmaktadır(Kickmeier-Rust, Steiner ve Dietrich, 2015). Sosyal öğrenme analitiğinin bir parçası olarak sosyal ağ analizi (Dawson, 2010; Dawson, Bakharia ve Heathcote, 2010) tarafından yapılan görselleştirmeler (ör. Ferguson ve Buckingham Shum, 2012), sosyal etkileşim süreci hakkında popüler bir geri bildirim türüdür. Bunlar yakın zamanda öğrenenlerin, kiminle konuştukları üzerine derin düşünmelerini veya “vahşi doğada”ki öğrenen ağlarında, yani Twitter ya da Facebook gibi dağıtılmış sosyal medyada ve ÖYS lerin ötesinde nerede konumlandıkları konularına da genişletilmiştir (ör. Kitto, Pardo, Gaseviç ve Dawson, 2016). Bu tür ağ görselleştirmeleri, gruplara kolektif bilgi inşasının temsili olarak da sunulmuştur.

Öğrencinin öz yönetimli öğrenme yeterliliğini geliştirmeye yönelik geri bildirim, başlangıç aşamasındadır. Biçimlendirici geri bildirime umut verici bir yaklaşım, esnek öğrenen eylemliliğinin gelişimini desteklemek için öğrenme sürecinin özünü ve çeşitli yönlerini kapsar (Deakin Crick, Huang, Ahmed Shafi ve Goldspink, 2015). Diğer bir yeni gelişme, öğrencilere duygusal durumları hakkında geri bildirim verilmesini içerir. Grawemeyer vd. (2016), etki farkındalığı geri bildirimi alan öğrencilerin, sadece performanslarıyla ilgili geri bildirim alan karşılaştırmalı bir akran grubundan daha az sıkıldığını ve görevlerine daha tutarlı bir şekilde bağlı olduğunu belirtmişlerdir. Temel olarak, yazarlar öğrenenin duygusal durumuna ilişkin otomatik geri bildirim sağlamanın katılım ve görev yapma davranışına yardımcı olabileceğini göstermektedir. Ruiz vd. (2016), öğrenen duyguları ve ders boyunca evrimleri hakkında görsel geri bildirim sağlayan görsel bir gösterge panosu geliştirmiştir. Bu örnekte, yazarlar öz bildirimli duygusal durumların performansı ve ders tasarımlarını iyileştirmek için öz derin düşünme kaynağı olarak kullandılar. Bununla birlikte, bu çalışmalar aynı zamanda, herhangi bir başarının büyük ölçüde öğrenenlerin bu tür öğrenme analitiği uygulamalarından gelen geri bildirimleri kullanarak öz yönetim yeterliliğine bağlı olduğunu göstermektedir. Tasarım veya teknoloji olanaklarını öğrenmenin öğrencinin derin düşünmesini harekete geçirmesi durumunda, öğrenenlerin varsayılan yetkinlik seviyesinin daha az esas alındığı tespit edilmiştir.. Diğer bir deyişle, öğrenene ait düşünce yazma metni veya ek açıklamalar (ayrıca video içi) yazılarak dışsallaştırılır ve bu yazılı metne biçimlendirici geri bildirim sunulabilir.

Yazılı metinler üzerine, kompozisyon notlandırmanın ötesinde geri bildirim sağlanması, söylem merkezli analitik alanındaki çeşitli girişimlerle ele alınmıştır (De Liddo, Buckingham Shum ve Quinto, 2011). Ayrıca, yazma analitiği olarak da adlandırılan bu alan, ÖA / EVM toplulukları arasında güçlü bir varlığa sahiptir; otomatik metin analizi yöntemleri, söylem analizi ve öğrenme veya bilgi inşasını gösteren yazılı metni tanımlamak için kullanılan bilgi işlemsel dilbilim arasında önemli bir örtüşme vardır. (ör. Simsek, Shum, De Liddo, Ferguson ve Sandor, 2014). Kısacası, söylem merkezli analitik, bilişsel katılımın kalitesiyle ilgili olarak ya da özellikle içgörü, türün kalitesi vb. gibi bir alan becerisi olarak yazma hususlarına yardımcı olmak için geri bildirim sunar (ör. Crossley, Allen, Snow ve McNamara, 2015; Kar, Allen, Jacovina, Perret ve McNamara, 2015; Whitelock, Twiner, Richardson, Field ve Pulman, 2015). ÖA araştırmalarında dikkat çekici bir şekilde ortaya çıkan bir eğilim, öğrenenin hem öğrenme içeriği hem de süreciyle bireysel olarak etkileşime girme potansiyelini derinleştirmeye yönelik biçimlendirici geri bildirim sunan yansıtıcı yazımın² analizini vurgulamaktadır (Buckingham Shum vd., 2016; Gibson ve Kitto, 2015).

SONUÇ

Bu bölüm, EVM ve ÖA topluluklarının mevcut araştırma alanı içinde, öğrenen öğrenme deneyiminin kalitesi, geri bildirimin en etkili yönlerinden birini konumlandırmıştır. Geri bildirim ve kişiselleştirilmiş öğrenme arasındaki doğrudan bağlantıya rağmen, ele alınması gereken önemli boşluklar vardır. Araştırmanın yetersizliği, öğrencilerin algoritma ile üretilen geri bildirimlerle nasıl etkileşime girdiklerini ve dönüştürüldüklerini araştırmaktadır. Ayrıca, veri analizinden elde edilebilecek müdahalelerin türü ile yeterli geri bildirim formları arasındaki ilişki yeterince araştırılmamıştır. Öğrenme deneyimlerindeki geri bildirimlerin etkisini analiz eden önemli bir literatür olumlu birlikte öğrenme deneyimlerindeki teknoloji aracılığıyla türetilen kapsamlı veri kümeleri ile bu alanın tekrar gözden geçirilmesi gerekmektedir. Geleneksel yüz yüze ve karma öğrenme senaryolarında, iş yükündeki artış ve sınırlı öğreten zamanı, öğrenciler tarafından alınan geri bildirimlerin kalitesini etkilemektedir. KAÇD’ler gibi yeni ortaya çıkan senaryolar, büyük öğrenen topluluklarının yüksek kalitede geri bildirim sağlamada önemli zorluklar doğurmaktadır. ÖA ve EVM, bu sınırlamaların nasıl ele alınacağını ve geri bildirimin hem ölçeklendirilebilir hem de etkili olduğu yeni paradigmaları nasıl önereceğini araştırıyor. Her iki topluluktaki girişimlerin geri bildirimlerle güçlü bir bağlantısı olmasına rağmen, her disiplin çözümlerini geliştirdiği odaklanma alanları açısından farklılıklar göstermektedir. Bu odaklar tamamlayıcıdır ve çoğu zaman birbirlerine dayanırlar. Sonuç olarak, her iki disiplin de genel bir öğrenme senaryosunda geri bildirimin oynadığı rolün, ilgili unsurların ve öğrencilerin bilgisinde, inançlarında ve tutumlarında değişikliklere öncülük etmenin nihai amacından daha kapsamlı bir bakış açısından faydalanabilir. Her iki araştırma topluluğundan uygulayıcılar, disiplinler arasında daha etkili bir entegrasyonun yanı sıra insan ve teknolojinin kombinasyonunu destekleyen geri bildirim için daha kapsamlı bir çerçeve benimsemekten de faydalanabilirler.

KAYNAKÇA

Abbas, S., & Sawamura, H. (2009). Developing an argument learning environment using agent-based ITS (ALES). In T. Barnes, M. Desmarais, C. Romero, & S. Ventura (Eds.), Proceedings of the 2nd International Conference on Educational Data Mining (EDM2009), 1–3 July 2009, Cordoba, Spain (pp. 200–209). International Educational Data Mining Society.

Allen, L. K., & McNamara, D. S. (2015). You are your words: Modeling students’ vocabulary knowledge with natural language processing tools. In O. C. Santos et al. (Eds.), Proceedings of the 8th International Conference on Educational Data Mining (EDM2015), 26–29 June 2015, Madrid, Spain (pp. 258–265). International Educational Data Mining Society.

Arnold, K. E., Lonn, S., & Pistilli, M. D. (2014). An exercise in institutional reflection: The learning analytics readiness instrument (LARI). Proceedings of the 4th International Conference on Learning Analytics and Knowledge (LAK’14), 24–28 March 2014, Indianapolis, IN, USA (pp. 163–165). New York: ACM. doi:10.1145/2567574.2567621

Arroyo, I., Meheranian, H., & Woolf, B. P. (2010). Effort-based tutoring: An empirical approach to intelligent tutoring. In R. S. J. d. Baker, A. Merceron, & P. I. Pavlik Jr. (Eds.), Proceedings of the 3rd International Conference on Educational Data Mining (EDM2010), 11–13 June 2010, Pittsburgh, PA, USA (pp. 1–10). International Educational Data Mining Society.

Baepler, P., & Murdoch, C. J. (2010). Academic analytics and data mining in higher education. International Journal for the Scholarship of Teaching and Learning, 4(2). doi:10.20429/ijsotl.2010.040217

Baker, R., & Inventado, P. S. (2014). Educational data mining and learning analytics. In J. A. Larusson & B. White (Eds.), Learning analytics: From research to practice (pp. 61–75). Springer.

Baker, R., & Siemens, G. (2014). Educational data mining and learning analytics. In R. K. Sawyer (Ed.), The Cambridge handbook of the learning sciences. Cambridge University Press.

Bakharia, A., Kitto, K., Pardo, A., Gašević, D., & Dawson, S. (2016). Recipe for success: Lessons learnt from using xAPI within the connected learning analytics toolkit. Proceedings of the 6th International Conference on Learning Analytics and Knowledge (LAK’16), 25–29 April 2016, Edinburgh, UK (pp. 378–382). New York: ACM.

Barker-Plummer, D., Cox, R., & Dale, R. (2009). Dimensions of difficulty in translating natural language into first order logic. In T. Barnes, M. Desmarais, C. Romero, & S. Ventura (Eds.), Proceedings of the 2nd International Conference on Educational Data Mining (EDM2009), 1–3 July 2009, Cordoba, Spain (pp. 220–229). International Educational Data Mining Society.

Barker-Plummer, D., Cox, R., & Dale, R. (2011). Student translations of natural language into logic: The grade grinder corpus release 1.0. In M. Pechenizkiy, T. Calders, C. Conati, S. Ventura, C. Romero, & J. Stamper (Eds.), Proceedings of the 4th Annual Conference on Educational Data Mining (EDM2011), 6–8 July 2011, Eindhoven, The Netherlands (pp. 51–60). International Educational Data Mining Society.

Beheshitha, S. S., Hatala, M., Gašević, D., & Joksimović, S. (2016). The role of achievement goal-orientations when studying effect of learning analytics visualisations. Proceedings of the 6th International Conference on Learning Analytics and Knowledge (LAK’16), 25–29 April 2016, Edinburgh, UK (pp. 54–63). New York: ACM.

Ben-Naim, D., Bain, M., & Marcus, N. (2009). A user-driven and data-driven approach for supporting teachers in reflection and adaptation of adaptive tutorials. In T. Barnes, M. Desmarais, C. Romero, & S. Ventura (Eds.), Proceedings of the 2nd International Conference on Educational Data Mining (EDM2009), 1–3 July 2009, Cordoba, Spain (pp. 21–30). International Educational Data Mining Society.

Black, P., & Wiliam, D. (1998). Assessment and classroom learning. Assessment in Education: Principles, Policy & Practice, 5(1), 7–74. doi:10.1080/0969595980050102

Bouchet, F., Azevedo, R., Kinnebrew, J. S., & Biswas, G. (2012). Identifying students’ characteristic learning behaviors in an intelligent tutoring system fostering self-regulated learning. In K. Yacef, O. Zaïane, A. Hershkovitz, M. Yudelson, & J. Stamper (Eds.), Proceedings of the 5th International Conference on Educational Data Mining (EDM2012), 19–21 June, 2012, Chania, Greece (pp. 65–72). International Educational Data Mining Society.

Boud, D. (2000). Sustainable assessment: Rethinking assessment for the learning society. Studies in Continuing Education, 22(2), 151–167. doi:10.1080/713695728

Boud, D., & Molloy, E. (2013). Rethinking models of feedback for learning: The challenge of design. Assessment & Evaluation in Higher Education, 38(6), 698–712. doi:10.1080/02602938.2012.691462

Brusilovsky, P. (1996). Methods and techniques of adaptive hypermedia. User Modeling and User-Adapted Interaction, 6, 87–129.

Buckingham Shum, S., Sandor, A., Goldsmith, R., Wang, X., Bass, R., & McWilliams, M. (2016). Reflecting on reflective writing analytics: Assessment challenges and iterative evaluation of a prototype tool. Proceedings of the 6th International Conference on Learning Analytics and Knowledge (LAK’16), 25–29 April 2016, Edinburgh, UK (pp. 213–222). New York: ACM.

Bull, S., & Kay, J. (2016). SMILI : A framework for interfaces to learning data in open learner models, learning analytics and related fields. International Journal of Artificial Intelligence in Education, 26(1), 293–331.

Butler, D. L., & Winne, P. H. (1995). Feedback and self-regulated learning: A theoretical synthesis. Review of Educational Research, 65(3), 245–281.

Campbell, J. P., DeBlois, P. B., & Oblinger, D. (2007). Academic analytics: A new tool for a new era. EDUCAUSE Review, 42, 40–57.

Charleer, S., Klerkx, J., & Duval, E. (2015). Exploring inquiry-based learning analytics through interactive surfaces. Proceedings of the Workshop on Visual Aspects of Learning Analytics (VISLA’15), 16–20 March 2015, Poughkeepsie, NY, USA. http://ceur-ws.org/Vol-1518/paper6.pdf

Clow, D. (2012). The learning analytics cycle: Closing the loop effectively. Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK’12), 29 April–2 May 2012, Vancouver, BC, Canada (pp. 134–138). New York: ACM. doi:10.1145/2330601.2330636

Clow, D. (2014). Data wranglers: Human interpreters to help close the feedback loop. Proceedings of the 4th International Conference on Learning Analytics and Knowledge (LAK’14), 24–28 March 2014, Indianapolis, IN, USA (pp. 49–53). New York: ACM. doi:10.1145/2567574.2567603

Corbett, A. T., Koedinger, K. R., & Anderson, J. R. (1997). Intelligent tutoring systems. In M. Heander, T. K. Landauer, & P. Prabhu (Eds.), Handbook of human–computer interaction (2nd ed., pp. 849–870): Elsevier Science B. V.

Corrin, L., & de Barba, P. (2015). How do students interpret feedback delivered via dashboards? Proceedings of the 5th International Conference on Learning Analytics and Knowledge (LAK’15), 16–20 March 2015, Poughkeepsie, NY, USA (pp. 430–431). New York: ACM. doi:10.1145/2723576.2723662

Crossley, S., Allen, L. K., Snow, E. L., & McNamara, D. S. (2015). Pssst… textual features… there is more to automatic essay scoring than just you! Proceedings of the 5th International Conference on Learning Analytics and Knowledge (LAK’15), 16–20 March 2015, Poughkeepsie, NY, USA (pp. 203–207). New York: ACM. doi:10.1145/2723576.2723595

Crossley, S., Kyle, K., McNamara, D. S., & Allen, L. (2014). The importance of grammar and mechanics in writing assessment and instruction: Evidence from data mining. In J. Stamper, Z. Pardos, M. Mavrikis, & B. M. McLaren (Eds.), Proceedings of the 7th International Conference on Educational Data Mining (EDM2014), 4–7 July, London, UK (pp. 300–303). International Educational Data Mining Society.

Dawson, S. (2010). “Seeing” the learning community: An exploration of the development of a resource for monitoring online student networking. British Journal of Educational Technology, 41(5), 736–752.

Dawson, S., Bakharia, A., & Heathcote, E. (2010). SNAPP: Realising the affordances of real-time SNA within networked learning environments. In L. Dirckinck-Holmfeld, V. Hodgson, C. Jones, M. de Laat, D. McConnell, & T. Ryberg (Eds.), Proceedings of the 7th International Conference on Networked Learning (NLC 2010), 3–4 May 2010, Aalborg, Denmark. http://www.networkedlearningconference.org.uk/past/nlc2010/abstracts/ PDFs / Dawson.pdf

De Liddo, A., Buckingham Shum, S., & Quinto, I. (2011). Discourse-centric learning analytics. Proceedings of the 1st International Conference on Learning Analytics and Knowledge (LAK’11), 27 February–1 March 2011, Banff, AB, Canada (pp. 23–33). New York: ACM.

Deakin Crick, R., Huang, S., Ahmed Shafi, A., & Goldspink, C. (2015). Developing resilient agency in learning: The internal structure of learning power. British Journal of Educational Studies, 63(2), 121–160. doi: 10.1080 /00071005.2015.1006574

DeFalco, J. A., Baker, R., & D’Mello, S. K. (2014). Addressing behavioral disengagement in online learning. Design recommendations for intelligent tutoring systems (Vol. 2, pp. 49–56). Orlando, FL: U.S. Army Research Laboratory.

Dominguez, A. K., Yacef, K., & Curran, J. R. (2010). Data mining for generating hints in a python tutor. In R. S. J. d. Baker, A. Merceron, & P. I. Pavlik Jr. (Eds.), Proceedings of the 3rd International Conference on Educational Data Mining (EDM2010), 11–13 June 2010, Pittsburgh, PA, USA (pp. 91–100). International Educational Data Mining Society.

Eagle, M., & Barnes, T. (2013). Evaluation of automatically generated hint feedback. In S. K. D’Mello, R. A. Calvo, & A. Olney (Eds.), Proceedings of the 6th International Conference on Educational Data Mining (EDM2013), 6–9 July 2013, Memphis, TN, USA (pp. 372–374). International Educational Data Mining Society/Springer.

Eagle, M., & Barnes, T. (2014). Data-driven feedback beyond next-step hints. In J. Stamper, Z. Pardos, M. Mavrikis, & B. M. McLaren (Eds.), Proceedings of the 7th International Conference on Educational Data Mining (EDM2014), 4–7 July, London, UK (pp. 444–446). International Educational Data Mining Society.

Evans, C. (2013). Making sense of assessment feedback in higher education. Review of Educational Research, 83(1), 70–120. doi:10.3102/0034654312474350

Ezen-Can, A., & Boyer, K. E. (2013). Unsupervised classification of student dialogue acts with query-likelihood clustering. In S. K. D’Mello, R. A. Calvo, & A. Olney (Eds.), Proceedings of the 6th International Conference on Educational Data Mining (EDM2013), 6–9 July 2013, Memphis, TN, USA (pp. 20–27). International Educational Data Mining Society/Springer.

Ezen-Can, A., & Boyer, K. E. (2015). Choosing to interact: Exploring the relationship between learner personality, attitudes, and tutorial dialogue participation. In O. C. Santos et al. (Eds.), Proceedings of the 8th International Conference on Educational Data Mining (EDM2015), 26–29 June 2015, Madrid, Spain (pp. 125–128). International Educational Data Mining Society.

Fancsali, S.E. (2014). Causal discovery with models: Behavior, affect, and learning in cognitive tutor algebra. In J. Stamper, Z. Pardos, M. Mavrikis, & B. M. McLaren (Eds.), Proceedings of the 7th International Conference on Educational Data Mining (EDM2014), 4–7 July, London, UK (pp. 28–35). International Educational Data Mining Society.

Feng, M., Beck, J. E., & Heffernan, N. T. (2009). Using learning decomposition and bootstrapping with randomization to compare the impact of different educational interventions on learning. In T. Barnes, M. Desmarais, C. Romero, & S. Ventura (Eds.), Proceedings of the 2nd International Conference on Educational Data Mining (EDM2009), 1–3 July 2009, Cordoba, Spain (pp. 51–60). International Educational Data Mining Society.

Ferguson, R., & Buckingham Shum, S. (2012). Social learning analytics: Five approaches. Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK’12), 29 April–2 May 2012, Vancouver, BC, Canada (pp. 23–33). New York: ACM.

Gibson, A., & Kitto, K. (2015). Analysing reflective text for learning analytics: An approach using anomaly recontextualisation. Proceedings of the 5th International Conference on Learning Analytics and Knowledge (LAK’15), 16–20 March 2015, Poughkeepsie, NY, USA (pp. 51–60). New York: ACM. doi:10.1145/2723576.2723635

Goldstein, P. J., & Katz, R. N. (2005). Academic analytics: The uses of management information and technology in higher education. Educause Center for Applied Research.

Graesser, A. C., Conley, M. W., & Olney, A. (2012). Intelligent tutoring systems. In K. R. Harris, S. Graham, & T. Urdan (Eds.), APA educational psychology handbook (pp. 451–473). American Psychological Association.

Grawemeyer, B., Mavrikis, M., Holmes, W., Guitierrez-Santos, S., Wiedmann, M., & Rummel, N. (2016). Affective off-task behaviour: How affect-aware feedback can improve student learning. Proceedings of the 6th International Conference on Learning Analytics and Knowledge (LAK’16), 25–29 April 2016, Edinburgh, UK (pp. 104–113). New York: ACM.

Hattie, J. (2008). Visible learning: A synthesis of over 800 meta-analyses related to achievement. New York: Routledge.

Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81–112. doi:10.3102/003465430298487

Hegazi, M. O., & Abugroon, M. A. (2016). The state of the art on educational data mining in higher education. International Journal of Computer Trends and Technology, 31, 46–56.

Howard, L., Johnson, J., & Neitzel, C. (2010). Examining learner control in a structured inquiry cycle using process mining. In R. S. J. d. Baker, A. Merceron, & P. I. Pavlik Jr. (Eds.), Proceedings of the 3rd International Conference on Educational Data Mining (EDM2010), 11–13 June 2010, Pittsburgh, PA, USA (pp. 71–80). International Educational Data Mining Society.

Jeong, H., & Biswas, G. (2008). Mining student behavior models in learning-by-teaching environments. In R. S. J. d. Baker, T. Barnes, & J. E. Beck (Eds.), Proceedings of the 1st International Conference on Educational Data Mining (EDM’08), 20–21 June 2008, Montreal, QC, Canada (pp. 127–136). International Educational Data Mining Society.

Johnson, S., & Zaïane, O. R. (2012). Deciding on feedback polarity and timing. In K. Yacef, O. Zaïane, A. Hershkovitz, M. Yudelson, & J. Stamper (Eds.), Proceedings of the 5th International Conference on Educational Data Mining (EDM2012), 19–21 June, 2012, Chania, Greece (pp. 220–221). International Educational Data Mining Society.

Kickmeier-Rust, M., Steiner, C. M., & Dietrich, A. (2015). Uncovering learning processes using competence-based knowledge structuring and Hasse diagrams. Proceedings of the Workshop on Visual Aspects of Learning Analytics (VISLA’15), 16–20 March 2015, Poughkeepsie, NY, USA (pp. 36–40).

Kinnebrew, J. S., & Biswas, G. (2012). Identifying learning behaviors by contextualizing differential sequence mining with action features and performance evolution. In K. Yacef, O. Zaïane, A. Hershkovitz, M. Yudelson, & J. Stamper (Eds.), Proceedings of the 5th International Conference on Educational Data Mining (EDM2012), 19–21 June, 2012, Chania, Greece (pp. 57–64). International Educational Data Mining Society.

Kluger, A. N., & DeNisi, A. (1996). The effects of feedback interventions on performance: A historical review, a meta-analysis, and a preliminary feedback intervention theory. Psychological Bulletin, 119(2), 254–284.

Kobsa, A. (2007). Privacy-enhanced web personalization. In P. Brusilovsky, A. Kobsa, W. Nejdl (Eds.), The adaptive web: Methods and strategies of web personalization (pp. 628–670). Springer. doi:10.1007/978-3-540- 72079-9_4.

Kulhavy, R. W., & Stock, W. A. (1989). Feedback in written instruction: The place of response certitude. Educational Psychology Review, 1(4), 279–308.

Lang, C., Heffernan, N., Ostrow, K., & Wang, Y. (2015). The impact of incorporating student confidence items into an intelligent tutor: A randomized controlled trial. In O. C. Santos et al. (Eds.), Proceedings of the 8th International Conference on Educational Data Mining (EDM2015), 26–29 June 2015, Madrid, Spain (pp. 144–149). International Educational Data Mining Society.

Lewkow, N., Zimmerman, N., Riedesel, M., & Essa, A. (2015). Learning analytics platform: Towards an open scalable streaming solution for education. In O. C. Santos et al. (Eds.), Proceedings of the 8th International Conference on Educational Data Mining (EDM2015), 26–29 June 2015, Madrid, Spain (pp. 460–463). International Educational Data Mining Society.

Lockyer, L., Heathcote, E., & Dawson, S. (2013). Informing pedagogical action: Aligning learning analytics with learning design. American Behavioral Scientist, 57(10), 1439–1459. doi:10.1177/0002764213479367

Lonn, S., Aguilar, S., & Teasley, S. D. (2013). Issues, challenges, and lessons learned when scaling up a learning analytics intervention. Proceedings of the 3rd International Conference on Learning Analytics and Knowledge (LAK’13), 8–12 April 2013, Leuven, Belgium (pp. 235–239). New York: ACM. doi:10.1145/2460296.2460343

Lynch, C., Ashley, K. D., Aleven, V., & Pinkwart, N. (2008). Argument graph classification via genetic programming and C4.5. In R. S. J. d. Baker, T. Barnes, & J. E. Beck (Eds.), Proceedings of the 1st International Conference on Educational Data Mining (EDM’08), 20–21 June 2008, Montreal, QC, Canada (pp. 137–146). International Educational Data Mining Society.

Madhyastha, T. M., & Tanimoto, S. (2009). Student consistency and implications for feedback in online assessment systems. In T. Barnes, M. Desmarais, C. Romero, & S. Ventura (Eds.), Proceedings of the 2nd International Conference on Educational Data Mining (EDM2009), 1–3 July 2009, Cordoba, Spain (pp. 81–90). International Educational Data Mining Society.

Mavrikis, M. (2008). Data-driven modelling of students’ interactions in an ILE. In R. S. J. d. Baker, T. Barnes, & J. E. Beck (Eds.), Proceedings of the 1st International Conference on Educational Data Mining (EDM’08), 20–21 June 2008, Montreal, QC, Canada (pp. 87–96). International Educational Data Mining Society.

McKay, T., Miller, K., & Tritz, J. (2012). What to do with actionable intelligence: E2Coach as an intervention engine. Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK’12), 29 April–2 May 2012, Vancouver, BC, Canada (pp. 88–91). New York: ACM. doi:10.1145/2330601.2330627

Mendiburo, M., Sulcer, B., & Hasselbring, T. (2014). Interaction design for improved analytics. Proceedings of the 4th International Conference on Learning Analytics and Knowledge (LAK’14), 24–28 March 2014, Indianapolis, IN, USA (pp. 78–82). New York: ACM. doi:10.1145/2567574.2567628

Mory, E. H. (2004). Feedback research revisited. In D. H. Jonassen (Ed.), Handbook of research on educational communication and technology (Vol. 2, pp. 745–783). Mahwah, NJ: Lawrence Erlbaum.

Nicol, D., & Macfarlane-Dick, D. (2006). Formative assessment and self-regulated learning: A model and seven principles of good feedback practice. Studies in Higher Education, 31(2), 199–218. doi:10.1080/03075070600572090

Olsen, J. K., Aleven, V., & Rummel, N. (2015). Predicting student performance in a collaborative learning environment. In O. C. Santos et al. (Eds.), Proceedings of the 8th International Conference on Educational Data Mining (EDM2015), 26–29 June 2015, Madrid, Spain (pp. 211–217). International Educational Data Mining Society.

Ostrow, K. S., & Heffernan, N. T. (2014). Testing the multimedia principle in the real world: A comparison of video vs. text feedback in authentic middle school math assignments. In J. Stamper, Z. Pardos, M. Mavrikis, & B. M. McLaren (Eds.), Proceedings of the 7th International Conference on Educational Data Mining (EDM2014), 4–7 July, London, UK (pp. 296–299). International Educational Data Mining Society.

Pardo, A., Ellis, R. A., & Calvo, R. A. (2015). Combining observational and experiential data to inform the redesign of learning activities. Proceedings of the 5th International Conference on Learning Analytics and Knowledge (LAK’15), 16–20 March 2015, Poughkeepsie, NY, USA (pp. 305–309). New York: ACM. doi:10.1145/2723576.2723625

Pardos, Z. A., Bergner, Y., Seaton, D. T., & Pritchard, D. E. (2013). Adapting Bayesian knowledge tracing to a massive open online course in edX. In S. K. D’Mello, R. A. Calvo, & A. Olney (Eds.), Proceedings of the 6th International Conference on Educational Data Mining (EDM2013), 6–9 July 2013, Memphis, TN, USA (pp. 137–144). International Educational Data Mining Society/Springer.

Pechenizkiy, M., Calders, T., Vasilyeva, E., & De Bra, P. (2008). Mining the student assessment data: Lessons drawn from a small scale case study. In R. S. J. d. Baker, T. Barnes, & J. E. Beck (Eds.), Proceedings of the 1st International Conference on Educational Data Mining (EDM’08), 20–21 June 2008, Montreal, QC, Canada (pp. 187–191). International Educational Data Mining Society.

Pechenizkiy, M., Trcka, N., Vasilyeva, E., van der Aalst, W., & De Bra, P. (2009). Process mining online assessment data. In T. Barnes, M. Desmarais, C. Romero, & S. Ventura (Eds.), Proceedings of the 2nd International Conference on Educational Data Mining (EDM2009), 1–3 July 2009, Cordoba, Spain (pp. 279–288). International Educational Data Mining Society.

Peddycord III, B., Hicks, A., & Barnes, T. (2014). Generating hints for programming problems using intermediate output. In J. Stamper, Z. Pardos, M. Mavrikis, & B. M. McLaren (Eds.), Proceedings of the 7th International Conference on Educational Data Mining (EDM2014), 4–7 July, London, UK (pp. 92–98). International Educational Data Mining Society.

Piech, C., Huang, J., Chen, Z., Do, C., Ng, A., & Koller, D. (2013). Tuned models of peer assessment in MOOCs. In S. K. D’Mello, R. A. Calvo, & A. Olney (Eds.), Proceedings of the 6th International Conference on Educational Data Mining (EDM2013), 6–9 July 2013, Memphis, TN, USA (pp. 153–160). International Educational Data Mining Society/Springer.

Pinkwart, N. (2016). Another 25 years of AIED? Challenges and opportunities for intelligent educational technologies of the future. International Journal of Artificial Intelligence in Education, 26(2), 771–783. doi:10.1007/s40593-016-0099-7

Pintrich, P. R. (1999). The role of motivation in promoting and sustaining self-regulated learning. International Journal of Educational Research, 31, 459–470. doi:10.1016/S0883-0355(99)00015-4

Romero, C., & Ventura, S. (2013). Data mining in education. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 3(1), 12–27. doi:10.1002/widm.1075

Ruiz, S., Charleer, S., Urretavizcaya, M., Klerkx, J., Fernandez-Castro, I., & Duval, E. (2016). Supporting learning by considering emotions: Tracking and visualisation. A case study. Proceedings of the 6th International Conference on Learning Analytics and Knowledge (LAK’16), 25–29 April 2016, Edinburgh, UK (pp. 254–263). New York: ACM. doi:10.1145/2883851.2883888

Shute, V. J. (2008). Focus on formative feedback. Review of Educational Research, 78(1), 153–189. doi:10.3102/0034654307313795

Simsek, D., Shum, S. B., De Liddo, A., Ferguson, R., & Sándor, Á. (2014). Visual analytics of academic writing. Proceedings of the 4th International Conference on Learning Analytics and Knowledge (LAK’14), 24–28 March 2014, Indianapolis, IN, USA (pp. 265–266). New York: ACM. doi:10.1145/2567574.2567577

Snow, E. L., Allen, L. K., Jacovina, M. E., Perret, C. A., & McNamara, D. S. (2015). You’ve got style: Detecting writing flexibility across time. Proceedings of the 5th International Conference on Learning Analytics and Knowledge (LAK’15), 16–20 March 2015, Poughkeepsie, NY, USA (pp. 194–202). New York: ACM. doi:10.1145/2723576.2723592

Stefanescu, D., Rus, V., & Graesser, A. C. (2014). Towards assessing students’ prior knowledge from tutorial dialogues. In J. Stamper, Z. Pardos, M. Mavrikis, & B. M. McLaren (Eds.), Proceedings of the 7th International Conference on Educational Data Mining (EDM2014), 4–7 July, London, UK (pp. 197–201). International Educational Data Mining Society.

Suthers, D., & Verbert, K. (2013). Learning analytics as a “middle space.” Proceedings of the 3rd International Conference on Learning Analytics and Knowledge (LAK’13), 8–12 April 2013, Leuven, Belgium (pp. 1–4). New York: ACM. doi:10.1145/2460296.2460298

Verbert, K., Duval, E., Klerkx, J., Govaerts, S., & Santos, J. L. (2013). Learning analytics dashboard applications. American Behavioral Scientist, 57(10), 1500–1509.

Verbert, K., Govaerts, S., Duval, E., Santos, J. L., Assche, F., Parra, G., & Klerkx, J. (2014). Learning dashboards: An overview and future research opportunities. Personal and Ubiquitous Computing, 18(6), 1499–1514. doi:10.1007/s00779-013-0751-2

Wen, M., Yang, D., & Rosé, C. P. (2014). Sentiment analysis in MOOC discussion forums: What does it tell us? In J. Stamper, Z. Pardos, M. Mavrikis, & B. M. McLaren (Eds.), Proceedings of the 7th International Conference on Educational Data Mining (EDM2014), 4–7 July, London, UK (pp. 130–137). International Educational Data Mining Society.

Whitelock, D., Twiner, A., Richardson, J. T. E., Field, D., & Pulman, S. (2015). OpenEssayist: A supply and demand learning analytics tool for drafting academic essays. Proceedings of the 5th International Conference on Learning Analytics and Knowledge (LAK’15), 16–20 March 2015, Poughkeepsie, NY, USA (pp. 208–212). New York: ACM. doi:10.1145/2723576.2723599

Wiliam, D., Lee, C., Harrison, C., & Black, P. (2004). Teachers developing assessment for learning: Impact on student achievement. Assessment in Education: Principles, Policy & Practice, 11(1), 49–65. doi:10.1080/0969594042000208994

Winne, P. H. (2014). Issues in researching self-regulated learning as patterns of events. Metacognition and Learning, 9(2), 229–237. doi:10.1007/s11409-014-9113-3

Winne, P. H., & Baker, R. (2013). The potentials of educational data mining for researching metacognition, motivation and self-regulated learning. Journal of Educational Data Mining, 5(1), 1–8.

Wise, A. F. (2014). Designing pedagogical interventions to support student use of learning analytics. Proceedings of the 4th International Conference on Learning Analytics and Knowledge (LAK’14), 24–28 March 2014, Indianapolis, IN, USA (pp. 203–211). New York: ACM.

Zimmerman, B.J. (1990). Self-regulated learning and academic achievement: An overview. Educational Psychologist, 25(1), 3–17. doi:10.1207/s15326985ep2501_2