Bölüm 17 Veri Madenciliği Büyük Ölçekli Biçimlendirici Yazma

Peter W. Foltz^{1, 2}, Mark Rosenstein²

¹Bilişsel Bilimler Enstitüsü, Colorado Üniversitesi, ABD

² İleri Bilgi İşlem ve Veri Bilim Laboratuvarı, Pearson, ABD

DOI: 10.18608 / hla17.017

ÖZ

Dijital eğitim ortamlarında öğrenen yazma çalışması, yazmayı öğrenme süreçlerinin yanı sıra dijital ortamın bu süreçler üzerindeki etkisine ilişkin kanıt niteliğinde zengin bilgi sağlayabilir. Yazma becerilerini geliştirmek, özellikle de sık sık geri bildirim ile desteklendiklerinde ve kompozisyonlarını planlama, gözden geçirme ve düzenleme stratejileri öğretildiğinde, pratik yapma fırsatlarına sahip olan öğrencilere bağlıdır. Otomatik kompozisyon puanlamasını içeren biçimlendirici sistemler, öğrencilere düzenli olarak tekrarlayan bir döngüde yazmaları, geri bildirim almaları ve sonra kompozisyonu gözden geçirmeleri için fırsatlar sunar. Bu bölüm, eğitim sonuçlarını iyileştirmek için kullanılan yüzlerce önceden tanımlanmış bilgi istemine cevap olarak yazılmış, bir milyondan fazla öğrenci kompozisyonu kullanarak, biçimlendirici teknolojideki gelişmeleri yönlendiren, önceden tanımlanmış yüzlerce yazma etkinliği konularına yönelik olarak yazılan bir milyondan fazla öğrenci kompozisyonu¹ kullanarak geniş ölçekli bir biçimlendirme yazma sisteminin bir analizini sunar ve yazma sürecinde öğrencilere destek olmak için daha iyi geri bildirim ve bilişsel destek türleri tasarlar.

Anahtar Kelimeler: Yazma, biçimlendirici geri bildirim, otomatik puanlama, karma efekt modellemesi, görselleştirme, yazım analitiği²

Yazma hem öğrencilere bilgi ve becerilerini ifade etmenin hem de bilgilerini geliştirmelerine yardımcı olma konusunda eğitim vermenin bir aracı olarak hizmet ettiği eğitim uygulamalarının ayrılmaz bir parçasıdır. İyi bir yazar olabilmek için öğrencilerin çok fazla pratik yapmaları gerektiği iyi bilinmektedir. Ancak sadece yazma pratiği iyi bir yazar olmak için yeterli değildir; zamanında geri bildirim almak çok önemlidir (ör. Black ve William, 1998; Hattie ve Timperley, 2007; Shute, 2008). Sınıfta biçimlendirici yazma çalışmaları (ör. Graham, Harris ve Hebert, 2011; Graham ve Hebert, 2010; Graham ve Perin, 2007), öğrencilere geri bildirimleri destekleme ve kompozisyonlarını planlama, gözden geçirme ve düzenleme stratejileri hakkında talimat verme, öğrencilerin yazmayı geliştirmede güçlü etkileri olabileceğini göstermiştir.

Veri Olarak Metin

Yazma karmaşık bir etkinliktir ve performans temelli bir öğrenme ve değerlendirme şekli olarak kabul edilebilir, çünkü öğrenciler gelecekteki akademik ve çalışma yaşamlarında genel olarak yapmaları beklenenlere benzer bir görevi yerine getirirler. Bu nedenle, yazma, öğrenci alan bilgisi, ifade becerileri ve dil becerisi hakkında zengin bir veri kaynağı sağlar. Böylece yazma, metin bilgisine dayalı olarak öğrenci performansının doğası hakkında çok sayıda çıkarımda bulunmayı sağlar.

Şu anda yazma çalışmalarının büyük bir bölümüne bilgisayarlar aracılık etmektedir, bu da yazma öğreniminde kâğıt temelli medyada yapma şansı bulamadığımız, zaman aralıklarında ve derinlemesine inceleme ve pekiştirme fırsatı sunmaktadır. Örneğin, Walvoord ve McCarthy (1990), bir dizi ortak ile, yaklaşık on yıl boyunca sınıf çalışmaları yürütmüş, yazma talimatlarının anlaşılması için öğrenci dergileri, taslaklar ve final kâğıtları gibi ürünler toplamıştır. Çalışma yürütülürken harcanan çabanın büyük çoğunluğu ürün toplama ve bunların el ile analiz edilmesine ayrılmıştır. Günümüzde bilgisayar destekli yazı ile bu kaynaklara yazma işleminin bir parçası olarak daha kolay ulaşılabilmektedir ve bu (kaynaklar) doğal dil işleme ve makine öğrenmenin otomatik olarak kullanılabileceği bir formdadır. Uygun öğrenme analitiği yöntemleri uygulanarak, metinsel bilgiler bu nedenle, öğrenci performansıyla ilgili çıkarımları desteklemek için otomatik olarak verilere dönüştürülebilir.

1960’lı yıllardan beri yazının bütün yönlerini anlamak için otomatik analizler uygulanmaktadır. İçerik analizi (ör. Gerbner, Holsti, Krippendorff, Paisley ve Stone, 1969; Krippendorff & Bock, 2009), içerikle ilgili tekrarlanabilir, geçerli çıkarımlar yapmak için metin verilerinin analizine izin vermek üzere tasarlanmıştır. Ancak yöntemler öncelikle metinlerde kullanılan anahtar terimlerin sayısına odaklanmıştır. Ellis Page (1967), öğrenci yazılarının dil özelliklerini, kompozisyonların öğretmen derecelendirmeleriyle yüksek oranda ilişkili olan puanlara dönüştürmede kullanılan tekniklere öncülük etmiştir. Son 50 yılda giderek daha sofistike doğal dil işleme ve makine öğrenme tekniklerinin ortaya çıkmasıyla birlikte, otomatik kompozisyon puanlaması (OKP) (artık anında puanlama ve geri bildirim sağlayabilen yaygın olarak kullanılan bir dizi yaklaşım haline gelmiştir. OKP sistemleri üzerine yapılan araştırmalar, puanlamalarının insan puanlayıcılar kadar doğru olabileceğini (ör. Burstein, Chodorow ve Leacock, 2004; Landauer, Laham ve Foltz, 2001; Shermis ve Hamner, 2012), birden fazla yazma özelliğini puanlayabildiğini (ör. Foltz, Streeter, Lochbaum ve Landauer, 2013) ve içerik hakkında geri bildirim için kullanılabilir olduğunu göstermiştir. (ör. Foltz, Gilliam ve Kendall, 2000; Foltz vd., 2013).

OKP’nin değerlendirilmesindeki odağın çoğu, puanlamanın doğruluğunu ve puanlanabilecek farklı yazı türlerini incelerken, OKP, değerlendirmenin öğrencinin öğrenmesine nasıl yardımcı olacağına daha fazla odaklanılabilen, biçimlendirici yazma konusunda geniş bir uygulanabilirliğe sahiptir. Yazma çalışmasının değerlendirilmesinin insan eliyle yapılması, öğrencilerin geri bildirim alma fırsatlarını sınırlayarak zaman alıcı ve öznel sonuçlar doğurabilir. Biçimlendirici bir aracın bileşeni olarak OKP, öğrencilere anında geri bildirim sağlayabilir ve onlara karşılaştığı zorluk türlerini tespit etmeye dayalı yazma stratejilerinin öğretilmesini destekleyebilir. Örneğin, sınıf içi eğitime dâhil edildiğinde, öğrenciler bir dönem boyunca kompozisyonları defalarca yazabilir, gönderebilir, geri bildirim alabilir ve makaleleri gözden geçirebilirler. Tüm öğrenci yazı çalışmaları elektronik olarak yapılır ve tüm öğrenci eylemlerinin ve aldıkları tüm geri bildirimlerin bir kaydını sağlayarak otomatik olarak puanlanır ve kaydedilir. Oluşacak veri, bireylerin, sınıfların veya okullar gibi daha büyük öğrenci gruplarında performans değişikliklerinin sürekli izlenmesine izin verir. Öğretmenler, her bir öğrencinin gelişimini bir sınıfta analiz edebilir ve gerektiğinde müdahale edebilir. Ayrıca, öğretim programlarının etkinliğini ve öğrenci yazma performansına yansıyan öğretim stratejilerinin etkinliğini ölçmek için sınıftaki gelişimi görselleştirmek artık mümkündür. Otomatik puanlama kullanan bir dizi biçimlendirici yazma aracı geliştirilmiştir ve bunlar WriteToLearn™ (W2L; Landauer, Lochbaum ve Dooley, 2009), Criterion, (Burstein, Chodorow ve Leacock, 2004), OpenEssayist (Whitelock, Field, Pulman, Richardson ve Van Labeke, 2013) ve Writing Pal (Roscoe ve McNamara, 2013)’da dâhil olmak üzere kullanımdadır.

Yazma için uygulanan veri madenciliği

Yazının otomatik biçimlendirilmiş değerlendirmesi, yazma performansındaki değişiklikleri ve bu performansı etkileyen sistem özelliklerini incelemek için zengin bir veri kümesi sağlar. Dijital eğitim ortamlarının artan bir şekilde benimsenmesiyle, bu ortamlardaki öğrenci etkileşimlerinden elde edilen verileri kanıt olarak kullanmak için yeni fırsatlar oluşmuştur(ör. DiCerbo ve Behrens, 2012). Son dönemdeki çalışmalar, yazma çalışmasını yazı ödevlerinden, akran puanlama alıştırmalarından ve işbirlikli forum tartışmalarından çıkarmaya ve analiz etmeye başlamıştır. Veri madenciliği yöntemlerine genel bir bakış sunulmuş olmakla birlikte (ör. Pena-Ayala, 2014; Romero ve Ventura, 2007; Romero ve Ventura, 2013), biçimlendirici yazma çalışmalarının büyük ölçekli veri madenciliğine hala çok az ilgi vardır. Daha güçlü bilgi işlemsel söylem araçlarının ortaya çıkmasıyla yeni teknikler ortaya çıkmaktadır (ör. Buckingham – Shum, 2013; McNamara, Allen, Crossley, Dascalu ve Perret, bu cilt; Rose, bu cilt).

Bazı çalışmalar, biçimlendirici geri bildirimlerin boyutlarına odaklanmamasına rağmen, büyük öğrenci yazı çalışması derlemelerini incelemiştir. Örneğin, Parr (2010), farklı kompozisyon türleri için yazma becerilerinin nasıl geliştiğini ölçmek amacıyla farklı sınıf seviyelerinde 60 farklı yazma etkinliği konularına yönelik yazılan 20.000 kompozisyonu analiz etmiştir. Puanlamayı kolaylaştıracak ve tutarlılığı sağlayacak araçlar sağlanmışsa da tüm puanlamalar insan puanlayıcılar tarafından yapılmıştır. Deane ve Quinlan (2010), binlerce kompozisyonun özelliklerini çıkarmak için e-Rater otomatik puanlama motorunu kullanarak analizler yapmış ve daha sonra gelişim düzeylerini ve dilbilimsel yazı boyutlarını incelemek için faktör analizi yapmıştır. Deane (2014) çok yetenekli bir uygulamadan gelen kompozisyonların otomatik olarak puanlanmasını, tuşa basma kayıtlarının özelliklerini ve yazma kabiliyetini ve okuma seviyesini belirleyen faktörleri tahmin etmek için kompozisyonların otomatik puanlamasını kendisi de kullanmıştır.

Biçimlendirme sürecinin boyutları da daha küçük veri örnekleri kullanılarak incelenmiştir; örneğin, Sidney Üniversitesi’ndeki işbirlikli yazma üzerine araştırma (Calvo, O’Rourke, Jones, Yacef ve Reimann, 2011; Reimann, Calvo, Yacef ve Southavilay, 2010), öğrenci kayıt günlüğü verilerini ve otomatik değerlendirmeyi yazmayı desteklemek için kullanmıştır. Çalışmalarında, takım yazma çalışmaları süreçlerini anlamak için yazının dilbilgisel ve konuyla ilgili yönlerinin yanı sıra revizyon dizilimlerini ve yazma etkinliklerinin kayıt dosyalarını da analiz ettiler. Ek olarak araştırma, kayıt günlüğü verilerini, göz takibi gibi fizyolojik izlemeyle birleştirerek yazma çalışmalarının detaylı bir analizini gerçekleştirmiştir (ör. Leijten ve Van Waes, 2013). WhiteLock vd. (2013, 2015), öğrencilerin ve öğretenlerin kompozisyonların içeriğini incelemek için bir yol olarak anahtar kelimelerin ve cümlelerin gösterimi ve birden fazla kompozisyonda kompozisyonun yapısı hakkında bilgi de dâhil olmak üzere kompozisyonların yazısal özelliklerinin görselleştirmelerini kullanmıştır. Bu görselleştirmeler daha sonra öğrenci yazılarını iyileştirmede öneride bulunmak için temel olarak kullanılabilir.

Şekil 17.1. Kompozisyon Geribildirim Puan Tablosu. Genel bir puanla WritetoLearn™ geri bildirimi, yazma çalışmasının altı popüler özelliğinin puanlaması ve ayrıca yazma sürecinde verilen destek.

Yazma ve veri madenciliğini içeren diğer araştırmalar, bir öğrencinin dersi başarıyla tamamlayıp tamamlayamayacağını tahmin etmek için KAÇD’ler içindeki tartışma forumlarında öğrenci yazma çalışmalarını inceleyen Crossley vd. (2015) ve öğrencilerin bir temel kavramı kendi sözcükleri ile yeniden ifade edebilecek kadar yeterince anladıklarında hedefe ulaştıklarını tespit etmek için öğrenci yazı çalışmasındaki değişiklikleri analiz eden hece analiz teknikleri geliştiren White ve Larusson (2014) gibi, yazmayı ikincil bir görev olarak dikkate almışlardır. Son olarak, çevrimiçi sistemlerde gözden geçirme sürecinde geri bildirim analizleri (ör. Baikadi, Schunn ve Ashley, 2015; Calvo, Aditomo, Southavilary ve Yacef, 2012), gözden geçirme sürecinde ne tür geri bildirimlerin daha etkili olabileceğini göstermiştir. Bu çalışmaların çoğu, onlarca hatta yüzlerce öğrenciyi temel alan analizlere odaklanmıştır, bu nedenle veri madenciliği tekniklerinin kullanımı hakkında bilgi verip biçimlendirici geri bildirimlerin rolü hakkında kritik bilgiler sağlasa da henüz daha büyük uygulamalara ölçeklendirilmemişlerdir.

Bu bölüm, biçimlendirici bir çevrimiçi yazma sisteminden toplanan bir milyondan fazla yazı örneğine ve yüz binin üzerinde biçimlendirici yazma işleminin bileşenlerine veri madenciliği uygulayarak, büyük ölçekli yazma analizine yönelik bir yaklaşımı açıklamak amacıyla yukarıdaki yaklaşımlara dayanmaktadır. Analizler, biçimlendirici bir sistemin şu anda nasıl kullanıldığı, etkinliği ve şu anki kullanımın nasıl anlaşılacağı ile ilgili belirli soru sınıflarını araştırmak için kullanılır hem sistem uygulamasını geliştirerek hem de sistemi kullanan öğrencilere yönelik doğrudan müdahaleler sunarak gelişmiş öğrenme için öneriler sunar. Bu bölüm, performanstaki betimleyici istatistikleri kullanan ve aynı zamanda performanstaki değişiklikleri resmî olarak modelleyen yaklaşımları göstermektedir. Bölüm metodolojiye odaklanırken, amaç öğrencinin öğrenmesinin niteliği hakkında, sınıftaki uygulamanın etkinliği ve ayrıca dijital ortamın kendisinin eğitim aracı olarak etkinliği hakkında, yazma verisinin kararları bilgilendirmek için daha genel olarak nasıl kullanılacağını göstermektir.

ÇEVRİMİÇİ BİÇİMLENDİRİCİ YAZI SİSTEMİ

Veri madenciliğinin büyük ölçekli bir uygulamanın yaşam döngüsündeki gücünü göstermek için kullanılan bağlam, biçimlendirici yazma çalışması değerlendirme sistemi WriteToLearn™ ‘ün öğrenci etkileşimi verileriyle yapılmıştır. WriteToLearn™, öğrencilere öyküleyici, açıklayıcı, betimleyici ve ikna edici yazma etkinliği konuları içeren alıştırmalar ile okuma kavrayışlarının geliştirmeleri için metinlerin özetlerini okuma ve yazma konusunda alıştırmalar sunan web tabanlı bir yazma ortamıdır. Öğrenciler yazılımı, yazdıkları, geri bildirim aldıkları ve daha sonra gelişmiş kompozisyonlarını gözden geçirip yeniden gönderdikleri, yinelemeli bir yazma aracı³ olarak kullanırlar. Otomatik geri bildirim, genel bir puan ve “fikirler, düzenlemeler, üsluplar, kelime seçimi ve cümle akıcılığı” gibi bireysel özelliklerin puanlanmasını sağlar. Öğrenci, geri bildirimi anlamalarına yardımcı olmak için ek eğitim materyalini görüntüleyebilir ve ayrıca kendi yazma çalışmalarını geliştirmek için yaklaşımlar önerebilir. Ayrıca, dil bilgisi ve yazım hataları işaretlenir. Şekil 17.1, sistem arayüzünün bir bölümünü göstermektedir ve bu örnekte 12. sınıf düzeyinde ikna edici yazma etkinliği konularına yönelik bir gönderimden kaynaklanan puanlama geri bildirimini gösterir. WriteToLearn ™ ‘ün iki haftalık kullanımının ardından değerlendirmelerde okuma, anlama ve yazma becerilerinde anlamlı derecede iyileşme olduğu görülmüştür (Landauer et al., 2009); bunun yanı sıra, sistemin puanlamada insan değerlendiriciler kadar güvenilir olduğu,ülke çapında bir yazma becerisi değerlendirmesini ve yıl sonu geçme oranlarını da önemli ölçüde iyileştirildiği görülmüştür (Mollette ve Harmon, 2015).

Yazmanın Puanlamasının Algoritması

WriteToLearn’ün ™ otomatik puanlaması Akıllı Kompozisyon Değerlendiricisi AKD uygulamasını temel almaktadır. AKD, her kompozisyondaki çıkarılan özellikleri insan puanlayıcıların atadığı puanlarla ilişkilendirmek için eğitilmiştir. Her kompozisyon için puanları en iyi şekilde modellemede optimum özellik setini ve özelliklerin her birinin ağırlıklarını belirlemek için makine öğrenme tabanlı bir yaklaşım kullanılır. Bu karşılaştırmalardan, aynı değerlendiricilerin yeni gönderilere atayacağı puanları tahmin etmek için yazma konusuna ve kişisel özelliğe özgü bir puanlama modeli elde edilmiştir. Bu puanlama modeline dayanarak, puanlama modeline göre ağırlıklı özelliklerin analizi ile hem en yeni kompozisyonlar puanlanabilir. Bu bölümdeki odak, başka bir yerde ayrıntılı olarak açıklandığı gibi puanlamayı oluşturan gerçek algoritmalar veya özellikler üzerine değildir (bk. Landauer vd., 2001; Foltz vd., 2013). Bunun yerine odak noktası, otomatik puanlamadan kalan iz ve öğrenci eylemlerinin, büyük yazı veri kümeleri arasında öğrenmeyi izlemek ve biçimlendirici sistemdeki gelişimi kolaylaştırmak için nasıl kullanılabileceğidir.

Veri

Veriler, ABD’de WriteToLearn™ ile toplanan ile büyük öğrenci etkileşimi örneklemini içermektedir. Bir set, 4 yıllık bir sürede toplanan 94.000 öğrencinin yazdığı 360.000 ödevden yaklaşık 1.3 milyon kompozisyonu içermektedir. İkinci set, yaklaşık 900.000 eylemle yaklaşık 62.000 öğrenci oturumunu temsil ediyordu. Veriler, öğrenci kompozisyonu ve tüm öğrenci eylemlerinin zaman damgalı kaydını, sistem tarafından verilen revizyonları ve geri bildirimleri içeriyordu. Öğrenci bir makaleyi gönderdiğinde veya kaydettiğinde her bir taslak kaydedilmiştir. Kompozisyonlar yaklaşık 200 önceden tanımlanmış yazma konusuna yönelik olarak yazılmıştır. Bu yazılarda hiçbir insan puanlaması yapılmamıştır. Kompozisyon puanları otomatik puanlama ile oluşturulmuş ve modellerin tahmin performansı test setlerinden veya çapraz doğrulama kullanılarak insan (değerlendiricilerin) mutabakatıyla doğrulanmıştır.

Yaklaşımın mümkün kıldığı Analizler

Biçimlendirici bir sistemin tasarım döngüsünün tüm aşamalarında, kayıt günlüğü verilerine uygulanan analitikler aracılığıyla fiilî kullanımın, uygulanması, dağıtımı, yeniden tasarlanması ve sürdürülebilirliğinin analizi sistemde iyileşmelere yol açabilir. Mislevy, Behrens, Dicerbo ve Levy (2012) ‘nin belirttiği gibi, bir sistem ilk tasarlandığında her birisinin eğitim sistemlerinin oluşturulması ve geliştirilmesinde kritik öneme sahip olan, en iyi uygulamaları temsil eden kanıt odaklı tasarım ile uygulamanın gerçek kullanımını yansıtan veri madenciliği öğrenci eylemleri arasında bir etkileşim vardır. Tasarım aşamasından itibaren, varsayımlarımızı değerlendirmek için kullanım verilerini analiz etmekle ilgileniyoruz ve bizim durumumuzda, yazma, geri bildirim ve gözden geçirme döngülerinin yazma performansını iyileştirip iyileştirmediğini ve yazının özelliklerinin hangi oranda değişiklik gösterdiğinin ve iyileştirme oranının bu özellikler arasında farklılık gösterip göstermediğini belirlemek istiyoruz. Pedagojik teori açısından, yazma, mekanik geri bildirim, içerik geri bildirimi ve gözden geçirmenin en iyi öğrenime nasıl yol açtığını ve öğrencilere ve öğretmenlere tavsiyelerin nasıl kişiselleştirileceğini anlamak istiyoruz. Şu anda sistem, sınırını öğretmenlerin özelleştirebildiği altı revizyon/geri bildirim döngüsüne izin vermektedir ve kullanım verileri, bu özelliğe rehberlik etmede yardımcı olmalıdır. Oldukça verimli bir analiz şekli de öğrenci performansını modellemektir; burada yazma konularının göreceli zorluğunu tahmin etmemize izin veren karma bir etki modelini tartışıyoruz. Yazma konuları geliştirilirken genellikle bir sınıf düzeyine atanır ancak modelleme komutun doğru şekilde etiketlenip etiketlenmediğini belirlememize izin verir; konulara yönelik yazılan milyonlarca kompozisyonun performans verilerini kullanmak, daha detaylı seviyeleme yapmayı sağlar.

Yazma kayıt günlüğü verisi ile pek çok ek analiz türü mümkündür öyleyse bu bölümde bunu detaylandırılacağız (ayrıca bk. Calvo vd., 2012; Deane, 2014). Özellikle umut verici bulduğumuz iki alan, öğretmenlerin eğitim stratejilerinin değerlendirilmesi; örneğin, hangi yazma konularının seçildiği ve öğrencilere konulara yönelik yazma etkinlikleri için ne kadar süre (tek bir ders saati, bir hafta veya daha uzun) verildiğidir. Burada söz edildiği gibi, hem öğretmenler hem de öğretmenlerin rehberleri için mesleki gelişim talimatları olsa da yeni stratejileri ortaya çıkarmak ve stratejiler arasındaki göreceli etkililiği ölçmek için sistemlerin sınıflarda gerçekte nasıl kullanıldığını gözlemlemek şaşırtıcı derecede faydalıdır. Ayrıntılı olarak açıklayacak yere sahip olmadığımız bir diğer alan, öğrenci eylemlerinin detaylı analizidir. Örneğin, yazma sürecinde bir öğrencinin yardım olanaklarından ne zaman ve nerede faydalandığını söylemek ve sıklıkla bir öğrencinin bir yardımdan faydalanabileceği fakat faydalanmadığı anı, kullanıcı arayüzü düzeni ve diğer tasarım konuları açısından yeniden tasarım olanaklarından çıkarmak mümkündür. Bu yönlerden bazılarına ilişkin daha fazla tartışma Foltz ve Rosenstein (2013), Foltz ve Rosenstein (2015) ‘te bulunabilir ve Foltz ve Rosenstein (2016)’ da gösterilmektedir.

KURAMI DOĞRULAMAK

Yazma ve Gözden Geçirme, Geliştirilmiş Yazma Performansına Neden Oluyor mu?

Biçimlendirici yazma sistemleri hızlı bir yazma, destekleme, geri bildirim alma ve gözden geçirme döngüsünü desteklemek için tasarlanmıştır. Bu döngü, otomatik biçimlendirici yazma çalışmasını, standart kompozisyon yazma pratiğinden temel ayırt edicilerden biridir; burada kompozisyonların insan tarafından puanlaması zaman alıcıdır, böylece öğrenciler anında geri bildirim alamazlar. Bu nedenle, öğrencilerin kompozisyonlarını ne sıklıkta göndereceklerini ve gözden geçireceklerini belirlemek ve en büyük başarıya götüren faktörleri ve zaman yollarını belirlemek çok önemlidir. Bu otomatik puanlarla ölçüldüğü gibi gözden geçirmenin daha iyi bir yazma çalışması ile sonuçlanıp sonuçlanmadığına ve hangi kullanım modellerinin en hızlı iyileştirmeyi kolaylaştırdığına ilişkin soruları ele alabilir.

Şekil 17.2 Revizyonlar boyunca çoklu yazma özelliği puanlamalarının değişimi.

Gözden Geçirmeler Arasında Harcanan Zaman

Şekil 17.3. Revizyon yapma zamanına bağlı olarak revizyonlar arasındaki not değişimi.

Yazma, gönderme, geri bildirim ve gözden geçirme aşamaları arasındaki zamanın en iyi şekilde kullanımını daha iyi anlamak için geri bildirim talep etmeden önce, öğrencinin harcadığı zamanın performansı üzerindeki etkisini daha fazla araştırabiliriz. Çok çeşitli WriteToLearn™ kullanıcısı için yaklaşık 1,1 milyon öğrenci yazma denemesinden elde edilen verileri kullanarak, taslaklar arasında ne kadar zaman harcandığına bağlı olarak öğrenci notundaki değişimi (ör. bir taslaktan diğerine kaydedilen ilerleme) hesapladık. Nottaki şekil 17.3’te gösterilen değişiklik, yazma puanındaki iyileşmenin genellikle 25 dakikaya kadar arttığını, bu noktada seviyesinin düştüğünü ve düşmeye başladığını gösterir. Ek olarak, negatif değişimin çoğu (önceki sürümden daha düşük bir puan alan kompozisyonlar), beş dakikadan kısa süren revizyonlarla ortaya çıkmaktadır. Sonuçlar, ek geri bildirim talep etmeden önce gözden geçirme için harcanacak en uygun süreyi göstermektedir. Bu iki sonuç, kayıt günlüğü verilerinin analizinin yazma-geri bildirim-revize etme döngüsünün yazma becerilerini geliştirdiğini ve aynı zamanda öğrenciyi geri bildirimin uygun aralıklarda istendiği durumlarda daha etkili çevrelere yönlendirmeye çalışarak öğrenmeye ince ayar yapma kabiliyetini gösterdiğini doğrulayabilir.

Modelleme

Yazma sürecinin altında yatan yapı, biçimlendirici bir yazma aracının yapısı, ortaya çıktıkça, genellikle resmî istatistiksel modellerin oluşturulmasıyla en iyi şekilde yorumlanabilir hale getirilir. Gözden geçirme, yazma tavsiyesi alma ve çoklu yazma konularına zaman içinde cevaplar oluşturma konusundaki karmaşık etkileşimin açıkça gösterilmesiyle, bu modeller kritik öneme sahip parametreler için tahminler ve güven aralıkları sağlar. Öğrenci kayıt günlüğü verisine dayanarak, bu modeller bir öğrencinin yazma becerisi dersi aldığı toplam süreye yayılan genel bir boyuna büyüme modeline gömülü paylaşılan yazma konuları üzerinden tekrarlanan performans ölçümleri gibi yönleriyle birlikte bu veri akışı içinde örtük olan karmaşık kovaryans yapısını açıklayabilir ve kontrol edebilir. Özenle oluşturulmuş bir model, öğrenciyi araca (yazma aracı) daha çok maruz bırakarak öğrencinin ilerlemesini kolaylaştırıcı işlev görür hem öğrencileri hem de ögeleri sırasıyla beceri ve zorluk düzeylerine göre ölçeklerine yerleştirmeyi sağlar ve mevcut geri bildirimlerin bileşenlerine maruz kalma seviyelerindeki değişimin yazma performansını nasıl etkilediğine ilişkin tahminler sunar.

Burada açıklanan modeller, öğrencilerin %20’sinden fazlasının üç veya daha fazla yıl boyunca takip edildiği yaklaşık 80.000 öğrenci tarafından 4 yıl boyunca 190’dan fazla bilgi istemine karşı yazılmış 840.000’den fazla kompozisyona dayanmaktadır. Modeller, geri bildirim için gönderilen her kompozisyon için bütünsel puanı öngörmekte olup, açıklayıcı değişkenler göz önüne alındığında, bir öğrencinin kompozisyon için alması beklenen puanı ifade etmektedir. Açıklayıcı değişkenler, öğrencinin sınıf seviyesi, kompozisyonun uzunluğu ve yazma konusunun zorluğu gibi faktörleri tahmin etmemize ve kontrol etmemize olanak sağlar.

Yazma süreci, Baayen, Davidson ve Bates (2008)’in açıkladığı teknikler üzerine kurulu doğrusal karma etkiler modeli çerçevesinde (Pinheiro ve Bates, 2006) temsil edilmektedir. Karma etkiler modelleri hem öğrencinin “beceri seviyesini” hem de maddenin “zorluğunu”, tahminlerin bütün evrende var olan ilişkilere ek olarak hesaplandığı tüm olası öğrencilerin ve tüm olası yazma konularının bir evreninden örneklendiğini görerek tahmin edebilir. Öğrenciler ve yazma konuları sıfır ortalamaya sahip bir dağılımdan ve verilere göre hesaplanan standart sapma ile elde edilen rastgele etkiler olarak modellenmiştir. Elde edilen değişkenlik, öğrencinin bireysel farklılıklarının bir tahminini sağlarken, aynı zamanda madde zorluğunun değişkenliğini de yansıtmaktadır. Tablo 17.1, modellerde kullanılan sabit ve rastgele etkilerin açıklamalarını içerir.

Her öğrencinin not düzeyinde, daha üst sınıfın etkisi notların artması ancak içerik seviyesi arttıkça (bir yazma konusunun etiketlenmiş sınıf seviyesi) beklenen puan azalmasıdır. Son olarak, kompozisyonun uzunluğunun kontrolü konusunda ortalama olarak daha uzun bir kompozisyonun daha yüksek bir puan alması beklenir. WriteToLearn™ ‘e maruz kalmanın dört ölçüsü, istatistiksel olarak anlamlı ve pozitiftir.

Tablo 17.1. Sabit ve Rastgele Etkilerin Tanımı

Örneğin, belirli bir yazma konusuna gönderim sayısı arttıkça, dört WriteToLearn™ ölçümü ilişkiliyken, aynı anda WriteToLearn™ kullanarak harcanan toplam süre artar ve bunlar sistemle öğrenci etkileşiminin farklı yönlerini yansıtır. Etki boyutları küçük görünüyor; örneğin, belirli bir yazma konusuna yapılan her ek gönderim, sadece bir kompozisyonun tek bir gözden geçirilmesi ile ilgili geri bildirim almaya dayalı bir artışı temsil eden bir sayı olan beklenen puanı, yalnızca 0.018 oranında artırır. Aslında bu önemli küçük, artımlı etkileri güvenilir bir şekilde tahmin edebilmek, yalnızca büyük veri kümeleriyle veri madenciliği ve modellemesi yoluyla gerçekleşir. Daha genel bir perspektiften, WriteToLearn™ ile etkileşime girme girişimlerinin ve harcanan zamanın kümülatif etkisi, başarıda iyileşmelere neden olur. Bu ilerleme çoğu zaman en iyi şekilde, daha yoğun kullanımla eyalet başarı testlerindeki daha iyi geçme oranlarında gözlendiği gibi, dış doğrulamalarla karşılaştırılmalı olarak değerlendirilir (Mollette ve Harmon, 2015).

Yazma İsteminin Zorluğunu Belirlemek İçin Modelleme

Bir öğrenciye veya sınıfa bir yazma etkinliği konusu atamada pek çok pedagojik düşünce ortaya çıkmaktadır ve sıkça dile getirilen bir endişe, yazma etkinliğinin puanlamasını öğrencinin seviyesine ayarlamaktır (ayrıca bk. Deane ve Quinlan, 2010, derlem yazısı). Bazı yazma etkinliği konuları, ele alınması gereken bir eşik beceri seviyesi veya özel bilgi veya uzmanlık gerektirmesine rağmen, bunların birçoğu çok farklı seviyelerdeki öğrencilerin kullanabileceği durumdadır. Görevde farklı olan, nihai ürünle kanıtlanan nitelik veya beceriye ait beklenti ve onun bir puanla değerlendirilmesidir. Yazma etkinliğinin konularının puanlaması, sınıfa özgü modellere dayanmaktadır, bu nedenle 10. sınıf öğrencilerine uygun olarak etiketlenmiş bir yazma konusu hem 10. sınıfta beklenen bilgi ve becerilere uygun olduğuna ancak aynı zamanda otomatik puanlamanın 10. sınıf öğrencileri tarafından yazılmış eğitim seti kompozisyonları kullanılarak ayarlanmasına işaret eder. Bir yazma etkiliği konusu çeşitli sınıf seviyelerine uygun olduğu ve farklı sınıf seviyelerindeki öğrencilerin eğitim kümelerinin mevcut olduğu durumlarda, aynı yazma konusu birden çok sınıf seviyesinde görünebilir; burada kritik fark, her sınıf düzeyinde öğrencinin çalışmasının değerlendirilmesinde farklı puanlama modellerinin kullanıldığıdır.

Genellikle öğretmenler, sınıflarının seviyesine uyan bir dizi yazma konusunun göreceli zorluk derecesini ölçmek gibi, yazma konuları arasında daha iyi ayırt edicilik seviyelerini tercih ederler. Bu tam olarak yazma konularına ait rastgele etki tahminlerinin ele almada kullanılabileceği bir durumdur. Bir yazma konusunun etiketli not seviyesi arttıkça, modeldeki sabit etki içerikSınıfSeviyesi katsayısı beklenen puanda 0.073’lük bir düşüş olduğunu gösterir (daha zor yazma konuları düşük puanlara katkıda bulunur), diğer değişkenler sabit tutulur. Eşdeğer olarak, etiketli yazma konularının seviyesini kontrol etmek için her bir yazma konusunun rastgele etkisi, belirli bir yazma konusunun zorluk açısından bu ortalama sabit etkiden ne kadar çok farklılaştığını gösterir. Bu yazma konularının sınıf seviyelerine göre sıralanmasını sağlar, öğretmenler için gözleme dayalı olarak elde edilen ek destek altyapısı sağlar. Benzer şekilde, sabit yazma konusu etkisinin dikkate alınması, bir öğretmenin güvenle atayabileceği yazma konuları kümesini genişleten bütün yazma konularının sıralanmasına izin verilir.

Tablo 17.2. Rastgele etkilerin koşullu modlarının tahminlerine göre sıralanan yazma konularının alt kümesi (Bates, Maechler, Bolker ve Walker, 2015)

Bu uygulanabilir sonucun ötesinde, atanmış sınıf seviyesi kontrolü için yazma konusunun zorluğunun tahmin edilmesi bir dizi ilginç araştırma sorusunu gündeme getirmektedir. Tablo 17.2 etiketlenen sınıf seviyesi ve yazma konu başlığı için verilen sütunların yanısıra zorluk olarak adlandırılan sütunda da rastgele etkilerin koşullu modlarının (Bates, Maechler, Bolker ve Walker, 2015) tahminlerine göre sıralanan yazma konularının bir alt kümesini sunar. Bir kompozisyondan elde edilen puan üzerindeki etki, not seviyesinin, sınıf seviyesi ile modelden gelen katsayısının çarpımına onun zorluğunun eklenmesi ile elde edilen toplamdır, dolayısıyla zorluk ne kadar pozitif ise yazma konusu o sınıf seviyesindeki diğer konulara göre o kadar kolaydır; bu nedenle, tablonun altına yakın yazma konuları sınıf seviyelerine göre daha zordur. Bu verileri açıklamak için hipotezler oluşturmaya çalışmanın ilk aşamalarındayız, örneğin, tablodaki ilk 10 yazma konusunun neden bu sınıf düzeyindeki diğer yazma konularından daha kolay olduğu ve son 10’un da neden daha zor olduğu gibi göreceli olarak en kolay olan ögelerin, daha kısıtlı olan nispeten en zor maddeler kümesinden daha geniş bir sınıf seviyesi aralığından çekildiği görülüyor.

Büyük Veri Kümeleriyle Modellemede Dikkat Edilmesi Gerekenler

Bir model tasarlarken, ifade ile sadelik arasında bir denge vardır. Büyük veri kümelerinde, genellikle istatistiksel önem, model biçimine karar vermek için yeterli bir temel değildir; analizin amacının da karara bağlanması gerekir. Daha önce sunulan betimleyici grafiklerden gelen güçlü bir mesaj, kompozisyon başına gönderim sayısı gibi değişkenler için kayba yol açan sonuçlarla ilgiliydi. Bu eğilim bir çok terimli veya genel bir katkı modeli bağlamında tanımlanabilir. Veri madenciliğinin gücü büyük bir veri kümesidir; ilişkilerin alacağı form hakkında daha az varsayımda bulunabiliriz. Bu durumda, performans ve sınıf arasında doğrusal bir ilişki varsayabiliriz ancak bunun yerine, 3. sınıfa göre ayrı bir gelişme olduğunu tahmin ettik ve ilişkiyi Şekil 17.4’te gösterdik. Asimtotik davranışın nedenlerini ve WriteToLearn™ ‘e yönelik potansiyel ilerlemelerin etkilerini daha iyi anlamak için ek araştırmalar gereklidir.

Şekil 17.4. Öğrenci puanında sınıf düzeyi göre gelişim.

Burada tarif edilen çalışmayla ilgili olarak, karma efekt modelleri kullanarak (ör. özel ders bağlamında Feng, Heffernan, Heffernan ve Mani, 2009) veya Markov yöntemlerini kullanarak (ör. Beal, Mitra ve Cohen, 2007; Jeong vd., 2008) veya Bayesçi teknikler (ör. Conati vd., 1997) daha detaylı eylem dönüşüm modelleri vardır. Bu teknikler, eylem seviyesindeki (bilişsel destek servislerinin kullanımı gibi) öğrenci etkileşimlerini daha iyi anlamak için burada anlatılmış olan daha fazla ders içerikli analize tamamlayıcı olarak kullanılabilir.

SONUÇ

Dijital eğitim ortamları, öğrencilerin öğrenim ihtiyaçlarına göre anında geri bildirim ve eğitim almasını sağlarken daha otantik eğitim görevleri üzerinde çalışmalarını sağlayarak öğrencilerin daha kişiselleştirilmiş öğrenme deneyimlerine sahip olmalarını destekleyecek bir altyapı sağlayabilir. Düzgün bir şekilde uygulandıklarında bu ortamlar, öğrencinin sistemle etkileşime girmesiyle öğrenmesi ve gelişimi hakkında zengin bir bilgi kaynağı da sağlayabilir. Biçimlendirici yazımın büyük ölçekli uygulamaları, performansın analizi ve geri bildirimin etkileri için zengin veri kümeleri sağlar. Yazılan ürünü veri olarak ele alma, otomatik yazma puanlaması uygulamak, öğrencilerin bu uygulamalarda kompozisyonları yazarken ve gözden geçirirken öğrenmelerinin izlenmesini sağlar. Öğrenci eylemleri günlüğünü, geçen zaman miktarını ve komisyonlardaki değişiklikleri inceleyerek, sistemin kullanımından öğrenmenin etkisi izlenebilir.

Öğrencinin öğrenme gelişimini en üst düzeye çıkarmak için biçimlendirici bir sistem geliştirmek ve sürdürmek, tasarım ve uygulamadan başlayarak kullanımının izlenmesi ile devam etmeyi gerektiren çeşitli kararlar gerektirir. Tasarım ve uygulama aşamasındaki kararlar genel olarak uygulamada büyük ölçüde belirsizlik sağlayan bir ayrıntı düzeyi olan teori ve en iyi uygulamalarla sınırlıdır. Bununla birlikte, bir sistem devreye alındığında, bu varsayımlar sınıf etkinlikleri sırasında sistemi uygulayan öğretmenlerin ve yazmayı öğrenen öğrencilerin fiilî davranışlarına karşı yöneltilebilir. Veri madenciliği yoluyla, bu varsayımlar hem sistemin varsayımlarını doğrulamak hem de öğrencilerin nasıl öğrendikleri hakkında daha fazla bilgi edinmek için test edilebilir.

Öğrenmek için Yazmak ve Yazmayı Öğrenme

Sonuçta ortaya çıkan analiz, biçimlendirici yazmanın temel bir ilkesini doğrular: öğrenciler sistemden gelen geri bildirimlere dayanarak revizyonlarla yazılarını geliştirebilirler. Yazmaya veri madenciliği yaklaşımı, öğrenmedeki değişimleri ve geri bildirimlerin performans üzerindeki etkilerini incelemek için iyi ayarlanmış bir yaklaşıma izin verir. Bu ayrıca, ortaya çıkan endişeleri keşfetmemize, önceliklendirmemize ve ele almamıza ve hangi değişikliklerin öğrenci deneyimini ve yazma becerilerini keskinleştirme yeteneklerini geliştirmede mümkün kılacağını belirlememize izin verir.

Yazma değerlendirmesinin odağı çoğu zaman ürün (yani son kompozisyon) olmuştur. Öğrenci taslak teslimlerinde ve onların işlem kayıtlarında veri madenciliği yaparak, öğrencilerin ürünü oluşturmak için aldığı süreci izlemek mümkündür. Bu analiz, sadece son ürünü değerlendirmek yerine, yazma sürecinde stratejik noktalarda müdahalelere izin verir. Verilerin yazılması, kompozisyonların incelenmesi, kompozisyonların oluşturulma süreci ve değişikliklerin ilerlemesi gibi çok çeşitli analizler yapılabilir. Bu yaklaşımlar hem tanımlayıcı analizler hem de modelleme olabilir. Bu bölümdeki tüm analiz türleri hakkında kapsamlı bir tartışma sağlayamasak da amaç, veri madenciliğinin sistem ve öğrenci yazma performansının kanıtlarını toplama ve kalıpları ortaya çıkarma konusunda yeni düşünme yöntemleri sunabileceğini göstermek için çeşitli yaklaşımlar göstermekti. Bu sadece bireysel öğrencileri veya sınıfları gözlemleyerek ortaya çıkanların ötesine geçer.

KAYNAKÇA

Baayen, R. H., Davidson, D. J., & Bates, D. M. (2008). Mixed-effects modeling with crossed random effects for subjects and items. Journal of Memory and Language, 59, 390–412.

Baikadi, A., Schunn, C., & Ashley, K. (2015). Understanding revision planning in peer-reviewed writing. In O. C. Santos, J. G. Boticario, C. Romero, M. Pechenizkiy, A. Merceron, P. Mitros, J. M. Luna, C. Mihaescu, P. Moreno, A. Hershkovitz, S. Ventura, & M. Desmarais (Eds.), Proceedings of the 8th International Conference on Education Data Mining (EDM2015), 26–29 June 2015, Madrid, Spain (pp. 544 – 548). International Educational Data Mining Society.

Bates, D., Maechler, M., Bolker, B. M., & Walker, S. (2015). Fitting linear mixed-effects models using lme4. ArXiv e-print, Journal of Statistical Software, http://arxiv.org/abs/1406.5823.

Beal, C., Mitra, S., & Cohen, P. R. (2007). Modeling learning patterns of students with a tutoring system using Hidden Markov Models. Proceedings of the 2007 conference on Artificial Intelligence in Education: Building Technology Rich Learning Contexts That Work, 238–245.

Black, P., & William, D. (1998). Assessment and classroom learning. Assessment in Education, 5(1), 7–74.

Buckingham-Shum, S. (2013). Proceedings of the 1st International Workshop on Discourse-Centric Analytics, workshop held in conjunction with the 3rd International Conference on Learning Analytics and Knowledge (LAK’13), 8–12 April 2013, Leuven, Belgium. New York: ACM.

Burstein, J., Chodorow, M., & Leacock, C. (2004). Automated essay evaluation: The Criterion Online writing service. AI Magazine, 25(3), 27–36.

Calvo, R. A., Aditomo, A., Southavilay, V., & Yacef, K. (2012). The use of text and process mining techniques to study the impact of feedback on students’ writing processes. Proceedings of the 10th International Conference of the Learning Sciences (ICLS’12) Vol. 1, Full Papers, 2–6 July 2012, Sydney, Australia (pp. 416–423).

Calvo, R. A., O’Rourke, S. T., Jones, J., Yacef, K., & Reimann, P. (2011). Collaborative writing support tools on the cloud. IEEE Transactions on Learning Technologies, 4(1), 88–97.

Conati, C., Gertner, A. S., VanLehn, K., & Druzdzel, M. J. (1997). On-line student modeling for coached problem-solving using Bayesian networks. Proceedings of the 6th International User Modeling Conference (UM97) (pp. 231–242).

Crossley, S. A., McNamara, D. S., Baker, R., Wang, Y., Paquette, L., Barnes, T., & Bergner, Y. (2015). Language to completion: Success in an educational data mining massive open online class. In O. C. Santos, J. G. Boticario, C. Romero, M. Pechenizkiy, A. Merceron, P. Mitros, J. M. Luna, C. Mihaescu, P. Moreno, A. Hershkovitz, S. Ventura, & M. Desmarais (Eds.), Proceedings of the 8th International Conference on Education Data Mining (EDM2015), 26–29 June 2015, Madrid, Spain (pp. 388–392). International Educational Data Mining Society.

Deane, P. (2014). Using writing process and product features to assess writing quality and explore how those features relate to other literacy tasks. Educational Testing Research Report ETS RR-14-03. http://dx.doi.org/10.1002/ets2.12002.

Deane, P., & Quinlan, T. (2010). What automated analyses of corpora can tell us about students’ writing skills. Journal of Writing Research, 2(2), 151–177.

DiCerbo, K. E., & Behrens, J. (2012). Implications of the digital ocean on current and future assessment. In R. Lissitz & H. Jao (Eds.), Computers and their impact on state assessment: Recent history and predictions for the future. Charlotte, NC: Information Age.

Feng, M., Heffernan, N. T., Heffernan, C., Mani, M. (2009). Using mixed-effects modeling to analyze different grain-sized skill models in an intelligent tutoring system. IEEE Transactions on Learning Technologies, 2, 79–92.

Foltz, P. W., Gilliam, S., & Kendall, S. (2000). Supporting content-based feedback in online writing evaluation with LSA. Interactive Learning Environments, 8(2), 111–129.

Foltz, P. W., & Rosenstein, M. (2013). Tracking student learning in a state-wide implementation of automated writing scoring. Proceedings of the Neural Information Processing Systems (NIPS) Workshop on Data Driven Education. http://lytics.stanford.edu/datadriveneducation/

Foltz, P. W., & Rosenstein, M. (2015). Analysis of a large-scale formative writing assessment system with automated feedback. Proceedings of the 2nd ACM conference on Learning@Scale (L@S 2015), 14–18 March 2015, Vancouver, BC, Canada (pp. 339–342). New York: ACM.

Foltz, P. W., & Rosenstein, M. (2016). Visualizing teacher assignment behavior in a statewide implementation of a formative writing system. Cover competition. Education Measurement: Issues and Practice, 35(2), 31. http://dx.doi.org/10.1111/emip.12114

Foltz, P. W., Streeter, L. A., Lochbaum, K. E., & Landauer, T. K. (2013). Implementation and applications of the Intelligent Essay Assessor. In M. D. Shermis & J. Burstein, handbook of automated essay evaluation: Current applications and future directions (pp. 68–88). New York: Routledge.

Gerbner, G., Holsti, O. R., Krippendorff, K., Paisley, W. J., & Stone, Ph. J. (Eds.) (1969). The analysis of communication content: Development in scientific theories and computer techniques. New York: Wiley.

Graham, S., Harris, K. R., & Hebert, M. (2011). Informing writing: The benefits of formative assessment. Carnegie Corporation of New York.

Graham, S., & Hebert, M. (2010). Writing to read: Evidence for how writing can improve reading. Carnegie Corporation of New York.

Graham, S., & Perin, D. (2007). A meta-analysis of writing instruction for adolescent students. Journal of Educational Psychology, 99, 445–476.

Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81–112.

Jeong, H., Gupta, A., Roscoe, R., Wagster, J., Biswas, G., & Schwartz, D. (2008). Using Hidden Markov Models to characterize student behaviors in learning-by-teaching environments. In B. Woolf, E. Aïmeur, R. Nkambou, & S. Lajoie (Eds.), Proceedings of the 9th International Conference on Intelligent Tutoring Systems (ITS 2008), 23–27 June 2008, Montreal, PQ, Canada (pp. 614–625). Berlin / Heidelberg: Springer.

Krippendorff, K., & Bock, M. A. (2009). The content analysis reader. Sage Publications.

Landauer, T. K., Laham, D., & Foltz, P. W. (2001). Automated essay scoring. IEEE Intelligent Systems, September/October.

Landauer, T., Lochbaum, K., & Dooley, S. (2009). A new formative assessment technology for reading and writing. Theory into Practice, 48(1), 44–52. http://dx.doi.org/10.1080/00405840802577593

Leijten, M., & Van Waes, L. (2013). Keystroke logging in writing research using Inputlog to analyze and visualize writing processes. Written Communication, 30(3), 358–392.

Mislevy, R. J., Behrens, J. T., Dicerbo, K. E., & Levy, R. (2012). Design and discovery in educational assessment: Evidence-centered design, psychometrics, and educational data mining. Journal of Educational Data Mining, 4(1), 11–48.

Mollette, M., & Harmon, J. (2015). Student-level analysis of Write to Learn effects on state writing test scores. Paper presented at the 2015 annual meeting of the American Educational Research Association. http:// www.aera.net/Publications/Online-Paper-Repository/AERA-Online-Paper-Repository

Page, E. B. (1967). The imminence of grading essays by computer. Phi Delta Kappan, 47, 238–243.

Parr, J. (2010). A dual purpose data base for research and diagnostic assessment of student writing. Journal of Writing Research, 2(2), 129–150.

Peña-Ayala, A. (2014). Educational data mining: A survey and a data mining-based analysis of recent works. Expert systems with applications, 41(4), 1432–1462.

Pinheiro, J., & Bates, D. (2006). Mixed-effects models in S and S-PLUS. New York: Springer-Verlag.

Reimann, P., Calvo, R., Yacef, K., & Southavilay, V. (2010). Comprehensive computational support for collaborative learning from writing. In S. L. Wong, S. C. Kong, & F.-Y. Yu (Eds.), Proceedings of the 18th International Conference on Computers in Education (ICCE 2010), 29 November–3 December, Putrajaya, Malaysia (pp. 129–136). Asia-Pacific Society for Computers in Education.

Romero, C., & Ventura, S. (2007). Educational data mining: A survey from 1995 to 2005. Expert Systems with Applications, 33(1), 135–146.

Romero, C., & Ventura, S. (2013). Data mining in education. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 3(1), 12–27.

Roscoe, R., & McNamara, D. S. (2013). Writing pal: Feasibility of an intelligent writing strategy tutor in the high school classroom. Journal of Educational Psychology, 105(4), 1010–1025. http://dx.doi.org/10.1037/a0032340

Shermis, M., & Hamner, B. (2012). Contrasting state-of-the-art automated scoring of essays: Analysis. Paper presented at Annual Meeting of the National Council on Measurement in Education, Vancouver, Canada, April.

Shute, V. J. (2008). Focus on formative feedback. Review of Educational Research, 78(1), 153–189.

Walvoord, B. E., & McCarthy, L. P. (1990). Thinking and writing in college: A naturalistic study of students in four disciplines. Urbana, IL: National Council of Teachers of English.

White, B., & Larusson, J. A. (Eds.). (2014). Learning analytics: From research to practice. New York: Springer Science+Business Media. doi:10.1007/978-1-4614-3305-7_8.

Whitelock, D., Field, D., Pulman, S., Richardson, J. T. E., & Van Labeke, N. (2013). OpenEssayist: an automated feedback system that supports university students as they write summative essays. Proceedings of the 1st International Conference on Open Learning: Role, Challenges and Aspirations. The Arab Open University, Kuwait, 25–27 November 2013.

Whitelock, D., Twiner, A., Richardson, J. T. E., Field, D., & Pulman, S. (2015). OpenEssayist: A supply and demand learning analytics tool for drafting academic essays. Proceedings of the 5th International Conference on Learning Analytics and Knowledge (LAK’15), 16–20 March, Poughkeepsie, NY, USA (pp. 208–212). New York: ACM.