Bölüm 8 Doğal Dil İşleme ve Öğrenme Analitiği

Danielle S. McNamara¹, Laura K. Allen¹, Scott A. Crossley², Mihai Dascalu³, Cecile A. Perret⁴

¹Psikoloji Bölümü, Arizona Devlet Üniversitesi, ABD

² Uygulamalı Dilbilim ve ESL Bölümü, Georgia Devlet Üniversitesi, ABD

³ Bilgisayar Bilimleri Bölümü, Bükreş Politeknik Üniversitesi, Romanya

⁴ Öğretme ve Öğrenme Bilim Enstitüsü, Arizona Devlet Üniversitesi, ABD

DOI: 10.18608/hla17.008

ÖZ

Dil, bilgiyi anlamak ve ilişki kurmak için bir kanal olduğundan eğitim alanı için merkezi bir öneme sahiptir. Bu nedenle, öğrenme analitiği alanındaki araştırmacılar, dili doğru ve etkili bir şekilde analiz etmek için geliştirilen yöntemlerden yararlanabilir. Doğal dil işleme (DDİ) teknikleri böyle bir yol sağlayabilir. DDİ teknikleri, belirli görevlerle ilgili olarak dilin farklı yönlerinin bilgi işlemsel analizlerini sağlamak için kullanılır. Bu bölümde, yazarlar söylemin anlaşılması için kullanılabilecek birçok DDİ araçları ve bu eğitim araçlarının bazı uygulamalarını tartışmaktadır. Bu araçların ana odağı, insanlar ve bilgisayarlar arasındaki etkileşimi veya insan-bilgisayar etkileşimini sağlamak için insan dili girdisinin otomatik olarak yorumlanmasıdır. Bu nedenle, araçlar metinleri anlamak için önemli olan tutarlılık, sözdizimsel karmaşıklık, kelime çeşitliliği ve anlamsal benzerlik gibi çeşitli dil özelliklerini ölçer. Yazarlar, bölümü DDİ araçlarını (yani, Akıllı Öğretim Sistemleri, KAÇD’ler ve Bilgisayar Destekli İşbirlikli Öğrenme) kullanan bilgisayar tabanlı öğrenme ortamları ve bu tür araçların gelecekteki araştırmalarda nasıl kullanılabileceği tartışmasıyla sonlandırmaktadır.

Anahtar Kelimeler:Doğal dil işleme (DDİ), dil, bilgi işlemsel dil bilimi, dil özellikleri, otomatik yazma değerlendirmesi, akıllı öğretici sistemleri, BDİÖ, KAÇD

Dil düşüncelerimizi dışarıya yansıtmanın bir aracıdır. Kendimizi başkalarına ifade etmemize, dünyayı manipüle etmemizi ve çevrede bulunan nesneleri etiketlememizi sağlar. Dil, düşüncelerimizi içsel olarak inşa etmemizi ve yeniden yapılandırmamızı sağlar; düşüncelerimizi temsil edebilir ve onları dönüştürmemize imkan tanır. Sosyal deneyimler kurmamızı ve şekillendirmemizi sağlar. Dil, dünyayı anlamak ve etkileşimde bulunmak için bir kanal sağlar.

Dil yaşamımızda, düşüncelerimizde, iletişimimizde, okuduklarımızda ve yazdıklarımızda ve diğerleriyle etkileşimlerimizde her yerdedir. Dil, eğitim için aynı şekilde merkezidir. Öğretenler olarak hedefimiz, öğrencilere yeni bilgileri öğrenme, bunları özümseme ve bütünleştirme fırsatına sahip olacak şekilde bilgileri iletmektir. Öğrenciler bilgiyi iletmek için kullanılan dili anlama ve daha sonra bu bilgileri bireyler olarak, gruplar halinde, birbirleriyle ve öğretenlerle eşgüdüm halinde inşa etmeyi bildikleri şeylerle ilişkilendirmekle görevlidirler.

Dil, yaşamımızda ve eğitimde önemli roller oynar ve bu nedenle bu rolleri ve çıktıları tanımak ve anlamak önemlidir. Metin ve söylem analizi, dil kullanımıyla ilgili karmaşık süreçleri anlamak için bir yol sağlar. Söylem analistleri, yazılı metin ve sözlü söylem içerisindeki yapıları, örüntüleri ve onların davranışlarla, psikolojik süreçlerle, bilişsel ve sosyal etkileşimlerle ilişkilerini sistematik olarak inceler. Nitekim, metin ve söylem analizi dil hakkında bir bilgi hazinesi sağlamıştır.

Geleneksel olarak, söylem analizi zahmetlidir. İlk olarak, örneğin, anlamlı dil birimleri tanımlanır ve bölümlere ayrılır (ör. tümceler, ifadeler) ve sonra uzmanlar bu birimleri kodlar (yani, belirli bir analiz için). Ardından, bu dil birimlerinin doğası ve çıktıları arasındaki potansiyel ilişkiler değerlendirilir. Bireyler arasında binlerce ifade ve alışverişin olduğu büyük veri dünyasında, dili elle-kodlama neredeyse imkânsızdır. Büyük veri derlemleri, dili daha geniş ve daha anlamlı bir ölçekte anlamak için kapıları açar ancak söylem analizine geleneksel yaklaşımlar uygulanabilir ve elverişli değildir. Doğal dil işlemeden (DDİ) bir çözüm elde edilebilir.

DDİ, insan dilinin bilgisayar dili kullanarak analizidir ve söylem çözümlemesini otomatikleştirmenin yolunu gösterir. DDİ terimi, bilgisayar dillerinin kullanımı ve analizinin aksine, doğal insan dilinin analizi olduğu için kullanılmıştır. Doğal dili işlemek için çeşitli otomatik araçlar kullanılabilir. Nitekim, DDİ araçlarının sayısı ve gücü 1990’ların ortasından bu yana düzenli olarak artmıştır (Jurafsky ve Martin, 2000, 2008). Dolayısıyla öğrenme analitiği ve veri madenciliği alanındaki etkileri ve kullanımları, katlamalı olarak olmasa da giderek artmaktadır. Bu bölüm, araştırmacılar ve eğitimciler için dili bilgi işlemsel olarak analiz etmek için mevcut olan ve özellikle de eğitim alanındaki kullanımlarına odaklanan çeşitli araçları açıklamaktadır.

DOĞAL DİL İŞLEME

Bilgiişlemsel dilbilim modelleri gelişimine odaklanan bir disiplindir. DDİ araç ve teknikleri genellikle bilgi işlemsel dilbilimi alanında geliştirilen teoriler, modeller ve algoritmalar tarafından yönlendirilir ancak DDİ araçlarının temel amacı insan dili girdilerinin otomatik olarak yorumlanmasıdır. Böyle bir çaba, dilbilim, bilgisayar bilimi, psikoloji ve eğitim gibi disiplinleri birleştiren disiplinlerarası bakış açıları üzerinde durur. DDİ’nin Turing’e (1950) dayanan bir geçmişi olsa da mevcut DDİ algoritmalarının çoğu, DDİ araçları ve veri madenciliğinin birleşimi kullanılarak geliştirilmiştir. Bilgisayar veya veri bilimcileri tarafından sıklıkla kullanılan DDİ yazılımı ile bu bölümde sunulan araçlar arasında en baştan net bir ayrım yapılmalıdır. DDİ’ye ilişkin araştırmaların büyük bir çoğunluğu yüzeysel seviyede metin işlemeye odaklanmıştır (ör. makine çevirisi) ve mevcut araçlar sonuç olarak doğru kelime -ve cümle- düzeyi metin işlemenin temel rolünü vurgulamaktadır. Bu bölümdeki amacımız, öğrenme analitiği bağlamında DDİ’ye odaklanmaktır. Bu nedenle, bu yüzey düzeyinde görevlerin ötesine geçen, kelime dizinlerini hesaplamak için geliştirilen ve eğitim bağlamında daha önemli olabilecek bilgileri sunan araçlara odaklanıyoruz. Bilhassa, birden fazla metin düzeyi hakkında bilgi sağlayan bir DDİ teknikleri alt kümesini betimliyoruz. Bu araçlar söylemdeki sözcüklerden başlar, belirli kelime özelliklerini çıkarır ve ardından anlam yapısını ve söylem yapısını dikkate alarak veri sözlüğünün ötesine geçer. Amacımız, mevcut tüm yöntemlere genel bir bakıştan ziyade, birkaç ortak tekniğe dair örnekler sunmaktır. Bu yöntemleri,doğrudan analiz birimleri olarak kelimelere odaklananlar ve kelimelerin özelliklerine odaklananlar olarak gruplandırıyoruz.

Kelimeler

DDİ’ye yönelik bir yaklaşım, dilde kullanılan kelimeleri doğrudan analiz etmektir. Örneğin, bir metindeki belirli sözcük türlerinin görülme sıklığını hesaplamak, çeşitli bağlamlarda kullanılan dilin doğası ve amacına dair iyi bir yöntem oluşturabilir. Bu genellikle “sözcük çantası” yaklaşımı olarak adlandırılır. Bu yaklaşımı kullanan araçlardan biri, Pennebaker ve meslektaşları, tarafından geliştirilen Dilbilimsel Sorgu ve Kelime Sayısı (DSKS) sistemidir (Pennebaker, Booth ve Francis, 2007; Pennebaker, Boyd, Jordan ve Blackburn, 2015; bk. http: //liwc.wpengine.com). DSKS’nin 2007 sürümü kabaca 80 kelime kategorisi sağlar, fakat aynı zamanda bu kelime kategorilerini daha geniş boyutlarda gruplandırır. Daha geniş boyutların örnekleri dil biçimleri (ör. zamirler, geçmiş zamandaki kelimeler, ters ifadeler), sosyal süreçler, duygusal süreçler ve bilişsel süreçlerdir. Örneğin, bilişsel süreçler, içgörü (ör. düşün, bil, göz önüne al), nedensellik (ör. çünkü, etki, dolayısıyla) ve kesinlik (ör. her zaman, asla) gibi alt kategorileri içerir. DSKS, her bir kelime kategorisine ait kelimelerin sayısını sayar ve kategorideki kelimelerin sayısını metindeki kelimelerin toplam sayısına bölerek bir oran sunar.

Benzer bir yaklaşım, karakterlerin veya kelimelerin grupları gibi n-gramlarını tanımlamaktır; burada n, gruba dâhil edilen gramların sayısını belirtir (ör. İki gramlar, iki kelimeli gruplara atıfta bulunur). N-gram analizleri, metinlerdeki kelime dizilimlerin olasılık dağılımlarını hesaplar ve bir metin grubuna ortak olan veya belirli bir metin veya metin dizileri için farklı olan kelimeler hakkında bilgi sağlayabilir (ör. Jarvis vd., 2012). N-gram analizlerinin avantajları, basitlikleri ve bir metnin spesifik içeriği, bir metnin dil ve sözdizimsel özellikleri ve bu özellikler arasındaki ilişkiler hakkında bilgi sağlama potansiyelini içerir (Crossley ve Louwerse, 2007).

Kelimelerin Özellikleri

Kelimelerin oluşumunu ve kelime gruplarını hesaplamak metnin açık içeriğini göz önüne alır. Alternatif bir yaklaşım, bir metindeki kelimelerin ve cümlelerin özelliklerinin hesaplanmasını içerir. Bu tür bir teknik, kelimelerin arkasındaki gizli anlamı elde etmek içindir (McNamara, 2011). Bunu yapmak için çok sayıda algoritma olsa da en iyi bilinen ve belki de ilk olanı örtük semantik analiz (ÖSA; Landauer ve Dumais, 1997; Landauer, McNamara, Dennis ve Kintsch, 2007; bk. lsa.colorado.edu) dir. ÖSA 1990’ların ortalarında ortaya çıktı, büyük metin gövdelerinden semantik anlam çıkarmak ve büyük ve küçük metin örneklerini semantik benzerliklerle karşılaştırmak için bir araç sundu. Bu yaklaşım DDİ’de bir devrim yaratmak için benzersiz bir potansiyel sağladı. ÖSA, geniş bir belge kümesinde kelimelerin var oluşunu temsil eden bir matrisi sıkıştırmak (yani çarpanlara ayırmak) için tekil değer ayrıştırması kullanan matematiksel, istatistiksel bir tekniktir. ÖSA’yı yönlendiren temel varsayım kelimelerin anlamlarının onlarla birlikte olanlar tarafından yakalandığı idi. Örneğin, “veri” kelimesi, “hesaplamalar”, “madencilik”, “bilgisayar” ve “matematik” gibi aynı işlevsel bağlamdaki kelimelerle büyük ölçüde ilişkilendirilecektir. Bu kelimeler veri ile aynı anlama gelmemektedir. Daha doğrusu, bu kelimeler genellikle benzer bağlamlarda oluştuğu için verilerle ilgilidir. ÖSA kelimeler, cümleler ve paragraflar arasındaki semantik benzerliklerin hesaplanmasını sağlayarak, metinde anlam simulasyonunun kapılarını açtı (McNamara, 2011). ÖSA, basit kelime örtüşme önlemlerinin yeterli olmadığı bir problem olan anlamlılık sorununu (ör. bir metnin başka bir metinle veya çekirdek bir kavramla ne derece alakalı olduğu) başarıyla ele alan ilk kelime temelli yaklaşım olarak düşünülebilir. ÖSA’nın ötesine geçen çok sayıda yaklaşım olsa da (genel bir bakış için bk. McNamara, 2011), ÖSA, kelime anlamını modellemek ve anlam bilim ve metin uyumu bakımından içgörü sağlamak için birçok bağlamda kullanılan ortak bir yaklaşım olmaya devam etmektedir (ör. Landauer vd., 2007; McNamara, Graesser, McCarthy ve Cai, 2014).

Dilin bariz bir özelliği anlamıdır ancak konuşma bölümleri (ör. fiil, isim), sözdizimi, psikolojik yönler (ör. somutluk, anlamlılık) ve arasındaki ilişkiler, metindeki fikirler (ör. uyum) gibi bir çok diğer özellikler dilbilimsel analizlerden türetilebilir. Coh-Metrix, ilk olarak 2003 yılında piyasaya sürülen, metnin dil, psikolojik ve semantik özelliklerini çıkarmak için dil hakkında birçok bilgi kaynağı kullanan otomatik bir dil analiz aracı örneğidir (McNamara vd., 2014; cohmetrix.com). Coh-Metrix, İngilizce dili ile ilgili bilgileri ÖSA, MRC Psikodilbilimsel Veri Tabanı, WordNet ve CELEX gibi kelime sıklığı dizinleri ile sözdizimsel ayrıştırıcılar gibi çeşitli kaynaklardan uyarlar ve birleştirir. Örneğin, MRC Psikodilbilimsel Veri Tabanı, kelimeler hakkında psikodilbilimsel bilgi sağlar (Wilson, 1988) ve WordNet, kelimelerin dil ve anlam özellikleri ve ayrıca kelimeler (Miller, Beckwith, Fellbaum, Gross ve Miller, 1990) arasındaki anlamsal ilişkileri de sağlar. Coh-Metrix ayrıca, yazılı veya sözlü metinlerin çok boyutlu bir analiz üretmek için sözcük sıklığı ve cümle uzunluğu gibi metin kalitesinin basit özellikleri, tutarlılık ve sözdizimsel karmaşıklık gibi daha karmaşık özellikler sayesinde dilin çeşitli yönleriyle ilgili dil indekslerini de hesaplar. (McNamara, Ozuru, Graesser ve Louwerse, 2006). Coh – Metrix, tanımlayıcı dizinlerle (ör. kelimelerin uzunluğu, cümleler, paragraflar) metnin görece basit bir nitelemesini sağlayabilir. Ek olarak, bir metnin kalitesini ve okunabilirliğini tanımlayan çeşitli karmaşık indisler sunar. Bu dizinler arasında, anlatı, referans uyumu, sözdizimsel basitlik, sözcük somutluğu ve derin bir uyum dâhil olmak üzere beş Coh-Metrix Metin Kolaylık Bileşeni bulunmaktadır (Graesser, McNamara ve Kulikowich, 2011; Jackson, Allen ve McNamara, 2016; bk. metrix.commoncoretera.com).

Coh-Metrix, otomatik dil analizini herkese açık hale getirerek dil ve söylem anlayışımızı büyük ölçüde etkilemiştir. Coh-Metrix birden fazla dil ölçüsü sağlarken, Coh-Metrix’in öncelikli ve özgün odağı metinde uyum ölçütleri sağlamak olmuştur. Uyum, cümle (yani, yerel uyum), paragraflar (yani, küresel uyum) ve metnin geneli(ör. sözcük çeşitliliği) gibi daha büyük bölümlerin, kelimeler ve anlam cümleleriyle örtüşmesidir. Son derece yararlı olsa da Coh-Metrix’in kolaylık ve geniş uyum indisleri ölçümü ile ilgili bazı eksiklikleri vardır. İlk olarak, metnin toplu işlenmesine izin vermez ve kullanıcının sabit diskinde durmaz (ve bu nedenle internet bağlantısına ve harici bir sunucuya bağlıdır). İkincisi, Coh-Metrix uyum indislerileri genel olarak küresel uyuma (ör. bir metnin çeşitli bölümleri arasında semantik örtüşme) değil, yerel ve genel metin uyumuna (yani ortalama cümle çakışması, sözcük çeşitliliği) odaklanır. Bu nedenle, Metin Uyumunun Otomatik Analizi Aracı (MUOAA) ve Basit Doğal Dil İşleme Aracı (BDDİA) bu boşlukları ele almak için geliştirilmiştir (Crossley, Allen, Kyle ve McNamara, 2014; Crossley, Kyle ve McNamara, basım aşamasında; http://www.kristopherkyle.com/taaco.html). MUOAA yerel olarak (bilgisayara) kurulur (bir internet arayüzüne kıyasla), metin dosyalarının toplu olarak işlenmesini sağlar ve yerel, küresel ve genel metin uyumu ile ilgili 150’den fazla indis içerir. Benzer şekilde, BDDİA yerel olarak kurulur ve toplu metin işlemeye izin verir. Bununla birlikte, BDDİA, MUOAA’dan farklıdır; metinlerin birçok yönüyle ilgili bilgileri hesaplamak için “sözcük çantası” yaklaşımını kullanır. Ek olarak, araç esnektir ve araştırmacılara ek analizler sunmak için kendi sözcük kategorilerini eklemelerini sağlar.

Serbestçe erişilebilen bir DDİ aracının bir başka örneği, Sözcüksel Kapsamlılığın Otomatik Analizi Aracıdır (SKOAA; Kyle ve Crossley, 2015; http://www.kristopherkyle.com/taales.html). SKOAA, bir metinde mevcut sözcüksel karmaşıklığın seviyesi hakkında kapsamlı bilgi sağlamaya odaklanır. Bu tür bir analiz önemlidir, çünkü bir metnin sözcüksel talepleri hakkında bilgi sağlamasının yanı sıra, metnin yazarının sözcüksel bilgisi ile ilgili potansiyel bilgi de sağlar (Kyle ve Crossley, 2015). SKOAA, bir metinde kullanılan sözcük bilgisinin genişliğini ve derinliğini değerlendirmek için 130’un üzerinde klasik ve yeni geliştirilen sözcük indisini hesaplar. Bu araç hızlı, güvenilir ve ücretsiz indirilebilir. SKOAA için alınacak önlemler arasında kelime sıklığı, kelime ve kelime ailesi çeşitleri, n-gram, akademik listeler ve psikodilbilimsel unsurları dikkate alan kelime bilgisi indisleri bulunmaktadır (Kyle ve Crossley, 2015). Bu indisler toplu olarak, kelime seçimlerinin metindeki karmaşıklığı hakkında geniş bilgi sağlar.

Dascalu, McNamara, Crossley ve Trausan-Matu (2016), ayrıca, bireysel kelimelerin öğrenme oranının, öğrenenin dille ilgili deneyiminin bir fonksiyonu olarak hesaplandığı kelime karmaşıklığını tahmin etmek için hesaplanan bir model olan Maruz Kalma Yaşı’nı da (MKY) tanıtmıştır. Pearson’un kelime olgunluğu hesaplamasının tersine (Landauer, Kireyev ve Panaccione, 2011), MKY, zaman içinde veya daha özel olarak artımlı olarak oluşturulabilecek potansiyel çağrışımlar bağlamında kelime öğrenimini simüle eden yeniden üretilebilir ve ölçeklenebilir bir modeldir özellikle artırımlı gizli Dirichlet tahsisi (Blei, Ng ve Jordan, 2003) konu modelleri. MKY indisleri, kelime sıklığı ve entropi tahminlerinin yanı sıra edinim yaşı ve sözcüksel cevap gecikmelerinin insan puanları ile güçlü ilişkiler (kelime olgunluğunun raporlanan performansını aşmaktadır) sağlar.

Doğal Dil İşleme ve Öğrenme Algoritmaları

DDİ, sözcük sayısı, n-gram ve paragraf gibi basit tanımlayıcı istatistiklerden¹ sözcük, cümle ve metin özelliklerine kadar çok sayıda dil yüzünü tanımlamak için kullanılabilir (Crossley, Allen, Kyle ve McNamara, 2014). Şekil 8.1’de gösterildiği gibi, dilin birçok özelliği sözcüklerden toplanır (n-gram ve sözcük torbaları dâhil) ve hem gözlemlenebilir özellikleri analiz ederek (ör. kelime sıklıkları, kelime-belge dağılımları) ve hem de metindeki gizli anlamı kullanarak elde edilebilir. (McNamara, 2011). Bilgi, kelimelerin özellikleri, cümleler ve metnin bütünüyle sağlanır. Bu bilgiler doğrusal regresyon, ayırıcı² fonksiyon sınıflandırıcıları, Naif Bayes sınıflandırıcıları, destek vektör makineleri, yapısal bağıntı sınıflandırıcıları ve karar ağacı sınıflandırıcıları gibi makine öğrenme teknikleri kullanılarak analiz edilebilir. Bu teknikler öğrenme çıktılarını tahmin etmek için kullanıldığında, daha sonra eğitim teknolojileri veya uygulamalarında kullanılabilecek algoritmalar türetilebilir. Bu uygulamaların bir kısmını aşağıdaki bölümlerde tartışıyoruz.

Şekil 8.1. DDİ kullanarak algoritmalar geliştirmek, kelimeler, cümleler ve metnin tamamı dâhil olmak üzere, metin üzerindeki çeşitli bilgi kaynaklarına uygulanan makine öğrenme tekniklerini gerektirir.

YAZININ DEĞERLENDİRİLMESİ

DDİ’nin eğitim alanında kullanılmasının en yaygın örneği, otomatik kompozisyon puanlama (OKP) algoritmalarının geliştirilmesidir (Allen, Jacovina ve McNamara, 2016; Dikli, 2006; Weigle, 2013; Xi, 2010). OKP sistemleri çeşitli yaklaşımları kullanarak kompozisyonları değerlendirir. Örneğin Akıllı Kompozisyon Değerlendirici (Intelligent Essay Assessor-Landauer, Laham ve Foltz, 2003) bir metnin başka bir ölçüt metne benzerliğini öncelikle ÖSA ya dayanarak değerlendirir. Buna karşılık, Educational Testing Service’te geliştirilen e-rater (Burstein, Chodorow ve Leacock, 2004), Vantage Learning (Rudner, Garcia ve Welch, 2006) tarafından geliştirilen IntelliMetric Kompozisyon Puanlama Sistemi ve Wrting Pal gibi sistemler (McNamara, Crossley ve Roscoe, 2013) DDİ teknikleri ve yapay zekânın birleşimine dayanır. OKP sistemleri kompozisyon gibi yazma örneklerini işler ve yazının kalitesini ve içeriğe göre doğruluğunu değerlendirerek yazarın görevin taleplerini ne derece yerine getirdiğini değerlendirir. OKP teknolojileri oldukça başarılıdır, genel olarak uzman insan puanlayıcılar kadar kesin doğruluk seviyeleri rapor eder (Attali ve Burstein, 2006; Shermis, Burstein, Higgins ve Zechner, 2010; Valenti, Neri ve Cucchiarelli, 2003; Crossley, Kyle ve McNamara), 2015).

Akıllı Öğretici Sistemler

DDİ’nin bir diğer kullanımı, otomatik, akıllı ders verme teknolojileri bağlamında olmuştur. DDİ, özellikle akıllı öğreticilerle diyalog yoluyla etkileşimde bulunanlar (ör. AutoTutor: Graesser vd., 2004) ve öğrenenin sözlü cevaplar vermesini isteyen (ör. AODİESÖ) bir dizi akıllı öğretici sistemine (AÖS) dâhil edilmiştir. (ör. AODİESÖ: McNamara, Levinstein ve Boonthum, 2004; Writing Pal: McNamara vd., 2012; Roscoe ve McNamara, 2013). Bir öğrenen doğal dil girişi yaptığında ve yararlı geri bildirim veya makul bir cevap beklediğinde, DDİ bu girişi yorumlamak ve uygun geri bildirim sağlamak için kullanılabilir (McNamara vd., 2013). Doğal dili girdi olarak kabul eden özel ders sistemleri için (ör. metin, problemler veya bilimsel süreçlerin sözlü açıklamaları), öğrenen cevapları açık uçlu ve potansiyel olarak belirsiz olabilir. Örneğin, öğrenciye, hücre mitozunun hangi fazının mikrotübüllerin uzatılmasını içerdiği sorulabilir. Bu tür bir soru (ör. ne veya ne zaman sorusu) kısa cevaplar veya çoktan seçmeli cevaplar kullanılarak cevaplanabilir ve DDİ gerektirmez. Buna karşılık, anafaz süreci açıklamak için bir soru yaygın olarak öğrenciler arasında farklı muhtemel cevaplar temin eder. Bu nedenle, öğrenenin cevabının doğruluğunu ve kalitesini otomatik olarak tespit etmek DDİ kullanımını gerektirir.

Neden sadece çoktan seçmeli kullanmıyorsunuz? Birçok öğretici sistemi tam da bunu yapıyor. Bununla birlikte, öğrencilerin nasıl ve niçin sorularına cevap vererek bir yapı veya olgu hakkında derinlemesine bir anlayış oluşturma olasılıkları daha yüksektir (ör. Johnson-Glenberg, 2007; McKeown, Beck ve Blake, 2009; Wong, 1985). Ayrıca, öğrencilerin bu tür sorulara verdikleri cevapların onların anlayışlarının derinliğini ortaya çıkarması muhtemeldir. (Graesser ve Person, 1994; Graesser, McNamara ve VanLehn, 2005; McNamara ve Kintsch, 1996). AutoTutor, zorlu konulara dair (ör. fizik, biyoloji, bilgisayar programlaması) öğrencilere derinlemesine nasıl ve neden soru sormaları gerektiğini söyleyerek eğitim vermeye odaklanan bir AÖS’dir. AutoTutor, öğreneni, doğru cevaplar oluşturmaya yönlendiren bir diyalogda animasyonlu bir aracıyla meşgul eder. Bunu, ipucu, bilgi istemleri, iddialar, düzeltmeler ve öğrenen sorularına cevaplar gibi çeşitli diyalog hareketlerini kullanarak yapar. Bu hamleler DDİ tekniklerinin bir kombinasyonu ile gerçekleştirilir. Örneğin, AutoTutor, öğrencilerin belirli durumlarda üretebilecekleri cümleleri (ör. bilmiyorum; anlamadım) ve doğru cevabın önemli kısımlarını tespit etmek için değişmez ifadeler kullanır. AutoTutor ayrıca, öğrenenin verdiği cevap ile ideal cevap arasındaki benzerliği tespit etmek için ÖSA’yı kullanır. Sabit ifadelerin, düzenli ifadelerin veya örüntülerin, ÖSA ile öğrencilerin sözel cevapları ve beklentileri arasındaki ters ağırlıklı sıklık sözcük örtüşmeleri, AutoTutor’un öğrenenin cevabını anlamanın benzerini üretmeye izin verir ve bu benzetilmiş anlayış, öğrenci için uygun bir cevap üretir. (Graesser, basım aşamasında).

AODİESÖ (Aktif Okuma ve Düşünmeye Yönelik Etkileşimli Strateji Eğitimi), açık uçlu cevaplara cevap vermek için DDİ tekniklerinin birleşimine dayanan bir diğer AÖS’dir. AODİESÖ hem DDİ hem de bilgi işlemsel dilbilim literatüründe zorlu bir görev olan öğrenenin kendi açıklamalarındaki yorumlama sorununu ele alan ilk otomatik sistemler arasındaydı. AODİESÖ, öğrencilerin kendini açıklamayı (ör. metni kendi kendine açıklama süreci), ilişkilendirici ve ayrıntılı çıkarımlar üretme gibi anlama stratejileriyle birlikte kullanma amacıyla öğretim ve pratik sağlayarak zorlu bilimsel metinleri kavrayışlarını geliştirir. AODİESÖ öğretiminin uygulama aşamasında, öğrenciler zorlu metinler için kendi açıklamalarını üretirler. Öğrencilerin AODİESÖ’taki kendi açıklamaları, kelimeler hakkındaki gözlemlenebilir ve gizli anlamsal bilgilerin bir birleşimini kullanarak kendi açıklamalarındaki ve metindeki sözcüklerden gelen bilgileri birleştiren bir algoritma kullanılarak puanlanır, (McNamara, Boonthum, Levinstein ve Millis, 2007) ). Algoritma otomatik olarak her bir kişisel açıklama için 0 ile 3 arasında bir puan atar. Daha yüksek puanlar, metin içeriği (hem hedef cümle hem de daha önce okunan cümleler) ile ilgili bilgileri içeren kişisel açıklamalara, düşük puanlar ise ilgisiz veya kısa cevaplara verilir. Puanlama algoritması, öğrencilerin hedef cümle, önceki metin içeriği ve dünya bilgisi arasında ne ölçüde bağlantı kurduklarını yansıtacak şekilde tasarlanmıştır. Sistem çok çeşitli metinlerdeki açıklamaların insanlar tarafından geliştirilen puanlarını başarıyla eşleştirir (Jackson, Guess ve McNamara, 2010; McNamara vd., 2007).

Bilgisayar Destekli İşbirlikli Öğrenme (BDİÖ)

DDİ teknikleri, işbirlikli öğrenme ortamlarında ve özellikle Bilgisayar Destekli İşbirlikli Öğrenme (BDİÖ) sistemlerinde ortaya çıkan söylemde de uygulanmıştır (Stahl, 2006). Bu sistemlerin bir alt kümesi, Bakhtin (1981) tarafından ortaya konan, daha sonra BDİÖ için bir paradigma olarak ortaya çıkmış olan bir kavram olan diyalojiye dayalı BDİÖ konuşmalarını modellemektedir (Koschmann, 1999). Dong’un takım iletişimi tasarımı, Polyphony (Trausan-Matu, Rebedea, Dragan ve Alexandru, 2007), Bilgi Alanı Görüntüleyici (Teplovs, 2008) ve Reader Bench’tir (Dascalu, Stavarache vd., 2015; Dascalu, Trausan-Matu, McNamara ve Dessus, 2015) en temsili yaklaşımlardır. ReaderBench, iş birliğine dayalı öğrenmenin yanı sıra dili anlama ile ilgili birden fazla hedefe ulaşmak için metin madenciliği teknikleri, gelişmiş DDİ ve sosyal ağ analizinin gücünden yararlanmaktadır (Dascalu, 2014). ReaderBench, katılımcılar arasında iletilen bilgilerin anlamsal metinsel bütünleşme yoluyla hesaplandığı bir Uyum Ağı Analizi perspektifi ile katılım ve iş birliğini modellemektedir (Dascalu, Trausan-Matu, Dessus ve McNamara, 2015a). Ayrıca ReaderBench, polifonik söylem modeline dayanan iş birliğini değerlendirmek için otomatik bir diyalog modeli ortaya koymuştur (Trausan-Matu, Stahl ve Sarmiento, 2007). Diyaloji kuramlarına dayanarak (Bakhtin, 1981), sistem otomatik olarak sesleri veya katılımcının görüşünü, tüm konuşmayı kapsayan sıkı bir şekilde birbirine bağlı veya anlamsal olarak ilgili kavramları içeren anlamsal zincirler olarak tanımlar (Dascalu, Trausan-Matu, Dessus ve McNamara, 2015b). Bu nedenle, iş birliği, farklı katılımcılar arasında fikir alışverişini vurgulamak için kullanılan ortak-oluş örüntülerinde bilgi işlemsel olarak yakalanan farklı katılımcı seslerinin karşılıklı canlandırmasından ortaya çıkar.

Kitlesel Açık Çevrimiçi Dersler (KAÇD’ler)

DDİ’nin bir diğer kullanımı, çevrimiçi dersler, özellikle de büyük açık çevrimiçi dersler (KAÇD’ler) bağlamında olmuştur. KAÇD’ler, binlerce öğrenciye dersleri ücretsiz olarak sunmak için çevrimiçi platformları kullanır. KAÇD’ler, uzaktan ve yaşam boyu öğrenenlere erişilebilirliği arttırma potansiyelleri nedeniyle övgüyle karşılanmaktadır (Koller, Ng, Do ve Chen, 2013). Bu platformlar, tartışma akışlarında ve e-postalarda öğrencilerin oluşturduğu dillerin yanı sıra tıklama akışı günlükleri, ödevler, kurs performansı ve çok büyük miktarda veri sağlayabilir. Bu veriler öğrenen tutumları, tamamlama ve öğrenmeyi incelemek için araştırılabilir (Seaton, Bergner, Chuang, Mitros ve Pritchard, 2014; Wen, Yang ve Rose, 2014a, 2014b).

KAÇD’lerde öğrenen dilini analiz etmek için en yaygın DDİ yaklaşımı, duyguları analiz eden araçlardan olmuştur. Duygu analizi, olumlu ya da olumsuz duyguların dilini ya da motivasyon, anlaşma, bilişsel mekanizmalar ya da katılımla ilgili kelimeleri inceler (Chaturvedi, Goldwasser ve Daume, 2014; Elouazizi, 2014; Moon, Potdar ve Martin, 2014; Wen vd., 2014a, 2014b). Örneğin, Moon vd. (2014), öğrenen liderlerini tanımlamak için katılımcılar arasında duygu terimleri ve anlamsal benzerlikler kullanmıştır. Bakış açısına ilişkin dil indislerinin (ör. sanırım, bence büyük ihtimalle, muhtemelen) kursun düşük katılım düzeyleriyle ilişkili olduğunu göstermiştir. Wen ve meslektaşları, (2014a, 2014b), öğrencilerin tartışma zamirlerini ve tartışma forumlarındaki motivasyonla ilgili sözcükleri kullanmalarının, dersten ayrılma riskinin daha düşük olacağını öngördüğünü bulmuşlardır.

Benzer şekilde, Crossley, McNamara vd. (2015), öğrencilerin dilini, KAÇD tartışma forumunda, eğitsel veri madenciliği konusunu kapsayan bir kursta incelemek için çok sayıda dil özelliği kullanmıştır (Baker vd., basım aşamasında). Crossley, McNamara vd. (2015) KAÇD tartışma forumlarında katılan 320 öğrencinin (ör. gönderilen 49 kelime) tamamlama oranlarını başarı ile (%70 doğrulukla) tahmin etmiştir. Kursta bitirme sertifikası alma olasılığı daha yüksek olan öğrenciler genellikle daha karmaşık bir dil kullandılar. Örneğin, onların mesajları daha anlaşılır ve tutarlı, daha sık ve belirli bir kelime kullanılmış ve daha genel yazma niteliğine sahipti. İlginçtir ki, duyuş ile ilgili indisler tamamlanma oranlarını öngörmüyordu.

Toplu olarak, bu araştırma DDİ’nin KAÇD’lerin öğretim görevlisi ile öğrenciler arasındaki ve öğrencilerin kendi arasındaki iletişimi bağlamında güçlü bir başarı göstergesi olabileceğine dair umut verici kanıtlar sunar ve bu özellikle de uzaktan kurslar için çok önemlidir. Ayrıca, bu iletişim daha sonra öğrenen performansının değerlendirme formları olarak da kullanılabilir. Bu nedenle, KAÇD’lerin öğrenen katılımını ve potansiyel başarısını daha iyi izlemek için tartışma forumlarını içermesi gerektiği açık görünmektedir. Öğrencilerin kullandığı dil, kursu tamamlama olasılığı daha düşük olan öğrencileri belirlemek ve bu öğrencilere e-posta göndermek, içerik önermek veya özel ders önermek gibi müdahaleler hedeflemek için de kullanılabilir. Dil anlayışını otomatikleştirmek ve böylece bu kurslardaki dil ve sosyal etkileşimler hakkında bilgi vermek, KAÇD’lerde hem öğrenmeyi hem de etkileşimi geliştirmeye yardımcı olacaktır.

DDİ’nin GÜCÜ

DDİ, öncelikle dilin her yerde olması ve aynı zamanda dili analiz etme araçlarının dilin neredeyse her yönüyle ilgili göstergeler sağlaması nedeniyle oldukça güçlüdür (Crossley, 2013). DDİ kullanılan belirli kelimeleri, kelime gruplarını ve kelimeler arasındaki ve daha büyük metin gövdeleri arasındaki ilişkilerin gücünü tespit edebilir. Ayrıca, metnin sıklığı, somutluğu veya anlamlılığı, cümlelerin karmaşıklığı ve metnin uyum ve tür gibi çeşitli yönleri gibi metnin özelliklerini de algılayabilir. Kelimeler ve özellikleri, çeşitli yapılar için vekil görevi görür. Örneğin, bir metindeki kelimelerin sıklığı, metni anlamak için gerekli olabilecek bilgiyi tahmin etmede bir vekil olarak hizmet eder. Bir metnin birleştirilmesi, bir metindeki boşlukları doldurmak için gerekli olan bilginin bir tahminini verir.

DDİ, çok çeşitli başka yapıları tanımlamak için kullanılmıştır. Örneğin, Crossley ve McNamara (2012), ikinci dil (D2) yazarlarının makalelerinin dil özelliklerinin, bu yazarların ana dilini tahmin edebileceğini göstermiştir. Varner, Roscoe ve McNamara (2013) hem Coh-Metrix hem de DSKS tarafından sağlanan göstergeleri kullanarak öğrencilerin ve öğretmenlerin kompozisyon kalitesi puanlarındaki farklılıkları incelemiştir. Louwerse, McCarthy, McNamara ve Graesser (2004), konuşulan veyazılı İngilizce örnekleri arasındaki farkları belirlemek için DDİ tekniklerini kullandı. McCarthy, Briner, Rus ve McNamara (2007) Coh-Metrix’in giriş, yöntem, sonuç ve tartışma gibi tipik bilimsel metinlerdeki bölümleri farklılaştırabildiğini göstermiştir. Ek olarak, Crossley, Louwerse, McCarthy ve McNamara’nın (2007) ikinci dil öğrenenlerin metinlerinin incelemeleri, ikinci dil öğrenme amaçları için edinilmiş (veya otantik) ile adapte edilmiş (veya basitleştirilmiş) metinler arasında çok çeşitli yapısal ve sözcüksel farklılıklar ortaya koydu. Son olarak, DDİ aldatıcılığı tespit etmek için de kullanılmıştır. Duran, Hall, McCarthy ve McNamara (2010), bir kişinin aldatıcı olduğu konuşma diyalogları ile samimi olduğu konuşmalar arasında dilin hangi özelliklerinin ayırıcı olduğunu araştırdı.

DDİ’nin kullanmanın olası sakıncaları olduğuna dikkat etmek önemlidir. Örneğin, belirli DDİ teknikleri, kelime sayımlarını veya “sözcük çantası” yaklaşımlarını kullanan diyalogun basitleştirilmiş temsillerine dayanır. ÖSA vektör uzayları, gizli Dirichlet tahsisi konu dağılımları (GDT; Blei vd., 2003) ve sinir ağlarına dayalı word2vec modelleri dâhil olmak üzere en önemli ve en yaygın kullanılan DDİ kelime gösterimlerinin (Mikolov, Chen, Corrado ve Dean, 2013) hepsi, kelime sırasının dikkate alınmadığı “sözcük çantası” varsayımına tabidir. Ek olarak, birçok DDİ analizi, konuşmacının niyetleri veya pragmatik yönleri gibi bağlamları görmezden gelir. Benzer şekilde, DDİ analizleri genellikle belirli şirketlerle ve durumlarla sınırlıdır ve diğer bağlamlara genellenememektedir. Bu (ve diğer) uyarılarla bile DDİ son derece güçlüdür. DDİ araçlarından edinilebilecek geniş bilgi kaynakları nedeniyle ve kullandığımız dil, düşünceler ve niyetleri temsil eden bir uzantı veya haricileştirme olabileceğinden DDİ bireyler, yetenekleri, duyguları, niyetleri ve sosyal etkileşimleri hakkında bilgi sağlayabilir. Öğrenme analitiği bağlamında, öğrenme süreçlerini ve öğreneni otomatik olarak anlama yolunda bir araçtır.

Büyük Resim

DDİ, araştırmacıların dil ve onun yaşamın çeşitli yönlerinde potansiyel olarak oynadığı rolleri daha iyi anlayabilmelerini sağlayan dil analizini otomatikleştiren teknikler sunar. DDİ, öğreneni sorulara, açıklamalara ve kompozisyon cevapları içinde bir dil oluşturması için yönlendiren akıllı öğretici sistemlerindeki geri bildirim sistemlerini bilgilendirir. DDİ ders tabanlı sistemler dil içinde akıllı simülasyonu için bir araç sağlar. DDİ ayrıca çevrimiçi tartışma forumları bağlamında da bilgilendiricidir. Öğrencilerin iyi performans gösterme veya kursu tamamlama ihtimalini yordayarak, öğrenci tutumları, motivasyonu ve dilin kalitesi hakkında bilgi sağlar.

Öğrenme analitiğinin bir amacı, daha etkili bir öğretim sağlamak için öğrencilerin özelliklerini ve becerilerini modellemektir (Allen ve McNamara, 2015). Bu verileri özellikle, çeşitli amaçlar için kullanabiliriz: Performansla ilgili otomatik geri bildirim sağlama, öğrenme sırasında müdahale etme, yönlendirme veya bilişsel desteği sağlama, özel ders önerme, analiz verilerinden elde edilen bilgilerin öğrenimi geliştireceği varsayımıyla izleme, öğrenmeyi kişiselleştirme vb. Bu amaçla, araştırmacılar giderek daha büyük, karmaşık veri kaynaklarına (yani, büyük veriye) dönmekte ve çeşitli veri türleri ve analitik tekniklerin bileşimini kullanmaktadır. Bu çaba için DDİ çok önemlidir, çünkü önerilen teknikler, çeşitli bağlamlarda anlama düzeyini tahmin etme ve değerlendirme yoluyla öğrenenin öğrenmesini geliştirmeye yardımcı olur. Ancak DDİ bulmacanın yalnızca bir parçasıdır.

Şekil 8.2. Eğitsel sonuçlarının öngörülmesi, birden fazla veri kaynağının birleştirilmesini gerektirecektir.

Şekil 8.2’de gösterildiği gibi, öğrenen çıktılarının eksiksiz ve son derece kestirimsel bir anlayışının geliştirilmesi, çok sayıda bilgi kaynağını ve veri analizine yönelik çeşitli yaklaşımları gerektirir. Öğrenme, çoklu katmanlara ve çoklu zaman ölçeklerine sahip karmaşık bir süreçtir. Öğrenme sürecini anlamak için herhangi bir kaynağa veya veri türüne güvenmek, özellikle şu anda çok sayıda otomatik bilgi kaynağı mevcut olduğunda, uzağı göremeyen bir yaklaşımdır. DDİ, nihai olarak aradığımız büyük resmin ayrılmaz bir parçası olarak giderek daha fazla tanınan bir veri kaynağıdır. Tam bir öğrenme anlayışı geliştirmek, birden fazla veri kaynağının birleştirilmesini gerektirecektir.

TEŞEKKÜR BÖLÜMÜ

Bu bölümün bir kısmı Eğitim Bilimleri Enstitüsü (EBE R305A120707, R305A130124), Ulusal Bilim Vakfı (UBV DRL-1319645, DRL-1418352, DRL-1418378, DRL-1417997) ve Denizcilik Araştırma Bürosu tarafından desteklenmiştir. Araştırma (DAB N000141410343). Bu yazıda dile getirilen herhangi bir görüş, bulgu ve çıkarımlar veya tavsiye yazarlara aittir ve IES, UBV veya DAB’nin görüşlerini yansıtmak zorunda değildir. DDİ konusundaki araştırmalarımıza yıllar boyunca katkıda bulunan birçok öğrenciye, doktora sonrası araştırmacıya ve fakülteye minnettarız.

KAYNAKÇA

Allen, L. K., Jacovina, M. E., & McNamara, D. S. (2016). Computer-based writing instruction. In C. A. MacArthur, S. Graham, & J. Fitzgerald (Eds.), Handbook of writing research, 2nd ed. (S. 316-329). New York: The Guilford Press.

Allen, L. K., & McNamara, D. S. (2015). You are your words: Modeling students’ vocabulary knowledge with natural language processing. In O. C. Santos, J. G. Boticario, C. Romero, M. Pechenizkiy, A. Merceron, P. Mitros, J. M. Luna, C. Mihaescu, P. Moreno, A. Hershkovitz, S. Ventura, & M. Desmarais (Eds.), Proceedings of the 8th International Conference on Educational Data Mining (EDM 2015) 26–29 June 2015, Madrid, Spain (pp. 258–265). International Educational Data Mining Society.

Attali, Y., & Burstein, J. (2006). Automated essay scoring with e-rater® V. 2. The Journal of Technology, Learning and Assessment, 4(2). doi:10.1002/j.2333-8504.2004.tb01972.x

Baker, R., Wang, E., Paquette, L., Aleven, V., Popescu, O., Sewall, J., Rose, C., Tomar, G., Ferschke, O., Hollands, F., Zhang, J., Cennamo, M., Ogden, S., Condit, T., Diaz, J., Crossley, S., McNamara, D., Comer, D., Lynch, C., Brown, R., Barnes, T., & Bergner, Y. (in press). A MOOC on educational data mining. In. S. ElAtia, O. Zaïane, & D. Ipperciel (Eds.). Data Mining and Learning Analytics in Educational Research. Wiley & Blackwell.

Bakhtin, M.M. (1981). The dialogic imagination: Four essays (C. Emerson & M. Holquist, Trans.). Austin, TX: University of Texas Press.

Blei, D. M., Ng, A. Y., & Jordan, M. I. (2003). Latent Dirichlet allocation. Journal of Machine Learning Research, 3(4–5), 993–1022.

Burstein, J., Chodorow, M., & Leacock, C. (2004). Automated essay evaluation: The Criterion online writing service. Ai Magazine, 25(3), 27.

Chaturvedi, S., Goldwasser, D., & Daumé III, H. (2014). Predicting instructor’s intervention in MOOC forums. In D. Marcu, K. Toutanova, & H. W. Baidu (Eds.), Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (pp. 1501–1511). Baltimore, MD.

Crossley, S. A. (2013). Advancing research in second language writing through computational tools and machine learning techniques: A research agenda. Language Teaching, 46(2), 256–271.

Crossley, S. A., Allen, L. K., Kyle, K., & McNamara, D. S. (2014). Analyzing discourse processing using a simple natural language processing tool (SiNLP). Discourse Processes, 51, 511–534.

Crossley, S. A., Kyle, K., & McNamara, D. S. (2015). To aggregate or not? Linguistic features in automatic essay scoring and feedback systems. Journal of Writing Assessment, 8(1). http://www.journalofwritingassessment.org/article.php?article=80

Crossley, S. A. Kyle, K., & McNamara, D. S. (in press). Tool for the automatic analysis of text cohesion (TAACO): Automatic assessment of local, global, and text cohesion. Behavior Research Methods.

Crossley, S. A., & Louwerse, M. (2007). Multi-dimensional register classification using bigrams. International Journal of Corpus Linguistics, 12(4), 453–478.

Crossley, S. A., Louwerse, M., McCarthy, P. M., & McNamara, D. S. (2007). A linguistic analysis of simplified and authentic texts. Modern Language Journal, 91, 15–30.

Crossley, S. A., & McNamara, D. S. (2012). Interlanguage talk: A computational analysis of non-native speakers’ lexical production and exposure. In P. M. McCarthy & C. Boonthum-Denecke (Eds.), Applied natural language processing and content analysis: Identification, investigation, and resolution (pp. 425–437). Hershey, PA: IGI Global.

Crossley, S. A., McNamara, D. S., Baker, R., Wang, Y., Paquette, L., Barnes, T., & Bergner, Y. (2015). Language to completion: Success in an educational data mining massive open online class. In O. C. Santos, J. G. Boticario, C. Romero, M. Pechenizkiy, A. Merceron, P. Mitros, J. M. Luna, C. Mihaescu, P. Moreno, A. Hershkovitz, S. Ventura, & M. Desmarais (Eds.), Proceedings of the 8th International Conference on Educational Data Mining (EDM 2015), 26–29 June 2015, Madrid, Spain (pp. 388–391). International Educational Data Mining Society.

Dascalu, M. (2014). Analyzing discourse and text complexity for learning and collaborating. Studies in Computational Intelligence (Vol. 534). Switzerland: Springer.

Dascalu, M., Stavarache, L. L., Dessus, P., Trausan-Matu, S., McNamara, D. S., & Bianco, M. (2015). ReaderBench: The learning companion. In A. Mitrovic, F. Verdejo, C. Conati, & N. Heffernan (Eds.), Proceedings of the 17th International Conference on Artificial Intelligence in Education (AIED’15), 22–26 June 2015, Madrid, Spain (pp. 915–916). Springer.

Dascalu, M., Trausan-Matu, S., Dessus, P., & McNamara, D. S. (2015a). Discourse cohesion: A signature of collaboration. In P. Blikstein, A. Merceron, & G. Siemens (Eds.), Proceedings of the 5th International Learning Analytics & Knowledge Conference (LAK’15), 16–20 March, Poughkeepsie, NY, USA (pp. 350–354). New York: ACM.

Dascalu, M., Trausan-Matu, S., Dessus, P., & McNamara, D. S. (2015b). Dialogism: A framework for CSCL and a signature of collaboration. In O. Lindwall, P. Häkkinen, T. Koschmann, P. Tchounikine, & S. Ludvigsen (Eds.), Proceedings of the 11th International Conference on Computer-Supported Collaborative Learning (CSCL 2015), 7–11 June 2015, Gothenburg, Sweden (pp. 86–93). International Society of the Learning Sciences.

Dascalu, M., Trausan-Matu, S., McNamara, D. S., & Dessus, P. (2015). ReaderBench: Automated evaluation of collaboration based on cohesion and dialogism. International Journal of Computer-Supported Collaborative Learning, 10(4), 395–423.

Dascalu, M., McNamara, D. S., Crossley, S. A., & Trausan-Matu, S. (2016). Age of exposure: A model of word learning. Proceedings of the 30th Conference on Artificial Intelligence (AAAI-16), 12–17 February 2016, Phoenix, Arizona, USA (pp. 2928–2934). Palo Alto, CA: AAAI Press.

Dikli, S. (2006). An overview of automated scoring of essays. The Journal of Technology, Learning and Assessment, 5(1). http://files.eric.ed.gov/fulltext/EJ843855.pdf

Dong, A. (2005). The latent semantic approach to studying design team communication. Design Studies, 26(5), 445–461.

Duran, N. D., Hall, C., McCarthy, P. M., & McNamara, D. S. (2010). The linguistic correlates of conversational deception: Comparing natural language processing technologies. Applied Psycholinguistics, 31(3), 439–462.

Elouazizi, N. (2014). Point-of-view mining and cognitive presence in MOOCs: A (computational) linguistics perspective. EMNLP 2014, 32. http://www.aclweb.org/anthology/W14-4105

Graesser, A. C. (in press). Conversations with AutoTutor help students learn. International Journal of Artificial Intelligence in Education.

Graesser, A. C., Lu, S., Jackson, G. T., Mitchell, H. H., Ventura, M., Olney, A., & Louwerse, M. M. (2004). AutoTutor: A tutor with dialogue in natural language. Behavior Research Methods, Instruments, & Computers, 36(2), 180–192.

Graesser, A. C., McNamara, D. S., & Kulikowich, J. M. (2011). Coh Metrix: Providing multilevel analyses of text characteristics. Educational Researcher, 40, 223–234.

Graesser, A. C., McNamara, D. S., & VanLehn, K. (2005). Scaffolding deep comprehension strategies through Point & Query, AutoTutor, and iSTART. Educational Psychologist, 40, 225–234.

Graesser, A. C., & Person, N. K. (1994). Question asking during tutoring. American Educational Research Journal, 31(1), 104–137.

Jackson, G. T., Allen, L. K., & McNamara, D. S. (2016). Common Core TERA: Text Ease and Readability Assessor. In S. A. Crossley & D. S. McNamara (Eds.), Adaptive educational technologies for literacy instruction. New York: Taylor & Francis, Routledge.

Jackson, G. T., Guess, R. H., & McNamara, D. S. (2010). Assessing cognitively complex strategy use in an untrained domain. Topics in Cognitive Science, 2, 127–137.

Jarvis, S., Bestgen, Y., Crossley, S. A., Granger, S., Paquot, M., Thewissen, J., & McNamara, D. S. (2012). The comparative and combined contributions of n-grams, Coh-Metrix indices and error types in the L1 classification of learner texts. In S. Jarvis & S. A. Crossley (Eds.), Approaching language transfer through text classification: Explorations in the detection-based approach (pp. 154–177). Bristol, UK: Multilingual Matters.

Johnson-Glenberg, M. C. (2007). Web-based reading comprehension instruction: Three studies of 3D-readers. In D. McNamara (Ed.), Reading comprehension strategies: Theory, interventions, and technologies (pp. 293–324). Mahwah, NJ: Lawrence Erlbaum Publishers.

Jurafsky, D., & Martin, J. H. (2000). Speech and language processing: An introduction to natural language processing, computational linguistics and speech recognition. Upper Saddle River, NJ: Prentice Hall.

Jurafsky, D., & Martin, J. H. (2008). Speech and language processing: An introduction to natural language processing, computational linguistics and speech recognition, 2nd ed. Upper Saddle River, NJ: Prentice Hall.

Koller, D., Ng, A., Do, C., & Chen, Z. (2013). Retention and intention in massive open online courses: In depth. Educause Review, 48(3), 62–63.

Koschmann, T. (1999). Toward a dialogic theory of learning: Bakhtin’s contribution to understanding learning in settings of collaboration. In C. M. Hoadley & J. Roschelle (Eds.), Proceedings of the 1999 Conference on Computer Support for Collaborative Learning (CSCL’99), 12–15 December 1999, Palo Alto, California (pp. 308–313). International Society of the Learning Sciences.

Kyle, K., & Crossley, S. A. (2015). Automatically assessing lexical sophistication: Indices, tools, findings, and application. TESOL Quarterly, 49(4), 757–786.

Landauer, T. K., & Dumais, S. T. (1997). A solution to Plato’s problem: The latent semantic analysis theory of acquisition, induction, and representation of knowledge. Psychological Review, 104(2), 211–240.

Landauer, T. K., Laham, D., & Foltz, P. W. (2003). Automated scoring and annotation of essays with the Intelligent Essay Assessor. In M. D. Shermis & J. Burstein (Eds.), Automated essay scoring: A cross-disciplinary perspective (pp. 87–112). Mahwah, NJ: Lawrence Erlbaum.

Landauer, T., McNamara, D. S., Dennis, S., & Kintsch, W. (Eds.). (2007). Handbook of latent semantic analysis. Mahwah, NJ: Lawrence Erlbaum.

Landauer, T. K., Kireyev, K., & Panaccione, C. (2011). Word maturity: A new metric for word knowledge. Scientific Studies of Reading, 15(1), 92–108.

Louwerse, M. M., McCarthy, P. M., McNamara, D. S., & Graesser, A. C. (2004). Variation in language and cohesion across written and spoken registers. In K. Forbus, D. Gentner, & T. Regier (Eds.), Proceedings of the 26th Annual Conference of the Cognitive Science Society (CogSci 2004), 4–7 August 2004, Chicago, IL, USA (pp. 843–848). Mahwah, NJ: Lawrence Erlbaum.

McCarthy, P. M., Briner, S. W., Rus, V., & McNamara, D. S. (2007). Textual signatures: Identifying text-types using latent semantic analysis to measure the cohesion of text structures. In A. Kao & S. Poteet (Eds.), Natural language processing and text mining (pp. 107–122). London: Springer-Verlag UK.

McKeown, M. G., Beck, I. L., & Blake, R. G. K. (2009). Rethinking reading comprehension instruction: A comparison of instruction for strategies and content approaches. Reading Research Quarterly, 44, 218–253.

McNamara, D. S. (2011). Computational methods to extract meaning from text and advance theories of human cognition. Topics in Cognitive Science, 2, 1–15.

McNamara, D. S., Boonthum, C., Levinstein, I. B., & Millis, K. (2007). Evaluating self-explanations in iSTART: Comparing word-based and LSA algorithms. In T. Landauer, D. S. McNamara, S. Dennis, & W. Kintsch (Eds.), Handbook of latent semantic analysis (pp. 227–241). Mahwah, NJ: Lawrence Erlbaum.

McNamara, D. S., Crossley, S. A., & Roscoe, R. D. (2013). Natural language processing in an intelligent writing strategy tutoring system. Behavior Research Methods, 45, 499–515.

McNamara, D. S., Graesser, A. C., McCarthy, P., & Cai, Z. (2014). Automated evaluation of text and discourse with Coh-Metrix. Cambridge, UK: Cambridge University Press.

McNamara, D. S., & Kintsch, W. (1996). Learning from text: Effects of prior knowledge and text coherence. Discourse Processes, 22, 247–288.

McNamara, D. S., Levinstein, I. B., & Boonthum, C. (2004). iSTART: Interactive strategy trainer for active reading and thinking. Behavioral Research Methods, Instruments, & Computers, 36, 222–233.

McNamara, D. S., Ozuru, Y., Graesser, A. C., & Louwerse, M. (2006). Validating Coh-Metrix. In R. Sun & N. Miyake (Eds.), Proceedings of the 28th Annual Conference of the Cognitive Science Society (CogSci 2006), 26–29 July 2006, Vancouver, British Columbia, Canada (pp. 573–578). Austin, TX: Cognitive Science Society.

McNamara, D. S., Raine, R., Roscoe, R., Crossley, S. A, Jackson, G. T., Dai, J., Cai, Z., Renner, A., Brandon, R., Weston, J., Dempsey, K., Carney, D., Sullivan, S., Kim, L., Rus, V., Floyd, R., McCarthy, P. M., & Graesser, A. C. (2012). The Writing-Pal: Natural language algorithms to support intelligent tutoring on writing strategies. In P. M. McCarthy & C. Boonthum-Denecke (Eds.), Applied natural language processing and content analysis: Identification, investigation, and resolution (pp. 298–311). Hershey, PA: IGI Global.

Mikolov, T., Chen, K., Corrado, G., & Dean, J. (2013). Efficient estimation of word representation in vector space. In Workshop at ICLR. Scottsdale, AZ. https://arxiv.org/abs/1301.3781

Miller, G. A., Beckwith, R., Fellbaum, C., Gross, D., & Miller, K. J. (1990). Introduction to WordNet: An on-line lexical database. International Journal of Lexicography, 3(4), 235–244.

Moon, S., Potdar, S., & Martin, L. (2014). Identifying student leaders from MOOC discussion forums through language influence. EMNLP 2014, 15. http://www.aclweb.org/anthology/W14-4103

Pennebaker, J. W., Booth, R. J., & Francis, M. E. (2007). Linguistic inquiry and word count: LIWC [Computer software]. Austin, TX: liwc.net.

Pennebaker, J. W., Boyd, R. L., Jordan, K., & Blackburn, K. (2015). The development and psychometric properties of LIWC2015. UT Faculty/Researcher Works. https://repositories.lib.utexas.edu/bitstream/handle/2152/31333/LIWC2015_LanguageManual.pdf?sequence=3

Roscoe, R. D., & McNamara, D. S. (2013). Writing Pal: Feasibility of an intelligent writing strategy tutor in the high school classroom. Journal of Educational Psychology, 105, 1010–1025.

Rudner, L. M., Garcia, V., & Welch, C. (2006). An evaluation of IntelliMetric’ essay scoring system. The Journal of Technology, Learning and Assessment, 4(4). https://ejournals.bc.edu/ojs/index.php/jtla/article/download/1651/1493

Seaton, D. T., Bergner, Y., Chuang, I., Mitros, P., & Pritchard, D. E. (2014). Who does what in a massive open online course? Communications of the ACM, 57(4), 58–65.

Shermis, M. D., Burstein, J., Higgins, D., & Zechner, K. (2010). Automated essay scoring: Writing assessment and instruction. International Encyclopedia of Education, 4, 20–26.

Stahl, G. (2006). Group cognition: Computer support for building collaborative knowledge (pp. 451–473). Cambridge, MA: MIT Press.

Teplovs, C. (2008). The knowledge space visualizer: A tool for visualizing online discourse. In G. Kanselaar, V. Jonker, P. A. Kirschner, & F. Prins (Eds.), Proceedings of the International Society of the Learning Sciences 2008: Cre8 a learning world. Utrecht, NL: International Society of the Learning Sciences. http://chris.ikit.org/ksv2.pdf

Trausan-Matu, S., Rebedea, T., Dragan, A., & Alexandru, C. (2007). Visualisation of learners’ contributions in chat conversations. In J. Fong & F. L. Wang (Eds.), Blended learning (pp. 217–226). Singapur: Pearson/Prentice Hall.

Trausan-Matu, S., Stahl, G., & Sarmiento, J. (2007). Supporting polyphonic collaborative learning. Indiana University Press, E-service Journal, 6(1), 58–74.

Turing, A. M. (1950). Computing machinery and intelligence. Mind, 59, 433–460. http://www.loebner.net/ Prizef/TuringArticle.html

Valenti, S., Neri, F., & Cucchiarelli, A. (2003). An overview of current research on automated essay grading. Journal of Information Technology Education: Research, 2(1), 319–330.

Varner, L. K., Roscoe, R. D., & McNamara, D. S. (2013). Evaluative misalignment of 10th-grade student and teacher criteria for essay quality: An automated textual analysis. Journal of Writing Research, 5, 35–59.

Weigle, S.C. (2013). English as a second language writing and automated essay evaluation. In M. D. Shermis & J. Burstein (Eds.), Handbook of automated essay evaluation: Current applications and new directions (pp. 36–54). London: Routledge.

Wen, M., Yang, D., & Rosé, C. P. (2014a). Linguistic reflections of student engagement in massive open online courses. In E. Adar & P. Resnick (Eds.), Proceedings of the 8th International AAAI Conference on Weblogs and Social Media (ICWSM’14), 1–4 June 2014, Ann Arbor, Michigan, USA. Palo Alto, CA: AAAI Press. http://www. aaai.org/ocs/index.php/ICWSM/ICWSM14/paper/viewFile/8057/8153

Wen, M., Yang, D., & Rosé, C. P. (2014b). Sentiment analysis in MOOC discussion forums: What does it tell us? In J. Stamper, Z. Pardos, M. Mavrikis, & B. M. McLaren (Eds.), Proceedings of the 7th International Conference on Educational Data Mining (EDM2014), 4–7 July, London, UK (pp. 185–192). International Educational Data Mining Society.

Wilson, M.D. (1988). The MRC psycholinguistic database: Machine-readable dictionary (Version 2). Behavioral Research Methods, Instruments, and Computers, 201, 6–11.

Wong, B. Y. L. (1985). Self-questioning instructional research: A review. Review of Educational Research, 55, 227–268.

Xi, X. (2010). Automated scoring and feedback systems: Where are we and where are we heading? Language Testing, 27(3), 291–300.