Bölüm 7 İçerik Analitiği: Tanımı, Kapsamı ve Yayınlanmış Araştırmalara Genel Bir Bakış
Vitomir Kovanović1, Srećko Joksimović2, Dragan Gašević,2, Marek Hatala3, George Siemens4
1 Enformatik Okulu, Edinburgh Üniversitesi, Birleşik Krallık
2Moray House Eğitim Fakültesi, Edinburgh Üniversitesi, Birleşik Krallık
3Etkileşimli Sanatlar ve Teknoloji Fakültesi, Simon Fraser Üniversitesi, Kanada
4LİNK Araştırma Laboratuvarı, Arlington, Texas Üniversitesi, ABD
DOI: 10.18608/hla17.007
ÖZ
Öğrenme analitikleri alanı son zamanlarda öğrenme süreçlerini anlamak, öğrenme ve öğretme uygulamalarını geliştirmek için büyük miktarlarda öğrenme verisini kullanmaya niyetli olan eğitsel araştırmacı ve uygulayıcılarının dikkatlerini çekti. Bu bölümde, öğrenme analitiğinin belirli bir biçimi olarak eğitsel içeriğin farklı biçimlerinin analizine odaklanan içerik analitiğini tanıtıyoruz. İçerik analitiğinin tanımı ve kapsamını ve bugüne kadar yayınlanmış literatürdeki önemli içerik analitiği çalışmalarının kapsamlı bir özetini sunuyoruz. Öğrenme analitiği alanının ilk evrelerinde olduğu düşünüldüğünde, bu bölümün odağı mevcut uygun olan ve geçmişte başarılı bir şekilde kullanılmış olan içerik analitiği yaklaşımlarının temel problem ve zorlukları üzerinedir. Aynı zamanda içerik analitiği alanındaki mevcut eğilimler ve bunların daha geniş eğitsel araştırmalar alanı içerisindeki yeri üzerine daha derin bir biçimde düşünüyoruz. İçerik analitiğindeki mevcut eğilimleri ve daha geniş bir eğitim araştırması alanındaki konumlarını da yansıtıyoruz.
Anahtar Kelimeler:İçerik analitiği, öğrenme içeriği
Öğrencilerin öğrenmesiyle ilgili dijital sistemler tarafından toplanan büyük miktardaki verilerle, bu verilerin öğrenme süreçlerini ve öğretim uygulamalarını geliştirmek için kullanma potansiyeli yaygın olarak kabul edilmektedir (Gašević, Dawson ve Siemens, 2015). Gelişmekte olan bir alan olarak öğrenme analitikleri önemli oranda eğitsel araştırmacılar, uygulayıcılar, yöneticilerin, teknoloji ile eğitimin kesişimine ve bu büyük miktardaki verinin öğrenme ve öğretmeyi geliştirmede kullanımına ilgi duyan herkes tarafından önemli ölçüde ilgi gördü. (Buckingham Shum ve Ferguson, 2012). Farklı veri türleri arasında, öğrenme içeriğinin analizi yaygın olarak öğrenme analitiklerinin geliştirilmesi için kullanıldı (Buckingham Shum ve Ferguson, 2012; Chatti, Dyckhoff, Schroeder ve Thus, 2012; Ferguson, 2012; Ferguson ve Buckingham Shum, 2012). Bunlar, öğrenciler (ders programları, belgeler, ders kayıtları), yayıncılar (ders kitapları) veya öğrenciler (kompozisyonlar, tartışma mesajları, sosyal medya iletileri) tarafından üretilen çeşitli veri biçimlerini içerir. Bu bölümde, çeşitli öğrenme içeriği biçimlerinin analizine odaklanan farklı türlerdeki öğrenme analitiklerini ifade etmek için kullanılan bir terim olan içerik analitiğini tanıtıyoruz. Daha sonra içerik analitikleri alanının durumu üzerine eleştirel bir yansıtıcı düşünme sağlıyor ve gelecek çalışmalar için olası eksiklikleri ve yönleri belirliyoruz. Farklı öğrenme içeriği biçimlerini ve içerik analitiklerinin yaygın olarak benimsenen tanımlarını tartışarak işe başlıyoruz. İçerik analitikleri tarafından yaygın olarak ele alınan problem alanlarına olduğu kadar farklı metodolojik yaklaşımlar, araçlar ve tekniklere de özel bir önem verilmektedir.
Öğrenme İçerikleri ve İçerik Analitiği
Moore’a (1989) göre, herhangi bir eğitim türünün belirleyici özelliği, öğrenenler ve öğrenme içeriği arasındaki etkileşimdir. İçerik olmadan “eğitim olamaz, çünkü bu, öğrenenin anlayışında, öğrenenin bakış açısında veya öğrenenin zihninin bilişsel yapısında değişikliklere yol açan içerikle entelektüel etkileşim sürecidir” (s. 2). Eğitim içeriğinin en yaygın kullanılan biçimleri yazılı materyallerdir (Cook, Garside, Levinson, Dupras ve Montori, 2010), kişisel bilgisayarlara ve İnternete her zaman erişimin sağlanması hem öğrenme kaynaklarının geniş bir şekilde ulaşılabilir olmasına hem de etkileşimli ve eğitim kaynaklarının kullanımında artışa yol açmıştır. Aynı şekilde, bloglar ve çevrimiçi tartışma forumları ve popüler sosyal medya platformları (Twitter, Facebook) gibi web tabanlı sistemlerin ortaya çıkması, yeni bir boyut getirdi ve nispeten yeni bir dizi öğrenen kaynaklık ettiği bi dizi kaynağa da erişim sağladı (De Freitas, 2007, sayfa 16). Genel sonuç, eğitim içeriğinin giderek genişleyip çeşitlendirilmesi ve yeni bir dizi olası avantaj, fayda, zorluk ve riski de beraberinde getirmesidir (De Freitas, 2007). Bu küresel eğilim aynı zamanda yeni öğrenme analitiği yaklaşımlarının geliştirilmesi için verimli bir zemin oluşturur.
İçerik analitiği literatürüne genel bir bakış sağlamak için, önce içerik analitiği ile ne kastedildiğini tanımlamamız gerekir. İçerik analitiğini şu şekilde tanımlarız:
Öğrenme faaliyetlerini anlamak ve eğitim uygulamalarını ve araştırmalarını geliştirmek amacıyla, üreticisinden (ör. öğreten, öğrenci) bağımsız olarak farklı dijital öğrenme içeriği biçimlerini incelemek, değerlendirmek, dizinlemek, filtrelemek, önerilerde bulunmak ve görselleştirmeye yönelik otomatik yöntemlerdir.
Bu tanım, içerik analitiğinin, öğrenmenin farklı “kaynaklarının” (ders kitapları, web kaynakları) ve “ürünlerinin” (ödevler, tartışma mesajları) otomatik analizine odaklandığını ortaya koymaktadır. Bu öğrenme yönetim sistemlerindeki izleme verisi analizi gibi öğrencilerin davranışsal verilerine odaklanmış analitiklerle açıkça tezat teşkil eder. Genel olarak öğrenciler, mevcut eğitim teknolojilerinin durumu ve çevrimiçi / karma öğrenme pedagojileri göz önüne alındığında, farklı türlerdeki (metin, video, ses) öğrenme içeriğini üretebilse de öğrenciler tarafından üretilen içerik ağırlıklı olarak metin tabanlıdır (ödev cevapları, tartışma mesajlar, kompozisyonlar). Öğrencilerin metinsel olmayan içerik ürettikleri durumlar olmasına rağmen (sunumlarının video kayıtları) yine de göreceli bir azınlığı temsil eder; sonuç olarak, çok az sayıda analitik sistem geliştirilmiştir. Bu nedenle, çoklu ortam öğrenme içeriğini de kapsayan içerik analitiklerinin daha geniş tanımına rağmen, bu bölümün odak noktası ağırlıklı olarak metin tabanlı öğrenme içeriğidir.
İçerik analitiklerinin temel uygulama alanı olarak tanımlandığını belirtmeliyiz, çünkü kullanılan araç ve tekniklerin çoğu diğer öğrenme analitiği türlerinde de kullanılır. Dolayısıyla içerik analitiği, söylem analitiği (Knight ve Littleton, 2015), yazı analitiği (Buckingham Shum vd., 2016), değerlendirme analitiği (Ellis, 2013) ve sosyal öğrenme analitiği (Buckingham) dâhil olmak üzere daha spesifik analitik formlarını kapsar. Shum ve Ferguson, 2012). Bu belli başlı analitikler odak noktalarını daha çok belirli öğrenme ürünlerinde, süreçlerinde veya bağlamlarda üretilen öğrenme içeriğini inceleme olarak tanımlarlar. Sonuç olarak tanımımız, örneğin, Buckingham Shum ve Ferguson (2012) tarafından yapılan “çevrimiçi medya varlıklarını incelemek, dizinlemek ve filtrelemek için kullanılabilecek çeşitli otomatik yöntemler; öğrencilere, kendileri için mevcut olan potansiyel kaynaklar okyanusunda rehberlik etme niyeti” (s. 15), sosyal içerik analitiği tanımından daha geniştir. Bu raporda kullanılan -herhangi bir öğrenme ortamı ya da sürecine odaklanmayan- içerik analitikleri tanımının benzer öğrenme alanlarında uygulanabilir olan standart analitik yaklaşımların geliştirilmesini mümkün kıldığını savunuyoruz. Öğrenme analitikleri gelişiminin erken aşamalarda olduğu göz önünde tutulursa, öğrenme materyalleri ve onların analizleri için metodolojiler, teknikler ve araçların türüne odaklanılması, öğrenme analitiği alanının gelişmesi için kritik olan içerik analitiği araştırmalarının yürütülmesinde topluluk standartlarının belirlenmesini destekler.
Her ikisinde eğitim araştırmalarında kullanılan teknikler olan içerik analizi (Krippendorff, 2003) ile içerik analitiği arasındaki farkı vurgulamak önemlidir (Ferguson ve Buckingham Shum, 2012). İsim benzerliğine karşın, içerik analizi, sosyal bilimlerde eğitim araştırmaları, eğitim teknolojisi ve uzaktan/çevrimiçi eğitim dâhil (De Wever, Schellens, Valcke ve Van Keer, 2006; Donnelly ve Gardner, 2011; Strijbos, Martens, Prins ve Jochems, 2006) yazılı metnin içindeki örtük değişkenleri değerlendirmede çok daha eski ve köklü bir araştırma tekniğidir. Öğrenme analitiği sistemlerinin çoğunun örtük yapıların incelenmesine de odaklandığı göz önüne alındığında, içerik analitiğinin büyük bir bölümünü, içerik analizi amacıyla bilgi işlemsel tekniklerin uygulaması oluşturur (Kovanović, Joksimović, Gašević ve Hatala, 2014). Ancak içerik analitiği öğrenci yazı çalışmalarının değerlendirilmesi, otomatik öğrenci notlama veya belge yapılarından bir başlık bulma gibi içerik analizinin odağında olmayan bir çok farklı ilave analiz biçimini içerir.
İÇERİK ANALİTİK GÖREV VE TEKNİKLERİ
İçerik analitiklerine genel bir bakış sağlamak amacıyla, içerik analitiklerini kullanan araştırma çalışmalarını belirlemek amacıyla öğrenme analitikleri ve eğitim teknolojisi alanındaki yazılı alan yazının bir taramasını yaptık. Öğrenme Analitiği ve Bilgi Konferansı’ndaki, Öğrenme Analitiği Dergisi, Eğitsel Veri Madenciliği Dergisi, Eğitimde Yapay Zekâ ve Google Akademik bildirilerine baktık. İlgili çalışmaları temin ettikten sonra bunları ele aldığımız araştırma problemlerine göre gruplandırdık. İçerik analizi için kullanılan üç ana veri tipine odaklanan üç çalışma grubu belirledik (ör. öğrenme kaynakları, öğrencilerin öğrenme ürünleri ve öğrencilerin sosyal etkileşimleri). Bu bölümün geri kalanı belirlenen çalışma grupları ve onlarla ilişkili araçlar ve tekniklere dair detaylı bir bakış sunmaktadır.
Öğrenme Kaynaklarının İçerik Analitiği
İçerik analitiklerinin ilk kullanımlarından biri eğitsel kaynakların, materyallerin ve bu kaynaklara dair tavsiye, düzenleme ve değerlendirmelerin analizi içindi. Öğrenciler için büyük miktarlarda kullanılabilirliği olan öğrenme materyalleri düşünüldüğünde özel ilgi alanlarından biri, öğrencilerin ilgileri veya ders ilerleme gibi çeşitli kriterleri temel alan öğrenme ile ilişkili uygun içerik tavsiyesidir (Manouselis, Drachsler, Vuorikari, Hummel ve Koper, 2011). Romero ve Ventura, 2010). İçerik analitiği sistemlerinin geliştirilmesi genel olarak iki geniş kategoriye ayrılabilen öneri sistemleri teknolojilerine dayanmaktadır (Drachsler, Hummel ve Koper, 2008):
-
İşbirlikli filtreleme (İF) teknikleri ya 1) ilişkili öğrencilere (ör. kullanıcı temelli İF) veya 2) ilişkili kaynaklara (ör. madde temelli İF) bakılarak bulunmuştur. İlk durumda, kaynak kullanımındaki büyük bir örtüşme bulunan öğrencilerin büyük olasılıkla ortak ilgi alanlarını paylaşıyor olması, ikinci durumda ise çok sayıda kullanıcı tarafından kullanılan kaynakların benzer olması muhtemeldir.
-
İçerik temelli teknikler önerilerin, önerilecek kaynakların içeriğini doğrudan karşılaştırarak ve öğrencinin şu anda kullanmakta olduğu ya da öğrencinin profil verisine uyan kaynaklarla en çok benzer kaynakları arayarak keşfedilmiştir.
Her iki yaklaşım da eğitim teknolojisinde yaygın olarak kullanılmıştır (genel bir bakış için Drachsler vd., 2008; Manouselis vd., 2011). Örneğin, Walker, Recker, Lawless ve Wiley (2004) faydalı eğitsel kaynakları keşfetmek için işbirlikli bir sistem olan AlteredVista’yı geliştirirken Zaldivar, García, Burgos, Kloos ve Pardo (2011) öğrencilere ders notları önermek için onların belge görüntüleme örüntülerine dayalı olarak içerik temelli teknikleri kullandılar. İçerik temelli yöntemler, programlama görevlerine çözümler (Hosseini ve Brusilovsky, 2014) ve ilgili örnekleri (Muldner ve Conati, 2010) önermenin yanısıra akademik dersler de önermek için kullanıldı (Bramucci ve Gaston, 2012). Ayrıca, önerilerin kalitesinin genellikle, verilen öğrenme bağlamı veya etkinliğine uygun olarak seçilmesi gereken belirli belge benzerlik ölçülerinin (Verbert vd., 2012) seçilmesine bağlı olduğu da belirtilmelidir.
Diğer bir önemli alan farklı öğretim materyallerin (genellikle farklı öğrenme nesnelerinin) anahtar kelime çıkarımı, etiketleme ve kümeleme için otomatik teknikler kullanılarak otomatik düzenlenmesini ya da sınıflandırılmasını ifade eder. Örneğin, Bosnić, Verbert ve Duval (2010), öğrenme nesnelerinden anahtar kelime çıkarımı için farklı teknikleri kıyaslarken, Cardinaels, Meire ve Duval (2005) belge, içerik, kullanım ve bağlamın analizinin belirli bir öğrenme nesnesi için ilişkili üst veri bilgisini otomatik olarak oluşturmada kullanıldığını göstermiştir. Metin kümeleme (Niemann vd., 2012), sinirsel ağ sınıflandırıcıları (Roy, Sarkar ve Ghose, 2008) ve işbirlikli etiketleme (Bateman, Brooks, McCall ve Brusilovsky, 2007) teknikleri farklı öğrenme nesnelerini başarılı bir biçimde gruplama, düzenleme ve kısa ek açıklamalar eklemede kullanılmıştır. Daha yakın zamanlarda, eğitimde çoklu ortamın kullanımının artmasıyla, gezinmeyi ve video kaynaklarının kullanımını (Brooks, Amundson ve Greer, 2009; Brooks, Johnston, Thompson ve Greer, 2013) geliştirmek amacıyla ders kayıtlarında önemli anları otomatik olarak bulmak için farklı içerik analitiği teknikleri kullanılmıştır.
Öğrenme kaynaklarının düzenlenmesi ve önerilmesine ek olarak, mevcut öğretim materyallerinin kalitesini ve öğrenme çıktılarını nasıl etkilediklerini değerlendirmek için içerik analitiği kullanılmıştır. Dufty, Graesser, Louwerse ve McNamara (2006) Coh-metrix aracı (Graesser McNamara ve Kulikowich 2011; McNamara, Graesser, McCarthy ve Cai, 2014), tarafından hesaplanan yazılı metnin uyumluluğunun, basit metin okunabilirlik ölçülerinden manidar düzeyde daha iyi sonuçlar vererek ders kitaplarının sınıf düzeyinin değerlendirmesinde de başarılı bir biçimde kullanılabileceğini göstermişlerdir. Araştırma aynı zamanda sunulan öğrenme materyallerinin tutarlılığı ve öğrencilerin konu alanını anlaması arasında doğrudan bir bağlantı olduğunu ortaya koymuştur (McNamara, Kintsch, Songer ve Kintsch, 1996; Varner, Jackson, Snow ve McNamara, 2013). Tutarlılık ve anlama arasındaki ilişki öğrencilerin ön bilgi düzeyleri tarafından da yönetilmektedir (Wolfe vd., 1998), ki bu öğrenme materyalleri önerilirken dikkate alınması gereken bir konudur.
Öğrencilerin Öğrenme Ürünlerinin İçerik Analitiği
Öğrenme analitiklerinin en temel hedeflerinden biri öğrenenlere çalışma esnasında ve ilgili geri bildirimin zamanında ulaştırılmasına imkân tanımaktır (Siemens vd., 2011). İçerik analitiklerinin uygulandığı en eski alanlardan birisi otomatik kompozisyon puanlama (OKP) olarak da bilinen öğrenci kompozisyon metinlerinin analizidir. Otomatik kompozisyon puanlama için en yaygın kullanılan teknik iki metin gövdesi arasındaki semantik benzerliğin kelimelerin birlikte bulunmalarının analiz edilmesi yoluyla ölçüldüğü Örtük Semantik Analiz’dir (ÖSA) (Landauer, Foltz ve Laham, 1998). OKP durumunda, ÖSA benzerliği kompozisyonun önceden tanımlanmış bir dizi kompozisyona benzerliğini ve bu benzerliklere dayalı olarak metin niteliğinin tek ve sayısal bir ölçüsünü hesaplamada kullanılır. ÖSÖ tabanlı kompozisyon kalitesi ölçümlerine ek olarak WriteToLearn (Foltz & Rosenstein, 2015) gibi daha yeni sistemler, öğrencilere kompozisyon yazma becerileri kazanmalarına yardımcı olacak şekilde tasarlanmış geri bildirimler sağlamak için kapsamlı bir görselleştirme seti içerir. OKP sistemleri asıl olarak gerçek zamanlı geri bildirimin sağlanması için kullanılırken (Crossley, Allen, Snow ve McNamara, 2015; Foltz vd., 1999; Foltz ve Rosenstein, 2015), aynı zamanda insan puanlayıcılar kadar güvenilir ve tutarlı oldukları görüldüğü için kompozisyon puanlamanın (kısmi) otomasyonu için de kullanılabilmektedirler (Foltz vd., 1999).
Metnin önceden tanımlanmış bir dizi belgeye benzerliğini hesaplamanın yanı sıra, ÖSA genellikle belge tutarlılığı olarak adlandırılan (belge ne kadar tutarlı ise, cümleleri semantik olarak o kadar benzerdir) dâhili belge benzerliğini hesaplamada da kullanılabilir. ÖSA, genellikle belge yazımının niteliğini ölçmede kullanılan Coh-metrix aracının temelinde yatan ilkedir (Graesser vd., 2011; McNamara vd., 2014). Coh-metrix, kompozisyonlar, tartışma mesajları ve ders kitapları da dâhil olmak üzere farklı türdeki yazılı materyallerin analizi için yaygın olarak kullanılmıştır (McNamara vd., 2014). Örneğin, öğrencilere kompozisyon yazma egzersizleri sırasında geri bildirim sağlayan, metnin tutarlılığına bakan bilgisayar destekli bir akıllı öğretim sistemi olan Writing-Pal’de (McNamara vd., 2012) benimsenmiştir.
Öğrencilerin kompozisyonlarının değerlendirilmesinde yaygın olarak benimsenmiş bir diğer teknik metnin kelime ile birlikte-bulunuşlarını temel alan grafik temelli görselleştirme yöntemleridir. Bu araçlar, yazının kalitesini değerlendirmenin yanı sıra, söz konusu içeriğin özetlenmesinde de kullanılır. Örneğin, OpenEssayist sistemi (Whitelock, Field, Pulman, Richardson ve Van Labeke, 2014; Whitelock, Twiner, Richardson, Field ve Pulman, 2015) öğrenciye yardımcı olmak için öğrencinin kompozisyonuna metnin farklı bölümleri arasındaki ilişkiyi, öğrencilere sağlam bir yapı ve tutarlı bir anlatımla nasıl yüksek kaliteli kompozisyonlar yazacaklarını öğretmek amacıyla görselleştiren grafik tabanlı bir genel bakış sunar. Grafik tabanlı yöntemler, kavram haritalarının öğrencilerin iş birliğine dayalı yazı çalışmalarından otomatik olarak çıkarılması için de kullanılmaktadır. Bu kavram haritaları, daha sonra öğrenenlere metinlerini gözden geçirme (Hecking ve Hoppe, 2015) ve düzeltme yapmada yardım etmek anlamına gelen, görsel geri bildirim sağlamada da kullanıldılar.
Kelime birlikteliklerini temel alan yaklaşımların yanı sıra, özellikle öğrenci kompozisyonlarının dilbilimsel ve retorik analizi için doğal dil işleme teknikleri de kullanılmıştır. Örneğin, XIP gösterge panosu (Simsek, Buckingham Shum, De Liddo, Ferguson ve Sándor, 2014; Simsek, Buckingham Shum, Sandor, De Liddo ve Ferguson, 2013) kompozisyonlarının üst söylemlerini görselleştirir ve yazıdaki savın niteliğini değerlendirmeye yardımcı olan retorik hamle ve işlevleri vurgular (Simsek vd., 2014). İçerik analitiğine yönelik bu yaklaşımlar, aynı zamanda, metnin farklı bölümlerinin dil işlevlerini anlamak için aynı teknikleri kullandıklarını söyleyerek söylem merkezli öğrenme analitiğine çok benzerdir (Buckingham Shum vd., 2013; Knight ve Littleton, 2015).
Öğrenci kompozisyonlarını analiz etmenin yanı sıra, diğer öğrenci yazı türleri için de özellikle de kısa cevaplar için de benzer içerik analitiği yöntemleri kullanılmıştır. (Burrows, Gurevych ve Stein, 2014). Fizik öğretimi bağlamında, Dzikovska, Steinhauser, Farrow, Moore ve Campbell (2014), öğrencilerin kısa cevaplarının içeriğini göz önünde bulundurarak bağlamsal olarak ilgili geri bildirimler sağlayan yeni bir uyarlamalı geri bildirim sistemi kurdu. Aynı şekilde, WriteEval sistemi (Leeman-Munk, Wiebe ve Lester, 2014) öğrencilerin kısa cevaplarını değerlendirmekte ve takip talimatları ve görevleri ile geri bildirimde bulunur. Kompozisyon sınıflandırmada olduğu gibi, bir dizi referans cevap bu sistem grubunun çalışmasını kolaylaştırır. Benzer yaklaşımlar, sorun çözme becerileri (Di Eugenio, Fossati, Haller, Yu ve Glass, 2008), mantık (Stamper, Barnes ve Croy, 2010) ve PHP programlama öğretiminde de kullanılmaktadır (Weragama ve Reye, 2014). Ayrıca, referans cevapların otomatik olarak keşfedilmesi için grafik tabanlı teknikleri kullanma potansiyelini gösteren çalışmalar (Ramachandran, Cheng ve Foltz, 2015; Ramachandran ve Foltz, 2015) de yapılmıştır.
İçerik analitiği geri bildirim sistemlerinin bir çoğunun öğretenlere öğrencilerin öğrenme etkinliklerine dair geri bildirim verecek şekilde tasarlandığını da belirtmeliyiz. Örneğin, Lárusson ve White (2012) öğrencilerin kompozisyon görselleştirmelerini, öğrencilerin yazılarındaki özgünlüğü ve öğrencilerin eleştirel düşünce geliştirmeye başladıkları belirli anlar ile ilgili öğretenleri bilgilendirmek için kullandılar. Öğrencilere geri bildirim vermenin yanı sıra öğrenci kompozisyonlarından kavram haritalarının otomatik olarak çıkartılması da öğretenlere öğrencilerin öğrenme etkinlikleri ile geniş bir genel değerlendirme sunmak için kullanılmıştır (Perez–Marin ve Pascual–Nieto, 2010). Kavram haritalarının çıkartılması da öğrenci sohbet kayıtlarının analizi için kullanılmıştır (Rosen, Miagkikh ve Suthers, 2011), daha sonra öğretenlere öğrenci grupları arasındaki sosyal etkileşimlere ve bilgi birikimine genel bir değerlendirme sunmak için kullanılmıştır. Benzer olarak, dönüt türleri ve öğrenci katılımı üzerindeki etkileri de incelenmiştir. Örneğin, Crossley, Varner, Roscoeve McNamara (2013) öğrencilerin yazılarında hangi tür geri bildirimin en büyük ilerleme ile sonuçlandığını araştırırken (Öğrencilerin deneme metinlerinin Coh-metrix analizini temel alarak) Calvo, Aditomo, Southavilay ve Yacef (2012) farklı tür geri bildirimlerin (yönlendirici, yansıtıcı) öğrencilerin metin düzenleme davranışlarını nasıl etkilediğini araştırdılar. Öğrencilerin video kayıtlarını görme ve kısa notlar alma şekillerinin incelenmesi de (Gašević, Mirriahi ve Dawson, 2014; Mirriahi ve Dawson, 2013) ayrıca farklı türlerdeki öğrenme içeriklerini birleştirmenin gücünü göstermiştir.
Çok sayıda çalışma öğrenci kompozisyonlarında farklı nitelikler ve performans arasındaki bağlantıyı incelemiştir. Bu çalışmaların birincil amacı başarılı yazı çalışmasını neyin kapsadığını (Allen, Snow ve McNamara, 2014; Crossley, Roscoe ve McNamara, 2014; McNamara, Crossley ve McCarthy, 2009; Snow, Allen, Jacovina, Perret ve McNamara, 2015) ve bunun ders performansı ile nasıl ilişkili olduğunu (Robinson, Navea ve Ickes, 2013; Simsek vd., 2015) anlamaktır. Mevcut araştırma aynı zamanda, sağlanan öğrenme materyallerinin tutarlılığı ile öğrencilerin okuma özetlerinin kalitesi arasında doğrudan bir bağlantı olduğunu ortaya koymuştur (Allen, Snow ve McNamara, 2015). Araştırmalar öğrencilerin okuma materyallerini anlamasına dair bir içgörünün Coh-metrix uyum ölçüleri ve metnin bilgilendiriciliğinin bir ölçüsü olan Bilgi İçeriği kullanılarak elde edilebileceğini göstermiştir (Mintz, Stefanescu, Feng, D’Mello ve Graesser, 2014). İçerik analitiği, Saklı Markov Modelleri (Southavilay, Yacef ve Calvo, 2009, 2010) ve olasılıklı konu modellemesi (ör. GDT; Southavilay, Yacef, Reimann ve Calvo, 2013) teknikleri kullanarak işbirlikli yazma süreçlerini anlamak için de kullanılmıştır. Aynı teknikler öğrencilerin programlamayı nasıl öğrendiklerini anlamak için (Blikstein, 2011) ve hatta öğrencilerin uzmanlıklarını değerlendirmek için yapılan öğrenci görüşmelerinin deşifre metinlerini analiz etmek (Worsley ve Blikstein, 2011) ve verilen bir alan bilgisi (Sherin, 2012) için de kullanılmaktadır.
Öğrencilerin Sosyal Etkileşimlerinin İçerik Analitiği
Çevrimiçi ve uzaktan eğitimde, eşzamansız çevrimiçi tartışmalar, öğrencileri arasındaki ve öğrenciler ile öğretenler arasındaki etkileşimin birincil araçlarından birini temsil eder (Anderson ve Dron, 2012). Bu nedenle, genel tartışma etkinliğine ilişkin görüşler ve farklı öğrencilerin katkıları, genellikle öğrenme materyallerini analiz etmek için kullanılanlara benzer yöntemler kullanarak (ör. ÖSA, Coh-metrix) içerik analitiğinin başarıyla uygulandığı iki alandır. ÖSA ve Sosyal Ağ Analizi (SAA) kullanarak, Teplovs, Fujita ve Vatrapu (2011), öğrencilere çevrimiçi söyleme yapılan öğrenci katkılarına genel bir bakış sağlayan görsel bir analitik sistemi geliştirdi. SAA’ye ek olarak, Hever vd. (2007), farkındalığı artırmak ve çevrimiçi tartışmaların daha iyi denetlenmesini sağlamak için süreç madenciliğini içerik analitiği ile birlikte kullanmıştır. Öğrenci tartışma mesajlarının katkı türüne, metin içeriğine ve ilişkilerine (ör. bağlantılara) göre sınıflandırılması yoluyla Hever vd. (2007) önceden tanımlanan teorik veya pedagojik kategorilere göre tartışma mesajlarını etiketlemede kullanılabilecek bir mesaj sınıflandırma sistemi geliştirdi. Çevrimiçi tartışmaların yanı sıra, öğrencilerin sosyal medyadaki etkinlikleriyle ilgili olarak eğitmen farkındalığını artırmak, öğrenenlerin etkinliklerini ve öğrenme ilerlemesini anlamak için sosyal medyanın büyük potansiyelini gösteren LARAe sistemi (Charleer, Santos, Klerkx ve Duval, 2014) tarafından inceleniyor. LARAe, (RSS ve Twitter API teknolojilerini kullanarak) öğrenci sosyal medya kayıtlarını otomatik olarak toplayabilir ve ardından gözlemlenen sosyal medya etkinliğine dayalı olarak öğrencilere otomatik olarak 51 farklı rozetten birini atayabilir. Daha sonra, toplanan bilgiler öğretenlere, öğrenci etkinliğine ve zaman içindeki değişikliğine dair kolay bir genel bakış için gösterge paneli biçiminde gösterilir.
Çevrimiçi tartışmalar, genellikle öğrenen tartışma mesajlarını çözümlemek için el ile yapılan içerik analizi yöntemlerini kullanan eğitim araştırmacılarının odağı olmuştur. Yıllar boyunca, özellikle popüler Sorgu Topluluğu (ST) çerçevesi (Garrison, Anderson ve Archer, 2001) kullanılarak yapılan analizler olmak üzere bu süreci otomatik hale getirmek için çeşitli içerik analitik sistemleri geliştirilmiştir. Örneğin, McKlin, Harmon, Evans ve Jones (2002) ve McKlin (2004), CoI çerçevesinin merkezi yapısı olan, öğrencilerin eleştirel ve derin düşünme becerilerinin geliştirilmesine odaklanan, bilişsel varlık düzeyine dair tartışma mesajlarının kodlanmasını otomatikleştirmek için bir sinir ağı sınıflandırma sistemi geliştirmiştir. McKlin’in (2004) sonuçlarına dayanarak, Otomatikleştirilmiş İçerik Analiz Aracı tarafından bilişsel varlıktan ayrı olarak daha geniş bir kodlama yelpazesi için kabul edilebilecek daha genel bir sınıflandırma modeli sağlamak bir Bayesian ağ sınıflandırması (Corich, Hunt ve Hunt, 2012) için kullanılır. Daha yakın zamanlarda birçok çalışma (Kovanović vd., 2014, 2016; Waters, 2015) bilişsel varlık düzeyi için mesaj kodlamada farklı metin madenciliği tekniklerinin kullanımını incelemiştir. Kovanović vd. (2014) elde edilen farklı yüzey-seviyesi sınıflandırma özelliklerini (yani n-gramlar, konuşmanın bir kısmında n-gramlar, dil bağımlılığı üçlüsü, bahsedilen kavramların sayısı ve tartışma pozisyonu ölçü birimleri) kullanan ve önceki raporlardan daha yüksek sınıflandırma doğruluğuna ulaşan (McKlin, 2004; McKlin vd., 2002) bir destek vektör makine sınıflandırıcı geliştirdiler. Waters (2015) tarafından yapılan araştırma aynı zamanda metin sınıflandırma için çevrimiçi tartışmaların yapısını koşullu rastgele alanlar kullanmanın, bireysel sınıflandırma örnekleri arasında (ör. yapıya cevap) hesap ilişkilerini (yani yapıya cevap) ele alan yapısal bir sınıflandırma tekniği kullanmanın faydalarını göstermiştir (ör. tartışma mesajları).
Son olarak, (Kovanović vd., 2016), Coh-metrix tarafından sağlanan ölçü birimlerin (Graesser vd., 2011) ve Dilbilimsel Sorgulama ve Kelime Sayısı (DSKS) araçları (Tausczik ve Pennebaker, 2010) bazı DDİ ve tartışma-konum özelliklerinin başarılı bir şekilde bir arada kullanılmasıyla neredeyse insan kodlayıcıları kadar kesin bir sınıflandırma sistemi geliştirmek için kullanılabileceğini gösterdi. Bu sistemin eğitim araştırmacıları tarafından yaygın olarak benimsenebilmesi için daha fazla iyileştirmeye ihtiyaç duyulurken, ilerleme umut vericidir ve içerik analizinde araştırma uygulamalarını geliştirme potansiyeli vardır.
Sosyal-yapılandırmacı öğrenme ve bilgi yaratma bakış açısıyla, çok sayıda bir grup çalışma, sosyal etkileşimlerin bilgi inşası üzerindeki rolünü anlamak için içerik analitiklerini kullanmıştır. Örneğin, tartışma katkılarında DSKS metrikleri tarafından yakalanan dil farklılıkları (Joksimoviç, Gašević, (Kovanović, Adesope ve Hatala, 2014; Xu, Murray, Park Woolf ve Smith, 2013) ve bu farklılıkların öğrenen notlarıyla nasıl ilişkili olduğu (Yoo ve Kim, 2012) ile ilgili önemli araştırmalar yapılmıştır. Benzer şekilde, Chiu ve Fujita (2014a, 2014b), öğrenen söylem etkileşimlerinin gerçekçi bir şekilde modellenmesini sağlamak için kullanılan bir istatistiksel yöntem grubu olan Yang, Wen ve Rose (bir grup istatistiksel yöntem) olan istatistiksel söylem analizi (İSA) ile farklı tartışma katkıları arasındaki karşılıklı bağımlılıkları araştırırken Yang, Wen ve Rose (2014), GDT ve karma üyelikli stokastik blok modellerini (KÜSBM), hangi tür öğrenen tartışma katkılarının cevap alacağını tahmin etmek için kullandılar. Son olarak, basit kelime sıklığı analizini kullanılarak, Cui ve Wise (2015), öğretenler tarafından ne gibi katkıların kabul edilmesinin ve cevaplanmasının muhtemel olduğunu incelemiştir. Bu ve benzeri çalışmalar, çevrimiçi söylemdeki etkileşimlerin nihayetinde öğrenme çıktılarını ve bilgi birikimini nasıl şekillendirdiğini anlama amacına sahiptir. Benzer şekilde, öğrencilerin bilgiyi (ortaklaşa) yapılandırmalarına dair daha iyi bir anlayış edinmek için farklı sosyal içerik analiz yöntemleri (metin sınıflandırması, konu modellemesi, karma üyelik stokastik blok modelleri) ve araçları (Coh-metrix, DSKS) uygulanmıştır. Bunlar, öğrenen alt topluluklarının oluşturulması (Yang, Wen, Kumar, Xing ve Rose, 2014), öz yönetim becerilerinin geliştirilmesi (Petrushyna, Kravcik ve Klamma, 2011), küçük grup iletişimi (Yoo ve Kim, 2013) ve bilgisayar programlama projelerinde iş birliği (Velasquez vd., 2014)ile ilgili araştırmaları içerir. Sonraki araştırmalar, öğrencilerin sosyal sermayelerinin KAÇD’lerde birikmesi arasındaki bağlantıyı araştırmışlar (Dowell vd., 2015; Joksimović, Dowell vd., 2015; Joksimović, Kovanović vd., 2015) ve çeşitli öğrenme platformlarındaki öğrenci etkileşiminden elde edilen sosyal ağ içindeki konumun, daha yüksek düzeyde tutarlılığa sahip sosyal medya paylaşımları ile ilişkili olduğunu göstermişlerdir.
İçerik analitiği, öğrencilerin katılımı ve gelişimine katkıda bulunabilecek öğretim yaklaşımlarının seviyesini değerlendirmek için de yaygın olarak kullanılmıştır. Bunu akılda tutarak, öğrenen tartışma mesajların analizi -çeşitli içerik analitiği yöntemleri kullanılarak- kurs katılım seviyesini değerlendirmek için yaygın olarak kullanılmıştır (Ramesh, Goldwasser, Huang, Daume ve Getoor, 2013; Vega, Feng, Lehman, Graesser ve D’Mello, 2013; Wen, Yang ve Rose, 2014b). Hem tartışma içerik verilerinde hem de kayıt günlüğü izleme verilerinde farazî mantık kullanarak, Ramesh vd. (2013) KAÇD bağlamında öğrenci katılımını inceleyerek, tartışma etkinlik ve kurs performanslarının seviyelerine göre öğrencilerin türlerine odaklandılar. Benzer şekilde, Wen, Yang ve Rose (2014a), KAÇD çevrimiçi tartışmalarının öğrenen duyarlılık analizini gerçekleştirmiştir; bu, ifade edilen olumsuz duygu ile dersten çıkma olasılığı arasında güçlü bir ilişki olduğunu ortaya koydu. Benzer sonuçlar DSKS kelime kategorilerinin (en doğrudan, bilişsel kelimeler, birinci şahıs zamirleri ve olumlu kelimeler) öğrenen motivasyonu ve bilişsel katılım düzeyini ölçmek için kullanılabileceğini gösteren Wen vd. (2014b) tarafından da ortaya konmuştur. Son olarak, öğrenci okuma zamanı ile metin karmaşıklığı arasındaki tutarsızlığa bakarak, Vega vd. (2013), engelli öğrencileri tespit edebilecek bir içerik analiz sistemi geliştirmiştir. Katılımın ölçülmesinde metnin karmaşıklığını kullanmadaki genel fikir, metin ne kadar kolay olursa, öğrenen ayrılmadığı sürece okuma süresinin o kadar kısa olacağıydı. İz verilerini (ör. metin okuma zamanı) öğrenme materyallerinin analizi (ör. metin kaynağı okuma karmaşıklığının analizi) ile birleştiren bu ve benzer analiz türleri, KAÇD gibi çok sayıda öğrencinin bulunduğu dersler için özellikle önemli olan öğrenci motivasyonunu ve katılımını, özellikle gerçek zamanlı olarak izlemek için başarıyla kullanılabilir.
Öğrenme içeriğinde konu keşfi
Büyük miktarda web ve diğer öğrenme verileri formları mevcut olduğunda, içerik analizinin başlıca kullanım alanlarından biri, mevcut bilgilerin büyük miktarlarının düzenlenmesi ve özetlenmesidir. Bu bağlamda, en popüler içerik analitiği tekniği, doküman toplanmasında temel konuları ve temaları tanımlamak için kullanılan bir grup yöntem olan farazî konu modellemesidir. (ör. Tartışma mesajları veya sosyal medya gönderileri). En yaygın kullanılan konu modelleme tekniği, sosyal bilimlerde (Ramage, Rosen, Chuang, Manning ve McFarland, 2009) ve dijital beşerî bilimlerde (Cohen vd., 2012) sıklıkla kullanılan gizli Dirichlet tahsisidir (GDT; Blei, 2012; Blei, Ng ve Jordan, 2003). GDT’nin ve diğer konu modelleme tekniklerinin genel amacı, birlikte sıkça kullanılan ve belge koleksiyonundaki popüler konuları ve temaları ifade eden kelime gruplarını belirlemektir. GDT’nin yanı sıra, mantıksal programlamaya, metin kümelemeye ve ÖSA’ya dayanan teknikler de öğrenenin çevrimiçi tartışmalarından ve sosyal medya paylaşımlarından ana temalar çıkarmak için kullanılmıştır.
Asenkron çevrimiçi tartışmalarda ana tema ve konuların tanımlanması kapsamlı bir şekilde yapılmıştır. Birincil hedef, öğretenlerin, ana temaları ve çevrimiçi tartışmalardaki büyüklüklerini belirleyerek öğrenen söyleminin kalitesi konusundaki farkındalığını artırmaktır. Örneğin, Antonelli ve Sapino (2005), çevrimiçi tartışmaları modellemek için kurala dayalı bir yaklaşım benimserken, GDT’nin kullanımı Chen (2014), Hsiao ve Awasthi (2015) tarafından araştırılmıştır. Çevrimiçi derslerde konu modellemesine ek olarak, büyük açık çevrimiçi derslerde (KAÇD’ler) geniş çaplı tartışmalar göz önüne alındığında, çeşitli yaklaşımlar kullanarak KAÇD tartışmalarından konu çıkarılmasına özel ilgi gösterilmiştir. Reich, Tingley, Leder-Luis, Roberts ve Stewart (2014) farklı eş değişkenler üzerinde konulardaki farklılıkları incelemeye olanak sağlayan KAÇD çevrimiçi tartışmalarındaki konuları ve farklı öğrencilerin (ör. yaş, cinsiyet) ve gönderi özelliklerinin (ör. bir oy kullanma) belirlenen konularla nasıl ilişkili olduğunu araştırmak için yapısal konu modellerini GDT tekniğinin bir uzantısı olarak kullandılar. Aynı şekilde, Ezen-Can, Boyer, Kellogg ve Booth (2015), KAÇD tartışmalarında öğrenenin çevrimiçi tartışmalarının “sözcük çantası” sunumlarını kümeleme yoluyla ana temaları belirlediler.
Çevrimiçi tartışmalarda konuların keşfedilmesi büyük ölçüde araştırılmış olsa da farklı sosyal medyalarda ana temaların analizi çok daha az dikkat çekmiştir. Bir örnek, popüler blog platformlarında ve en önemli tartışma konularında olduğu gibi öğrenmeyi araştırmak için SAA ve kelime sıklığı analizini kullanan Pham, Derntl, Cao ve Klamma (2012) tarafından yapılan bir çalışmadır. Çalışmaların çoğunda, konu modelleme analizinin odağı temel olarak geleneksel blog platformlarındayken mikro blog platformlarının analizi (ör. Twitter) çok daha az dikkat çekmiştir. Çoğu durumda, geleneksel blog platformlarına odaklanmanın nedeni, konu modelleme yöntemlerinin çoğunun (ör. GDT), doğru bir konusal dağılımın çıkarılabileceği daha uzun metin belgeleri üzerinde çalışmak üzere tasarlanmasıdır (Zhao vd., 2011). Kısa metinler için çeşitli GDT değişkenleri önerilmiş olmasına rağmen (Hong ve Davison, 2010; Mehrotra, Sanner, Buntine ve Xie, 2013; Ramage, Dumais ve Liebling, 2010; Yan, Guo, Lan ve Cheng, 2013), şu anda öğrenme analitiği alanında yaygın olarak kullanılmamaktadır ve değerleri henüz değerlendirilmemiştir. Dikkate değer bir istisna, ilk dört Öğrenme Analitiği ve Bilgi Konferansından (LAK’11-LAK’14) tweetleri -sıradan GDT ve SAA kullanarak- analiz eden, popüler konuları ve aynı zamanda öğrenme analitiği topluluğunun zaman içindeki yapısı ve evrimini inceleyen Chen, Chen ve Xing (2015) tarafından yapılan çalışmadır. Benzer şekilde, JJoksimović, Kovanović vd. (2015), farklı sosyal medyadaki ders materyalleri ve öğrenen kayıtları arasındaki uyumu araştırmıştır (ör. Facebook, Twitter, bloglar). Bu çalışmada geleneksel konu modelleme teknikleri kullanılmamıştır, daha ziyade konu keşfi için yeni bir doküman kümeleme tekniği kullanılmıştır. Son olarak, konu modelleme kullanımı sosyal medya dışında da araştırılmıştır. Örneğin, Reich vd. (2014) GDT’yi, öğrenen ders değerlendirmelerinin ana temalarını incelemek için kullandı ve ders değerlendirme yorumlarına etkili ve geniş bir genel bakış açısı sağladı.
SONUÇ VE GELECEĞE YÖNELİK ÇIKARIMLAR
Bu bölümde, öğrenme etkinliklerini anlamak veya iyileştirmek için farklı içerik formlarını analiz etmeye yönelik bir dizi analitik yöntem ve teknik içeren içerik analitiğine genel bir bakış sunduk. Çok çeşitli araştırma çalışmaları, çağdaş eğitim araştırma ve uygulamalarındaki açık problemleri ele almada içerik analitiği tekniklerini uygulamanın büyük gücünü göstermektedir. Genel olarak, içerik analitiği, 1) ders kaynaklarının, 2) öğrenenin öğrenme ürünlerinin ve 3) öğrenen sosyal etkileşimlerinin analizinde kullanılmıştır. Farklı öğrenme materyallerinin önerilmesi ve sınıflandırılması (ör. Drachsler vd., 2008), öğrenci yazarken geri bildirim sağlama (ör. Crossley vd., 2015), öğrenme çıktılarının analizi (ör. Robinson vd., 2013), öğrenci katılımının analizi (ör. Wen vd., 2014b) ve çevrimiçi tartışmalarda konu keşfi (ör. Reich vd., 2014) gibi geniş bir yelpazedeki problemleri ele almak için içerik analitiği kullanılmıştır. Bir araştırma alanı olarak öğrenme analitiğinin halen başlangıç aşamasında olduğu göz önüne alındığında, içerik analitiği tarafından ele alınan sorunların listesi gelecekte genişleyecektir. Benzer şekilde, içerik analizi alanı olgunlaştıkça, bir dizi önemli araştırma uygulamaları ve gelenekleri oluşturulacaktır. Bu nedenle, eğitim araştırma ve uygulamalarında en yüksek etkiyi sunabilmek için gelecekteki yönelimlere bakmak gerekir. Dolayısıyla içerik analitiği konusundaki mevcut araştırmaların, 1) içerik analitiğini diğer analiz formlarıyla birleştirerek ve 2) mevcut eğitim teorilerini temel alan içerik analitiği sistemleri geliştirerek iyileştirileceğini savunuyoruz. İçerik analitiği ve diğer analitik türleri arasındaki sinerjiyle ilgili ilk adımlar zaten gözlemlenmiştir. Çeşitli çalışmalar içerik analitiğinin;
-
Söylem analitiği (Şimşek vd., 2015, 2014, 2013),
-
Süreç madenciliği (Hever vd., 2007; Southavilay vd., 2009, 2010, 2013),
-
Sosyal ağ analizi (Drachsler vd., 2008; Joksimović, Kovanović vd., 2015; Joksimovic vd., 2014; Pham vd., 2012; Ramachandran ve Foltz, 2015; Rosen vd., 2011; Teplovs vd., 2011),
-
Görsel öğrenme analitiği (Hecking ve Hoppe, 2015; Larusson ve White, 2012; Perez-Marin ve Pascual-Nieto, 2010; Şimşek vd., 2014; Whitelock vd., 2014, 2015) ve
-
Çok modlu öğrenme analitiği (Blikstein, 2011; Worsley ve Blikstein, 2011) ile nasıl başarıyla birleştirilebileceğini göstermiştir.
Benzer biçimde, -öğrenen demografileri, önceki bilgiler ya da standart puanların- ek veri biçimlerinin içerik analitiği ile bir araya getirilmesi de önemlidir ve bu bağlamda bazı ilk adımları (Crossley vd., 2015) da görmekteyiz . Geleneksel içerik analizi ve diğer yöntemlerin benzer birleşik kullanımları, daha açık bir şekilde sosyal ağ analizinin (de Laat, Lally, Lipponen, & Simons, 2007; Shea vd., 2010) kullanımında gözlenmiştir.
Son olarak, içerik analitiklerinin gelişimi iyi bilinen öğretim teorilerine dayanmalıdır. Mevcut birçok yaklaşım, gelişmiş analiz sistemlerinin kullanışlılığını sınırlandırabilecek ve hatta bazı zararlı öğrenme uygulamalarını (Gašević vd., 2015) teşvik edebilecek geniş kapsamlı eğitim araştırmalarının müktesebatından yararlanmamaktadır. Pedagojik hususlar, önceki araştırmaların büyük bir bölümü (Hattie ve Timperley, 2007) sağlanan geri bildirim türleri arasında etkililik bakımından önemli farklılıklar gösterirken, geri bildirim sunulması adına özellikle önem arz etmektedir. Örneğin, mevcut otomatik derecelendirme sistemleri tarafından verilen geri bildirimlerin çoğu, en değerli geri bildirimlerin tespit edilen zayıflıklar ve bunların üstesinden gelmek için öneriler hakkında ayrıntılı talimatlar veren süreç düzeyinde olmasına rağmen, değer biçmeye dönüktür. İçerik analitik sistemleri mevcut eğitsel bilgi üzerine temellenerek, sadece kullanışlılığı arttırmakla kalmayacak, aynı zamanda mevcut öğrenme süreçleri anlayışının doğrulanması ve iyileştirilmesi için de değerli fırsatlar sunacaktır.
KAYNAKÇA
Allen, L. K., Snow, E. L., & McNamara, D. S. (2014). The long and winding road: Investigating the differential writing patterns of high and low skilled writers. In J. Stamper, Z. Pardos, M. Mavrikis, & B. M. McLaren (Eds.), Proceedings of the 7th International Conference on Educational Data Mining (EDM2014), 4–7 July, London, UK (pp. 304–307). International Educational Data Mining Society.
Allen, L. K., Snow, E. L., & McNamara, D. S. (2015). Are you reading my mind? Modeling students’ reading comprehension skills with natural language processing techniques. Proceedings of the 5th International Conference on Learning Analytics and Knowledge (LAK’15), 16–20 March 2015, Poughkeepsie, NY, USA (pp. 246–254). New York: ACM. doi:10.1145/2723576.2723617
Anderson, T., & Dron, J. (2012). Learning technology through three generations of technology enhanced distance education pedagogy. European Journal of Open, Distance and E-Learning, 2012(II), 1–14.
Antonelli, F., & Sapino, M. L. (2005). A rule based approach to message board topics classification. In K. S. Candan & A. Celentano (Eds.), Advances in Multimedia Information Systems (pp. 33–48). Springer. http://link.springer.com/chapter/10.1007/11551898_6
Bateman, S., Brooks, C., McCalla, G., & Brusilovsky, P. (2007). Applying collaborative tagging to e-learning. Workshop held at the 16th International World Wide Web Conference (WWW2007), 8–12 May 2007, Banff, AB, Canada. http://www.www2007.org/workshops/paper_56.pdf
Blei, D. M. (2012). Probabilistic topic models. Communications of the ACM, 55(4), 77–84. doi:10.1145/2133806.2133826
Blei, D. M., Ng, A. Y., & Jordan, M. I. (2003). Latent Dirichlet allocation. Journal of Machine Learning Research, 3, 993–1022.
Blikstein, P. (2011). Using learning analytics to assess students’ behavior in open-ended programming tasks. Proceedings of the 1st International Conference on Learning Analytics and Knowledge (LAK’11), 27 February–1 March 2011, Banff, AB, Canada (pp. 110–116). New York: ACM. doi:10.1145/2090116.2090132
Bosnić, I., Verbert, K., & Duval, E. (2010). Automatic keywords extraction: A basis for content recommendation. Proceedings of the 4th International Workshop on Search and Exchange of e-le@rning Materials (SE@M’10), 27–28 September 2010, Barcelona, Spain (pp. 51–60). http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.204.5641&rep=rep1&type=pdf#page=54.
Bramucci, R., & Gaston, J. (2012). Sherpa: Increasing student success with a recommendation engine. Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK’12), 29 April–2 May 2012, Vancouver, BC, Canada (pp. 82–83). New York: ACM. doi:10.1145/2330601.2330625
Brooks, C., Amundson, K., & Greer, J. (2009). Detecting significant events in lecture video using supervised machine learning. Proceedings of the 2009 Conference on Artificial Intelligence in Education: Building Learning Systems That Care: From Knowledge Representation to Affective Modelling (pp. 483–490). Amsterdam, The Netherlands: IOS Press. http://dl.acm.org/citation.cfm?id=1659450.1659523
Brooks, C., Johnston, G. S., Thompson, C., & Greer, J. (2013). Detecting and categorizing indices in lecture video using supervised machine learning. In O. R. Zaïane & S. Zilles (Eds.), Advances in Artificial Intelligence (pp. 241–247). Springer. http://link.springer.com/chapter/10.1007/978-3-642-38457-8_22
Buckingham Shum, S., De Laat, M. F., De Liddo, A., Ferguson, R., Kirschner, P., Ravenscroft, A., … Whitelock, D. (2013). DCLA13: 1st International Workshop on Discourse-Centric Learning Analytics. Proceedings of the 3rd International Conference on Learning Analytics and Knowledge (LAK’13), 8–12 April 2013, Leuven, Belgium (pp. 282–282). New York: ACM. doi:10.1145/2460296.2460357
Buckingham Shum, S., & Ferguson, R. (2012). Social learning analytics. Journal of Educational Technology & Society, 15(3), 3–26.
Buckingham Shum, S., Knight, S., McNamara, D., Allen, L., Bektik, D., & Crossley, S. (2016). Critical perspectives on writing analytics. Proceedings of the 6th International Conference on Learning Analytics & Knowledge (LAK’16), 25–29 April 2016, Edinburgh, UK (pp. 481–483). New York ACM. doi:10.1145/2883851.2883854
Burrows, S., Gurevych, I., & Stein, B. (2014). The eras and trends of automatic short answer grading. International Journal of Artificial Intelligence in Education, 25(1), 60–117. doi:10.1007/s40593-014-0026-8
Calvo, R., Aditomo, A., Southavilay, V., & Yacef, K. (2012). The use of text and process mining techniques to study the impact of feedback on students’ writing processes. Proceedings of the 10th International Conference of the Learning Sciences (ICLS’12), 2–6 July 2012, Sydney, Australia (pp. 416–423).
Cardinaels, K., Meire, M., & Duval, E. (2005). Automating metadata generation: The simple indexing interface. Proceedings of the 14th International Conference on World Wide Web (WWW’05), 10–14 May 2005, Chiba, Japan (pp. 548–556). ACM. http://dl.acm.org/citation.cfm?id=1060825
Charleer, S., Santos, J. L., Klerkx, J., & Duval, E. (2014). Improving teacher awareness through activity, badge and content visualizations. In Y. Cao, T. Väljataga, J. K..T. Tang, H. Leung, M. Laanpere (Eds.), New Horizons in Web Based Learning (pp. 143–152). Springer. http://link.springer.com/chapter/10.1007/978-3-319-13296-9_16
Chatti, M. A., Dyckhoff, A. L., Schroeder, U., & Thüs, H. (2012). A reference model for learning analytics. International Journal of Technology Enhanced Learning, 4(5/6), 318–331. doi:10.1504/IJTEL.2012.051815
Chen, B. (2014). Visualizing semantic space of online discourse: The Knowledge Forum case. Proceedings of the 4th International Conference on Learning Analytics and Knowledge (LAK’14), 24–28 March 2014, Indianapolis, IN, USA (pp. 271–272). New York: ACM. doi:10.1145/2567574.2567595
Chen, B., Chen, X., & Xing, W. (2015). “Twitter archeology” of Learning Analytics and Knowledge conferences. Proceedings of the 5th International Conference on Learning Analytics and Knowledge (LAK’15), 16–20 March 2015, Poughkeepsie, NY, USA (pp. 340–349). New York: ACM. doi:10.1145/2723576.2723584
Chiu, M. M., & Fujita, N. (2014a). Statistical discourse analysis: A method for modeling online discussion processes. Journal of Learning Analytics, 1(3), 61–83.
Chiu, M. M., & Fujita, N. (2014b). Statistical discourse analysis of online discussions: Informal cognition, social metacognition and knowledge creation. Proceedings of the 4th International Conference on Learning Analytics and Knowledge (LAK’14), 24–28 March 2014, Indianapolis, IN, USA (pp. 217–225). New York: ACM. doi:10.1145/2567574.2567580
Cohen, D. J., Troyano, J. F., Hoffman, S., Wieringa, J., Meeks, E., & Weingart, S. (Eds.). (2012). Special Issue on Topic Modeling in Digital Humanities. Journal of Digital Humanities, 2(1).Cook, D. A., Garside, S., Levinson, A. J., Dupras, D. M., & Montori, V. M. (2010). What do we mean by web-based learning? A systematic review of the variability of interventions. Medical Education, 44(8), 765–774. doi:10.1111/j.1365-2923.2010.03723.x
Corich, S., Hunt, K., & Hunt, L. (2012). Computerised content analysis for measuring critical thinking within discussion forums. Journal of E-Learning and Knowledge Society, 2(1), 47–60.
Crossley, S., Allen, L. K., Snow, E. L., & McNamara, D. S. (2015). Pssst… Textual features… There is more to automatic essay scoring than just you! Proceedings of the 5th International Conference on Learning Analytics and Knowledge (LAK’15), 16–20 March 2015, Poughkeepsie, NY, USA (pp. 203–207). New York: ACM. doi:10.1145/2723576.2723595
Crossley, S., Roscoe, R., & McNamara, D. S. (2014). What is successful writing? An investigation into the multiple ways writers can write successful essays. Written Communication, 31(2), 184–214. doi:10.1177/0741088314526354
Crossley, S., Varner, L. K., Roscoe, R. D., & McNamara, D. S. (2013). Using automated indices of cohesion to evaluate an intelligent tutoring system and an automated writing evaluation system. In H. C. Lane, K. Yacef, J. Mostow, & P. Pavlik (Eds.), Artificial Intelligence in Education (pp. 269–278). Springer. http://link.springer.com/chapter/10.1007/978-3-642-39112-5_28
Cui, Y., & Wise, A. F. (2015). Identifying content-related threads in MOOC discussion forums. Proceedings of the 2nd ACM Conference on Learning @ Scale (L@S 2015), 14–18 March 2015, Vancouver, BC, Canada (pp. 299–303). New York: ACM. doi:10.1145/2724660.2728679
De Freitas, S. (2007). Post-16 e-learning content production: A synthesis of the literature. British Journal of Educational Technology, 38(2), 349–364. doi:10.1111/j.1467-8535.2006.00632.x
De Laat, M. F., Lally, V., Lipponen, L., & Simons, R.-J. (2007). Investigating patterns of interaction in networked learning and computer-supported collaborative learning: A role for Social Network Analysis. International Journal of Computer-Supported Collaborative Learning, 2(1), 87–103. doi:10.1007/s11412-007-9006-4
De Wever, B., Schellens, T., Valcke, M., & Van Keer, H. (2006). Content analysis schemes to analyze transcripts of online asynchronous discussion groups: A review. Computers & Education, 46(1), 6–28.
Di Eugenio, B., Fossati, D., Haller, S., Yu, D., & Glass, M. (2008). Be brief, and they shall learn: Generating concise language feedback for a computer tutor. International Journal of Artificial Intelligence in Education, 18(4), 317–345.
Donnelly, R., & Gardner, J. (2011). Content analysis of computer conferencing transcripts. Interactive Learning Environments, 19(4), 303–315.
Dowell, N., Skrypnyk, O., Joksimović, S., Graesser, A. C., Dawson, S., Gašević, D., … Kovanović, V. (2015). Modeling learners’ social centrality and performance through language and discourse. In O. C. Santos, J. G. Boticario, C. Romero, M. Pechenizkiy, A. Merceron, P. Mitros, J. M. Luna, C. Mihaescu, P. Moreno, A. Hershkovitz, S. Ventura, & M. Desmarais (Eds.), Proceedings of the 8th International Conference on Education Data Mining (EDM2015), 26–29 June 2015, Madrid, Spain (pp. 250–258). International Educational Data Mining Society. http://www.educationaldatamining.org/EDM2015/uploads/papers/paper_211.pdf
Drachsler, H., Hummel, H. G. K., & Koper, R. (2008). Personal recommender systems for learners in lifelong learning networks: The requirements, techniques and model. International Journal of Learning Technology, 3(4), 404–423. doi:10.1504/IJLT.2008.019376
Dufty, D. F., Graesser, A. C., Louwerse, M., & McNamara, D. S. (2006). Assigning grade levels to textbooks: Is it just readability? In R. Sun & N. Miyake (Eds.), Proceedings of the 28th Annual Conference of the Cognitive Science Society (CogSci 2006), 26–29 July 2006, Vancouver, British Columbia, Canada (pp. 1251–1256). Austin, TX: Cognitive Science Society.
Dzikovska, M., Steinhauser, N., Farrow, E., Moore, J., & Campbell, G. (2014). BEETLE II: Deep natural language understanding and automatic feedback generation for intelligent tutoring in basic electricity and electronics. International Journal of Artificial Intelligence in Education, 24(3), 284–332. doi:10.1007/s40593-014- 0017-9
Ellis, C. (2013). Broadening the scope and increasing the usefulness of learning analytics: The case for assessment analytics. British Journal of Educational Technology, 44(4), 662–664. doi: 10.1111 / bjet.12028
Ezen-Can, A., Boyer, K. E., Kellogg, S., & Booth, S. (2015). Unsupervised modeling for understanding MOOC discussion forums: A learning analytics approach. Proceedings of the 5th International Conference on Learning Analytics and Knowledge (LAK’15), 16–20 March 2015, Poughkeepsie, NY, USA (pp. 146–150). New York: ACM. doi:10.1145/2723576.2723589
Ferguson, R. (2012). Learning analytics: Drivers, developments and challenges. International Journal of Technology Enhanced Learning, 4(5/6), 304. doi:10.1504/IJTEL.2012.051816
Ferguson, R., & Buckingham Shum, S. (2012). Social learning analytics: Five approaches. Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK’12), 29 April–2 May 2012, Vancouver, BC, Canada (pp. 23–33). New York: ACM. doi:10.1145/2330601.2330616
Foltz, P. W., Laham, D., Landauer, T. K., Foltz, P. W., Laham, D., & Landauer, T. K. (1999). Automated essay scoring: Applications to educational technology. In B. Collis & R. Oliver (Eds.), Proceedings of EdMedia: World Conference on Educational Media and Technology 1999, 19–24 June 1999, Seattle, WA, USA (pp. 939–944). Association for the Advancement of Computing in Education (AACE). https://www.learntechlib.org/p/6607
Foltz, P. W., & Rosenstein, M. (2015). Analysis of a large-scale formative writing assessment system with automated feedback. Proceedings of the 2nd ACM Conference on Learning @ Scale (L@S 2015), 14–18 March 2015, Vancouver, BC, Canada (pp. 339–342). New York: ACM. doi:10.1145/2724660.2728688
Garrison, D. R., Anderson, T., & Archer, W. (2001). Critical thinking, cognitive presence, and computer conferencing in distance education. American Journal of Distance Education, 15(1), 7–23.
Gašević, D., Dawson, S., & Siemens, G. (2015). Let’s not forget: Learning analytics are about learning. TechTrends, 59(1), 64–71. doi:10.1007/s11528-014-0822-x
Gašević, D., Mirriahi, N., & Dawson, S. (2014). Analytics of the effects of video use and instruction to support reflective learning. Proceedings of the 4th International Conference on Learning Analytics and Knowledge (LAK’14), 24–28 March 2014, Indianapolis, IN, USA (pp. 123–132). New York: ACM. doi:10.1145/2567574.2567590
Graesser, A. C., McNamara, D. S., & Kulikowich, J. M. (2011). Coh-Metrix: Providing multilevel analyses of text characteristics. Educational Researcher, 40(5), 223–234. doi:10.3102/0013189X11413260
Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81–112. doi:10.3102/003465430298487
Hecking, T., & Hoppe, H. U. (2015). A network based approach for the visualization and analysis of collaboratively edited texts. Proceedings of the Workshop on Visual Aspects of Learning Analytics (VISLA’15), 16–20 March 2015, Poughkeepsie, NY, USA (pp. XXX– XXX). http://ceur-ws.org/Vol-1518/paper4.pdf
Hever, R., De Groot, R., De Laat, M., Harrer, A., Hoppe, U., McLaren, B. M., & Scheuer, O. (2007). Combining structural, process-oriented and textual elements to generate awareness indicators for graphical e-discussions. In C. Chinn, G. Erkens, & S. Puntambekar (Eds.), Proceedings of the 7th International Conference on Computer-Supported Collaborative Learning (CSCL 2007), 16–21 July 2007, New Brunswick, NJ, USA (pp. 289–291). International Society of the Learning Sciences. http://dl.acm.org/citation. cfm? id = 1599600.1599654
Hong, L., & Davison, B. D. (2010). Empirical study of topic modeling in Twitter. Proceedings of the 1st Workshop on Social Media Analytics (SOMA’10), 25–28 July 2010, Washington, DC, USA (pp. 80–88). New York: ACM. doi:10.1145/1964858.1964870
Hosseini, R., & Brusilovsky, P. (2014). Example-based problem solving support using concept analysis of programming content. In S. Trausan-Matu, K. E. Boyer, M. Crosby, & K. Panourgia (Eds.), Intelligent Tutoring Systems (pp. 683–685). Springer. http://link.springer.com/chapter/10.1007/978-3-319-07221-0_106
Hsiao, I.-H., & Awasthi, P. (2015). Topic facet modeling: Semantic visual analytics for online discussion forums. Proceedings of the 5th International Conference on Learning Analytics and Knowledge (LAK’15), 16–20 March 2015, Poughkeepsie, NY, USA (pp. 231–235). New York: ACM. doi:10.1145/2723576.2723613
Joksimović, S., Dowell, N., Skrypnyk, O., Kovanović, V., Gašević, D., Dawson, S., & Graesser, A. C. (2015). Exploring the accumulation of social capital in cMOOC through language and discourse. Under Review.
Joksimović, S., Gašević, D., Kovanović, V., Adesope, O., & Hatala, M. (2014). Psychological characteristics in cognitive presence of communities of inquiry: A linguistic analysis of online discussions. The Internet and Higher Education, 22, 1–10.
Joksimović, S., Kovanović, V., Jovanović, J., Zouaq, A., Gašević, D., & Hatala, M. (2015). What do cMOOC participants talk about in social media? A topic analysis of discourse in a cMOOC. Proceedings of the 5th International Conference on Learning Analytics and Knowledge (LAK’15), 16–20 March 2015, Poughkeepsie, NY, USA (pp. 156–165). New York: ACM.
Knight, S., & Littleton, K. (2015). Discourse centric learning analytics: Mapping the terrain. Journal of Learning Analytics, 2(1), 185–209.
Kovanović, V., Joksimović, S., Gašević, D., & Hatala, M. (2014). Automated content analysis of online discussion transcripts. In K. Yacef & H. Drachsler (Eds.), Proceedings of the Workshops at the LAK 2014 Conference (LAK-WS 2014), 24–28 March 2014, IN, Indiana, USA. http://ceur-ws.org/Vol-1137/LA_machinelearning_ submission_1.pdf
Kovanović, V., Joksimović, S., Waters, Z., Gašević, D., Kitto, K., Hatala, M., & Siemens, G. (2016). Towards automated content analysis of discussion transcripts: A cognitive presence case. Proceedings of the 6th International Conference on Learning Analytics & Knowledge (LAK’16), 25–29 April 2016, Edinburgh, UK (pp. 15–24). New York: ACM. doi:10.1145/2883851.2883950
Krippendorff, K. H. (2003). Content analysis: An introduction to its methodology. Thousand Oaks, CA: Sage Publications.
Landauer, T. K., Foltz, P. W., & Laham, D. (1998). An introduction to latent semantic analysis. Discourse Processes, 25(2–3), 259–284. doi:10.1080/01638539809545028
Lárusson, J. A., & White, B. (2012). Monitoring student progress through their written “point of originality”. Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK’12), 29 April–2 May 2012, Vancouver, BC, Canada (pp. 212–221). New York: ACM. doi:10.1145/2330601.2330653
Leeman-Munk, S. P., Wiebe, E. N., & Lester, J. C. (2014). Assessing elementary students’ science competency with text analytics. Proceedings of the 4th International Conference on Learning Analytics and Knowledge (LAK’14), 24–28 March 2014, Indianapolis, IN, USA (pp. 143–147). New York: ACM. doi:10.1145/2567574.2567620
Manouselis, N., Drachsler, H., Vuorikari, R., Hummel, H., & Koper, R. (2011). Recommender systems in technology enhanced learning. In F. Ricci, L. Rokach, B. Shapira, & P. B. Kantor (Eds.), Recommender systems handbook (pp. 387–415). Springer. http://link.springer.com/chapter/10.1007/978-0-387-85820-3_12
McKlin, T. (2004). Analyzing cognitive presence in online courses using an artificial neural network. Georgia State University, College of Education, Atlanta, GA, United States. https://pdfs.semanticscholar.org/d6af/ c0073f2efc53bb2e46a0dd39a677027b1c3d.pdf
McKlin, T., Harmon, S., Evans, W., & Jones, M. (2002, March 21). Cognitive presence in web-based learning: A content analysis of students’ online discussions. IT Forum, 60. https://pdfs.semanticscholar.org/037b/ f466c1c2290924e0ba00eec14520c091b57e.pdf
McNamara, D. S., Crossley, S., & McCarthy, P. M. (2009). Linguistic features of writing quality. Written Communication, 27(1), 57–86. doi:10.1177/0741088309351547
McNamara, D. S., Graesser, A. C., McCarthy, P. M., & Cai, Z. (2014). Automated evaluation of text and discourse with Coh-Metrix. Cambridge, UK: Cambridge University Press.
McNamara, D. S., Kintsch, E., Songer, N. B., & Kintsch, W. (1996). Are good texts always better? Interactions of text coherence, background knowledge, and levels of understanding in learning from text. Cognition and Instruction, 14(1), 1–43. doi:10.1207/s1532690xci1401_1
McNamara, D. S., Raine, R., Roscoe, R., Crossley, S., Jackson, G. T., Dai, J., … others. (2012). The Writing-Pal: Natural language algorithms to support intelligent tutoring on writing strategies. In P. M. McCarthy & C. Boonthum-Denecke (Eds.), Applied natural language processing: Identification, investigation and resolution (pp. 298–311). Hershey, PA: IGI Global.
Mehrotra, R., Sanner, S., Buntine, W., & Xie, L. (2013). Improving LDA topic models for microblogs via tweet pooling and automatic labeling. Proceedings of the 36th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR’13), 28 July–1 August 2013, Dublin, Ireland (pp. 889–892). New York: ACM. doi:10.1145/2484028.2484166
Mintz, L., Stefanescu, D., Feng, S., D’Mello, S., & Graesser, A. (2014). Automatic assessment of student reading comprehension from short summaries. In J. Stamper, Z. Pardos, M. Mavrikis, & B. M. McLaren (Eds.), Proceedings of the 7th International Conference on Educational Data Mining (EDM2014), 4–7 July, London, UK. International Educational Data Mining Society. http://www.educationaldatamining.org/conferences/ index.php/EDM/2014/paper/view/1372/1338
Mirriahi, N., & Dawson, S. (2013). The pairing of lecture recording data with assessment scores: A method of discovering pedagogical impact. Proceedings of the 3rd International Conference on Learning Analytics and Knowledge (LAK’13), 8–12 April 2013, Leuven, Belgium (pp. 180–184). New York: ACM. doi:10.1145/2460296.2460331
Moore, M.G. (1989). Editorial: Three types of interaction. American Journal of Distance Education, 3(2), 1–7. doi:10.1080/08923648909526659
Muldner, K., & Conati, C. (2010). Scaffolding meta-cognitive skills for effective analogical problem solving via tailored example selection. International Journal of Artificial Intelligence in Education, 20(2), 99–136.
Niemann, K., Schmitz, H.-C., Kirschenmann, U., Wolpers, M., Schmidt, A., & Krones, T. (2012). Clustering by usage: Higher order co-occurrences of learning objects. Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK’12), 29 April–2 May 2012, Vancouver, BC, Canada (pp. 238–247). New York: ACM. doi:10.1145/2330601.2330659
Pérez-Marín, D., & Pascual-Nieto, I. (2010). Showing automatically generated students’ conceptual models to students and teachers. International Journal of Artificial Intelligence in Education, 20(1), 47–72.
Petrushyna, Z., Kravcik, M., & Klamma, R. (2011). Learning analytics for communities of lifelong learners: A forum case. Proceedings of the 11th IEEE International Conference on Advanced Learning Technologies (ICALT’11), 6–8 July 2011, Athens, GA, USA (pp. 609–610). IEEE. doi:10.1109/ICALT.2011.185
Pham, M. C., Derntl, M., Cao, Y., & Klamma, R. (2012). Learning analytics for learning blogospheres. In E. Popescu, Q. Li, R. Klamma, H. Leung, & M. Specht (Eds.), Advances in Web-Based Learning: ICWL 2012 (pp. 258–267). Springer. http://link.springer.com/chapter/10.1007/978-3-642-33642-3_28
Ramachandran, L., Cheng, J., & Foltz, P. (2015). Identifying patterns for short answer scoring using graph-based lexico-semantic text matching. Proceedings of the 10th Workshop on Innovative Use of NLP for Building Educational Applications (NAACL-HLT 2015), 4 June 2015, Denver, CO, USA (pp. 97–106). http://www.aclweb.org/anthology/W15-0612
Ramachandran, L., & Foltz, P. (2015). Generating reference texts for short answer scoring using graph-based summarization. Proceedings of the 10th Workshop on Innovative Use of NLP for Building Educational Applications (NAACL-HLT 2015), 4 June 2015, Denver, CO, USA (pp. 207–212). http://www.aclweb.org/anthology/ W15-0624
Ramage, D., Dumais, S. T., & Liebling, D. J. (2010). Characterizing microblogs with topic models. In W. W. Cohen & S. Gosling (Eds.), Proceedings of the 4th International AAAI Conference on Weblogs and Social Media (ICWSM’10) 23–26 May 2010, Washington, DC, USA (pp. XXX– XXX). Palo Alto, CA: AAAI Press. http://www.aaai.org/ocs/index.php/ICWSM/ICWSM10/paper/view/1528/1846
Ramage, D., Rosen, E., Chuang, J., Manning, C. D., & McFarland, D. A. (2009). Topic modeling for the social sciences. Workshop on Applications for Topic Models: Text and Beyond (NIPS 2009), 11 December 2009, Whistler, BC, Canada. https://ed.stanford.edu/sites/default/files/mcfarland/tmt-nips09-20091122+21-29-34.pdf
Ramesh, A., Goldwasser, D., Huang, B., Daumé III, H., & Getoor, L. (2013). Modeling learner engagement in MOOCs using probabilistic soft logic. NIPS Workshop on Data Driven Education (NIPS-DDE 2013), 9 December 2013, Lake Tahoe, NV, USA. https://www.umiacs.umd.edu/~hal/docs/daume13engagementmooc.pdf
Reich, J., Tingley, D., Leder-Luis, J., Roberts, M. E., & Stewart, B. (2014). Computer-assisted reading and discovery for student generated text in massive open online courses. Journal of Learning Analytics, 2(1), 156–184.
Robinson, R. L., Navea, R., & Ickes, W. (2013). Predicting final course performance from students’ written self-introductions: A LIWC analysis. Journal of Language and Social Psychology, 32(4). doi:10.1177/0261927X13476869
Romero, C., & Ventura, S. (2010). Educational data mining: A review of the state of the art. IEEE Transactions on Systems, Man, and Cybernetics, Part C, 40(6), 601–618. doi:10.1109/TSMCC.2010.2053532
Rosen, D., Miagkikh, V., & Suthers, D. (2011). Social and semantic network analysis of chat logs. Proceedings of the 1st International Conference on Learning Analytics and Knowledge (LAK’11), 27 February–1 March 2011, Banff, AB, Canada (pp. 134–139). New York: ACM. doi:10.1145/2090116.2090137
Roy, D., Sarkar, S., & Ghose, S. (2008). Automatic extraction of pedagogic metadata from learning content. International Journal of Artificial Intelligence in Education, 18(2), 97–118.
Shea, P., Hayes, S., Vickers, J., Gozza-Cohen, M., Uzuner, S., Mehta, R., … Rangan, P. (2010). A re-examination of the community of inquiry framework: Social network and content analysis. The Internet and Higher Education, 13(1–2), 10–21. doi: 10.1016 / j.iheduc.2009.11.002
Sherin, B. (2012). Using computational methods to discover student science conceptions in interview data. Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK’12), 29 April–2 May 2012, Vancouver, BC, Canada (pp. 188–197). New York: ACM. doi:10.1145/2330601.2330649
Siemens, G., Gašević, D., Haythornthwaite, C., Dawson, S., Buckingham Shum, S., Ferguson, R., … Baker, R. S. J. d. (2011, July 28). Open learning analytics: An integrated & modularized platform. SoLAR Concept Paper. http://www.elearnspace.org/blog/wp-content/uploads/2016/02/ProposalLearningAnalyticsModel_SoLAR.pdf
Simsek, D., Buckingham Shum, S., De Liddo, A., Ferguson, R., & Sándor, Á. (2014). Visual analytics of academic writing. Proceedings of the 4th International Conference on Learning Analytics and Knowledge (LAK’14), 24–28 March 2014, Indianapolis, IN, USA (pp. 265–266). New York: ACM. http://dl.acm.org/citation. cfm?id=2567577
Simsek, D., Buckingham Shum, S., Sandor, A., De Liddo, A., & Ferguson, R. (2013). XIP Dashboard: Visual analytics from automated rhetorical parsing of scientific metadiscourse. Presented at the 1st International Workshop on Discourse-Centric Learning Analytics, 8 April 2013, Leuven, Belgium. http://oro.open.ac.uk/37391/1/LAK13-DCLA-Simsek.pdf
Simsek, D., Sandor, A., Buckingham Shum, S., Ferguson, R., De Liddo, A., & Whitelock, D. (2015). Correlations between automated rhetorical analysis and tutors’ grades on student essays. Proceedings of the 5th International Conference on Learning Analytics and Knowledge (LAK’15), 16–20 March 2015, Poughkeepsie, NY, USA (pp. 355–359). New York: ACM. http://dl.acm.org/citation.cfm?id=2723603
Snow, E. L., Allen, L. K., Jacovina, M. E., Perret, C. A., & McNamara, D. S. (2015). You’ve got style: Detecting writing flexibility across time. Proceedings of the 5th International Conference on Learning Analytics and Knowledge (LAK’15), 16–20 March 2015, Poughkeepsie, NY, USA (pp. 194–202). New York: ACM. doi:10.1145/2723576.2723592
Southavilay, V., Yacef, K., & Calvo, R. A. (2009). WriteProc: A framework for exploring collaborative writing processes. Proceedings of the 14th Australasian Document Computing Symposium (ADCS 2009), 4 December 2009, Sydney, NSW, Australia (pp. 129–136). New York: ACM. http://es.csiro.au/adcs2009/proceedings/ poster-presentation/09-southavilay.pdf
Southavilay, V., Yacef, K., & Calvo, R. A. (2010). Analysis of collaborative writing processes using hidden Markov models and semantic heuristics. In W. Fan, W. Hsu, G. I. Webb, B. Liu, C. Zhang, D. Gunopulos, & X. Wu (Eds.), Proceedings of the 2010 IEEE International Conference on Data Mining Workshops (ICDMW 2010), 14 December 2010, Sydney, Australia (pp. 543–548). doi:10.1109/ICDMW.2010.118
Southavilay, V., Yacef, K., Reimann, P., & Calvo, R. A. (2013). Analysis of collaborative writing processes using revision maps and probabilistic topic models. Proceedings of the 3rd International Conference on Learning Analytics and Knowledge (LAK’13), 8–12 April 2013, Leuven, Belgium (pp. 38–47). New York: ACM. doi:10.1145/2460296.2460307
Stamper, J., Barnes, T., & Croy, M. (2010). Enhancing the automatic generation of hints with expert seeding. In V. Aleven, J. Kay, & J. Mostow (Eds.), Intelligent tutoring systems (pp. 31–40). Springer. http://link.springer.com/chapter/10.1007/978-3-642-13437-1_4
Strijbos, J.-W., Martens, R. L., Prins, F. J., & Jochems, W. M. G. (2006). Content analysis: What are they talking about? Computers & Education, 46(1), 29–48.
Tausczik, Y. R., & Pennebaker, J. W. (2010). The psychological meaning of words: LIWC and computerized text analysis methods. Journal of Language and Social Psychology, 29. doi:10.1177/0261927X09351676
Teplovs, C., Fujita, N., & Vatrapu, R. (2011). Generating predictive models of learner community dynamics. Proceedings of the 1st International Conference on Learning Analytics and Knowledge (LAK’11), 27 February–1 March 2011, Banff, AB, Canada (pp. 147–152). New York: ACM. doi:10.1145/2090116.2090139
Varner, L. K., Jackson, G. T., Snow, E. L., & McNamara, D. S. (2013). Linguistic content analysis as a tool for improving adaptive instruction. In H. C. Lane, K. Yacef, J. Mostow, & P. Pavlik (Eds.), Artificial Intelligence in Education (pp. 692–695). Springer Berlin Heidelberg. doi:10.1007/978-3-642-39112-5_90
Vega, B., Feng, S., Lehman, B., Graesser, A., & D’Mello, S. (2013). Reading into the text: Investigating the influence of text complexity on cognitive engagement. In S. K. D’Mello, R. A. Calvo, & A. Olney (Eds.), Proceedings of the 6th International Conference on Educational Data Mining (EDM2013), 6–9 July, Memphis, TN, USA (pp. 296–299). International Educational Data Mining Society/Springer.
Velasquez, N. F., Fields, D. A., Olsen, D., Martin, T., Shepherd, M. C., Strommer, A., & Kafai, Y. B. (2014). Novice programmers talking about projects: What automated text analysis reveals about online scratch users’ comments. Proceedings of the 47th Hawaii International Conference on System Sciences (HICSS-47), 6–9 January 2014, Waikoloa, HI, USA (pp. 1635–1644). IEEE Computer Society. doi:10.1109/HICSS.2014.209
Verbert, K., Manouselis, N., Ochoa, X., Wolpers, M., Drachsler, H., Bosnić, I., & Duval, E. (2012). Context-aware recommender systems for learning: A survey and future challenges. IEEE Transactions on Learning Technologies, 5(4), 318–335. doi:10.1109/TLT.2012.11
Walker, A., Recker, M. M., Lawless, K., & Wiley, D. (2004). Collaborative information filtering: A review and an educational application. International Journal of Artificial Intelligence in Education, 14(1), 3–28.
Waters, Z. (2015). Using structural features to improve the automated detection of cognitive presence in online learning discussions (B.Sc. Thesis). Queensland University of Technology.
Wen, M., Yang, D., & Rosé, C. (2014a). Sentiment analysis in MOOC discussion forums: What does it tell us? In J. Stamper, Z. Pardos, M. Mavrikis, & B. M. McLaren (Eds.), Proceedings of the 7th International Conference on Educational Data Mining (EDM2014), 4–7 July, London, UK. International Educational Data Mining Society. http://www.cs.cmu.edu/~mwen/papers/edm2014-camera-ready.pdf
Wen, M., Yang, D., & Rosé, C. P. (2014b). Linguistic reflections of student engagement in massive open online courses. Proceedings of the 8th International AAAI Conference on Weblogs and Social Media (ICWSM’14), 1–4 June 2014, Ann Arbor, Michigan, USA (pp. 525–534). Palo Alto, CA: AAAI Press. http://www.aaai.org/ocs/ index.php/ICWSM/ICWSM14/paper/view/8057
Weragama, D., & Reye, J. (2014). Analysing student programs in the PHP intelligent tutoring system. International Journal of Artificial Intelligence in Education, 24(2), 162–188. doi:10.1007/s40593-014-0014-z
Whitelock, D., Field, D., Pulman, S., Richardson, J. T. E., & Van Labeke, N. (2014). Designing and testing visual representations of draft essays for higher education students. 2nd International Workshop on Discourse-Centric Learning Analytics (DCLA14), 24 March 2014, Indianapolis, IN, USA. http://oro.open.ac.uk/41845/
Whitelock, D., Twiner, A., Richardson, J. T. E., Field, D., & Pulman, S. (2015). OpenEssayist: A Supply and demand learning analytics tool for drafting academic essays. Proceedings of the 5th International Conference on Learning Analytics and Knowledge (LAK’15), 16–20 March 2015, Poughkeepsie, NY, USA (pp. 208–212). New York: ACM. doi:10.1145/2723576.2723599
Wolfe, M. B. W., Schreiner, M. E., Rehder, B., Laham, D., Foltz, P. W., Kintsch, W., & Landauer, T. K. (1998). Learning from text: Matching readers and texts by latent semantic analysis. Discourse Processes, 25(2–3), 309–336. doi:10.1080/01638539809545030
Worsley, M., & Blikstein, P. (2011). What’s an expert? Using learning analytics to identify emergent markers of expertise through automated speech, sentiment and sketch analysis. In M. Pechenizkiy, T. Calders, C. Conati, S. Ventura, C. Romero & J. Stamper (Eds.), Proceedings of the 4th Annual Conference on Educational Data Mining (EDM2011), 6–8 July 2011, Eindhoven, The Netherlands (pp. 235–240). International Educational Data Mining Society.
Xu, X., Murray, T., Park Woolf, B., & Smith, D. (2013). If you were me and I were you: Mining social deliberation in online communication. In S. K. D’Mello, R. A. Calvo, & A. Olney (Eds.), Proceedings of the 6th International Conference on Educational Data Mining (EDM2013), 6–9 July, Memphis, TN, USA (pp. 208–216). International Educational Data Mining Society/Springer.
Yan, X., Guo, J., Lan, Y., & Cheng, X. (2013). A biterm topic model for short texts. Proceedings of the 22nd International Conference on World Wide Web (WWW’13), 13–17 May 2013, Rio de Janeiro, Brazil (pp. 1445–1456). New York: ACM.
Yang, D., Wen, M., Kumar, A., Xing, E. P., & Rosé, C. P. (2014). Towards an integration of text and graph clustering methods as a lens for studying social interaction in MOOCs. The International Review of Research in Open and Distributed Learning, 15(5), 214–234.
Yang, D., Wen, M., & Rosé, C. (2014). Towards identifying the resolvability of threads in MOOCs. Proceedings of the Workshop on Modeling Large Scale Social Interaction in Massively Open Online Courses at the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP 2014), 25 October 2014, Doha, Qatar (pp. 21–31). http://www.aclweb.org/anthology/W/W14/W14-41.pdf#page=28
Yoo, J., & Kim, J. (2012). Predicting learner’s project performance with dialogue features in online Q&A discussions. In S. A. Cerri, W. J. Clancey, G. Papadourakis, & K. Panourgia (Eds.), Intelligent tutoring systems (pp. 570–575). Springer. http://link.springer.com/chapter/10.1007/978-3-642-30950-2_74
Yoo, J., & Kim, J. (2013). Can online discussion participation predict group project performance? Investigating the roles of linguistic features and participation patterns. International Journal of Artificial Intelligence in Education, 24(1), 8–32. doi:10.1007/s40593-013-0010-8
Zaldivar, V. A. R., García, R. M. C., Burgos, D., Kloos, C. D., & Pardo, A. (2011). Automatic discovery of complementary learning resources. In C. D. Kloos, D. Gillet, R. M. C. García, F. Wild, & M. Wolpers (Eds.), Towards ubiquitous learning (pp. 327–340). Springer. http://link.springer.com/chapter/10.1007/978-3-642-23985-4_26
Zhao, W. X., Jiang, J., Weng, J., He, J., Lim, E.-P., Yan, H., & Li, X. (2011). Comparing Twitter and traditional media using topic models. In P. Clough, C. Foley, C. Gurrin, G. Jones, W. Kraaij, H. Lee, & V. Murdock (Eds.), Proceedings of the 33rd European Conference on Advances in Information Retrieval (ECIR 2011), 18–21 April 2011, Dublin, Ireland (pp. 338–349). Springer. http://dl.acm.org/citation.cfm?id=1996889.1996934
