Bölüm 11 Çok Modlu Öğrenme Analitiği

Xavier Ochoa

Politecnica del Litoral Lisesi, Ekvator

DOI: 10.18608/hla17.011

ÖZ

Bu bölüm, öğrenme süreci hakkında daha sağlam ve daha belirgin bir anlayış elde etmek için tamamlayıcı öğrenme izleri kaynaklarının yakalanması, birleştirilmesi ve analiz edilmesi yoluyla öğrenme analitiği (ÖA) yaklaşım yöntemi sunmaktadır. Çok modlu öğrenme analitiklerinde (ÇMÖA) kaynaklar veya yöntemler¹, çevrimiçi sistemler tarafından yakalanan geleneksel kayıt günlüğü verilerini içerir, fakat aynı zamanda yapay nesneleri ve hareketler, bakış, konuşma veya yazma gibi daha doğal insan hareketlerini (sinyal) öğrenmeyi de içerir. ÇMÖA’nın mevcut durumu genellikle uygulandığı öğrenme ortamlarına göre tartışılır ve yöntemlerine göre sınıflandırılır. Bu bölüm, çok modlu tekniklerin uygulayıcıları için ortaya çıkan sorunların tartışılmasıyla sona ermektedir.

Anahtar Kelimeler: Ses, video, veri birleştirme, çoklu algılayıcı

Esasen, öğrenme analitiği (ÖA) alanının odak noktası, öğrencilerin bir çeşit dijital araç kullanırken gerçekleştirdikleri eylemlerin incelenmesiydi. Bu dijital araçlar, öğrenme yönetimi sistemleri (ÖYS; Arnold ve Pistilli, 2012), bilgisayar destekli akıllı öğretim sistemleri (AÖS’ler; Crossley, Roscoe ve McNamara, 2013), kitlesel açık çevrimiçi dersler (KAÇD’ler, Kızılcec, Piech ve Schneider, 2013), eğitici video oyunları (Serrano-Laguna ve Fernandez – Manjon, 2014) veya bir bilgisayarı öğrenme sürecinde aktif bir bileşen olarak kullanan diğer sistemlerdir. Öte yandan, bilgisayarların bulunmadığı veya yalnızca yardımcı, tanımlanmamış bir role sahip olduğu yüz yüze dersler veya çalışma grupları gibi diğer öğrenme bağlamlarında nispeten daha az ÖA araştırması veya uygulaması yapılmıştır. Bilgisayar destekli öğrenme bağlamlarına yönelik bu yanlılık, her türlü ÖA çalışmasının veya sisteminin temel ihtiyacı ile açıklanmaktadır: öğrenme izlerinin varlığı (Siemens, 2013).

Bilgisayar tabanlı öğrenme sistemleri, başlangıçta analitik düşünülerek tasarlanmamış olsa bile, kullanıcıları ile etkileşimlerini otomatik olarak ince tanecikli ayrıntı şeklinde yakalama eğilimindedir. Bu etkileşimleri tanımlayan veriler, analiz edilecek izlemleri çıkarmak için daha sonra tahmin edilebilecek günlük dosyaları veya kelime işlemci belgeleri gibi birçok formda saklanır. Kullanıma hazır verilerin göreli bolluğu ve işlemenin önündeki teknik engeller, bilgisayar tabanlı öğrenme sistemlerini ÖA için AR-GE yapmada ideal bir yer haline getirir. Buna karşılık, bilgisayarların kullanılmadığı öğrenme bağlamlarında, öğrenenlerin eylemleri otomatik olarak yakalanamaz². Öğrencinin ürettiği fiziksel belgeler gibi bazı öğrenme ürünleri³ mevcut olsa bile, işlenmeden önce dönüştürülmeleri gerekir. Analiz edilecek izler olmadan, ÖA’da geleneksel olarak kullanılan bilgi işlemsel modeller ve araçlar geçerli değildir.

Bilgisayar destekli öğrenme bağlamlarına yönelik bu yanlılığın varlığı, ÖA’da bir sokak lambası etkisi (Freedman, 2010) oluşturabilir. Bu etki ismini bir adamın ev anahtarını parkta kaybetmesine rağmen onu sokak lambasının altında aramasını ifade eden bir şakadan almaktadır. Sahneyi izleyen polis neden anahtarı sokak lambasının altında aradığını sorduğunda adam “çünkü burası daha aydınlık” diye cevap verir. Sokak lambası efekti, çözümleri gerçek çözümlerin olabileceği yerde değil aramanın kolay olduğu yerde aramak anlamına gelmektedir. Bu durum sürecin büyük bir bölümünün gerçekleştiği gerçek dünya ortamlarını göz ardı edip, öğrenme sürecini yalnızca bilgisayar temelli bağlamlara bakarak anlamaya ve optimize etmeye çalışan erken dönem ÖA araştırmaları için düşünülebilir. Hatta öğrenenlerin bilgisayar destekli sistemlerde kaydının tutulamadığı eylemleri bile genellikle göz ardı edilir. Örneğin, bir AÖS’de bir problem sunulduğunda kafası karışan veya çevrimiçi bir ders izlerken sıkılıp esneyen bir öğrenen hakkındaki bilgiler geleneksel ÖA araştırmalarında dikkate alınmaz. Sokak lambası etkisini azaltmak için, araştırmacılar şimdi gerçek dünyadaki öğrenme bağlamlarından ince taneli öğrenme izlerinin otomatik olarak toplanmasına odaklanarak, Bir KAÇD oturumunun analizi kadar yüz yüze derslerin analizini de mümkün hale getiriyorlar. ÖA üzerine daha yeni çalışmalar, geleneksel günlük dosyalarından başka yeni veri kaynaklarını araştırıyor: öğrenen tarafından üretilen metinler (Simsek vd., 2015), göz izleme bilgileri (Vatrapu, Reimann, Bull ve Johnson, 2013) ve sınıf yapılandırması (Almeda, Scupelli, Baker, Weber ve Fisher, 2014) bunlardan birkaçıdır. Bu farklı öğrenme izlerinin kaynaklarının tek bir analizde birleştirilmesi, çok modlu öğrenme analitiğinin (ÇMÖA) temel amacıdır.

ÇMÖA, etkileşimlerin sadece bir bilgisayar veya dijital cihaz aracılığıyla sağlanmadığı dijital ve gerçek dünya senaryolarındaki öğrenmeyi anlamaya ve optimize etmeye odaklanarak farklı öğrenme izleri kaynaklarını ÖA araştırmasına ve uygulamasına dâhil etmeye çalışan bir alt alandır (Blikstein, 2013). ÇMÖA’da, öğrenme izleri sadece günlük dosyalarından veya dijital belgelerden değil, kaydedilmiş video ve seslerden, kalem vuruşlarından, konum izleme cihazlarından, biyo-algılayıcılardan ve öğrenme sürecini anlamak veya ölçmek için yararlı olabilecek diğer yöntemlerden elde edilir. Ayrıca, ÇMÖA’da, farklı durum ve formlardan çıkartılan izler, eylemlerin ve öğrenenin iç durumunun daha kapsamlı bir görünümünü sağlamak için birleştirilir.

Öğrenmeyi araştırırken farklı yöntem ve formları kullanma fikri, ÖA bağlamında yeni olmakla birlikte, geleneksel deneysel eğitim araştırmalarında yaygındır. Doğası gereği çok modlu bir algılayıcı olan bir insan gözlemcisini, gerçek dünyadaki öğrenme bağlamına eklemek, öğrenmeyi doğal ortamda çalışmanın olağan yoludur (Gall, Borg ve Gall, 1996). Video, ses kaydı ve etiketleme araçları gibi teknolojiler bu gözlemi daha az müdahaleci ve daha ölçülebilir hale getirmiştir (Cobb vd., 2003; Lund, 2007). Geleneksel eğitsel araştırma yaklaşımının temel sorunu, veri toplama ve analizlerinin, el ile yapılmaları nedeniyle çok maliyetli olmaları ve ölçeklenmemeleridir. Veri toplamanın hem boyut hem de zaman açısından sınırlı olması gerekir ve veri analizi sonuçları, çalışılan öğrenenler için faydalı olacak kadar hızlı ve kullanışlı değildir. Farklı modalite ve formlar kaydedilebilir ve öğrenme izleri bunlardan otomatik olarak çıkarılabilirse, ÖA araçları, öğrenmeyi olduğu gibi iyileştirmek ve sürekli bir gerçek zamanlı geribildirim döngüsü sağlamak için kullanılabilir.

Beklenildiği gibi, ham çok modlu kayıtlardan öğrenme izlerini çıkarmak sıradan bir iş değildir. Bilgisayar görüşü, konuşma işleme, eskiz tanıma ve bilgisayar bilimleri alanlarında geliştirilen diğer teknikler, öğrenme bilimi, eğitim araştırması ve davranış bilimi tarafından sağlanan mevcut öğrenme teorileri tarafından yönlendirilmelidir. Karmaşıklığı göz önüne alındığında, ÇMÖA alt alanı nispeten genç ve keşfedilmemiştir. Ancak ilk çalışmalar ve araştırmacılar arasındaki erken disiplinler arası iş birliği olumlu sonuçlar vermiştir (Scherer, Worsley ve Morency, 2012; Morency, Oviatt, Scherer, Weibel ve Worsley, 2013; Ochoa, Worsley, Chiluiza ve Luz, 2014, Markaki, Lund ve Sanchez, 2015). Bu bölüm, bu alanı araştırmak isteyen araştırmacılar ve uygulayıcılar için bir kılavuzdur. İlk olarak, ÇMÖA araştırmalarında kullanılan ana modaliteler sunulacak, analiz edilecek ve örneklendirilecektir. İkincisi, ÇMÖA’nın uygulandığı gerçek dünya ortamları ana durum ve modalitelerine göre incelenecek ve sınıflandırılacaktır. Son olarak, ÇMÖA araştırması ve uygulaması için önemli olan çözülmemiş birkaç konu tartışılacaktır.

MODALİTELER VE MEDYA

İletişim kuramı tanımında, çok modluluk, bireyler arasında bilgi ve anlam alışverişinde bulunmak için çeşitli iletişim biçimlerinin (metinsel, işitsel, dilbilimsel, mekânsal, görsel, vb.) kullanılmasını ifade eder (Kress ve Van Leeuwen, 2001). Medya filmleri, kitaplar, web sayfaları ve hatta hava, iletişim modunun kodlanabileceği fiziksel veya dijital birer alt tabakadır. Her mod bir veya birkaç medya aracılığıyla ifade edilebilir. Örneğin, konuşma, havadaki basınç değişimleri (yüz yüze diyalogda), kasetteki manyetik yön değişimleri (kaset kaydında) veya dijital sayıların değişimleri (MP3 dosyasına) kodlanabilir. Ayrıca, aynı araç birkaç modu iletmek için kullanılabilir. Örneğin, bir video kaydı vücut dili (duruş), duygular (yüz ifadesi) ve kullanılan araçlar (eylemler) hakkında bilgi içerebilir.

Kendi doğası gereği, öğrenme genellikle çok modludur (Jewitt, 2006). Bir insan, bir kitap okuyarak, bir profesörü dinleyerek, bir işlemi izleyerek, fiziksel veya dijital araçlar kullanarak ve görece karmaşık bilgilerin kodlanabileceği herhangi bir başka insan iletişim moduyla öğrenebilir. Öğrenme süreci aynı zamanda birkaç geri bildirim döngüsü de kullanır; ör. öğreten dersin anlaşılıp anlaşılmadığını sorduğunda başını sallayan bir öğreneni ya da öğretenin sesinin bir konuyu açıklarken kullandığı vurgulama gibi. Bu geri bildirim modları genellikle daha basit fakat süreç için önemli olan bilgileri kodlar. Öğrenme analiz edilecek, anlaşılacak ve optimize edilecekse, ilgili modların her birinde meydana gelen etkileşimlerin izleri elde edilmelidir. ÇMÖA, bu izlerin kodlandığı veya kaydedildiği ortamdan bağımsız olarak, bu izleri farklı iletişim modlarından çıkarmaya odaklanır.

Aşağıdaki alt bölümler, ÇMÖA araştırmalarında kullanılan en yaygın yöntemlerin yansıtılması ve izlerinin çıkarılması konusundaki mevcut durumu sunmaktadır. Her modalite için, öğrenme sürecini anlama konusundaki önemi, en yaygın yakalama (capture etme) ve kaydetme yöntemlerinin listesi ve kullanıldığı yerlerin örnekleri ile birlikte kısa bir tanım sunulmuştur. Bu öğrenmeyle ilgili tüm modların kapsamlı bir listesi değil sadece ÇMÖA çalışmalarında kullanılanlardır.

Bakış

İnsanlar doğrudan dikkatlerini çeken şeye bakma eğilimindedir. Dolayısıyla bir bireyin görüşünün yönü, dikkatinin yönünün bir göstergesidir (Frischen, Bayliss ve Tipper, 2007). Dikkat, öğrenme için vazgeçilmez bir gerekliliktir (Kruschke, 2003). Bir işarete dikkat etmek, bireyin bilgilerini elde etmesine ve ilgili parçaları uzun süreli hafızada saklamasına yardımcı olur. Bakış, dikkatleri tahmin edebilen tek temsilci ve hatasız olmasa da eğitim uygulamalarında yaygın olarak kullanılır. Örneğin, bu konuda eğitim almış bir öğreten, öğrencilerin bakışlarını gözlemleyerek bütün bir sınıfın dikkat seviyesini değerlendirebilir; bir gözlemci, bakışın konuşmacıdan konuşmacıya doğru yönünü izleyerek bir tartışmadaki katılımcının dikkat seviyesini belirleyebilir.

Bakışların önemi uzun zamandır pazarlamacılar, davranış bilimcileri ve insan-bilgisayar etkileşimi araştırmacıları tarafından çalışılmıştır. Reklamın etkinliğini (Krugman, Fox, Fletcher, Fischer ve Rojas, 1994) belirlemek, otizmin erken teşhisinde (Boraston ve Blakemore, 2007) ve bilgisayar arayüzlerinin etkinliği konusunda (Poole ve Ball, 2006) yardımcı olmak için göz izleme çalışmaları yaygındır. Bununla birlikte, bu çalışmalarda monitöre sabitlenmiş göz izleyicileri veya özel göz izleme gözlükleri kullanılarak bakışları kaydetmenin ana yöntemleri öğrenme ortamlarında yaygın olarak kullanılamayacak kadar elverişsiz ve maliyetlidir. ÇMÖA’da bakışı yakalamanın mevcut seçeneği, video kayıtlarıdır (Raca ve Dillenbourg, 2013).

Şekil 11.1. Bir sınıf ortamında bakış kestirimi (Raca, Tormey ve Dillenbourg, 2014).

Bir veya bir dizi kamera, deneklerin başlarını ve gözlerini kaydetmek için konumlandırılmıştır. Sonra, bilgisayar görme teknikleri Lin, Lin, Lin ve Lee (2013) te sunulduğu gibi, video kaydından bakış yönü bilgisini çıkarmak için kullanılır. Kayıttaki göreceli bakış yönünü elde etmek için kontrol edilmesi gereken ana hususlar, yüz çözünürlüğü ve ortamdaki nesneler veya diğer kişiler tarafından kapanmayı önlemektir (Raca ve Dillenbourg, 2013). Mutlak bakış yönünü hesaplamak için kameraların öğrenme ayarlarındaki konumu ile ilgili bilgiler de kaydedilmelidir.

ÇMÖA’da, birçok bakış izi çıkarım örneği vardır. Raca ve Dillenbourg (2013), bölüme dayalı bir model kullanarak bir derste oturan öğrencilerin video kayıtlarında baş yöneliminden bakış yönünü tahmin etmektedir (Şekil 11.1). Bu şekilde, öğrenen yüzleri otomatik olarak tanınır (dikdörtgen) ve bakışları (ok) bir insan yüzü modeline dayanarak tahmin edilir. Bu bilgiler daha sonra öğrencilerin bireysel olarak dikkatinin odağını belirlemek ve bunları kendisi tarafından bildirilen dikkat ile karşılaştırmak için kullanılır. Raca ve Dillenbourg, öğrencilerin öğreteni görüş alanlarında tuttukları zaman yüzdesinin dikkat düzeyinin önemli bir belirleyicisi olduğunu bulmuşlardır. Farklı bir öğrenme ortamında, Echeverria, Avendano, Chiluiza, Vasquez ve Ochoa (2014), göz merkezi noktaları ile burun ucu noktasına olan mesafeyi hesaplayarak kafa yönünü ölçen bakış yönünü de tahmin etmişlerdir. Bu bilgi, öğrencilerin akademik sunumlar sırasında izleyiciyle göz temasını sağlayıp sağlamadıklarını belirlemek için kullanılmıştır.

Duruş, Jestler ve Hareket (Beden Dili)

Duruş, jestler ve hareket, her biri farklı bilgi türlerini taşıyabilmesine rağmen, birlikte beden dili olarak adlandırılan birbiriyle ilişkili üç moddur (Bull, 2013). Duruş, vücudun veya vücudun bir kısmının belirli bir zamanda aldığı pozisyonu ifade eder. Bir öğrenenin duruşu içsel durumu hakkında bilgi verebilir. Örneğin, bir öğrenen otururken başını masanın üstüne koymuşsa, öğreten, bu durumdan öğrenenin yorgun olduğunu ya da derse karşı ilgisinin olmadığını çıkarabilir. Bazı özel durumlarda, edinilen duruş becerilerin kazanılması ile ilgilidir. Örneğin, sözlü sunumlara ilişkin eğitilen öğrencilerin, belirli duruşları (eller ve kollar biraz açık) diğerlerinden (eller ceplerinde) daha fazla kullanmaları beklenir. Öğrenilen jestler içsel bir durumu göstermez. Jestler, vücudun farklı bölgelerinin, özellikle baş, kollar ve ellerin belirli bir anlamı iletmek için koordine edilmiş hareketleridir. Sözel olmayan bu iletişim şekli genellikle bilinçlidir. Öğrenme sürecinde kısa geri bildirim döngüleri ve alternatif vurgulama kanalları sağlamanın bir yolu olarak kullanılır. Örneğin, tahtadaki belirli bir bölüme işaret eden öğretmen veya zor bir soru ile karşılaştığında omuzlarını kaldıran bir öğrenci. Son olarak, hareket, yeni bir duruş edinmek veya belirli bir jesti icra etme gerekliliği olmadan beden pozisyonundaki herhangi bir değişikliği ifade eder. Bu hareket genellikle öğrenme sürecinde bireyin içsel durumunu ortaya çıkaran bilinçsiz vücut hareketlerinin bir sonucudur; örneğin, gerginlik veya şüphe gösteren değişken hareketler.

Duruş, jestler ve hareketler, gerçek dünya ortamlarında video yakalamadaki kolaylık, düşük maliyetli 2-D ve 3-D algılayıcıların ve yüksek performanslı bilgisayar görüntüsünün kullanılabilirliği ile özellik çıkarımı için yüksek performanslı bilgisayar görüşü algoritmalar nedeniyle ÇMÖA’da en sık çalışılan modlar olmuştur. Vücut dili, farklı vücut parçalarına bağlı ivmeölçer (Mitra ve Acharya, 2007) veya özel araçlar (ör. bir Wii Remote; Schlomer, Poppinga, Henze ve Boll, 2008) kullanılarak yüksek hassasiyetler yakalanırken, pratikte bunların çoğu öğrenme etkinliği içinde kullanımı mevcut sisteme çok yabancıdır. Hareketi yakalamak için en yaygın çözüm konunun videosunu kaydetmek ile duruş, jestler ve hareketi tahmin etmektir. Herhangi bir kamera türü, ilgili hareketi yeterli çözünürlükte yakalayabildiği sürece kullanılabilir. Gereken çözünürlük, video ile yürütülen özellik çıkarma türüne bağlıdır. İnsan hareketinin otomatik olarak çıkartılması için kullanılan en yaygın cihaz Microsoft Kinect’tir (Zhang, 2012). Kinect, video ve derinlik yakalama karışımı sayesinde araştırmacılara, çekilen her fotoğraf karesi için konunun yeniden yapılandırılmış bir iskeletini sunabilir. Bu da vücut duruşlarını ve hareketlerini yakalamak için idealdir. Kinect algılayıcısının yeni sürümleri aynı zamanda el hareketini de çıkartabilmektedir (Vasquez, Vargas ve Sucar, 2015).

Şekil 11.2. Gerçek öğrenen sunucuların kümelenmiş üst vücut duruşları (Echeverría, Avendaño, Chiluiza,Vásquez ve Ochoa, 2014).

ÇMÖA’da beden dilinin yakalanmasına ve işlenmesine ilişkin en belirgin örnekler, bir sınıf ortamında üst beden hareket gecikmesi aracılığıyla dikkatin tahmin edilmesi (Raca, Tormey ve Dillenbourg, 2014) ve otomatikleştirilmiş bir sunum öğreticisi oluşturulmasına yönelik genç bir akademisyen sunucunun duruş ve jest analizidir (Echeverria vd., 2014). Şekil 11.2, çalışmalarını sunan öğrencilerin Kinect verilerinin analizinden elde edilen 23 farklı durumu göstermektedir. Bu 23 duruş, bir sunum için iyi veya kötü olarak kabul edilebilecek altı vücut hareketi (farklı renkler) olarak sınıflandırılmıştır. Şekil 11.3 gerçek sunumlar sırasında bu vücut hareketlerinin gerçek örneklerini sunar. Pozun sınıflandırılması (soldaki Kinect noktalarının üstünde), bir insan gözlemcinin fotoğraftan yorumlayabildiği ile aynıdır (aşağıda).

Şekil 11.3. Prototip duruşlara göre sınıflandırılmış gerçek duruşlar (Echeverria vd., 2014).

Jestleri kullanmanın diğer ilginç örnekleri Boncoddo vd. (2013), Alibali, Nathan, Fujimori, Stein ve Raudenbush, (2011) ve Mazur-Palandre, Colletta ve Lund (2014)’dır. İlk olarak, Boncoddo vd. (2013) matematiksel kanıtların açıklanması sırasında gerçekleştirilen ilgili jestlerin sayısını yakalamış ve öğrencilerin cevaplarına ulaşma şekilleriyle ilişki kurmuştur. İkincisi, Alibali vd. (2011) öğretmenlerin matematik derslerinde yaptıkları farklı jestleri sınıflandırmış ve aralarındaki ilişkileri bulmuşlardır. Son olarak, Mazur-Palandre vd. (2014), süreç ve talimatları açıklarken çocukların jestleri kullanımı üzerine bir çalışma sunmuştur.

Eylemler

Eylem modu, jest ve hareket modlarına çok benzer. Her ikisi de genellikle ÇMÖA’daki video kayıtları tarafından yakalanan vücut hareketleridir. Bununla birlikte, eylemler genellikle öğrenilen bir aracın manipülasyonunu içeren amaçlı hareketlerdir. Bu eylemlerin türü, dizilim veya doğruluğu, öğrenenin belirli bir beceride elde ettiği ustalık seviyesinin bir göstergesi olarak kullanılabilir. Örneğin, bir öğrenenin laboratuvardaki çeşitli araçları manipüle edişindeki düzen ve güvenlik, öğrenenin belirli bir süreç hakkındaki anlayışını belirlemek için bir sembol olarak kullanılabilir.

ÇMÖA’da eylem kayıt ve analizinin temel kullanımları uzmanlık kestirimindedir. Bir mühendislik inşası faaliyetinde, örneğin, el ve bilek hareketinin analizi uzmanlık seviyesini belirleyebilir (Worsley ve Blikstein, 2014b). Matematiksel problem çözmede, öğrenenin hesap makinesini kullandığı zaman yüzdesi ölçülebilir (Ochoa vd., 2013). Ochoa vd. (2013) hesap makinesinin problem çözme oturumlarındaki pozisyonunu ve açısını izlemiştir (Şekil 11.4). Bu konum ve açı (doğru) daha sonra videodaki o belirli çerçeve sırasında (görüntünün kenarlığı ile kesişme) hesap makinesini hangi öğrenenin kullandığını tahmin etmek için kullanılmıştır.

Şekil 11.4. Uzmanlık tahmini için hesap makinesi kullanımının belirlenmesi (Ochoa vd., 2013).

Yüz İfadeleri

Yüz ifadeleriyle toplanan bilgiler vücut dili modları ile de büyük oranda ilişkilidir. İnsan yüzü çok karmaşık zihinsel durumları nispeten basit ifadelerle iletebilir. Bilgisayarla görme alanında, videoda kaydedilen yüz ifadelerinden duyguları otomatik olarak tanımlamaya çalışan çok sayıda başarılı araştırma yapılmıştır (Mishra vd., 2015).

ÖA alanında yüz ifadeleri kullanmanın ana örnekleri, Craig, D’Mello, Witherspoon ve Graesser (2008) ve Worsley ve Blikstein (2015b) ‘nin eserleridir. Craig vd. (2008), AutoTutor sistemini kullanırken öğrencilerin duygusal durumlarını otomatik olarak tahmin etmiştir (Graesser, Chipman, Haynes ve Olney, 2005). Worsley ve Blikstein (2015b), öğrenciler farklı inşa alıştırmaları ile karşı karşıya kaldıklarında duygusal değişiklikleri keşfetmek için benzer teknikleri kullandılar. Her iki çalışmada da karışık bir ifadenin öğrenme sürecinin başarısının iyi bir göstergesi olduğunu keşfetmiştir.

Konuşma

ÇMÖA’da ses kayıtlarının en yaygın kullanımı, öğrenenin ne hakkında konuştuğunu veya dinlediğini izlemektir. İnsanlar arasındaki en temel ve en karmaşık iletişim şekli olan konuşma, öğrenme sürecini anlamada özellikle önemlidir. Mevcut ÇMÖA uygulamasında, ses kayıtlarından iki ana sinyal çıkarılır: ne söyleniyor ve nasıl söyleniyor. İlk yaklaşımda, genellikle konuşmayı tanıma adı verilen, konuşmanın asıl içeriği çıkarılır. Bu analizin sonucu, konunun neden bahsettiğini belirlemek için doğal dil işleme (DDİ) araçları kullanılarak işlenebilecek bir transkripttir. İkinci yaklaşımda, konuşmanın tonlama, vurgu ve ritim gibi prosodik özellikleri çıkarılır. Bu özellikler iç duruma (güvenlik, duygusal durum, vb.) veya konuşmacının niyetine (şaka, alaycılık, vb.) Işık tutabilir. Konuşma tanıma, kullanılan dile büyük ölçüde bağlıdır; prosodik özellikler dil farklılıklarına karşı daha az hassastır.

Ses mikrofonlar aracılığıyla yakalanır. Videodan daha kolay yakalanmakla birlikte, işlenecek kadar yüksek kalitede ses kaydı yapmak aslında çok daha karmaşıktır. Mikrofonların tipi ve mekânsal konfigürasyonu, öğrenme ortamına ve kaydedilen sinyal ile ne tür bir analizin yapılacağına bağlıdır. Örneğin, otomatik konuşma tanıma girişiminde bulunulursa, mikrofon yönlü olmalı ve deneğin ağzına yakın olmalıdır. Öte yandan, yalnızca birinin ne zaman konuştuğunun tespiti gerekliyse, odanın ortasında bulunan bir çevresel mikrofon yeterli olabilir. Gürültü ve çoklu sinyallerin varlığı sadece otomatik özellik çıkarımını engellemekle kalmaz, aynı zamanda manuel ek açıklamaları da bozar. Bireysel yakın kayıt mümkün olmadığında kayıtları iyileştirmek için kullanılan en yaygın teknik, yalnızca gürültüyü azaltmakla kalmayacak, aynı zamanda sesin mekânsal kökenini de belirleyebilecek mikrofon dizilerinin kullanılmasıdır.

Öneminden dolayı, ses bugüne kadar çoğu ÇMÖA çalışmalarında da bulunmaktadır. İşbirlikli öğrenme diyaloglarının benzerlik seviyesini belirlemek için (Luzardo, Guaman, Chiluiza, Castells ve Ochoa, 2014), sözlü sunumların kalitesini değerlendirmek (Luzardo, Guaman, Chiluiza, Castells ve Ochoa, 2014)ve matematik problem çözme uzmanlığını belirlemek için farklı konuşma analizi türleri kullanılmıştır (Thompson, 2013).

Yazma ve Taslak

Yazma ve eskiz birbiriyle yakından ilişkili iki moddur. Her ikisi de karmaşık düşünceleri iletmek için bir araç, genellikle kalem kullanır. Bir kalem kullanmak, belki de öğrencilerin yazma ve eskiz yapmada kullanmak için öğrendiği ilk becerilerden biridir, özellikle erken dönemlerde, öğrenmede hâlâ baskın bir faaliyettir. Bu moddan en yaygın bilgi çıkarıma, öğrencilerin ne söylediğinin dökümünü, yazma durumunda veya içerik hakkındaki bilginin çıktısının alınabileceği eskizlerin yapılandırılmış bir gösterimidir. Bununla birlikte, yazma ve çizim yöntemlerini teknolojik yollarla yakalamak, insan gözlemcilerin yazma hızı, ritmi ve baskı seviyesi gibi kolayca tespit edemediği bilgileri kullanma kapısını açar. Öğrenmeyi anlamadaki değerleri hala net olmasa da iyi bir uzman tahminci olabileceklerine dair göstergeler vardır (Ochoa vd., 2013).

Yazmak ve eskiz yapmak için en yaygın kullanılan kayıt aracı dijital bir kalemdir (Oviatt ve Cohen, 2015). Bu kalemler farklı yüzeylerde yapılan vuruşların pozisyonunu, süresini ve basıncını sayısallaştırabilir. Dijital formda olduktan sonra, bu bilgi ÖA araçlarında kullanılabilir. Alternatif olarak, eğitimde tabletlerin yaygın olarak kullanılması (Clarke ve Svanaes, 2014), özellikle eskizlerde, bu modları kolayca yakalamak için bir fırsat sunmaktadır.

ÇMÖA alanında, matematiksel veri derlemine dayanan iki çalışma (Oviatt, Cohen ve Weibel, 2013), yazma ve eskiz modlarının uzmanlık tahmine olabilecek katkısını araştırmıştır. Ochoa vd. (2013) yazı karakteristiklerini (vuruş hızı ve süresi) çıkarmış ve kullanılan basit geometrik figürlerin sayısını belirlemek için eskiz tanıma işlemlerini gerçekleştirmiştir. Sonuçlar, yazma hızının uzmanlık düzeyi ile oldukça ilişkili olduğunu belirlemiştir. Zhou, Hang, Oviatt, Yu ve Chen (2014), gruptaki uzmanı %80 doğrulukla tanımlamak için yazma ve eskiz özelliklerine dayalı sınıflandırma sistemlerini kullanmıştır.

BAĞLAMLAR

ÇMÖA araştırmasının temel amacı, ÖA araçlarının ve metodolojilerinin, kolayca dijital izler sağlamayan öğrenme bağlamlarına uygulanmasını genişletmektir. Bu bağlamların bir özelliği, öğrenme sürecini anlamak için birden fazla modun yakalanmasının gerekli olmasıdır. Tablo 11.1, mevcut ÇMÖA literatüründe incelenen bağlamın, kullanılan modların, bu bağlamlarda araştırılan temel öğrenme yönlerinin ve bu çalışmaların yapıldığı çalışmaların ayrıntılarıyla birlikte bir özetini sunmaktadır.

Tablo 11.1. ÇMÖA Tarafından Çalışılan Öğrenme Bağlamları

Dersler

Geleneksel olarak, dersler öğrenme ile ilgili en yaygın bağlamdır. Bu ortamın çeşitli yönleri çalışmayı hak ederken, ÇMÖA araştırmacıları bugüne kadar derste öğrencilerin dikkatini otomatik olarak değerlendirmeye odaklanmıştır. Raca ve Dillenbourg (2013) ve Raca vd. (2014), sınıfta video kaydı ile bu kayıttan öğrenen hareketinin bakışının otomatik olarak çıkarılmasını araştırmıştır. Bu çalışmaların sonuçları, her iki modun da öğrenenin dikkatiyle ilişkili olduğunu ancak oturma pozisyonu gibi diğer önemli katkı sağlayıcıların olduğunu göstermektedir. Dominguez, Echeverrfa, Chiluiza ve Ochoa (2015), çoklu model bir kayıt aracı (ÇMKA) kullanarak video, ses ve kalem tabanlı modları yakalamak için yeni ve dağıtılmış bir yol sundu. Şekil 11.5, böyle bir aracın tasarımını sunar. Cihazın öğrencilere yakınlığı tıkanma riskini azaltır ve video ve ses yakalama kalitesini arttırır. Son olarak, D’Mello vd. (2015), öğretim üyesi ve öğrenciler arasındaki soru-cevap etkileşimlerini değerlendirmek için bir konferans ortamında çeşitli ses kayıtları üretmiştir.

Şekil 11.5. Ders ayarlarında kullanılacak çok modlu bir kayıt aracının (ÇMKA) tasarımı. ÇMKA sınıfta (solda) ve ÇMKA öğrenenin bakış açısından (sağda)

Sözlü Sunumlar

Bir akademik konuyu izleyicinin önünde sunma becerisi, genellikle yükseköğrenim öğrencilerinin edinmesi gereken sosyal becerilerden biri olarak kabul edilir (Debnath vd., 2012). Dünyanın dört bir yanındaki birçok bağımsız grup, yeni öğrencilerin kötü uygulamaları düzeltmelerine ve sözlü sunumlarda ustalık kazanmalarına yardımcı olacak ÇMÖA sistemleri kurmaya başladı. Echeverrfa vd. (2014) ve Luzardo vd. (2014) aynı sistemin jest, duruş, hareket, bakış, konuşma ve dijital sunum dosyalarının analizini kullanan ve bir insan değerlendiricinin öğrenciye vereceği notu tahmin edebilen farklı yönlerini sunmaktadır. Aynı verileri analiz eden Chen, Leong, Feng ve Lee (2014), aynı yöntemi tahmin etmekte kullanılan bileşik değişkenlerdeki farklı yöntemlerle de birleştirebilmiştir. Börner, van Rosmalen ve Specht (2015) Kinect’i pozları tanımak ve gerçek zamanlı olarak geri bildirim sağlamak için kullanan sanal bir sunum beceri eğitici⁴ oluşturdu.

Problem Çözme

Özellikle STEM derslerinde öğrenme sıklıkla, bireysel ve grupla problem çözme oturumlarında görülür (Silver, 2013). Matematik ve geometri problemlerini çözen üç farklı lise öğrenci grubunun çoklu model kayıtlarından oluşan bir dizi matematiksel veri derleminin (Oviatt vd., 2013) varlığı, bu ortamda ÇMÖA araştırmalarını hızlandırdı. Veri kümesinde yer alan medya, her öğrenenin önden video kaydını, çalışma masasının video kaydını, her öğrenenin ses kaydını ve odanın genel sesini içerir. Ayrıca, öğrencilerin dijital kalemler ile donatılmışlardır. Öğrencilerin uzmanlık düzeyi ile ilgili gerçek referans değer sağlanmıştır. Luz (2013), Thompson (2013), Ochoa vd. (2013) ve Zhou vd. (2014) bu veri kümesini farklı modlar kullanarak analiz etmiş, tüm modalitelerin uzmanlık seviyesinin yüksek bir doğruluk düzeyiyle (> %70) belirlenmesine katkıda bulunmuştur.

Yapı Alıştırmaları

Mühendislik tasarımı ve inşası için gerekli bilgi ve beceriler, küçük yapı zorlukları ile test edilebilir (Householder ve Hailey, 2012). Worsley ve Blikstein’ın (2013, 2014b, 2015a) son derece önemli eserleri, çok modlu analizlerle, yapıların tasarımı ve elle montajında uzmanlar ve yeni başlayanlar tarafından gerçekleştirilen eylem örüntülerini araştırıyor. Analiz için kullanılan ana modlar; hareketler, eylemler, konuşma, yüz ifadesi ve galvanik cilt tepkisi idi. Bu modlardan çıkarılan izlerin kombinasyonu, yapım sürecinde mühendislik tasarımındaki ustalık seviyesini tanımlamaya yardımcı olan farklılıkları ortaya koyuyor.

Akıllı Öğreticilerin Kullanımı

AÖS’ler genellikle geleneksel ÖA tarafından kayıt günlüğü dosyaları kullanılarak incelenir. Bununla birlikte, etkileşim verilerini tamamlayan yeni modlar eklemek için öğrenenin videosu ve sesi çekilmiştir. Videodan çıkarılan ana modlar yüz ifadesi (Craig vd., 2008) ve konuşma (D’Mello vd., 2008) olup, öğrenenin içsel duygusal durumunu temsil eder. Her ikisi de AÖS’yi kullanırken can sıkıntısı, karışıklık ve hayal kırıklığı gibi duygusal durumları başarıyla tespit edebilir.

ÖZEL KONULAR

ÖA modellerinde ve uygulamalarında çok modelli izlerin kullanılması, aynı moddan elde edilen farklı izlerin kullanılmasına benzer. Bununla birlikte, ÇMÖA araştırma ve uygulamaları, belirli modaliteler yakalandığında, işlendiğinde ve analiz edildiğinde bazı spesifik sorunları ortaya çıkarmaktadır. Bu meseleler, birçok modaliteden izlerin teknik olarak çıkarılmasına paralel olarak ancak ÇMÖA çözümlerinin gerçek dünyada etkili bir şekilde konuşlandırılması için önemli olan açık araştırma alanları olmaya devam etmektedir.

Kayıt

Dijital bir araçta etkileşim bilgilerini yakalamak, kodun ilgili kısımlarına günlük ifadeleri eklemek kadar kolay ve ucuzdur. Bu ifadeler, öğrenenden herhangi bir katılım gerektirmeden, şeffaf ve genel olarak güvenilir ve hatasız bir şekilde otomatik olarak gerçekleştirilir. Öte yandan, gerçek dünyadaki medyayı yakalamak, kayıt araçlarının (kameralar, mikrofonlar, dijital kalemler, vb.) edinilmesini, kurulmasını ve kullanılmasını, sistemi açıp kapatmasını ve izlenmesini ve tıkanıklık, parazit veya gürültü yoluyla kaydın bozulmasını önlemeyi gerektirir. Dijital kayıt kadar zahmetsiz ve verimli çalışan kayıt sistemlerinin geliştirilmesi, ÇMÖA’nın gelişmesinin önündeki en büyük engellerden biridir. Bu bir mühendislik problemi olsa da araştırmacılar çözümlerinin uygulanabilirliği ve ölçeklenebilirliğinin farkında olmalıdırlar. Ana tekliflerden biri, kayıtların her zaman açıkta kalan ucuz algılayıcıları kullanarak merkezden dağıtılmasıdır. Bir veya daha fazla kayıt sorun çıkarırsa, genel bilgiler kalan çalışma algılayıcılarından yeniden oluşturulabilir.

Gizlilik

Etkileşim bilgilerini dijital araçlarla yakalamak, öğrenciler ve öğretenler arasındaki şimdiden mahremiyet endişelerini ortaya çıkarmaktadır (Pardo ve Siemens, 2014). “1984⁵” gözetim seviyelerini taklit eden kayıt sistemlerinin kurulması ve kullanılmasının, güçlü bir direnç ortaya çıkaracağı muhakkaktır. Açık rıza formları erken araştırma aşamaları için işe yarayabilirdi ancak gerçek dünyada ÇMÖA sistemlerinin benimsenmesi farklı ve daha yaratıcı bir yaklaşım gerektiriyordu. Bu alandaki en umut verici çözümlerden biri, verinin mülkiyetini öğrenene aktarmaktır. En mahrem kişisel bilgileriniz alınsa bile, neyin ne zaman paylaşılacağı öğrencinin kontrolünde kalırsa gizlilik kaygıları etkisiz hale getirilir. Bu yaklaşım, çeşitli niceliksel kendi kendine yapılan uygulamalara benzer (Swan, 2013).

Entegrasyon

Büyük miktarda ham öğrenme izlerinin mevcudiyeti ile ilgili bir soru, öğrenme sürecini anlamak, optimize etmek ve yararlı bilgiler üretmek için bunları nasıl birleştireceğimizdir. Farklı işlemler kullanılarak farklı modlardan çıkarılan izler çok farklı özelliklere sahip olmak zorundadır. Örneğin, farklı modlardan çıkarılan izlerin zaman tanecikliliği geniş ölçüde değişebilir. Konuşmanın prosodik yönlerinden çıkarılan izler saniyenin onda birinde değişebilirken, duruşlar daha yavaş değişiyor. Çıkarılan izlerin kesinliği de farklı olabilir. Yüksek kaliteli kayıtlarla yapılan konuşma tanıma %90 doğruluğa ulaşırken, web kamerası kaynaklarından gelen duygusal durum tespiti 70’lerin altında kalabilir. Bu fark başarılı analizleri engellemez ancak sahte sonuçları önlemek için duyarlı tasarım gereklidir. ÇMÖA, Worsley ve Blikstein (2014a) ‘daki bu araştırma hattına öncülük etmek, Newell (1994) ve Anderson (2002) tarafından insan bilişine bir açıklama olarak önerilen “biliş bantları” çerçevesine dayanan çeşitli birleştirme stratejileri önermektedir. Entegrasyon çerçevelerinin geliştirilmesi sadece ÇMÖA’ya değil tüm ÖA topluluğuna fayda sağlayacaktır.

Öğrenmeye Etkisi

Çok kullanıcılı öğrenme analitiklerine dayanan son kullanıcı araçları ve müdahaleleri, tek modlu analizlere dayananlara benzer olsa da çok modlu olanlar için gerekli kullanışlılık, veri toplama ek karmaşıklığını haklı çıkarmak için daha yüksek olmalıdır. Örneğin, ÖYS tarafından otomatik olarak toplanan verilere dayalı bir gösterge tablosu uygulamasının kabul edilmesi, tüm sınıfların video kameralarla donatılmasını gerektiren benzer bir gösterge panelinden daha kolay olacaktır. Artan karmaşıklığa, öğrenme süreci üzerinde daha büyük bir olumlu etki eşlik etmelidir. Öğrenmeyi analiz etmek için çoklu gerçek dünya sinyallerini kullanma ihtiyacı, süreç hakkında daha yararlı bilgiler ve öğrenenler üzerinde daha ölçülebilir etkiler sağlama vaadini de sunmalıdır.

SONUÇ

ÖA, öğrenme sürecini anlamak ve optimize etmek için kullanılan yaklaşımlarda devrim yarattı. Ancak yalnızca bilgisayar tabanlı öğrenmeyi içeren çalışmalara ve araçlara yönelik mevcut yanlılığı, genel olarak öğrenmeye uygulanabilirliğini tehlikeye atmaktadır. ÇMÖA, bilgisayar destekli olmayan öğrenme bağlamlarını ÖA’nın ana araştırma ve uygulamasına entegre etmeye çalışan bir alt alandır.

Bu bölüm ÇMÖA’daki en son teknolojiyi sunmaktadır. Daha geleneksel tıklama akış bilgisi ve metin içeriği modlarının yanı sıra duruş, konuşma ve eskiz gibi çeşitli modlar, araştırma sorularını cevaplamak ve öğrenme bağlamlarında geri bildirim sistemleri oluşturmak için kullanılmıştır. Bilgisayar bilimi tekniklerinin ve eğitim ve davranış bilimcilerinin sağladığı içgörülerden oluşan bir birliktelik, sınıflar, çalışma grupları ve sözlü sunumlar gibi çok çeşitli öğrenme bağlamlarının otomatik olarak değerlendirilmesini sağlar.

Bu bölümde sunulan araştırma listesinden çıkarılabileceği gibi, ÇMÖA hala küçük ama çok aktif ve açık bir araştırmacı topluluğuna sahip olan yeni bir alandır. Çok modlu veri kümelerinin serbestçe paylaşıldığı ve ortaklaşa tartışılan yeni tasarım fikirleriyle birlikte analiz edildiği düzenli zorlukların ve atölye çalışmalarının varlığı, yeni bilgilerin hızla üretildiği bir araştırma ortamı yaratır.

Bazı konular hala ÇMÖA’nın ana uygulama haline gelmesini engellerken, aktif araştırma projeleri bu konulara yönelik çözümleri araştırmaktadır, çoklu model öğrenme izlerini daha ucuz, daha az müdahaleci ve daha otomatik hale getirmektedir. ÇMÖA topluluğundan doğan, mahremiyetle ilgili kaygıları gidermek için ortaya çıkan yeni çözümler, örneğin dağıtılmış kayıt sağlamak ve verilerin öğrenenle birlikte dinlenmesi gibi, bir gün genel ÖA uygulamaları için normları oluşturabilir.

Son olarak, yazar ÖA araştırmacılarını ve uygulayıcılarını kendi çalışmalarında ve araçlarında birden fazla yöntemi kullanmayı keşfetmeye davet ediyor. ÇMÖA topluluğu, bilgilerini, verilerini, kodunu ve çerçevelerini açıkça paylaşacaktır. Sadece bu farklı yöntemlerin benimsenmesi, ÖA’nın öğrenmenin gerçekleştiği tüm bağlamlarda bir etkiye sahip olmasına izin verecektir.

KAYNAKÇA

Alibali, M. W., Nathan, M. J., Fujimori, Y., Stein, N., & Raudenbush, S. (2011). Gestures in the mathematics classroom: What’s the point? In N. Stein & S. Raudenbush (Eds.), Developmental cognitive science goes to school (pp. 219–234). New York: Routledge, Taylor & Francis.

Almeda, M. V., Scupelli, P., Baker, R. S., Weber, M., & Fisher, A. (2014). Clustering of design decisions in classroom visual displays. Proceedings of the 4th International Conference on Learning Analytics and Knowledge (LAK’14), 24–28 March 2014, Indianapolis, IN, USA (pp. 44–48). New York: ACM.

Anderson, J. R. (2002). Spanning seven orders of magnitude: A challenge for cognitive modeling. Cognitive Science, 26(1), 85–112.

Arnold, K. E., & Pistilli, M. D. (2012). Course Signals at Purdue: Using learning analytics to increase student success. Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK’12), 29 April–2 May 2012, Vancouver, BC, Canada (pp. 267–270). New York: ACM.

Blikstein, P. (2013). Multimodal learning analytics. Proceedings of the 3rd International Conference on Learning Analytics and Knowledge (LAK’13), 8–12 April 2013, Leuven, Belgium (pp. 102–106). New York: ACM.

Boraston, Z., & Blakemore, S.-J. (2007). The application of eye-tracking technology in the study of autism. The Journal of Physiology, 581(3), 893–898.

Bull, P. E. (2013). Posture & Gesture. Elsevier.

Boncoddo, R., Williams, C., Pier, E., Walkington, C., Alibali, M., Nathan, M., Dogan, M. & Waala, J. (2013). Gesture as a window to justification and proof. In M. V. Martinez & A. C. Superfine (Eds.), Proceedings of the 35th annual meeting of the North American Chapter of the International Group for the Psychology of Mathematics Education (PME-NA 35) 14–17 November 2013, Chicago, IL, USA (pp. 229–236). http://www.pmena.org/proceedings/

Chen, L., Leong, C. W., Feng, G., & Lee, C. M. (2014). Using multimodal cues to analyze MLA’14 oral presentation quality corpus: Presentation delivery and slides quality. Proceedings of the 2014 ACM workshop on Multimodal Learning Analytics Workshop and Grand Challenge (MLA’14), 12–16 November 2014, Istanbul, Turkey (pp. 45–52). New York: ACM.

Clarke, B., & Svanaes, S. (2014, April 9). An updated literature review on the use of tablets in education. Family Kids and Youth. https://smartfuse.s3.amazonaws.com/mysandstorm.org/uploads/2014/05/T4S-Use-of- Tablets-in-Education.pdf

Cobb, P., Confrey, J., Lehrer, R., Schauble, L., & others. (2003). Design experiments in educational research. Educational Researcher, 32(1), 9–13.

Craig, S. D., D’Mello, S., Witherspoon, A., & Graesser, A. (2008). Emote aloud during learning with AutoTutor: Applying the facial action coding system to cognitive–affective states during learning. Cognition and Emotion, 22(5), 777–788.

Crossley, S. A., Roscoe, R. D., & McNamara, D. S. (2013). Using automatic scoring models to detect changes in student writing in an intelligent tutoring system. Proceedings of the 26th Annual Florida Artificial Intelligence Research Society Conference (FLAIRS-13), 20–22 May 2013, St. Pete Beach, FL, USA (pp. 208–213). Menlo Park, CA: The AAAI Press.

Debnath, M., Pandey, M., Chaplot, N., Gottimukkula, M. R., Tiwari, P. K., & Gupta, S. N. (2012). Role of soft skills in engineering education: Students’ perceptions and feedback. In C. S. Nair, A. Patil, & P. Mertova (Eds.), Enhancing learning and teaching through student feedback in engineering (pp. 61–82). ScienceDirect. http: // www.sciencedirect.com/science/book/9781843346456

D’Mello, S. K., Jackson, G. T., Craig, S. D., Morgan, B., Chipman, P., White, H., Person, N., Kort, B., el Kaliouby, R., Picard, R., & Graesser, A. C. (2008). AutoTutor detects and responds to learners’ affective and cognitive states. Workshop on Emotional and Cognitive Issues in ITS, held in conjunction with the 9th International Conference on Intelligent Tutoring Systems (ITS 2008), 23–27 June 2008, Montreal, PQ, Canada. https:// www.researchgate.net/publication/228673992_AutoTutor_detects_and_responds_to_learners_affective_and_cognitive_states

D’Mello, S., Olney, A., Blanchard, N., Samei, B., Sun, X., Ward, B., & Kelly, S. (2015). Multimodal capture of teacher–student interactions for automated dialogic analysis in live classrooms. Proceedings of the 17th ACM International Conference on Multimodal Interaction (ICMI’15), 9–13 November 2015, Seattle, WA, USA (pp. 557–566). New York: ACM.

Dominguez, F., Echeverría, V., Chiluiza, K., & Ochoa, X. (2015). Multimodal selfies: Designing a multimodal recording device for students in traditional classrooms. Proceedings of the 17th ACM International Conference on Multimodal Interaction (ICMI’15), 9–13 November 2015, Seattle, WA, USA (pp. 567–574). New York: ACM.

Echeverría, V., Avendaño, A., Chiluiza, K., Vásquez, A., & Ochoa, X. (2014). Presentation skills estimation based on video and Kinect data analysis. Proceedings of the 2014 ACM workshop on Multimodal Learning Analytics Workshop and Grand Challenge (MLA’14), 12–16 November 2014, Istanbul, Turkey (pp. 53–60). New York: ACM.

Freedman, D. H. (2010, December 10). Why scientific studies are so often wrong: The streetlight effect. Discover Magazine, 26. http://discovermagazine.com/2010/jul-aug/29-why-scientific-studies-often-wrong-streetlight-effect

Frischen, A., Bayliss, A. P., & Tipper, S. P. (2007). Gaze cueing of attention: Visual attention, social cognition, and individual differences. Psychological Bulletin, 133(4), 694–724.

Gall, M. D., Borg, W. R., & Gall, J. P. (1996). Educational research: An introduction. Longman Publishing.

Graesser, A. C., Chipman, P., Haynes, B. C., & Olney, A. (2005). AutoTutor: An intelligent tutoring system with mixed-initiative dialogue. IEEE Transactions on Education, 48(4), 612–618.

Householder, D. L., & Hailey, C. E. (2012). Incorporating engineering design challenges into STEM courses. National Center for Engineering and Technology Education. http://ncete.org/flash/pdfs/NCETECaucusReport.pdf

Jewitt, C. (2006). Technology, literacy and learning: A multimodal approach. Psychology Press.

Kizilcec, R. F., Piech, C., & Schneider, E. (2013). Deconstructing disengagement: Analyzing learner subpopulations in massive open online courses. Proceedings of the 3rd International Conference on Learning Analytics and Knowledge (LAK’13), 8–12 April 2013, Leuven, Belgium (pp. 170–179). New York: ACM.

Kress, G., & Van Leeuwen, T. (2001). Multimodal discourse: The modes and media of contemporary communication. Edward Arnold.

Krugman, D. M., Fox, R. J., Fletcher, J. E., Fischer, P. M., & Rojas, T. H. (1994). Do adolescents attend to warnings in cigarette advertising? An eye-tracking approach. Journal of Advertising Research, 34, 39–51.

Kruschke, J. K. (2003). Attention in learning. Current Directions in Psychological Science, 12(5), 171–175.

Leong, C. W., Chen, L., Feng, G., Lee, C. M., & Mulholland, M. (2015). Utilizing depth sensors for analyzing multimodal presentations: Hardware, software and toolkits. Proceedings of the 17th ACM International Conference on Multimodal Interaction (ICMI’15), 9–13 November 2015, Seattle, WA, USA (pp. 547–556). New York: ACM.

Lin, Y.-T., Lin, R.-Y., Lin, Y.-C., & Lee, G. C. (2013). Real-time eye-gaze estimation using a low-resolution webcam. Multimedia Tools and Applications, 65(3), 543–568.

Lubold, N., & Pon-Barry, H. (2014). Acoustic-prosodic entrainment and rapport in collaborative learning dialogues. Proceedings of the 2014 ACM workshop on Multimodal Learning Analytics Workshop and Grand Challenge (MLA’14), 12–16 November 2014, Istanbul, Turkey (pp. 5–12). New York: ACM.

Lund, K. (2007). The importance of gaze and gesture in interactive multimodal explanation. Language Resources and Evaluation, 41(3–4), 289–303.

Luzardo, G., Guamán, B., Chiluiza, K., Castells, J., & Ochoa, X. (2014). Estimation of presentations skills based on slides and audio features. Proceedings of the 2014 ACM workshop on Multimodal Learning Analytics Workshop and Grand Challenge (MLA’14), 12–16 November 2014, Istanbul, Turkey (pp. 37–44). New York: ACM.

Luz, S. (2013). Automatic identification of experts and performance prediction in the multimodal math data corpus through analysis of speech interaction. Proceedings of the 15th ACM International Conference on Multimodal Interaction (ICMI’13), 9–13 December 2013, Sydney, Australia (pp. 575–582). New York: ACM.

Markaki, V., Lund, K., & Sanchez, E. (2015). Design digital epistemic games: A longitudinal multimodal analysis. Paper presented at the conference Revisiting Participation: Language and Bodies in Interaction, 24–27 June 2015, Basel, Switzerland.

Mazur-Palandre, A., Colletta, J. M., & Lund, K. (2014). Context sensitive “how” explanation in children’s multimodal behavior, Journal of Multimodal Communication Studies, 2, 1–17.

Mishra, B., Fernandes, S. L., Abhishek, K., Alva, A., Shetty, C., Ajila, C. V., … Shetty, P. (2015). Facial expression recognition using feature based techniques and model based techniques: A survey. Proceedings of the 2nd International Conference on Electronics and Communication Systems (ICECS 2015), 26–27 February 2015, Coimbatore, India (pp. 589–594). IEEE.

Mitra, S., & Acharya, T. (2007). Gesture recognition: A survey. IEEE Transactions on Systems, Man, and Cybernetics, Part C: Applications and Reviews, 37(3), 311–324.

Morency, L.-P., Oviatt, S., Scherer, S., Weibel, N., & Worsley, M. (2013). ICMI 2013 grand challenge workshop on multimodal learning analytics. Proceedings of the 15th ACM International Conference on Multimodal Interaction (ICMI’13), 9–13 December 2013, Sydney, Australia (pp. 373–378). New York: ACM.

Newell, A. (1994). Unified theories of cognition. Harvard University Press.

Ochoa, X., Chiluiza, K., Méndez, G., Luzardo, G., Guamán, B., & Castells, J. (2013). Expertise estimation based on simple multimodal features. Proceedings of the 15th ACM International Conference on Multimodal Interaction (ICMI’13), 9–13 December 2013, Sydney, Australia (pp. 583–590). New York: ACM.

Ochoa, X., Worsley, M., Chiluiza, K., & Luz, S. (2014). MLA’14: Third multimodal learning analytics workshop and grand challenges. Proceedings of the 16th ACM International Conference on Multimodal Interaction (ICMI’14), 12–16 November 2014, Istanbul, Turkey (pp. 531–532). New York: ACM.

Oviatt, S., Cohen, A., & Weibel, N. (2013). Multimodal learning analytics: Description of math data corpus for ICMI grand challenge workshop. Proceedings of the 15th ACM International Conference on Multimodal Interaction (ICMI’13), 9–13 December 2013, Sydney, Australia (pp. 583–590). New York: ACM.

Oviatt, S., & Cohen, P. R. (2015). The paradigm shift to multimodality in contemporary computer interfaces. San Rafael, CA: Morgan & Claypool Publishers.

Pardo, A., & Siemens, G. (2014). Ethical and privacy principles for learning analytics. British Journal of Educational Technology, 45(3), 438–450.

Poole, A., & Ball, L. J. (2006). Eye tracking in HCI and usability research. Encyclopedia of Human Computer Interaction, 1, 211–219.

Raca, M., & Dillenbourg, P. (2013). System for assessing classroom attention. Proceedings of the 3rd International Conference on Learning Analytics and Knowledge (LAK’13), 8–12 April 2013, Leuven, Belgium (pp. 265–269). New York: ACM.

Raca, M., Tormey, R., & Dillenbourg, P. (2014). Sleepers’ lag: Study on motion and attention. Proceedings of the 4th International Conference on Learning Analytics and Knowledge (LAK’14), 24–28 March 2014, Indianapolis, IN, USA (pp. 36–43). New York: ACM.

Scherer, S., Worsley, M., & Morency, L.-P. (2012). 1st international workshop on multimodal learning analytics. Proceedings of the 14th ACM International Conference on Multimodal Interaction (ICMI’12), 22–26 October 2012, Santa Monica, CA, USA (pp. 609–610). New York: ACM.

Schlömer, T., Poppinga, B., Henze, N., & Boll, S. (2008). Gesture recognition with a Wii controller. Proceedings of the 2nd International Conference on Tangible and Embedded Interaction (TEI’08), 18–21 February 2008, Bonn, Germany (pp. 11–14). New York: ACM.

Schneider, J., Börner, D., van Rosmalen, P., & Specht, M. (2015). Presentation trainer, your public speaking multimodal coach. Proceedings of the 17th ACM International Conference on Multimodal Interaction (ICMI’15), 9–13 November 2015, Seattle, WA, USA (pp. 539–546). New York: ACM.

Serrano-Laguna, A., & Fernández-Manjón, B. (2014). Applying learning analytics to simplify serious games deployment in the classroom. Proceedings of the 2014 IEEE Global Engineering Education Conference (EDUCON 2014), 3–5 April 2014, Istanbul, Turkey (pp. 872–877). IEEE.

Siemens, G. (2013). Learning analytics: The emergence of a discipline. American Behavioral Scientist, 9, 51–60. doi:0002764213498851.

Silver, E.A. (2013). Teaching and learning mathematical problem solving: Multiple research perspectives. Routledge.

Simsek, D., Sándor, Á., Buckingham Shum, S., Ferguson, R., De Liddo, A., & Whitelock, D. (2015). Correlations between automated rhetorical analysis and tutors’ grades on student essays. Proceedings of the 5th International Conference on Learning Analytics and Knowledge (LAK’15), 16–20 March 2015, Poughkeepsie, NY, USA (pp. 355–359). New York: ACM.

Swan, M. (2013). The quantified self: Fundamental disruption in big data science and biological discovery. Big Data, 1(2), 85–99.

Thompson, K. (2013). Using micro-patterns of speech to predict the correctness of answers to mathematics problems: An exercise in multimodal learning analytics. Proceedings of the 15th ACM International Conference on Multimodal Interaction (ICMI’13), 9–13 December 2013, Sydney, Australia (pp. 591–598). New York: ACM.

Vasquez, H. A., Vargas, H. S., & Sucar, L. E. (2015). Using gestures to interact with a service robot using Kinect 2. Advances in Computer Vision and Pattern Recognition, 85. Springer.

Vatrapu, R., Reimann, P., Bull, S., & Johnson, M. (2013). An eye-tracking study of notational, informational, and emotional aspects of learning analytics representations. Proceedings of the 3rd International Conference on Learning Analytics and Knowledge (LAK’13), 8–12 April 2013, Leuven, Belgium (pp. 125–134). New York: ACM.

Worsley, M., & Blikstein, P. (2013). Towards the development of multimodal action based assessment. Proceedings of the 3rd International Conference on Learning Analytics and Knowledge (LAK’13), 8–12 April 2013, Leuven, Belgium (pp. 94–101). New York: ACM.

Worsley, M., & Blikstein, P. (2014a). Deciphering the practices and affordances of different reasoning strategies through multimodal learning analytics. Proceedings of the 2014 ACM workshop on Multimodal Learning Analytics Workshop and Grand Challenge (MLA’14), 12–16 November 2014, Istanbul, Turkey (pp. 21–27). New York: ACM.

Worsley, M., & Blikstein, P. (2014b). Using multimodal learning analytics to study learning mechanisms. In J. Stamper, Z. Pardos, M. Mavrikis, & B. M. McLaren (Eds.), Proceedings of the 7th International Conference on Educational Data Mining (EDM2014), 4–7 July, London, UK (pp. 431–432). International Educational Data Mining Society.

Worsley, M., & Blikstein, P. (2015a). Leveraging multimodal learning analytics to differentiate student learning strategies. Proceedings of the 5th International Conference on Learning Analytics and Knowledge (LAK’15), 16–20 March 2015, Poughkeepsie, NY, USA (pp. 360–367). New York: ACM.

Worsley, M., & Blikstein, P. (2015b). Using learning analytics to study cognitive disequilibrium in a complex learning environment. Proceedings of the 5th International Conference on Learning Analytics and Knowledge (LAK’15), 16–20 March 2015, Poughkeepsie, NY, USA (pp. 426–427). New York: ACM.

Zhang, Z. (2012). Microsoft Kinect sensor and its effect. IEEE MultiMedia, 19(2), 4–10.

Zhou, J., Hang, K., Oviatt, S., Yu, K., & Chen, F. (2014). Combining empirical and machine learning techniques to predict math expertise using pen signal features. Proceedings of the 2014 ACM workshop on Multimodal Learning Analytics Workshop and Grand Challenge (MLA’14), 12–16 November 2014, Istanbul, Turkey (pp. 29–36). New York: ACM.