Bölüm 10 Doğal Dil İşleme ve Öğrenme Analitiği

Sidney K. D Mello

Psikoloji ve Bilgisayar Bilimleri ve Mühendisliği Bölümleri, Notre Dame Üniversitesi, ABD

DOI: 10.18608/hla17.010

ÖZ

Bu bölüm, duyguların öğrenmenin yaygınlığını ve önemini tartışmaktadır. Keşif odaklı, veri güdümlü, öğrenme analitiği (ÖA) ve eğitsel veri madenciliği (EVM) ile duygusal ve öğrenme bilimlerindeki teorik gelişmeler ve metodolojileri birleştirerek kayda değer ilerleme sağlanabileceğini savunuyor. Bu alanların kesişimindeki temel, ortaya çıkan ve gelecekteki araştırma temaları tartışılmaktadır.

Anahtar kelimeler: Etkiler, duyuşsal bilim, duyuşsal bilgi işlem, eğitsel veri madenciliği

Bir makalem için bir hakemin “önerisiyle” (D’Mello, 2016), son dönemde (benim için) yeni bir istatistiksel yöntem olan genelleştirilmiş toplanır karma modelleri öğrenmeye başladım GTKM; McKeown ve Sneddon, 2014). GTKM bir cevap değişkenini (rezidüel) artıklar arasındaki oto düzeltmelere değinerek (zaman serileri verisinde), öngörüsel değişkenlere ait parametrik ve parametrik olmayan düzgün fonksiyonların toplanır bir birleşimi ile modellemeyi amaçlar. İlk başta, bu makale için biraz daha fazla çalışma düşüncesi beni biraz hoşnutsuz kıldı. Endişem son düzeltme tarihine kadar yeni bir metodu öğrenmek ve uygulamak için yeterli zamanımın olmayacağına dair düşüncemden kaynaklandı. Hiçbir şey yapmadım. Son tarih yaklaşırken kaygı hafif paniğe dönüştü. Son olarak tavsiye edilen bir makaleyi indirerek GTKM’lere bakmaya karar verdim. Makale göz alıcı grafiklere sahipti, bu da merak duygumu uyandırdı ve beni daha fazla keşfetmeye motive etti. Merak, metot hakkında daha çok okudukça hızlı bir şekilde ilgiye son olarak da yaklaşımın gücünü fark ettiğimde de heyecana dönüştü. Bu bir şeyler anlam ifade etmediğinde kafa karışıklığı ve hayal kırıklığı, neredeyse pes edecekken umutsuzluk, ilerleme kaydettiğimi düşündüğümde umut ve son olarak da gerçekten bir ilerleme kaydettiğimde ise mutluluk ve haz gibi bazı yoğun duygulara neden olarak beni teknik detaylarda bata çıka ilerlemeye motive etti. Daha sonra bazı R söz dizimi üzerinde değişiklikler yaparak metodu kendi verim üzerinde uygulamaya koyuldum. Umut, haz ve mutluluğun arasına daha fazla hayal kırıklığı, kafa karışıklığı ve umutsuzluk serpiştirildi. Sonunda hepsini çalıştırdım ve sonuçları yazdım. Yazma ve düzeltme döngülerinde bazı başka duygular daha oluştu. Sonunda başardım. Gönül rahatlığı, hafifleme ve biraz da övünç hissediyordum. Bu örneğin de gösterdiği gibi, öğrenme süreci boyunca bir duygular dip dalgası vardır. Bu tüm “bilişin” “duygularla” ilişkili olduğu öğrenmeye has değildir. Duygular her zaman bilinçli olarak deneyimlenmeyebilirler (Ohman ve Soares, 1994) ancak yine de vardırlar ve bilişi etkilerler. Aynı zamanda, duygular bir hava boşluğunda oluşmazlar, öğrenmenin sosyal kumaşıyla derinden sarmalanmış vaziyettedirler. En temel işi öğrenmek olan tipik bir öğrenen tarafından hangi duygular yelpazesinin deneyimleneceğini hayal etmek çok zor değildir. Pekrun ve Stephens (2011), bunlara “akademik duygular” demiş ve onları dört grupta sınıflandırmıştır. Başarı duyguları (gönül rahatlığı, endişe ve hayal kırıklığı), öğrenme etkinlikleri (ödev, bir teste girme) ve çıktılarla (başarı, başarısızlık) bağlantılıdır. Konu başlığı duyguları öğrenme içeriği (klasik edebiyat okurken hikâyenin kahramanı ile duygudaşlık kurmak) ile uyumludur. Sosyal duygular övünç, utanç ve kıskançlık da vardır çünkü eğitim sosyal ortamlarda yer alır. Son olarak, özgünlükle karşılaşıldığında şaşkınlık veya bir açmazla karşılaşıldığında kafa karışıklığı olması gibi epistemik duygular bilişsel süreçlerden doğarlar.

Duygular sadece tesadüfi değildirler veya evrimleşmemiştirler (Darwin, 1872; Tracy, 2014). Duygular bilgi ile ilgili problemleri (kafa karışıklığı), uyarılma ile ilgili problemleri (bıkkınlık), yaklaşan performansla ilgili meseleleri (endişe) ve kolaylıkla aşılamayacak zorlukları (hayal kırıklığı) vurgulayarak uyarı verme işlevini görürler (Schwarz, 2012). İnsanların bir olaya değeri hedef uygunluğu ve hedef eşleşmesi açısından değer biçtiği bir para birimi görevi gören değerlendirici işlevler icra ederler. (Izard, 2010). Duygular bilişsel odağı sınırlayarak ya da genişleterek olumlu duygularla daha geniş, yukarıdan aşağıya ve üretici işlemeyi (genişletilmiş odak) desteklemeye (Barth ve Funke, 2010; Schwarz, 2012) kıyasla, olumsuz duygularla işlemenin dar, aşağıdan yukarıya ve odaklanmış modellerini (sınırlı odak) oluşturarak geçiş işlevini icra ederler (Fredrickson ve Branigan, 2005; Isen, 2008). Gerçekten de duygular bellek, problem çözme, karar lama ve bilişin diğer alanları üzerindeki etkilerinde açıkça görüldüğü gibi düşünceye hâkimdirler (detaylı inceleme için, bk. Clore ve Huntsinger, 2007).

Peki “duygu” tam olarak nedir? Doğrusunu söylemek gerekirse, gerçekten bilmiyoruz veya en azından tam olarak uzlaşamıyoruz (Izard, 2010). Bu durum duygunun psikolojik temellerine dair en güncel tartışmalardan da -bazen “100 yaşındaki duygu savaşı” diye de adlandırılan- rahatlıkla anlaşılabilir (Lench, Bench ve Flores, 2013; Lindquist, Siegel, Quigley ve Barrett, 2013). Neyse ki, bazı konularda genel bir anlaşma sağlanmıştır. Duygular beyin- beden- çevre etkileşiminden oluşan kavramsal varlıklardır. Fakat onları beyin, beden veya çevreye bakarak bulamazsınız. Tam tersine, organizma ve çevre etkileşimleri, çoklu zaman ölçekleri ve nörobiyolojik, fizyolojik ve davranışsal olarak dışavurumcu, eylem odaklı ve bilişsel/ bilişüstü/öznel gibi çoklu düzeyler arasındaki değişimleri tetiklediğinde duygular ortaya çıkar (Lewis, 2005). “Duygu” süregelen durumsal bağlam tarafından ayarlanarak bu değişimlere yansıtılır. Aynı duygusal kategori (ör. endişe) tetikleyici olaya (Tracy, 2014), biyolojik/bilişsel/bilişüstü süreçlere (Gross, 2008; Moors, 2014) ve sosyokültürel etkilere bağlı olarak (Mesquita ve Boiger, 2014; Parkinson, Fischer ve Manstead, 2004) farklı şekillerde açığa çıkar. Örneğin, belirli koşullara bağlı olarak endişeye sebep olan bir olay (topluluk önünde konuşma, sınava girme), zamansal bağlam (konuşmadan bir gün ya da bir dakika önce), nörobiyolojik sistem (sınır çizgi uyarılması) ve sosyal bağlam (iş arkadaşlarının ya da bir yabancının önünde konuşmak) endişenin farklı “kısımlarını tetikleyecektir. Farklılıkların ve değişkenliğin bu düzeyi insanlar ve duyguları dinamik ve uyarlanabilir olduğundan beklendiktir. Değişmez duyguların evrimsel değeri çok azdır.

Öğrenme analitikleri (ÖA) ve eğitsel veri madenciliği (EVM) nereye uygundur? Bir taraftan, duyguların öğrenmedeki merkezi rolü göz önünde tutulduğunda, öğrenmeyi duyguları dikkate almayarak analiz etme girişimleri tamamlanmamış olacaktır. Diğer taraftan, duygusal fenomenlerin karmaşıklığı ve belirsizliği düşünüldüğünde, öğrenme sırasında oluşan duyguları ÖA ve EVM yöntemleri olmadan analiz etme girişimleri sadece sığ içgörüler getirecektir. Neyse ki, öğrenme ürünleri süreçlerindeki duyguların oluş sıklığı ve etkilerini çalışmak için veriye dayalı analitik yaklaşımı benimseyen bir çalışma alanı vardır. Bu bölümde ben bu disiplinler arası araştırma alanındaki temel, gelişmekte olan ve gelecek temaların bazılarını vurguluyorum.

Terminolojiye bir notla başlayalım. Duygular motivasyon, tutumlar, tercihler, fizyoloji, uyarılma ve ona atıfta bulunulmakta kullanılan diğer yapılar kümesiyle ilişiklidir ancak eş değer değildir. Duygular aynı zamanda mizaç ve duyuşsal özelliklerden de ayrıdır (Rosenberg, 1998). Duygular hislerle de aynı değildir. Açlık bir histir ancak duygu değildir. Acı da değil. Duygunun ne olduğuna dair bir ihtilaf da vardır. Öfke kesinlikle bir duygudur ancak ya şaşkınlık? Şaşırmanın duyuşsal bileşenleri vardır (şaşırmaya dair hisler, yüz ifadesi karakteristikleri; (D’Mello ve Graesser, 2014b), fakat onun bir duygu olup olmadığına dair bir miktar tartışma bulunmaktadır (Hess, 2003; Rozin ve Cohen, 2003). Dolayısıyla bu bölümün geri kalanında, daha kısıtlayıcı bir terim olan “duygu” dan ziyade daha kapsayıcı bir terim olan “duyuşsal durumu” kullanacağım.

ANA TEMALAR

Öğrenmedeki duyuşu çalışma amacıyla ÖA/EVM metotlarını kullanımını vurgulamak için aşağıdaki dört temayı seçtim. Üstünkörü bir biçimde birçok çalışmayı gözden geçirmektense her temada bir ya da iki örnek teşkil eden çalışmayı bir belirli bir düzeyde inceliyorum. Bu da birçok harika çalışmadan bahsedilmeyeceği anlamın geliyor, fakat ben bu her tema için çalışma alanını araştırma işini okuyucuya bırakıyorum. Ben süreci desteklemek adına uygun olduğunda, derleme çalışmaları önereceğim.

Tıklama Akışı Verisinden Duyuşsal Analiz

ÖA/EVM tekniklerinin en temel kullanımlarından bir tanesi, öğrenenlerin bilişsel süreçlerini anlamak için öğrenme teknolojileri ile etkileşimlerden oluşturulan zengin veri akışını kullanmaktır (Corbett ve Anderson, 1995; Sinha, Jermann, Li ve Dillenbourg, 2014). Aşağıdaki çalışmada da belirtildiği üzere, duyuş karışıma eklendiğinde tamamlayıcı bir dizi içgörü elde edilebilir.

Bosch ve D’Mello (basım aşamasında) öğrencilerin ilk programlama oturumları süresince duyuşsal deneyimleri üzerine bir laboratuar çalışması yaptılar. Çaylak öğrencilerden (N=99) 25 dakikalık desteklenmiş bir öğrenme evresi ve 10 dakikalık desteksiz bir kaybolma evresini içeren öz yönetimli bilgisayarlı öğrenme ortamını kullanarak, Python dilinde bilgisayar programlamanın temellerini öğrenmeleri istendi. Tüm öğretimsel etkinlikler (kodlama, metin okuma, kodu test etme, hataları alma vb.) sistem günlüğüne kaydedildi ve öğrencilerin yüzlerinin videoları ve bilgisayar ekranları kaydedildi. Öğrenciler öğrenme oturumunun hem en ardından bu videoları izleme esnasında yaklaşık 100 puanda (her 15 saniyede bir) geçmişe dair duyuşsal yargı protokolü aracılığıyla duyuşsal hükümler verdiler (Porayska-Pomsta, Mavrikis, D’Mello, Conati ve Baker, 2013). İlgilenilen duyuşsal durumlar öfke, endişe, can sıkıntısı, merak, iğrenme, korku, hayal kırıklığı, akış/ meşguliyet, mutluluk, üzüntü ve şaşkınlık idi. Sadece meşguliyet, kafa karışıklığı, hayal kırıklığı, can sıkıntısı ve merak yeterli sıklıkta oluşarak daha ileri analizi gerekçelendirebildi.

Yazarlar etkileşim olaylarının duygusal durumlara nasıl yol açtığını ve duygusal durumların çeşitli davranışları nasıl tetiklediğini incelemiştir. Yazarlar etkileşim olaylarının duyuşsal durumlara nasıl sebebiyet verdiğini ve duyuşsal durumların farklı davranışları nasıl tetiklediğini araştırdılar Her bir öğrenen için desteklenmiş öğrenme evresi boyunca etkileşim olayları (tıklama akış verisi) ve duyuşsal durumları (öz raporlar) arasına serpiştiren zaman serileri oluşturdular. Zaman serisi modelleme teknikleri (D’Mello, Taylor ve Graesser, 2007), duygusal durumlar ile etkileşim olayları arasındaki önemli geçişleri tanımlamak için kullanılmıştır.

Şekil 10.1. Duygusal durumlar ile bilgisayar programlama bilişsel destek öğrenme sırasında etkileşim olayları arasındaki önemli geçişler. Düz çizgiler duygu geçişleri de dâhil geçişleri göstermektedir. Kesik çizgiler duygusal durumları içermeyen geçişler gösterir. Problemi Göster: yeni bir alıştırmaya başlama; Okuma: yönergeleri ve/ veya problem durumunu görme; Kodlama: mevcut kodu düzenleme veya görme; İpucunuGöster: ipucunu görme; TestRunError: kod çalıştırılmış ve söz dizimi ya da çalışma zamanı hatası ile karşılaşılmış; TestRunSuccess: kod söz dizimi hatası ya da çalışma zamanı hatası olmadan çalıştırılmış (ancak doğruluk için kontrol yapılmamış); GönderiHatası: kod gönderildi ve bir hata veya yanlış bir cevap üretti; GönderiBaşarılı: kod gönderildi ve doğruydu.

Sonuçta oluşan yönlü çizge Şekil 10.1 de verilmiştir. Duyuşsal durumları içermeyen etkileşim olayları arasında bazı geçişler bulunmaktaydı (kesikli çizgiler). Bu diğer etkileşim olaylarına nazaran (saniyede 1 sıklıkta) duygu örneklem alımının az sıklıkta oluşuna (her 15 saniyede bir) bağlıydı.

Daha ilgi çekici geçişler duyuşsal durumları içermekteydi. Özellikle, kafa karışıklığı ve hayal kırıklığından önce bir yanlış bir cevap gönderme (GönderiHatası) gelmekte; daha sonra bu duyuşsal durumları bir ipucu talebi (İpucunuGöster) veya kodu yapılandırma (Kodlama) talebi izlemekteydi ki bu durumların kendisi de bir kafa karışıklığı ve hayal kırıklığını tetiklemekteydi. Öğretim metinlerinin okunması (problem tanımlamaları dâhil) katılım, merak, can sıkıntısı ve kafa karışıklığının da belirtisiydi ancak hayal kırıklığına uğramadı. Bir başka deyişle, tüm anahtar duyuşsal durumlar bilgi özümseme (okuma) ve yapılandırma (kodlama) etkinlikleriyle ilişkiliydi. Ancak sadece büyük ihtimalle öğrenme fırsatları olan kafa karışıklığı ve hayal kırıklığı başarısızlığa (GönderiHatası) ve sonrasında gelen yardım isteme davranışlarına (İpucunu Göster) eşlik etti. Birlikte bakıldığında, geçiş modeli güç durumlar ve sonuçta oluşan kafa karışıklığı veya hayal kırıklığını etkinleştirici olumsuz durumların öğrenmedeki önemli rolünü vurgulamaktadır. (D’Mello ve Graesser, 2012b; VanLehn, Siler, Murray, Yamauchi ve Baggett, 2003). Aynı zamanda, duyguların öğrenme sürecinin içerisine nasıl serpiştirilmiş olduğunu açıklamaktadır.

Etkileşim Şemalarından Duygu Saptama

Duyuşsal durumlar kavramsal varlıklar (yapılar) olduğundan doğrudan doğruya ölçülemezler. Ancak çevre-kişi etkileşimlerinden doğarlar ve bilişin değiştirilmesiyle eylemi etkilerler. Bu nedenle, gözler önüne serilen bağlam ve öğrenen eylemleri analiz edilerek duyguyu “çıkarsamak” mümkün olabilmelidir. Etkileşim temelli”, “kayıt günlüğü dosyası tabanlı” veya “algılayıcısız” olarak adlandırılan duygu saptama çalışma alanı on yıldan uzun bir süre önce başlamıştır. (Ai vd., 2006; D’Mello, Craig, Sullins ve Graesser, 2006) ve yakın zamanda Baker ve Ocumpaugh (2015) tarafından derlenmiştir.

Örnek olarak, ortaokul -ve lise- matematiği için bir Akıllı Öğretim Sistem (AÖS) olan ve ABD’de olağan matematik öğretiminin bir parçası olarak yaklaşık 50, 0000 öğrenci tarafından kullanılan, ASSISTments’a duygu saptayıcılar geliştiren Pardos, Baker, San Pedro ve Gowda (2013) düşünülebilir. (Razzaq vd., 2005). Yazarlar otomatikleştirilmiş duygu saptayıcılar¹ oluşturmak için denetimli bir öğrenme yaklaşımı benimsediler. Okul bilgisayar laboratuvarlarında ASSISTments kullanan 229 öğrenciden eğitim verisi topladılar. İnsan gözlemciler Baker-Rodrigo Gözlem Metodu Protokolünü kullanarak (BRGYP) öğrencilerin ASSISTments ile etkileşimlerindeki çevrimiçi duygu gözlemlerini (kısa ek açıklamalar) getirdiler (Ocumpaugh, Baker ve Rodrigo, 2012). Bu protokole göre eğitim almış gözlemciler, gözlemlenebilir davranış temel alınarak arayüze yönelik açık eylemler, akranlar ve öğretmenle etkileşim, beden, hareketler, el hareketleri ve yüz ifadeleri de dâhil olmak üzere duyguya dair gerçek zamanlı ek açıklamalar sağlarlar. Gözlemciler dört duyuşsal durum (can sıkıntısı, hayal kırıklığı bağlanmış konsantrasyon ve kafa karışıklığı) ve iki davranış (etkinlikle ilgisiz şeyler yapmak veya sistemi oyunlaştırmak) kodladılar. ASSISTments kayıt günlüğü dosyalarından çıkartılan bazı özellikler kullanılarak her bir duyuşsal durumu diğer durumlardan ayıracak (ör. can sıkıntısına karşı diğerleri) denetimli öğrenme teknikleri kullanıldı. Etki tespiti doğruluğu, etki için “.632” ile “.678” [A-üssü metrik olarak ölçülmüştür (EAA veya AİKAA – alıcı işlem karakteristik eğrisi altındaki alana benzer)]- ve davranışlar için “.802” ila “.819” arasında değişmiştir. Sınıflandırıcının doğrulanması eğitim ve sınav verisi arasında tam bir bağımsızlığı mecbur kılarak, aynı popülasyondan yeni öğrencilere genellenebilirliği sağlama şeklinde yapıldı.

Pardos vd. (2013) aynı zamanda saptayıcılarının öngörüsel geçerliliğine dair başlangıç niteliğinde kanıtlar sundular. Bu ölçeğin geliştirilmesinden bir kaç yıl önce 2004-2006 yılları arasında ASSISTments ile etkileşimi olan 1393 adet farklı bir grup öğrencini dosyalarına algılayıcıların uygulanması ile yapılmıştır. Standart hale gelmiş sınav puanları ile otomatik olarak ölçülen duygu ve davranışlar kısmen ilişkili bulunmuştur.

Sonrasında, San Pedro, Baker, Bowers ve Heffernan (2013) otomatik saptayıcılara dayanarak üniversite kayıtlarını tahmin etme girişiminde bulundular. 2004’ten 2009’a kadar ASSISTments ile etkileşime giren 3707 öğrencini mevcut kayıt günlüğü dosyalarına saptayıcıları uyguladılar. Bu öğrencilerin üniversite kayıt bilgileri Ulusal Öğrenci Bürosundan elde edildi. Yıllar sonra, oldukça etkileyici bir bulgu olarak otomatik olarak ölçülen duyuşsal durumların üniversiteye kayıt yaptırmanın en manidar öngörücülerinden biri olduğu ortaya konmuştur.

Bedensel İşaretlerden Duygu Saptama

Duygu eylem için bedensel cevap sistemlerini harekete geçirdiği için şekillendirici bir fenomendir. Bu öğrenen duygusunun makine tarafından okunabilir bedensel sinyallere dayanarak çıkarsanacağını mümkün kılmalıdır. Birçok derlemde de tartışıldığı gibi, bedensel işretlerin duyguları saptamada kullanımı üzerine zengin bir çalışma alanı bulunmaktadır (Calvo ve D’Mello, 2010; D’Mello ve Kory, 2015; Zeng, Pantic, Roisman ve Huang, 2009). Araştırma geçmişte kontrollü ortamlardaki etkileşimlere odaklanmasına karşın, araştırmacılar bu çalışmayı bilgisayar destekli sınıflar başta olmak üzere gerçek dünyaya taşımaya başladılar. Aşağıdaki gözden geçirilen çalışma bizim araştırma grubumuz ve işbirlikli çalıştıklarımız tarafından ortaya konan benzer bir emeği yansıtmakta ancak okuyucu Arroyo vd. (2009) bilgisayar destekli sınıflarda duygu saptamaya yönelik öncü niteliğindeki çalışmaya yönlendirilmiştir.

Bosch, D’Mello, Baker, Ocumpaugh ve Shute (2016) bilgisayar destekli bir sınıfın karmaşık gerçek dünyasında yüze dair özelliklerden duygunun otomatik saptanmasını çalışmışlardır. Bu çalışmada, 137 ortaöğretim ve lise öğrencisi küçük gruplar halinde her zamanki fizik / fizik bilimleri derslerinin bir parçası olarak iki gün boyunca 1.5-2 saat Fizik Oyun Bahçesi (Shute, Ventura ve Kim, 2013) adlı kavramsal bir fizik eğitim oyunu oynadı. Eğitimli gözlemciler yukarıda anlatılan ASSISSTments çalışmasında olduğu gibi BRGYP saha gözlem protokolünü kullanarak can sıkıntısı, kafa karışıklığı, hayal kırıklığı, bağlantılı- konsantrasyon ve hazza dair canlı kısa ek açıklamaları işlediler (Pardos vd., 2013). Gözlemciler aynı zamanda öğrenciler konuyla alakasız olduklarında da not aldılar.

Şekil 10.2. Bilgisayar İfade Tanıma Alet çantası kullanılarak yüz niteliklerinin otomatik taranması. Sağdaki grafikler farklı yüz niteliklerinin (ör. indirilmiş kaşlar, gerilmiş göz kapakları) muhtemel etkinleştirilmesini göstermektedir.

Oyun sırasında öğrencilerin yüzlerinin ve vücutlarının üst kısmı videoları kaydedildi ve etki açıklamalarıyla senkronize edildi. Videolar, 19 yüz eylem biriminin (Ekman ve Friesen, 1978) (ör. yükseltilmiş kaş, gerilmiş dudaklar), baş pozunun (uyumu) ve baş pozisyonunun olasılığının tahminini sağlayan FACET bilgisayarlı görüş programı (Emotient, 2014) kullanılarak işlendi (ekran görüntüsü için bk. Şekil 10.2). Beden hareketleri hareket filtreleme algoritmaları kullanarak tahmin edildi (Kory, D’Mello ve Olney, 2015) (bk. Figür 10.3). Hem yüz ifadeleri hem de bedensel hareketler kullanılarak her bir duyuşsal durumun saptayıcıları denetimli öğrenme yöntemleri ile geliştirildi (ör. can sıkıntısına karşı diğer durumlar). Algılayıcılar duygu için .610’dan .867 aralığı arasında etkinlik dışı davranışlar için ise .816 doğruluklarla (miktarlar yukarıda belirtilen EAA metrikleriyle ölçülerek) kısmen başarılı oldular. Takip eden analizler duygu algılayıcılarının öğrenciler, farklı günler ve farklı cinsiyet ve etnisiteler (insanlar tarafından algılandığı şekliyle) boyunca genelleme yaptığını doğruladı.

Şekil 10.3. Beden hareketlerinin hareket silüetleri kullanılarak videodan otomatik taranması. Sağdaki görsel solda oynamakta olan videodan hareketli alanları göstermektedir. Alttaki grafik zaman içindeki hareket miktarını gösterir.

Yüz temelli duygu algılayıcılar ile ilgili bir sınırlılık, yalnızca yüz video akışında otomatik olarak saptanabildiğinde uygulanabilir olmalarıdır. Bu aşırı hareket, kapanma, az ışık ve diğer faktörlere bağlı olarak her zaman mümkün olmamaktadır. Aslında yüz-temelli duygu saptayıcılar tüm durumların %65’ine uygulanabilmektedir. Buna değinmek için Bosch, Chen, Baker, Shute ve D’Mello (2015) çokbiçimli teknikleri etkileşim temelli (önceki bölüme benzer olarak) ve yüz-temelli saptayıcılarla birleştirmek için kullandılar. Etkileşim tabanlı saptayıcılar, yüz bazlı saptayıcılardan daha az doğruydu (Kai vd., 2015) ancak neredeyse tüm vakalara uygulanabilirdi. Bu ikisinin birleşimi ile saptayıcıların durumlara uygulanabilirliği yüz temelli saptayıcılara kıyasla kesinlikte küçük bir azalma ile (<%5 farkla) %98’e yükseltilmiş oldu.

Duygu Modellerini Duygu-Bilir Öğrenme Teknolojilerine Entegre Etmek

Yukarıda tartışılan etkileşim ve bedensel temelli etki algılayıcıları, bir öğrenme teknolojisi ile etkileşimler sırasında öğrenenin etkilerinin gerçek zamanlı değerlendirmelerini sağlamak için kullanılabilecek somut eserlerdir. Bu durum hissedilen duyguya dinamik anlamda cevap vererek heyecan verici bir döngüyü kapatma olasılığını destekler. Bu gibi duygu-bilir öğrenme teknolojilerinin amacı, öğrencilerin ne hissettiklerine ek olarak ne düşündükleri ya da yaptıklarına cevap vererek güncel öğrenme teknolojilerinin uyarlanabilirlik bant aralığının genişletmektir. (İnceleme için, bk. D’Mello, Blanchard, Baker, Ocumpaugh ve Brawner, 2014). Burada ben, böylesine iki sisteme, Affective AutoTutor (D’Mello ve Graesser, 2012a) ve UNC-ITSPOKE (Forbes-Riley ve Litman, 2011) dikkat çekiyorum.

Şekil 10.4. Affective AutoTutor: Öğrencilerin sıkıntılarını, kafa karışıklıklarını ve sıkıntılarını otomatik olarak algılayan ve bunlara yanıt veren konuşma diyaloglarına sahip akıllı öğretim sistemi (AÖS).

Affective AutoTutor (bk. Şekil 10.4) doğal dil içinde karma-inisiyatif bir diyalog düzenleyerek öğrencilerin Newton fiziği, bilgisayar okur yazarlığı ve bilimsel akıl yürütme gibi zor konularda uzmanlık geliştirmelerine yardım eden konuşma tabanlı bir AÖS olan AutoTutor’un değiştirilmiş bir sürümüdür. (Graesser, Chipman, Haynes ve Olney, 2005 ). Özgün AutoTutor sistemi öğrenenin bilişsel durumlarına karşı duyarlı olan bir dizi belirsiz üretim kurallarına sahipti. Affective AutoTutor bu kuralları öğrenenlerin duyuşsal durumları özellikle can sıkıntısı, kafa karışıklığı ve hayal kırıklığının dinamik olarak değerlendirilmesine duyarlı olacak şekilde arttırır. Duyuşsal durumlar etkileşim örüntülerin, büyük beden hareketlerini ve yüz niteliklerini otomatik olarak izleyerek hissedilir. (D’Mello ve Graesser, 2012a). Affective AutoTutor duygusal görünümlerin yanı sıra empatik, yüreklendirici ve motive edici diyalog-hareketleri ile cevap verir. Örneğin, asistan hafif can sıkıntısına, “Bunlar bazen biraz sıkıcı olabiliyor, bu yüzden senin bu işin üstesinden gelmene yardımcı olmayı deneyeceğim. Hadi gidelim”. Duyuşsal cevaplara uygun duygusal yüz ifadeleri ve duygusal olarak düzenlenmiş konuşmalar (ör. sentezlenmiş duygudaşlık veya yüreklendirme) eşlik eder.

Affective AutoTutor’un özgün duyuşsal olmayan AutoTutora göre etkililiği 84 öğrenenin rastgele olarak ikişer 30 dakikalık öğrenme oturumuna atandığı denekler arası desenle test edilmiştir. (D’Mello, Lehman, Sullins vd., 2010). Sonuçlar duyuşsal asistanın ikinci 30 dakikalık öğrenme oturumunda düşük bilgi alanı öğrenenlerinin öğrenmesinde yardımcı olduğunu göstermiştir. Duyuşsal asistan ilk 30 dakikalık oturumda üst bilgi alanı öğrenenlerinin öğrenmesini desteklemekte daha az etkili olmuştur. Önemli biçimde, duyuşsal asistanla öğrenme kazanımları Oturum 1’den Oturum 2’ye yükselmiş oysaki duyuşsal olmayan asistanla yükseliş sonrası durağan bir noktaya gelmiştir. Duyuşsal asistanla etkileşim kuran öğrenenler bir sonraki transfer sınavında çok daha iyi bir performans gösterdiler. Takip eden analiz gösterdi ki, öğrenenlerin öğrenme oturumları boyunca bilgisayar öğretenlerin (asistanların) insan öğretenlere ne kadar benzediğine dair algılarındaki artış asistan geri bildirim niteliğine bağlıdır ve öğrenmenin güçlü bir yordayıcısıdır. (D’Mello ve Graesser, 2012c). Duyuşsal asistan için algıdaki olumlu değişim daha fazla idi.

İkinci bir örnek olarak, öğrenenlerin sözlü cevaplarının kesin/kesin olmaması ve doğru/doğru olmamasını otomatik olarak saptama ve cevap verme becerisine sahip olan konuşma yeteneği etkinleştirilmiş bir fizik AÖS’i olan UNC-ITSPKOE (Forbes-Riley ve Litman, 2011) örneğini inceleyelim. Kesin olmamanın saptanması öğrenenlerin sözlü cevaplarının sözcüksel ve diyalog tabanlı niteliklerinin yanı sıra akustik-prosodik niteliklerinin ayıklanması ve analiz edilmesi ile gerçekleştirilir. UNC-ITSPOKE öğrenenin cevabının doğru olduğu fakat emin olmadığı durumlarda kesin olmama durumuna cevap verdi. Bu içinden çıkılmaz güç bir durumun göstergesi olarak alındı çünkü öğrenen doğru olmasına rağmen bilgisinin durumundan emin değildi. Mevcut cevap stratejisi belirsizliği çözecek bir ek eğitim sağlayan açıklama temelli yan diyalogların faaliyete geçirilmesini içermekteydi. Bu da ilaveten takip eden soruları (daha zor içerik için) veya basitçe doğru bilginin ayrıntılı açıklamalarla (daha kolay içerik için) tasdik edilmesini İçerebilirdi.

Forbes-Riley ve Litman (2011) kesin olmama durumunda uyarlanabilir cevapları alma (uyarlanabilir durum), kesin olmama durumunda hiç cevap almama (uyarlanamayan durum) veya kesin olmama durumunda rastgele cevaplar alma (rastgele kontrol durumu) için rastgele atanan 72 tane öğrenenin öğrenme çıktılarını karşılaştırdılar. Bu son durumda, yan diyaloglardan eklenen öğretim içeriği ilave öğretimi kontrol etmek adına rastgele bir dizi değişiklik için verilmişti. Bulgular uyarlanabilir durumun rastgele ve uyarlanamayan kontrol durumlarına nazaran az miktarda (fakat manidar olmayan düzeyde)ileri öğrenme çıktıları elde ettiğini gösterdi. Bulgular öğrenme çıktıları ile ilişkili olanın belki de kesin olmama durumunda uyarlanabilir cevapların varlığı ya da yokluğunun değil fakat uyarlanabilir cevapların sayısının olduğunu açığa çıkardı.

GELİŞMEKTE OLAN TEMALAR

Duygular, öğrenme, ÖA ve EVM’nin kesişimindeki araştırmalar genel olarak bilgisayar destekli akıllı öğretim sistemleriyle bire bir öğrenmeye (Forbes-Riley ve Litman, 2011; Woolf vd., 2009), eğitsel oyunlara (Conati ve Maclaren, 2009; Sabourin, Mott ve Lester 2011) veya okuma, yazma, metin-diyagram entegrasyonu ve problem çözme gibi temel yeterlilikleri destekleyen arayüzler (D’Mello ve Graesser, 2014a; D’Mello, Lehman ve Person, 2010; D’Mello ve Mills, 2014). Bu ana araştırma kolları oldukça aktif olmasına rağmen, son günlerdeki araştırmalar duygunun, öğrenmeyi kapsayan daha geniş sosyokültürel bağlamı daha yakından yansıtacak çok daha kapsayıcı etkileşim bağlamları boyunca analizine odaklanmıştır. Ben bazı heyecan verici gelişmeleri örneklendirmek açışından kısaca dört araştırma teması tanımlayacağım.

Yıpranma ve Okul Terkinin Duygu Temelli Yordayıcıları

Erken risk göstergeleri ve erken müdahale sistemleri ÖA ve EVM’nin “muhteşem uygulamaları²” dır. (Jayaprakash, Moody, Lauria, Regan ve Baron, 2014). Alandaki çoğu sistemler akademik performans verisi, demografik veriler ve finansal yardımın ulaşılabilirliği üzerine odaklanmıştır. Bu faktörler şüphesiz önemlidir fakat devreye girmesi muhtemel diğer değişimli faktörler vardır. Bunu akılda tutarak, Aguiar, Ambrose, Chawla, Goodrich ve Brockman (2014) bir mühendisliğe giriş dersini bırakma durumlarını yordamada geleneksel akademik ve demografik niteliklerin yordama gücünü davranışsal katılımı gösteren niteliklerle karşılaştırdılar. Temel bulguları, oturum açma sayıları, gönderilen çalışmaların sayısı ve sayfa tıklanma sayılarıyla ölçülen e-portfolyolarla davranışsal olarak meşguliyet durumunun ders bırakmayı, sadece akademik performans ve demografik yapılardan oluşturulan modellerden daha iyi yordayabildiğiydi. Bu çalışmada duygu doğrudan olarak ölçülmemiş olsa da e portfolyolara davranışsal olarak katılım, güçlü bir güdüleyici duygu olan ilginin bir işareti olarak düşünülebilir.

Tartışma Forumlarının Duygu Analizleri

Dil duyguları iletişime geçirir. Dolayısıyla duygu analizi ve fikir madenciliği teknikleri (Pang ve Lee, 2008) öğrencileri bir öğrenme deneyimi hakkındaki düşüncelerinin (yazılı dilde ifade edilen) ilişkili davranışları (özellikle yıpranma) nasıl yordadığını çalışırken önemli düzeyde bir güce sahiptir. Bu doğrultuda Wen, Yang ve Rose (2014) üç tane kitlesel açık çevrimiçi derslerdeki (KAÇD) öğrenen gönderilerine duygu analizi tekniklerini uyguladılar. Olumlunun olumsuz terimlere oranı ile okul bırakmanın zamana oranı arasında negatif ilişki gözlemlediler. Daha da yakın dönemde, Yang, Wen, Howley, Kraut ve Rose (2015) öğrencideki kafa karışıklığının belirleyicisi olan tartışma gönderilerini otomatik olarak belirleyecek metotlar geliştirdiler. Kafa karışıklığının okulu sürdürebilme olasılığını düşürdüğünü, fakat bunun kafa karışıklığını çözme ve diğer destekleyici müdahalelerle hafifletilebileceğini gösterdiler.

Sınıf Öğrenme Analitikleri

Algılama ve sinyal işleme teknolojilerindeki son gelişmeler daha önceden sadece kişisel raporlar ve kullanışsız insan gözlemleri ile elde edilebilecek olan öğrencilerin sınıf deneyimlerine ilişkin halleri otomatik olarak modelleyebilmeyi sağladı. Örneğin, ikinci kuşak Kinects gözlerin ya da ağzın açık olup olmadığını, kişinin başka bir yere bakıp bakmadığını ya da ağzının oynayıp oynamadığını bir defada altı kişiye kadar tespit edebilmektedir. (Microsoft, 2015). Öncü bir çalışmada, Raca, Kidzinski ve Dillenbourg (2015), öğrencileri karatahta alanının etrafına yerleştirilmiş birden fazla kamera kullanarak sınıfta izlemiştir. Daha sonra bir saptayıcıyı eğitmek için kullanılan kafa algılama ve kafa pozu tahmini için bilgisayarlı görme teknikleri kullanılmıştır. Öğrencilerin dikkatini çekme (kendi kendine raporlama yoluyla doğrulandı). Çok modlu öğrenme analitiği alanıyla (Blikstein, 2013) ilişkili olan gelişmekteki bu alan, önümüzdeki uzun yıllar içinde önemli gelişmelere hazırdır.

Öğretmen Analitikleri

Öğretmen uygulamalarının öğrenci duygu ve katılımlarını etkilediği bilindiğinden öğretmenler döngünün dışında bırakılmamalıdır. Ne yazık ki, öğretmenlerin öğretim uygulamalarının niceliği sınıflardaki canlı gözlemlere dayanır (ör. Nystrand, 1997) ve bu da araştırmanın ölçeklendirilmesini zorlaştırır. Bunu ele almak için, araştırmacılar öğretmen öğretimsel uygulamalarının otomatik analizi için yöntemler geliştirmeye başladılar. Öncü olan çalışmalardan birinde, Wang, Miller ve Cortina (2013) 1 ve 3’üncü sınıf matematik derslerinin ses kayıtlarını almışlar ve bu derslerdeki tartışmaların düzeylerinin belirleyecek otomatik metotlar geliştirmişlerdir. Bu çalışma yakın zamanda daha büyük orta öğretim alan yazın örneklemeleri ve sadece öğretmen sesi kullanılan dil sınıfı örneklemelerinde bir çok ek öğretim etkinliği (ders anlatma, küçük grup çalışması, denetimli sıra çalışması, soru/cevap ve yönergeler ve yönler) (Donnelly vd., 2016a) veya öğretmen ve sınıf ses kaydının birleştirilmesini (Donnelly vd., 2016b) analiz etmek amacıyla genişletilmiştir. Blanchard vd. (2016) insanlar tarafından kodlanan sorular ile .85 korelasyon sağlayarak, öğretmen sorularını otomatik olarak saptayabilmek için öğretmen ses kayıtlarını kullandı. Bu alandaki çalışmalarda bir sonraki aşama ise, öğrencilerin nasıl hissettiklerini bir de ne düşündükleri, yaptıkları ve öğrendiklerini etkileyen çevredeki diğer ögelerle birlikte değerlendirebilmek için öğretmenlerin ne yaptıklarına dair bilgiyi kullanmak olacaktır.

GELECEK TEMALARI

Araştırmaya dair bazı olası gelecek temalarını kısaca vurgulayarak bitireyim. Umut verici araştırma alanlarından biri öğrenenlerin ve öğrenme topluluklarının duygusal deneyimlerinin geleneksel bir sınıfın, ters yüz edilmiş sınıfın, ya da KAÇD ‘ın genişletilmiş zaman ölçeğinde detaylı bir analizini içermektedir. (Dillon vd., 2016). İkincisi faydalı olanlar meydana çıkarılabilsin diye (ör. Strain ve D’Mello, 2014), öğrenme esnasındaki duygu düzenlemenin, özellikle ÖA/EVM metotlarının farklı düzenleme stratejilerini belirlemede nasıl kullanılabileceğinin çalışılmasıdır (Gross, 2008). Üçüncüsü duygunun yanı sıra farkındalık dikkat durumları, konu ile ilişkili olmayan durumların düşünülmesi ve duygu- dikkat karışımının “akış-deneyimi” ne benzer şekilde nasıl harmanlandığının (Csikszentmihalyi, 1990) ortaya çıkışı ve beden ve davranışta görünür oluşunu birlikte düşünecektir. Dördüncüsü sözde “bilişsel olmayan” (Farrington vd., 2012) azim, oto kontrol ve gayret gibi kişisel özelliklerin öğrenen duygularını ve onları düzenleme çabalarını nasıl denetlediğine değinir (ör. Galla vd., 2014). Beşincisi iş birliği yapmanın kritik bir 21. yüzyıl becerisi olarak önemine istinaden (OECD, 2015), işbirlikli öğrenme ve problem çözme esnasında öğrenen gruplarının duygularını izleyebilir (Ringeval, Sonderegger, Sauer ve Lalanne, 2013).

Son olarak, William James’in 1884 tarihli duygu üzerine klasik tezinden alıntı yaparak “Çevremin parçalarının en önemlisi benim adamımdır. Onun bana olan tutumunun bilinci; utançlarımın, kızgınlıklarımın ve korkularımın çoğunun normal olarak çözecek olan algıdır” (s. 195). Günümüze kadar olan araştırmalar temelde başarı, bilgiye dair ve konuya dair duygulara odaklanmıştır. Ancak öğrenmenin gerçekleştiği sosyo kültürel bağlamın analizi mutlaka gurur, suçluluk, kıskançlık, haset gibi sosyal duygulara duygun bir şekilde değinmelidir. Bu hem bir gelecek teması ve hem de büyük bir araştırma meydan okumasıdır.

SONUÇ

Öğrenme soğuk bir entelektüel etkinlik değildir; duygularla işaretlenmiştir. Duygular sadece ifadelerin süsü değildir aynı zamanda temsil görevleri de vardır. Fakat duygu çoklu zaman ölçeklerinde devingen olarak gelişen çoklu bileşenlere sahip karmaşık bir fenomendir. Duyuşsal bilimler ve duyuşsal sinir bilimdeki büyük adımlara rağmen duygular hakkında çok az ve hatta öğrenme esnasındaki duygular hakkında daha da az şey biliyoruz. Bu kesinlikle teorik olarak bir belirginlik oluşana kadar duyguları modellemekten kaçınmamız gerektiği anlamına gelmez. Gerçekte durum tam tersidir. Basitçe duyguları modellediğimizi söylediğimizde neyi modellediğimiz konusunda daha dikkatli olmalıyız anlamına gelir. Aynı zamanda duygunun içindeki karmaşıklığı ve belirsizliğin etkisini azaltmak yerine onları benimsemeliyiz. Bilakis, bulgu temelli, veriye dayalı, ÖA ve EVM’nin analitik yöntemlerinden biri gerçek yaşam veri toplamanın beraberinde hem öğrenme bilimi hem de duygu bilimine geliştirecek benzersiz potansiyele sahiptir. Her şey öğrenme analizine duyguları dahil ederek başlar.

TEŞEKKÜR BÖLÜMÜ

Bu araştırma Ulusal Bilim Vakfı (UBV) (DRL 1108845 ve IIS 1523091), Bill ve Melinda Gates Vakfı ve Eğitim Bilimleri Enstitüsü (R305A130030) tarafından desteklenmiştir. Bu makalede ifade edilen düşünceler, bulgular ve çıkarımlar veya tavsiyeler yazara ait olup, destek veren kuruluşların görüşlerini yansıtması gerekmemektedir.

KAYNAKÇA

Aguiar, E., Ambrose, G. A. A., Chawla, N. V., Goodrich, V., & Brockman, J. (2014). Engagement vs. performance: Using electronic portfolios to predict first semester engineering student persistence. Journal of Learning Analytics, 1(3), 7–33.

Ai, H., Litman, D. J., Forbes-Riley, K., Rotaru, M., Tetreault, J. R., & Pur, A. (2006). Using system and user performance features to improve emotion detection in spoken tutoring dialogs. Proceedings of the 9th International Conference on Spoken Language Processing (Interspeech 2006).

Arroyo, I., Woolf, B., Cooper, D., Burleson, W., Muldner, K., & Christopherson, R. (2009). Emotion sensors go to school. In V. Dimitrova, R. Mizoguchi, B. Du Boulay, & A. Graesser (Eds.), Proceedings of the 14th International Conference on Artificial Intelligence in Education (pp. 17–24). Amsterdam: IOS Press.

Baker, R., & Ocumpaugh, J. (2015). Interaction-based affect detection in educational software. In R. Calvo, S. D’Mello, J. Gratch, & A. Kappas (Eds.), The Oxford handbook of affective computing (pp. 233–245). New York: Oxford University Press.

Barth, C. M., & Funke, J. (2010). Negative affective environments improve complex solving performance. Cognition and Emotion, 24(7), 1259–1268. doi:10.1080/02699930903223766

Blanchard, N., Donnelly, P., Olney, A. M., Samei, B., Ward, B., Sun, X., . . . D’Mello, S. K. (2016). Identifying teacher questions using automatic speech recognition in live classrooms. Proceedings of the 17th Annual SIGdial Meeting on Discourse and Dialogue (SIGDIAL 2016) (pp. 191–201). Association for Computational Linguistics.

Blikstein, P. (2013). Multimodal learning analytics. Proceedings of the 3rd International Conference on Learning Analytics and Knowledge (LAK’13), 8–12 April 2013, Leuven, Belgium. New York: ACM.

Bosch, N., Chen, H., Baker, R., Shute, V., & D’Mello, S. K. (2015). Accuracy vs. availability heuristic in multimodal affect detection in the wild. Proceedings of the 17th ACM International Conference on Multimodal Interaction (ICMI 2015). New York: ACM.

Bosch, N., & D’Mello, S. K. (in press). The affective experience of novice computer programmers. International Journal of Artificial Intelligence in Education.

Bosch, N., D’Mello, S., Baker, R., Ocumpaugh, J., & Shute, V. (2016). Using video to automatically detect learner affect in computer-enabled classrooms. ACM Transactions on Interactive Intelligent Systems, 6(2), doi:10.1145/2946837.

Calvo, R. A., & D’Mello, S. K. (2010). Affect detection: An interdisciplinary review of models, methods, and their applications. IEEE Transactions on Affective Computing, 1(1), 18–37. doi:10.1109/T-AFFC.2010.1

Clore, G. L., & Huntsinger, J. R. (2007). How emotions inform judgment and regulate thought. Trends in Cognitive Sciences, 11(9), 393–399. doi: 10.1016 / j.tics.2007.08.005

Conati, C., & Maclaren, H. (2009). Empirically building and evaluating a probabilistic model of user affect. User Modeling and User-Adapted Interaction, 19(3), 267–303.

Corbett, A., & Anderson, J. (1995). Knowledge tracing: Modeling the acquisition of procedural knowledge. User Modeling and User-Adapted Interaction, 4(4), 253–278.

Csikszentmihalyi, M. (1990). Flow: The psychology of optimal experience. New York: Harper & Row.

D’Mello, S. K. (2016). On the influence of an iterative affect annotation approach on inter-observer and self-observer reliability. IEEE Transactions on Affective Computing, 7(2), 136–149.

D’Mello, S. K., Blanchard, N., Baker, R., Ocumpaugh, J., & Brawner, K. (2014). I feel your pain: A selective review of affect-sensitive instructional strategies. In R. Sottilare, A. Graesser, X. Hu, & B. Goldberg (Eds.), Design recommendations for adaptive intelligent tutoring systems: Adaptive instructional strategies (Vol. 2, pp. 35–48). Orlando, FL: US Army Research Laboratory.

D’Mello, S., Craig, S., Sullins, J., & Graesser, A. (2006). Predicting affective states expressed through an emote-aloud procedure from AutoTutor’s mixed-initiative dialogue. International Journal of Artificial Intelligence in Education, 16(1), 3–28.

D’Mello, S., & Graesser, A. (2012a). AutoTutor and Affective AutoTutor: Learning by talking with cognitively and emotionally intelligent computers that talk back. ACM Transactions on Interactive Intelligent Systems, 2(4), 23:22–23:39.

D’Mello, S., & Graesser, A. (2012b). Dynamics of affective states during complex learning. Learning and Instruction, 22(2), 145–157. doi: 10.1016 / j.learninstruc.2011.10.001

D’Mello, S., & Graesser, A. (2012c). Malleability of students’ perceptions of an affect-sensitive tutor and its influence on learning. In G. Youngblood & P. McCarthy (Eds.), Proceedings of the 25th Florida Artificial Intelligence Research Society Conference (pp. 432–437). Menlo Park, CA: AAAI Press.

D’Mello, S., & Graesser, A. (2014a). Inducing and tracking confusion and cognitive disequilibrium with breakdown scenarios. Acta Psychologica, 151, 106–116.

D’Mello, S. K., & Graesser, A. C. (2014b). Confusion. In R. Pekrun & L. Linnenbrink-Garcia (Eds.), International handbook of emotions in education (pp. 289–310). New York: Routledge.

D’Mello, S. K., & Kory, J. (2015). A review and meta-analysis of multimodal affect detection systems. ACM Computing Surveys, 47(3), 43:41–43:46.

D’Mello, S., Lehman, B., & Person, N. (2010). Monitoring affect states during effortful problem solving activities. International Journal of Artificial Intelligence in Education, 20(4), 361–389.

D’Mello, S., Lehman, B., Sullins, J., Daigle, R., Combs, R., Vogt, K., . . . Graesser, A. (2010). A time for emoting: When affect-sensitivity is and isn’t effective at promoting deep learning. In J. Kay & V. Aleven (Eds.), Proceedings of the 10th International Conference on Intelligent Tutoring Systems (pp. 245–254). Berlin / Heidelberg: Springer.

D’Mello, S., & Mills, C. (2014). Emotions while writing about emotional and non-emotional topics. Motivation and Emotion, 38(1), 140–156.

D’Mello, S., Taylor, R. S., & Graesser, A. (2007). Monitoring affective trajectories during complex learning. In D. McNamara & J. Trafton (Eds.), Proceedings of the 29th Annual Cognitive Science Society (pp. 203–208). Austin, TX: Cognitive Science Society.

Darwin, C. (1872). The expression of the emotions in man and animals. London: John Murray.

Dillon, J., Bosch, N., Chetlur, M., Wanigasekara, N., Ambrose, G. A., Sengupta, B., & D’Mello, S. K. (2016). Student emotion, co-occurrence, and dropout in a MOOC context. In T. Barnes, M. Chi, & M. Feng (Eds.), Proceedings of the 9th International Conference on Educational Data Mining (EDM 2016) (pp. 353–357). International Educational Data Mining Society.

Donnelly, P., Blanchard, N., Samei, B., Olney, A. M., Sun, X., Ward, B., . . . D’Mello, S. K. (2016a). Automatic teacher modeling from live classroom audio. In L. Aroyo, S. D’Mello, J. Vassileva, & J. Blustein (Eds.), Proceedings of the 2016 ACM International Conference on User Modeling, Adaptation, & Personalization (ACM UMAP 2016) (pp. 45–53). New York: ACM.

Donnelly, P., Blanchard, N., Samei, B., Olney, A. M., Sun, X., Ward, B., . . . D’Mello, S.K. (2016b). Multi-sensor modeling of teacher instructional segments in live classrooms. Proceedings of the 18th ACM International Conference on Multimodal Interaction (ICMI 2016). New York: ACM.

Ekman, P., & Friesen, W. (1978). The facial action coding system: A technique for the measurement of facial movement. Palo Alto, CA: Consulting Psychologists Press.

Emotient. (2014). FACET: Facial expression recognition software.

Farrington, C. A., Roderick, M., Allensworth, E., Nagaoka, J., Keyes, T. S., Johnson, D. W., & Beechum, N. O. (2012). Teaching adolescents to become learners: The role of noncognitive factors in shaping school performance: A critical literature review. Chicago, IL: University of Chicago Consortium on Chicago School Research.

Forbes-Riley, K., & Litman, D. J. (2011). Benefits and challenges of real-time uncertainty detection and adaptation in a spoken dialogue computer tutor. Speech Communication, 53(9–10), 1115–1136. doi:10.1016/j. specom.2011.02.006

Fredrickson, B., & Branigan, C. (2005). Positive emotions broaden the scope of attention and thought-action repertoires. Cognition & Emotion, 19(3), 313–332. doi:10.1080/02699930441000238

Galla, B. M., Plummer, B. D., White, R. E., Meketon, D., D’Mello, S. K., & Duckworth, A. L. (2014). The academic diligence task (ADT): Assessing individual differences in effort on tedious but important schoolwork. Contemporary Educational Psychology, 39(4), 314–325.

Graesser, A., Chipman, P., Haynes, B., & Olney, A. (2005). AutoTutor: An intelligent tutoring system with mixed-initiative dialogue. IEEE Transactions on Education, 48(4), 612–618. doi:10.1109/TE.2005.856149

Gross, J. (2008). Emotion regulation. In M. Lewis, J. Haviland-Jones, & L. Barrett (Eds.), Handbook of emotions (3rd ed., pp. 497–512). New York: Guilford.

Hess, U. (2003). Now you see it, now you don’t – the confusing case of confusion as an emotion: Commentary on Rozin and Cohen (2003). Emotion, 3(1), 76–80.

Isen, A. (2008). Some ways in which positive affect influences decision making and problem solving. In M. Lewis, J. Haviland-Jones, & L. Barrett (Eds.), Handbook of emotions (3rd ed., pp. 548–573). New York: Guilford.

Izard, C. (2010). The many meanings/aspects of emotion: Definitions, functions, activation, and regulation. Emotion Review, 2(4), 363–370. doi:10.1177/1754073910374661

James, W. (1884). What is an emotion? Mind, 9, 188–205.

Jayaprakash, S. M., Moody, E. W., Lauría, E. J., Regan, J. R., & Baron, J. D. (2014). Early alert of academically at-risk students: An open source analytics initiative. Journal of Learning Analytics, 1(1), 6–47.

Kai, S., Paquette, L., Baker, R., Bosch, N., D’Mello, S., Ocumpaugh, J., . . . Ventura, M. (2015). Comparison of face-based and interaction-based affect detectors in physics playground. In C. Romero, M. Pechenizkiy, J. Boticario, & O. Santos (Eds.), Proceedings of the 8th International Conference on Educational Data Mining (EDM 2015) (pp. 77–84). International Educational Data Mining Society.

Kory, J., D’Mello, S. K., & Olney, A. (2015). Motion tracker: Camera-based monitoring of bodily movements using motion silhouettes. PloS ONE, 10(6), doi:10.1371/journal.pone.0130293.

Lench, H. C., Bench, S. W., & Flores, S. A. (2013). Searching for evidence, not a war: Reply to Lindquist, Siegel, Quigley, and Barrett (2013). Psychological Bulletin, 113(1), 264–268.

Lewis, M. D. (2005). Bridging emotion theory and neurobiology through dynamic systems modeling. Behavioral and Brain Sciences, 28(2), 169–245.

Lindquist, K. A., Siegel, E. H., Quigley, K. S., & Barrett, L. F. (2013). The hundred-year emotion war: Are emotions natural kinds or psychological constructions? Comment on Lench, Flores, and Bench (2011). Psychological Bulletin, 139(1), 264–268.

McKeown, G. J., & Sneddon, I. (2014). Modeling continuous self-report measures of perceived emotion using generalized additive mixed models. Psychological Methods, 19(1), 155–174.

Mesquita, B., & Boiger, M. (2014). Emotions in context: A sociodynamic model of emotions. Emotion Review, 6(4), 298–302.

Microsoft. (2015). Kinect for Windows SDK MSDN. Retrieved 5 August 2015 from https://msdn.microsoft.com/ en-us/library/dn799271.aspx

Moors, A. (2014). Flavors of appraisal theories of emotion. Emotion Review, 6(4), 303–307.

Nystrand, M. (1997). Opening dialogue: Understanding the dynamics of language and learning in the English classroom. Language and Literacy Series. New York: Teachers College Press.

Ocumpaugh, J., Baker, R. S., & Rodrigo, M. M. T. (2012). Baker-Rodrigo Observation Method Protocol (BROMP) 1.0. Training Manual version 1.0. New York.

OECD (Organisation for Economic Co-operation and Development). (2015). PISA 2015 collaborative problem solving framework.

Ohman, A., & Soares, J. (1994). Unconscious anxiety: Phobic responses to masked stimuli. Journal of Abnormal Psychology, 103(2), 231–240.

Pang, B., & Lee, L. (2008). Opinion mining and sentiment analysis. Foundations and Trends in Information Retrieval, 2(1–2), 1–135.

Pardos, Z., Baker, R. S. J. d., San Pedro, M. O. C. Z., & Gowda, S. M. (2013). Affective states and state tests: Investigating how affect throughout the school year predicts end of year learning outcomes. In D. Suthers, K. Verbert, E. Duval, & X. Ochoa (Eds.), Proceedings of the 3rd International Conference on Learning Analytics and Knowledge (LAK’13), 8–12 April 2013, Leuven, Belgium (pp. 117–124). New York: ACM.

Parkinson, B., Fischer, A. H., & Manstead, A. S. (2004). Emotion in social relations: Cultural, group, and interpersonal processes. Psychology Press.

Pekrun, R., & Stephens, E. J. (2011). Academic emotions. In K. Harris, S. Graham, T. Urdan, S. Graham, J. Royer, & M. Zeidner (Eds.), APA educational psychology handbook, Vol 2: Individual differences and cultural and contextual factors (pp. 3–31). Washington, DC: American Psychological Association.

Porayska-Pomsta, K., Mavrikis, M., D’Mello, S. K., Conati, C., & Baker, R. (2013). Knowledge elicitation methods for affect modelling in education. International Journal of Artificial Intelligence in Education, 22, 107–140.

Raca, M., Kidzinski, L., & Dillenbourg, P. (2015). Translating head motion into attention: Towards processing of student’s body language. Proceedings of the 8th International Conference on Educational Data Mining. International Educational Data Mining Society.

Razzaq, L., Feng, M., Nuzzo-Jones, G., Heffernan, N. T., Koedinger, K. R., Junker, B., . . . Choksey, S. (2005). The assistment project: Blending assessment and assisting. In C. Loi & G. McCalla (Eds.), Proceedings of the 12th International Conference on Artificial Intelligence in Education (pp. 555–562). Amsterdam: IOS Press.

Ringeval, F., Sonderegger, A., Sauer, J., & Lalanne, D. (2013). Introducing the RECOLA multimodal corpus of remote collaborative and affective interactions. Proceedings of the 2nd International Workshop on Emotion Representation, Analysis and Synthesis in Continuous Time and Space (EmoSPACE) in conjunction with the 10th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition. Washington, DC: IEEE.

Rosenberg, E. (1998). Levels of analysis and the organization of affect. Review of General Psychology, 2(3), 247–270. doi:10.1037//1089-2680.2.3.247

Rozin, P., & Cohen, A. (2003). High frequency of facial expressions corresponding to confusion, concentration, and worry in an analysis of maturally occurring facial expressions of Americans. Emotion, 3, 68–75.

Sabourin, J., Mott, B., & Lester, J. (2011). Modeling learner affect with theoretically grounded dynamic Bayesian networks. In S. D’Mello, A. Graesser, B. Schuller, & J. Martin (Eds.), Proceedings of the 4th International Conference on Affective Computing and Intelligent Interaction (pp. 286–295). Berlin/Heidelberg: Springer-Verlag.

San Pedro, M., Baker, R. S., Bowers, A. J., & Heffernan, N. T. (2013). Predicting college enrollment from student interaction with an intelligent tutoring system in middle school. In S. D’Mello, R. Calvo, & A. Olney (Eds.), Proceedings of the 6th International Conference on Educational Data Mining (EDM 2013) (pp. 177–184). International Educational Data Mining Society.

Schwarz, N. (2012). Feelings-as-information theory. In P. Van Lange, A. Kruglanski, & T. Higgins (Eds.), Handbook of theories of social psychology (pp. 289–308). Thousand Oaks, CA: Sage.

Shute, V. J., Ventura, M., & Kim, Y. J. (2013). Assessment and learning of qualitative physics in Newton’s playground. The Journal of Educational Research, 106(6), 423–430.

Sinha, T., Jermann, P., Li, N., & Dillenbourg, P. (2014). Your click decides your fate: Inferring information processing and attrition behavior from MOOC video clickstream interactions. Paper presented at the Empirical Methods in Natural Language Processing: Workshop on Modeling Large Scale Social Interaction in Massively Open Online Courses. http://www.aclweb.org/anthology/W14-4102

Strain, A., & D’Mello, S. (2014). Affect regulation during learning: The enhancing effect of cognitive reappraisal. Applied Cognitive Psychology, 29(1), 1–19. doi:10.1002/acp.3049

Tracy, J.L. (2014). An evolutionary approach to understanding distinct emotions. Emotion Review, 6(4), 308– 312.

VanLehn, K., Siler, S., Murray, C., Yamauchi, T., & Baggett, W. (2003). Why do only some events cause learning during human tutoring? Cognition and Instruction, 21(3), 209–249. doi:10.1207/S1532690XCI2103_01

Wang, Z., Miller, K., & Cortina, K. (2013). Using the LENA in teacher training: Promoting student involvement through automated feedback. Unterrichtswissenschaft, 4, 290–305.

Wen, M., Yang, D., & Rosé, C. (2014). Sentiment analysis in MOOC discussion forums: What does it tell us? In J. Stamper, S. Pardos, M. Mavrikis, & B. M. McLaren (Eds.), Proceedings of the 7th International Conference on Educational Data Mining (EDM 2014), 4–7 July, London, UK (pp. 130–137): International Educational Data Mining Society. http://www.cs.cmu.edu/~mwen/papers/edm2014-camera-ready.pdf

Woolf, B., Burleson, W., Arroyo, I., Dragon, T., Cooper, D., & Picard, R. (2009). Affect-aware tutors: Recognizing and responding to student affect. International Journal of Learning Technology, 4(3/4), 129–163.

Yang, D., Wen, M., Howley, I., Kraut, R., & Rosé, C. (2015). Exploring the effect of confusion in discussion forums of massive open online courses. Proceedings of the 2nd ACM conference on Learning@Scale (L@S 2015), 14–18 March 2015, Vancouver, BC, Canada (pp. 121–130). New York: ACM. doi:10.1145/2724660.2724677

Zeng, Z., Pantic, M., Roisman, G., & Huang, T. (2009). A survey of affect recognition methods: Audio, visual, and spontaneous expressions. IEEE Transactions on Pattern Analysis and Machine Intelligence, 31(1), 39–58.