Bölüm 6 Eğitsel Verileri Açıklayıcı Modelleri Yaratmak İçin Daha İyi Veri Tahmininin Ötesine Geçmek

Ran Liu, Kenneth R. Koedinger

Bilgisayar Bilimleri Fakültesi, Carnegie Mellon Üniversitesi, ABD

DOI: 10.18608/hla17.006

ÖZ

Eğitsel verilerin istatistiksel modellemesinde yaklaşımlar amacın bir öngörü ya da açıklayıcı bir model oluşturmak olup olmamasına bağlı olarak değişir. Kestirimci modeller, sonuçları en iyi tahmin edebilecek özelliklerin bir kombinasyonunu bulmayı amaçlamaktadır; tipik olarak, tutulan verileri tahmin etmedeki doğruluklarıyla değerlendirilirler. Açıklayıcı modeller, sonuçlarla nedensel olarak ilişkili olan yorumlanabilir yapıları tanımlamaya çalışır. Eğitsel veri madenciliği araştırmalarının büyük çoğunluğu tahminde doğruluk elde etmeye odaklanmıştır ancak biz açıklayıcı modeller geliştirmeye daha fazla odaklanmanın alana fayda sağlayabileceğini iddia ediyoruz. Açıklayıcı modeller üreten ve öğrenme çıktılarında ve / veya öğrenme teorisinde gelişmelere yol açan eğitsel veri madenciliği çalışmaları örneklerini gözden geçiriyoruz. Açıklayıcı modellerin, yorumlanabilir yapılara eşleştirilen parametrelere sahip olmak, genel olarak daha az parametreye sahip olmak ve model geliştirme sürecinin başlarında insanlar tarafından girilen bilgileri dâhil etmek gibi ortak özelliklerinden bazılarını özetliyoruz.

Anahtar Kelimeler:(EVM) Açıklayıcı modeller, modeli yorumlama, eğitsel veri madenciliği, döngüyü kapatmak, bilişsel modeller

Eğitsel veri madenciliği araştırmalarının büyük çoğunluğunda modeller, tahmin doğruluğuna göre değerlendirilir. Çoğu zaman bu, modelin bir dizi öğrenci cevaplarının sonuçlarındaki başarıları ve başarısızlıkları doğru bir şekilde öngörme yeteneğini değerlendirme şeklini alır. Daha az yaygın olarak, modellerin geçerliği sontest sonuçlarını (ör. Corbett ve Anderson, 1995) veya öntest-sontest kazancını (ör. Liu ve Koedinger, 2015) tahmin etme yeteneklerine göre belirlenebilir. Açıklayıcı modeller, sonuçlarla nedensel olarak ilişkili olan yorumlanabilir yapıları tanımlamaya çalışır (Shmueli, 2010). Bunu yaparken verilerin mevcut teoriye bağlanabilecek bir açıklamasını sağlarlar. Odak noktası, bir modelin iyi uyma nedeninden ziyade modelin neden verilere iyi uyduğudur. Genellikle, açıklayıcı modeller verilerin teori, pratik veya her ikisi için de sonuçları olan yorumunu sağlarlar. Burada açıklayıcı modeller üreten ve dolayısıyla öğrenme çıktılarında ve / veya öğrenme teorisinde gelişmelere yol açan eğitsel veri madenciliği çalışma örneklerini gözden geçiriyoruz.

Eğitsel veri madenciliği araştırmaları büyük ölçüde iki model türünün geliştirilmesine odaklanmıştır: istatistiksel model ve bilişsel model. İstatistiksel modeller, öğrencilerin performanslarını öğrendikçe gözlemlenebilir özelliklerine dayanarak akıllı öğretici sistemlerinin dış döngüsünü yönlendirir (VanLehn, 2006) . Bilişsel modeller, belirli bir eğitsel alanının belli başlı bir bilgi alanını temsil eder (gerçekler, kavramlar, beceriler, vb.). Burada incelenen araştırmaların çoğunluğu bilişsel model geliştirme ve keşfi ile ilgilidir. Ayrıca eğitsel veri madenciliği araştırmalarının ürettiği bilişsel model keşif alanı dışındaki diğer açıklayıcı model örneklerini de kısaca gözden geçiriyoruz.

BİLİŞSEL MODEL KEŞFİ

Bilişsel modeller, bilgi bileşenlerini (yani kavramlar, beceriler ve olgular; Koedinger, Corbett ve Perfetti, 2012), öğrenci performansının gözlenebileceği problem adımlarına veya görevlerine eşler. Bu eşleme, öğrencilerin farklı problem adımlarındaki gözlemlenebilir performanslarına dayanarak mevcut bilgileri hakkında çıkarımlar yapılması için istatistiksel modellere bir yol sağlar. Bu nedenle, bilişsel modeller akıllı öğreticilerin öğretim tasarımı için önemli bir dayanaktır ve öğrenme ile bilginin doğru değerlendirilmesi için önemlidir. Daha iyi bilişsel modeller, öğrencinin ne bildiği hakkında daha iyi kestirimler yapılmasını sağlayarak uyarlanabilir öğrenmenin daha verimli çalışmasını sağlar. Bilişsel modeller inşa etmenin geleneksel yolları (Clark, Feldon, van Merrienboer, Yates ve Early, 2008) yapılandırılmış görüşmeler, sesli düşünme protokolleri, rasyonel analiz ve alan uzmanları tarafından etiketlenmeyi içerir. Bununla birlikte bu yöntemler genellikle insanların bilgi girmesini gerektirdiğinden zaman alıcıdır. Bunlar ayrıca özneldirler ve önceki araştırmalar (Nathan, Koedinger ve Alibali, 2001; Koedinger ve McLaughlin, 2010) uzman mühendisler tarafından geliştirilen bilişsel modellerin genellikle başlangıç seviyesindeki öğrenenler için önemli olan içerik ayrımlarını göz ardı ettiğini göstermiştir. Burada, insan tarafında yapılan bilgi girişleri üzerindeki yükü azaltırken, uzman yanlılığını azaltan veriye dayalı tekniklere dayanan bilişsel modelleri keşfetme ve iyileştirme çabalarının üç örneğini gözden geçiriyoruz.

Burada tarif edilen çalışmalar istatistiksel modelleme amacıyla varsayımsal bilgi bileşenlerinden oluşan bilişsel bir modelin sadeleşmiş halini kullanır. Bir bilgi bileşeni (BB), belirli bir görev veya problem basamağında başarılı olmak için gereken bir olgu, kavram veya beceridir. Bilişsel bir modelin bu uzmanlık biçimini BB modeli veya alternatif olarak bir Q matrisi olarak adlandırıyoruz (Barnes, 2005). Veriye dayalı bilişsel model keşiflerinin yordayıcı uygunluğunu değerlendirmek için kullandığımız istatistiksel model, toplamsal faktör modeli (TFM; Cen, Koedinger ve Junker, 2006) olarak adlandırılan ve öğrenme etkilerine uyum sağlamak için madde-tepki teorisinin bir genellemesi olan lojistik regresyon modelidir.

Veri-Güdümlü Bilişsel Model Geliştirme

Zorluk faktörleri değerlendirmesi (ZFD; örneğin, Koedinger ve Nathan, 2004) tanımlanmış bir görevin problemli unsurlarını belirlemek için veri güdümlü bir bilgi ayrıştırma süreci kullanarak uzman önsezilerinin ötesine geçer. Başka bir deyişle, bir görev onunla yakından ilişkili bir görevden çok daha zor olduğunda, aralarındaki fark zor olan işin daha kolay olanda bulunmayan bir bilgiyi gerektirmesidir. Stamper ve Koedinger (2011) bilişsel model gelişimlerini belirlemek ve doğrulamak için DataShop’ta¹ (Koedinger vd., 2010) serbestçe erişilebilen eğitsel veriler ve yerleşik görselleştirme araçlarıyla birlikte ZFD’yi kullanan bir yöntem açıklamışlardır. Bilişsel model geliştirme yöntemi, aşağıdaki adımları takip eder: 1) verilen bir BB modeli için öğrenme eğrisi görselleştirmelerini ve uygun TFM katsayısı tahminlerini incelemek, 2) problemli BB’leri tanımlamak ve BB modelindeki değişikliklere dair varsayımlarda bulunmak, 3) TFM’yi gözden geçirilmiş BB modeline yeniden uygun hale getirmek ve yeni modelin verilere daha uygun olup olmadığını araştırmak.

Geometri veri kümesinin (Koedinger, DataShop²taki Dataset 76 ) görselleştirmelerinin el ile yapılan incelemesinde, mevcut olan en iyi BB modelinde potansiyel iyileşmeler tespit edildi (Stamper ve Koedinger, 2011). Bu modeldeki BB’lerin çoğu, hata oranlarında tutarlı bir düşüş ile nispeten düzgün öğrenme eğrileri sergilemiştir. Toplama ile yapılan orijinal modeldeki bir BB, hata oranlarında büyük artışlarla birlikte belirli fırsat sayımlarında özellikle karmaşık bir eğri sergiledi. Ek olarak BB için toplama ile yapılan TFM parametresi tahminleri, belirgin bir öğrenme olmadığını ortaya koymuştur (performans tavan değerde olduğu için değil ve eğim parametresi tahmini sıfıra çok yakındı). İnişli çıkışlı bir öğrenme eğrisi ve düşük eğim tahmini, kötü tanımlanmış bir BB’nin belirtileridir. Kötü tanımlanmış bir BB’nin yaygın sebeplerinden biri, kurucu ögelerinin bazılarının, diğer ögelerin gerektirmediği bazı bilgi taleplerini istemesidir. Başka bir deyişle, orijinal BB gerçekten iki farklı BB’ye bölünmelidir. BB modelini geliştirmek için, tüm toplama ile yapılan problem adımları incelenmiş ve belirli adımlarda gerekli olabilecek ek bilgiler hakkında varsayımda bulunmak için alan uzmanlığı uygulanmıştır. Sonuç olarak, toplama ile yapılan BB üç ayrı BB’ye bölündü ve daha önce toplama ile yapılan BB ile etiketlenmiş 20 adımın her biri buna göre yeniden etiketlendi. Gözden geçirilmiş model, daha düzgün öğrenme eğrileriyle sonuçlanmıştır ve TFM ile uyumlu olduğunda, öğrenci performansının orijinal BB modelinden çok daha iyi bir şekilde tahmin edilmesini sağlamıştır. Her ne kadar bu BB modelinin geliştirilmesine, istatistiksel bir modele uydurulmasından kaynaklanan görselleştirmeler eşlik etse de gerçek gelişmeler el ile üretilmiştir ve bu nedenle kolayca yorumlanabilir.

Keşfedilen BB modelindeki gelişmelerin, öğretimi yeniden düzenleme konusunda açık sonuçlar sunmuştur. Koedinger, Stamper, McLaughlin ve Nixon (2013), Geometri Alan öğretici ünitesinin gözden geçirilmiş bir versiyonunu oluşturmak için veri odaklı BB model iyileştirmelerini kullanmışlardır. Düzeltmeler, bilgi izlemede değişikliklere ve yeni becerilerin hedeflenmesi için yeni görevlerin yaratılmasına neden olacak yeni keşfedilen becerilerin BB modeline uyarlanabilir öğrenmeyi yönlendirmesini de içermekteydi. Bir A/B deneyinde, öğrencilerin yarısı gözden geçirilmiş akıllı öğretici birimini, diğer yarısı ise orijinal akıllı öğretici birimi tamamlamıştır. Gözden geçirilmiş akıllı öğreticiyi kullanan öğrenciler, daha verimli bir şekilde tam öğrenmeye ulaşmış ve ön -son- test öncesi becerilere dayanarak BB modelinin hedeflediği becerileri daha iyi öğrenmişlerdir (Koedinger vd., 2013). Bulgular, veri güdümlü ZFD tekniğinin öğretimsel değişikliklere ve daha iyi öğrenmeye neden olabilecek açıklayıcı BB model düzeltmeleri üretmeye yardımcı olduğunu göstermektedir.

Öğrenme Faktörleri Analizi

Öğrenme faktörleri analizi (ÖFA; Cen vd., 2006) BB model düzeltmelerinin veri temelli bir yöntemi sonrasında insan zamanına olan talepleri hafifletmek amacıyla geliştirilmiştir. ÖFA, mevcut farklı BB modellerinden çıkartılan varsayımsal bilgi bileşenlerini araştırır, verilere uygunluklarına göre farklı modelleri değerlendirir ve sembolik bir model biçimindeki en uygun BB modelini çıkarır. Bu nedenle, ÖFA, otomatik olmasa da yorum yapma yükünü eşzamanlı olarak kolaylaştırırken, insan emeğine olan talepleri büyük ölçüde azaltır.

Tümü DataShop’dan kamuya açık olarak erişilebilir olacak şekilde ÖFA araştırma sürecini farklı alanlar ve farklı eğitim teknolojilerini kapsayan 11 veri kümesinde uyguladık. Tüm 11 veri kümesinde bu otomatik bulma işlemi, BB modellerinin veriye uygunluğunu mevcut insanlar tarafından en iyi biçimde etiketlenmiş BB modellerinden daha fazla iyileştirmiştir (Koedinger, McLaughlin ve Stamper, 2012). Hepsinden önemlisi, örnek bir veri kümesinde (Koedinger, DataShop’ta Dataset 76) ÖFA tarafından keşfedilen en iyi model tarafından yapılan belirli iyileştirmeler için yorumlanabilir bir açıklama sunduk. En uygun ÖFA modeli ile en uygun insan etiketli model arasındaki el ile yapılan bir BB modeli karşılaştırması, insan etiketli modelde tek bir “daire alanı” BB olarak gruplandırılmış iken, ÖFA modelinin ileri (yani, yarıçapı verilen alanı bulun) ve geriye doğru (yani, alanı verilen yarıçapı bulmak) dairenin alanı problemleri için ayrı BB’ler etiketlediğini göstermiştir. Dikdörtgen, üçgen ve paralel kenarlar gibi diğer şekiller için modeller arasında böyle bir fark bulunmamıştır. Otomatikleştirilmiş bulguyu yorumlamak için etki alanı uzmanlığı uygulayarak, ÖFA’nın model iyileştirmesinin, ileriye dönük daire-alan problemleri için veya diğer şekillerin geriye dönük alan problemleri için gerekli olmayan ve geriye dönük çember alan problemlerinde karekök işleminin ne zaman ve nasıl uygulanacağını bilmenin zorluğunu yakaladığı varsayımında bulunduk.

Daha sonra bu yorumlamanın dış geçerliliğini, keşiflerin yapıldığı veri kümesinin ötesinde değerlendirdik. Yeni bir veri kümesinde (DataShop³‘daki Bernacki, Dataset 748), keşif için kullanılandan farklı bir yapıya sahip olan karekök zorluğunun varlığını değerlendirdik (Liu, Koedinger ve McLaughlin, 2014). Diğer farklılıklar arasında, yeni bir veri kümesi daha fazla geriye doğru daire alan problemlerini ve daha da önemlisi, ileri (yani uzunluğu verilen alan bulmak) ve geriye doğru (yani, alan verildiğinde yan uzunluğu bulmak) kare alan problemlerini bulmayı içeriyordu. Bu kare alan problemleri, ÖFA tarafından oluşturulan buluşların yapıldığı orijinal veri kümesinde mevcut değildi. Keşfe ilişkin yorumumuzu uygulayarak, geri adımların karekök hesaplamasını gerektirmediği şekiller için değil (üçgenler, dikdörtgenler, paralel kenarlar) yalnızca gerektirdiği şekiller için (kare, daire) ileri ve geri ayırma BB etiketlerini ayrı ayrı etiketleyen bir BB modeli inşa ettik. TFM ile birlikte kullanıldığında, bu BB modeli, uzman etiketli birkaç kontrol BB modeline kıyasla yeni veri kümesine en iyi uyumu sağladı.

Yeni veri kümesi, BB modelinin keşfi ile ilgili farklılıklar da dâhil olmak üzere orijinal veri kümesinden farklı bir yapıya sahip olduğu için (yani geriye doğru kare alan problemlerinin varlığı), bu konuda doğrudan ÖFA tarafından keşfedilen BB modelini uygulamak uygun olmazdı. Aynı olmayan yapılara sahip bağlamlardaki keşiflerin genellenebilirliğini test etmek için yorumlama gereklidir. Ayrıca yorumlar, sonraki tüm veri araştırmalarını ve analizlerini, daha sonra öğretim tasarımında somut gelişmelere çevrilebilecek anlamlı bir şeye bağlamaya yardımcı olur. Mevcut araştırmalarımız, geliştirilen BB modeli etrafında yeniden tasarlanan bir akıllı öğretici sonucu oluşan öğrenme çıktılarını değerlendirerek, ÖFA tarafından oluşturulan bu keşifte “döngüyü kapatmaktadır” (Liu ve Koedinger, sundu).

SimStudent Kullanarak Otomatikleştirilmiş Bilişsel Model Keşfi

Otomatikleştirilmiş alternatif bir yaklaşım, bilişsel modelleri mevcut olanlara ihtiyaç duymadan otomatik olarak keşfetmek için son teknoloji ürünü bir makine öğrenme aracı olan SimStudent’i kullanmaktadır. SimStudent, örnek sorunları çözen bir akıllı öğreticiyi gözlemleyerek, sorunları kendi başına çözerek ve geri bildirim alarak, bilgileri kurallar biçiminde tümevarımsal olarak öğrenen akıllı bir araçtır. (Li, Matsuda, Cohen ve Koedinger, 2015). SimStudent’in avantajlarından biri, yeni başlayan alan uzmanlarının bile farkında olamayacakları öğrenme yörüngelerinin özelliklerini taklit edebilmesidir. Bir dersi alan gerçek öğrenciler, genellikle alana özgü belirli bir ön bilgiye sahip değildir, bu nedenle gerçekçi bir insan öğrenme modeli bu bilginin verildiğini varsaymamalıdır. Ek olarak, SimStudent, hangisinin insan davranışını en iyi tahmin ettiğini görmek amacıyla alternatif insan öğrenme modellerini test etmek için kullanılabilir (MacLellan, Harpstead, Patel ve Koedinger, 2016). Çeşitli etki alanlarını kapsayan birkaç veri kümesi için SimStudent, verilere insan tarafından üretilen en iyi bilişsel modellerden daha iyi uyan bilişsel modeller üretmiştir. (Li vd., 2011; MacLellan vd., 2016).

SimStudent öğrenmesinin çıktısı, üretim kuralları biçimini alır (Newell ve Simon, 1972) ve her üretim kuralı, esas olarak, bir BB modelinde bir bilgi bileşenine (BB) karşılık gelir. Bir cebir veri kümesindeki verileri kullanma (Booth ve Ritter, DataShop⁴‘ta Veri Kümesi 293) ve TFM ile birlikte Li ve meslektaşları (2011), SimStudent tarafından oluşturulan bir BB modelini, gerçek öğrencilerin akıllı öğretici içindeki eylemlerini elle kodlayarak oluşturulan bir BB modeliyle karşılaştırdılar. SimStudent tarafından üretilen model, gerçek öğrenci performansı verilerine, insan tarafından üretilen modelden daha uygun bulundu. SimStudent tarafından üretilen model, gerçek öğrenci performansı verilerine, insan tarafından üretilen modelden daha uygun.

Daha da önemlisi, SimStudent modeli ile insan tarafından üretilen model arasındaki farkları incelemek, SimStudent modelinin avantajlarını açıklayan yorumlanabilir özellikler ortaya koymuştur. Böyle bir farkın bir örneği SimStudent’in hem A hem de B nin işareti olan sayılar olduğu Ax = B formundaki bölme tabanlı cebir problemleri için ve yalnızca A nın işaretli sayı olduğu -x=A formu için farklı üretim kuralları (BB’ler) oluşturmasıdır. Ax = B’yi çözmek için, SimStudent her iki tarafı da işaretli A sayısına bölmeyi öğrenir. Fakat, -x katsayısını (-1) açıkça temsil etmediğinden, SimStudent -x’in -1x’e çevirildiğini fark etmelidir ve daha sonra her iki tarafı da -1 ile bölebilir. İnsan tarafından üretilen model, her iki bölme probleminin de aynı hata oranlarına sahip olması gerektiğini öngörmektedir. Aslında, gerçek öğrenciler doğru hamleyi yapmada -x = 6 gibi adımlarda -3x = 6 gibi adımlardan daha fazla zorluk çekerler. Aynı Cebir veri kümesinde, Ax = B formundaki problemler (ortalama hata oranı = 0.28), -x = A formundaki problemlerden daha kolaydır (ortalama hata oranı = 0.72). SimStudent’in bölme problemlerini iki ayrı BB’ye ayırması, öğrencilere bir Ax = B formuna karşılık gelen bir alt set ve özel olarak -x = A formuna bir alt setten oluşan iki problem alt grubunda özel ders desteği almalarını önermektedir. Öğrencilere -x’in -1x ile aynı olduğunu vurgulayan doğrudan öğretim faydalı olabilir (Li vd., 2011).

Bu özel SimStudent BB model keşfinin yorumunun, ÖFA tarafından üretilen model keşiflerinde olduğu gibi, yeni problem türlerine genellenebileceğini varsaydık. Yeni bir denklem çözme veri kümesinde (Ritter, DataShop’ta⁵ Veri Kümesi 317), benzer terim problemlerini birleştirmek için benzer şekilde açık ve örtük katsayılı bir ayrımın uygulanıp uygulanmadığını test ettik. Ax + Bx = C formundaki ve hem A, B ve C işaretli sayılar (açık-katsayılı maddeler) olduğu ve hem de A veya B’nin algısal olarak kat-sayısız (örtük katsayılı ögeler) 1 veya -1’e eşit olduğu maddeler için performans farklarına baktık. Bu analiz, benzer terimleri birleştiren problemler içinde açık katsayılı maddelerin (ortalama hata oranı = 0, 35), örtük katsayılı maddelerden (ortalama hata oranı = 0, 45) daha kolay olduğunu doğruladı. Bu yeni veri kümesi sadece SimStudent’in bölünme problemleri üzerine yaptığı orijinal bulguyu çoğaltmakla kalmadı, aynı zamanda bulgunun ayrı bir ustalık becerisine genellendiğini benzer terimleri birleştirdiğini ortaya koydu.

Bir BB modelini açık ya da örtük katsayı formundaki benzer terim birleşimleri için ayrı BB ler ile uygun hale getirmek, tekli benzer birleştirmeli terimler BB’sine sahip BB modeli için kestirimsel uygunluk hususunda büyük bir iyileşme ortaya çıkarmaktadır. Ayrıca hem açık katsayılı bölme hem de benzer terimleri birleştiren öğrenme eğrileri, BB’lerin düzgün ve azalan hata oranlarını yansıtmasına rağmen, örtük katsayılı bölme ve benzer terim ögelerini birleştiren ilgili öğrenme eğrileri hem yatık hem de sıfıra yakın eğimlidir. Bu öğrencilerin örtük katsayıları içeren problem adımlarda daha fazla alıştırma yapmaktan büyük fayda sağlayacaklarını ve bunlara daha açık bir şekilde dikkat etmelerini önermektedir. Burada yine, SimStudent BB model keşfinin açıklayıcı gücü, açıklamanın, SimStudent’in hiç eğitilmediği farklı problem türlerine genellenmesini mümkün kılmıştır.

Diğer Çalışmalarla Karşılaştırma

Hem ÖFA hem de SimStudent, sadece tahmin doğruluğunu önemli ölçüde iyileştirmeyen, aynı zamanda kolayca yorumlanabilen ve dolayısıyla açıklayıcı olan bilişsel model keşifleri üretme yeteneğine sahiptir. Bu bilişsel model keşiflerinin getirdiği yorumların, keşiflerin yapıldığı verilerde bulunmayan yeni problem türlerine genellendiğini gösterdik. Son olarak, toplandıklarından çok farklı bağlamlarda bile orijinal veriler, öğretimin gözden geçirilmesi için net önerilerde bulunurlar. Bunların hepsi, öğrenme teorisi ve öğretim üzerinde anlamlı bir etkiye sahip olmak için basitçe kestirimsel doğruluğu iyileştirmenin ötesine geçen açıklayıcı modelleme çabalarının en belirgin özellikleridir.

ÖFA gibi yöntemlerde “-döngüdeki- insan” olduğu gerçeği, yani bir alan uzmanının girdisine ihtiyaç duyuluyor olması bir sınırlılık olarak belirtilmiştir. ÖFA için, yeni model keşifleri üretmek için başlangıçta bir veya daha fazla uzman tarafından etiketlenen bilişsel modeller gerekmektedir. Bununla birlikte, bu “döngüde insan” özelliğinin bunun gibi modelleme çabalarının açıklayıcı olmalarına liderlik ettiğini iddia ediyoruz. Bilişsel modelleri keşfetme ve /veya geliştirme sürecini tamamen otomatikleştirmek için son zamanlarda çok fazla çaba sarf edilmiştir (Gonzalez-Brenes ve Mostow, 2012; Lindsey, Khajah ve Mozer, 2014). Bu yöntemlerin önereceği çok şey bulunmaktadır çünkü insan zamanına ihtiyacı önemli ölçüde azaltmakta ve öngörücü doğruluk hususunda rekabetçi sonuçlar vermektedirler. Bununla birlikte, bu çabaların sonuçta ortaya çıkan bilişsel modeller, öğretimin iyileştirilmesine göre yorumlanmamış veya harekete geçirilmemişlerdir.

Ordinal SPARFA- Tag gibi “-döngüdeki- insan” bileşeni içeren diğer modelleme çabaları (Lan, Studer, Waters ve Baraniuk, 2013), diğer birçok alternatif yöntemden çok daha fazla yorumlanabilir bilişsel modellere ulaştırmıştır. Her ne kadar insanlar modelleme çabalarının bir nihai yorumunu yapmak zorunda olsalar da ÖFA ve Ordinal SPARFA-Tag gibi yöntemler, insani çabayı en baştan dâhil ederek duyarlı sonuçlar veren modeller üretme olasılığını büyük ölçüde artırmaktadır. Esasen, kavram etiketlerini post-hoc olarak dâhil eden özgün SPARFA model (Lan, Studer, Waters ve Baraniuk, 2014) ile model geliştirme sürecinde alan-uzman konsept etiketlerini kullanan Ordinal SPARFA etiketinin karşılaştırılması ikincinin daha yorumlanabilir bilişsel modellerle sonuçlandığını göstermektedir.

Yorumlanabilir bilişsel modeller üretmeye yönelik daha fazla dikkat ve çaba bize doğru yolda ilerlediğimizi düşündürmektedir. Bununla birlikte, tartıştığımız gibi, uzman etiketlemesi yanlılığa tabidir ve mevcut zengin eğitsel veri kullanarak öğrenme teorisini geliştirme konusunda fazla bir şey sunmaz. İnsanın müdâhilliği, yorumlanabilirliği artırırken, veri odaklı bileşen, öznelliği azaltmak ve yeni başlayanların nasıl öğrendiği konusundaki anlayışımızı ilerletmek için yollar sunmaktadır. ÖFA gibi yöntemler, insanın müdâhil olduğu ve otomasyonun kendine mahsus güçlü yanlarını arttıracak daha öngörücü ve açıklayıcı modeller yaratmaya yöneliktir.

ÖĞRENCİ GRUPLAMA

Giderek artmakta olan araştırma tabanı, öğrencilere özgü değişkenliğin, eğitsel verinin istatistiksel modellerde modellenmesinin, daha iyi ve tahmin edici bir kesinlik getirebileceğini ve potansiyel olarak öğretimi bilgilendirebileceğini göstermektedir. Öğrencileri eğitim veri kümelerinde mevcut olan özelliklere göre yapılan önceki gruplama girişimleri, K –ortalamalar ve spektral kümeleme gibi tekniklere odaklanmıştır. Bu teknikler, test sonrası performansı öngören öğrenci kümelerini oluşturmak için kullanılmıştır (Trivedi, Pardos ve Heffernan, 2011) ve kümeler farklı parametrelere uyduğunda kestirimsel kesinlik iyileştirmeleri sunar (Pardos, Trivedi, Heffernan ve Sarkozy, 2012). Bununla birlikte, birçok kümeleme tekniği, yorumlanması zor olan öğrenci gruplanmaları ile sonuçlanma eğilimindedir. Yine de nihayetinde kümelenme sonuçlarının eğitim politikasındaki gelişmelere bilgi vermesi durumunda, yorumlama (ör. öğretimi farklı öğrenci gruplarına uygun şekilde bireyselleştirmek gibi) kritik öneme sahiptir.

Son araştırmalarda (Liu ve Koedinger, 2015), öğrencileri gruplandırmak için yalnızca TFM’nin kestirimsel doğruluğunu önemli ölçüde artıran değil, aynı zamanda anlamlı öğrenci grupları oluşturmaya uygun olan bir yöntem geliştirdik. TFM’nin verilere ilk geçiş uygunluğunu yaparak ve artıklardaki (öngörülen ve gerçek veriler arasındaki farklılıklar) sistematik örüntüleri farklı uygulama fırsatları üzerinden inceleyerek, öğrencilerin tutarlı bir şekilde üç öğrenme oranı grubundan birine ait olduğunu bulduk: 1) TFM’nin öngördüğünden daha düz öğrenme eğrileri sergileyenler, 2) daha dik öğrenme eğrileri sergileyenler ve 3) öğrenme eğrileri modelin öngörülerine eşit olanlar. Bu gruplarının her biri için öğrenme oranlarını kişiselleştiren bir parametrenin tanıtılması, çoklu eğitim alanlarını kapsayan çeşitli veri kümeleri boyunca, modelin kestirimsel doğruluğunu normal TFM’nin ötesine geçerek önemli ölçüde geliştirmektedir. Üç grubun her biri için eğim parametresi tahminleri veri kümeleri boyunca, grupları yorumlamamızla tutarlı olmuştur (yani, tahmin edilen grup seviyesi eğimleri, düz eğri grubu için her zaman en düşük ve dik eğri grubu için en yüksekti). Dahası, kâğıt olan ön -ve son- test verilerinin bulunduğu veri kümeleri alt grubunda öğrenme eğrisi grubu ile ön -son- testin iyileşme derecesi arasında sistematik bir ilişki olduğunu gözlemledik (Liu ve Koedinger, 2015).

Daha “aşağıdan yukarıya” şablon öğrenci gruplarının oluşturulmasından farklı olarak, bu yöntem kolayca yorumlanabilir ve potansiyel olarak eyleme geçirilebilir öğrenci gruplarını ortaya çıkarmıştır. Örneğin, düz eğri öğrenci grubunun ya birime başlarken tavan değerde performans gösteren (ve dolayısıyla çok fazla iyileştirme ihtiyacına sahip olmayan) öğrencileri ya da tavan değerin altında herhangi bir yerden başlamış ancak ilerleme konusunda zorluk çeken öğrencileri temsil ettiği açıktır. Her durumda, bu grupta sınıflandırılmış öğrenciler için net öğretimsel tavsiyeler bulunmaktadır. Elde edilen modelin açıklayıcı gücü, yine de bir miktar ön değerlendirme yapmaktan ve modeli yorumlanabilirliğe yönelik bir gözle geliştirmekten gelmektedir.

AÇIKLAYICI MODELİN İNŞASINA DOĞRU

Eğitsel veri madenciliği çabalarının daha açıklayıcı modeller üretme konusunda yorumlanabilirliğini ve uygulanabilirliğini dikkate almanın önemini savunuyoruz. Bir modelin açıklayıcı olması için, modelin neden alternatiflerinden daha iyi kestirimsel doğruluk elde ettiğini anlamak mümkün olmalıdır. Ek olarak, bunun nedenini anlamak, öğrenenlerin ilgili materyalleri nasıl öğrendiklerini anlama konusundaki anlayışımızı da ilerletmeli veya eğitsel iyileştirmeler için net etkilere sahip olmalıdır. Burada açıklayıcı modelleri betimleyen bazı özelliklerin ana hatlarını çizerek özetlemekteyiz.

Açıklayıcı modelleme çalışmaları, basit işlevleri olan veya açıkça tanımlanmış yapılarla eşleştirilen “net” bağımsız değişkenlerle başlama eğilimindedir. Örneğin, ÖFA basit bölme, birleştirme veya işleç eklemeyi kullanarak mevcut, uzman etiketli değişkenlerden yeni değişkenler türetir. Başka bir örnek, eğitimde sözlü verilerin otomatik olarak analiz edilmesinden, otomatik kompozisyon puanlama, öğretici diyalog üretme ve bilgisayar destekli işbirlikli öğrenmeyi içeren bir eğitsel veri madenciliği dalı olarak gelmektedir. Bu alandaki en önemli husus, ham metinlerin veya deşifrelerin makina öğrenmesi algoritmasında kullanılabilecek özelliklere nasıl dönüştürüleceğidir. Bu konuya yaklaşımlar, metinde mevcut olan her bir kelimenin sıklığını sayan basit “sözcük çantası” yöntemlerinden çok daha karmaşık dilbilimsel analizler aralığında değişim göstermektedir. Bulgular arasında tutarlılık gösteren bir tema, yorumlanabilir, teorik çerçeveler tarafından harekete geçirilen özellik temsillerinin en umut verici olanlardan olduğudur (Rose ve Tovares, basım aşamasında; Rose ve VanLehn, 2005). Bu nedenle, insana ait zaman ve düşünceleri bu bağımsız değişkenleri tanımlamak ve etiketlemek için kullanmak, ortaya çıkan modelin açıklayıcı gücünü büyük ölçüde artırabilir.

Açıklayıcı modellerin en fazla hareket kabiliyeti ile ilgili olan bir diğer özelliği de bağımlı değişkenlerin iyi tanımlanmış bir yapıya eşlenmesidir. Öğrenme hızı grupları ile ilgili çalışma buna bir örnektir: öğrencilerin sınıflandırıldığı gruplar önceden tanımlandığından, bir öğrencinin “dik” olanın aksine “düz” öğrenme eğrisi grubunda olmasının ne demek olduğu açıktır. Bu modellenmeden elde edilen sonuçları kolayca eyleme geçirir hale getirir. Bağımlı değişkenin yorumlanabilir bir yapıyla iyi eşleştirilme eğiliminde olduğu bir başka araştırma alanı, öğretici kayıt günlüğü⁶ özelliklerini kullanan etki ve motivasyon modellemesidir. Bu teknikler, öğretici kayıt günlüğü veri etkinliği içerisinde bu yapıları tanımlayabilen “saptayıcılar” geliştirmek ve düzeltmek için anketler veya uzman gözlemleriyle ölçülen önceden tanımlanmış psikolojik veya davranışsal yapıları kullanır (ör. Winne ve Baker, 2013; San Pedro, Baker, Bowers ve Heffernan, 2013; D’Mello, Blanchard, Baker, Ocumpaugh ve Brawner, 2014). “Algılaycılar” önceden belirlenmiş yapıları tanımlamak için özel olarak geliştirilmiştir ve bu nedenle bu algoritmaların sonuçları kolayca eyleme geçirilebilir. Örneğin, Affective AutoTutor, öğrencilerin kafa karışıklıklarını, hayal kırıklılıklarını ve sıkıntılarını gerçek zamanlı olarak otomatik olarak modelleyen bilgisayar okuryazarlığı için akıllı bir öğretici sistemdir. Bu duyuşsal durumların tespiti, öğretici eylemlerini buna göre cevap verecek şekilde uyarlamak için kullanılır. Bu duyuşsal algılayıcıda “döngüyü kapatmaya” yönelik deneysel bir çalışma, Affective Auto Tutor ile etkileşime giren düşük alan bilgisine sahip öğrencilerin için duyuşsal olmayan bir versiyona kıyasla daha yüksek öğrenme kazançları elde edildiğini göstermiştir (D’Mello vd., 2010). Ancak bu modelleme çabalarının tam olarak açıklayıcı olması için, duygusal çıktıları yürüten bağımsız değişkenlerin yorumlanmasına da ihtiyaç vardır.

Son olarak, açıklayıcı modeller daha az sayıda tahmini parametrelerle (bağımsız değişkenler veya özellikler) betimlenme eğilimindedirler. Örneğin, TFM her öğrenci için sadece bir parametre ve her bilgi bileşeni için iki parametre içerir. Öğrenme hızı gruplarını eklemek, modeli yalnızca bir ek parametreyle, grup üyeliğiyle genişletir. Bu da eklenen parametrenin katkısını kolayca temel alınabilir ve yorumlanabilir yapar. Daha az parametreye sahip olmak ayrıca belirsizlik sorunlarını hafifleterek her bir parametrenin kestirimlerinin daha açıklayıcı bir güce sahip olmasını sağlar. TFM’nin her bir BB için yalnızca bir zorluk parametresi ve bir öğrenme parametresi olduğundan, bir kişinin, örneğin, bir BB’nin ya düzeltme ya da öğretimsel iyileştirme gerektirdiğini öne süren düşük bir öğrenme parametresi tahminini anlamlı bir şekilde yorumlayabileceği söylenebilir.

Somut adımların eğitsel veri modelleme uğraşlarının tasarımında daha açıklayıcı modellere ulaştırabileceği bazı yollar gösterdik. Eğitsel veri madenciliği, öğrenme teorisi ve eğitim pratiği arasındaki ilişkiler, modellerin açıklayıcı gücüne ve gelecekteki öğrenme sonuçlarını etkileme yeteneklerine daha fazla önem verilerek büyük ölçüde güçlendirilebilir.

KAYNAKÇA

Barnes, T. (2005). The Q-matrix method: Mining student response data for knowledge. Proceedings of AAAI 2005: Educational Data Mining Workshop (pp. 39–46). Technical Report WS-05-02. Menlo Park, CA: AAAI Press. http://www.aaai.org/Library/Workshops/ws05-02.php

Cen, H., Koedinger, K. R., & Junker, B. (2006). Learning factors analysis: A general method for cognitive model evaluation and improvement. In M. Ikeda, K. Ashlay, T.-W. Chan (Eds.), Proceedings of the 8th International Conference on Intelligent Tutoring Systems (ITS 2006), 26–30 June 2006, Jhongli, Taiwan (pp. 164–175). Berlin: Springer-Verlag.

Clark, R. E., Feldon, D., van Merriënboer, J., Yates, K., & Early, S. (2008). Cognitive task analysis. In J. M. Spector, M. D. Merrill, J. van Merriënboer, & M. P. Driscoll (Eds.), Handbook of research on educational communications and technology (3rd ed.). Mahwah, NJ: Lawrence Erlbaum.

Corbett, A. T., & Anderson, J. R. (1995). Knowledge tracing: Modeling the acquisition of procedural knowledge. User Modeling & User-Adapted Interaction, 4, 253–278.

D’Mello, S., Blanchard, N., Baker, R., Ocumpaugh, J., & Brawner, K. (2014). I feel your pain: A selective review of affect sensitive instructional strategies. In R. Sottilare, A. Graesser, X. Hu, & B. Goldberg (Eds.), Design recommendations for adaptive intelligent tutoring systems: Adaptive instructional strategies (Vol. 2). Orlando, FL: US Army Research Laboratory.

D’Mello, S., Lehman, B., Sullins, J., Daigle, R., Combs, R., Vogt, K., Perkins, L., & Graesser, A. (2010). A time for emoting: When affect-sensitivity is and isn’t effective at promoting deep learning. In V. Aleven, J. Kay, & J. Mostow (Eds.), Proceedings of the 10th International Conference on Intelligent Tutoring Systems (ITS 2010), 14–18 June 2010, Pittsburgh, PA, USA (pp. 245–254). Springer.

González-Brenes, J. P., & Mostow, J. (2012). Dynamic cognitive tracing: Towards unified discovery of student and cognitive models. In K. Yacef, O. Zaïane, A. Hershkovitz, M. Yudelson, & J. Stamper (Eds.), Proceedings of the 5th International Conference on Educational Data Mining (EDM2012), 19–21 June, 2012, Chania, Greece (pp. 49–56). International Educational Data Mining Society.

Koedinger, K. R., Baker, R. S. J. d., Cunningham, K., Skogsholm, A., Leber, B., & Stamper, J. (2010). A data repository for the EDM community: The PSLC DataShop. In C. Romero, S. Ventura, M. Pechenizkiy, & R. S. J. d. Baker (Eds.), Handbook of educational data mining. Boca Raton, FL: CRC Press.

Koedinger, K. R., Corbett, A. T., & Perfetti, C. (2012). The knowledge-learning-instruction framework: Bridging the science-practice chasm to enhance robust student learning. Cognitive Science, 36(5), 757–798.

Koedinger, K. R., & McLaughlin, E. A. (2010). Seeing language learning inside the math: Cognitive analysis yields transfer. In S. Ohlsson & R. Catrambone (Eds.), Proceedings of the 32nd Annual Conference of the Cognitive Science Society (CogSci 2010), 11–14 August 2010, Portland, OR, USA (pp. 471–476). Austin, TX: Cognitive Science Society.

Koedinger, K. R., McLaughlin, E. A., & Stamper, J. C. (2012). Automated cognitive model improvement. In K. Yacef, O. Zaïane, A. Hershkovitz, M. Yudelson, & J. Stamper (Eds.), Proceedings of the 5th International Conference on Educational Data Mining (EDM2012), 19–21 June, 2012, Chania, Greece (pp. 17–24). International Educational Data Mining Society.

Koedinger, K. R., & Nathan, M. J. (2004). The real story behind story problems: Effects of representations on quantitative reasoning. The Journal of the Learning Sciences, 13(2), 129–164.

Koedinger, K. R., Stamper, J. C., McLaughlin, E. A., & Nixon, T. (2013). Using data-driven discovery of better cognitive models to improve student learning. In H. C. Lane, K. Yacef, J. Mostow, & P. Pavlik (Eds.), Proceedings of the 16th International Conference on Artificial Intelligence in Education (AIED’13), 9–13 July 2013, Memphis, TN, USA (pp. 421–430). Springer.

Lan, A. S., Studer, C., Waters, A. E., & Baraniuk, R. G. (2013). Tag-aware ordinal sparse factor analysis for learning and content analytics. In S. K. D’Mello, R. A. Calvo, & A. Olney (Eds.), Proceedings of the 6th International Conference on Educational Data Mining (EDM2013), 6–9 July, Memphis, TN, USA (pp. 90–97). International Educational Data Mining Society/Springer.

Lan, A. S., Studer, C., Waters, A. E., & Baraniuk, R. G. (2014). Sparse factor analysis for learning and content analytics. Journal of Machine Learning Research, 15, 1959–2008.

Li, N., Cohen, W., Koedinger, K. R., & Matsuda, N. (2011). A machine learning approach for automatic student model discovery. In M. Pechenizkiy et al. (Eds.), Proceedings of the 4th International Conference on Education Data Mining (EDM2011), 6–8 July 11, Eindhoven, Netherlands (pp. 31–40). International Educational Data Mining Society.

Li, N., Matsuda, N., Cohen, W. W., & Koedinger, K. R. (2015). Integrating representation learning and skill learning in a human-like intelligent agent. Artificial Intelligence, 219, 67–91.

Lindsey, R. V., Khajah, M., & Mozer, M. C. (2014). Automatic discovery of cognitive skills to improve the prediction of student learning. In Z. Ghahramani, M. Welling, C. Cortes, N. D. Lawrence, & K. Q. Weinberge (Eds.), Advances in Neural Information Processing Systems, 27, 1386–1394. La Jolla, CA: Curran Associates Inc.

Liu, R., & Koedinger, K. R. (submitted). Closing the loop: Automated data-driven skill model discoveries lead to improved instruction and learning gains. Journal of Educational Data Mining.

Liu, R., & Koedinger, K. R. (2015). Variations in learning rate: Student classification based on systematic residual error patterns across practice opportunities. In O. C. Santos, J. G. Boticario, C. Romero, M. Pechenizkiy, A. Merceron, P. Mitros, J. M. Luna, C. Mihaescu, P. Moreno, A. Hershkovitz, S. Ventura, & M. Desmarais (Eds.), Proceedings of the 8th International Conference on Education Data Mining (EDM2015), 26–29 June 2015, Madrid, Spain (pp. 420–423). International Educational Data Mining Society.

Liu, R., Koedinger, K. R., & McLaughlin, E. A. (2014). Interpreting model discovery and testing generalization to a new dataset. In J. Stamper, Z. Pardos, M. Mavrikis, & B. M. McLaren (Eds.), Proceedings of the 7th International Conference on Educational Data Mining (EDM2014), 4–7 July, London, UK (pp. 107–113). International Educational Data Mining Society.

MacLellan, C. J., Harpstead, E., Patel, R., & Koedinger, K. R. (2016). The apprentice learner architecture: Closing the loop between learning theory and educational data. In T. Barnes, M. Chi, & M. Feng (Eds.), Proceedings of the 9th International Conference on Educational Data Mining (EDM2016), 29 June–2 July 2016, Raleigh, NC, USA (pp. 151–158). International Educational Data Mining Society.

Nathan, M. J., Koedinger, K. R., & Alibali, M. W. (2001). Expert blind spot: When content knowledge eclipses pedagogical content knowledge. In L. Chen et al. (Eds.), Proceedings of the 3rd International Conference on Cognitive Science (pp. 644–648). Beijing, China: USTC Press. http://pact.cs.cmu.edu/pubs/2001_NathanEtAl_ICCS_EBS.pdf

Newell, A., & Simon, H. A. (1972). Human problem solving. Englewood Cliffs, NJ: Prentice-Hall.

Pardos, Z. A., Trivedi, S., Heffernan, N. T., & Sárközy, G. N. (2012). Clustered knowledge tracing. S. A. Cerri, W. J. Clancey, G. Papadourakis, K.-K. Panourgia (Eds.), Proceedings of the 11th International Conference on Intelligent Tutoring Systems (ITS 2012), 14–18 June 2012, Chania, Greece (pp. 405–410). Springer.

Rosé, C. P., & Tovares, A. (in press). What sociolinguistics and machine learning have to say to one another about interaction analysis. In L. Resnick, C. Asterhan, & S. Clarke (Eds.), Socializing intelligence through academic talk and dialogue. Washington, DC: American Educational Research Association.

Rosé, C. P, & VanLehn, K. (2005). An evaluation of a hybrid language understanding approach for robust selection of tutoring goals. International Journal of Artificial Intelligence in Education, 15, 325–355.

San Pedro, M., Baker, R. S., Bowers, A. J., & Heffernan, N. T. (2013). Predicting college enrollment from student interaction with an intelligent tutoring system in middle school. In S. K. D’Mello, R. A. Calvo, & A. Olney (Eds.), Proceedings of the 6th International Conference on Educational Data Mining (EDM2013), 6–9 July, Memphis, TN, USA (pp. 177–184). International Educational Data Mining Society/Springer.

Shmueli, G. (2010). To explain or to predict? Statistical Science, 25(3), 289–310. doi:10.1214/10-STS330

Stamper, J., & Koedinger, K. R. (2011). Human-machine student model discovery and improvement using data. Proceedings of the 15th International Conference on Artificial Intelligence in Education (AIED’11), 28 June–2 July, Auckland, New Zealand (pp. 353–360). Springer.

Trivedi, S., Pardos, Z. A., & Heffernan, N. T. (2011). Clustering students to generate an ensemble to improve standard test score predictions. Proceedings of the 15th International Conference on Artificial Intelligence in Education (AIED’11), 28 June–2 July, Auckland, New Zealand (pp. 377–384). Springer.

VanLehn, K. (2006). The behavior of tutoring systems. International Journal of Artificial Intelligence in Education, 16, 227–265.