Bölüm 21 Öz Yönetimli Öğrenme için Öğrenme Analitikleri

Philip S. Winne

Eğitim Fakültesi, Simon Fraser Üniversitesi; Kanada

DOI: 10.18608/hla17.021

ÖZ

Winne’nin bilişsel işlemler modelinde (2011, basım aşamasında) detaylandırdığı Winne-Hadwin (1998)’in öz yönetimli öğrenme modeli (ÖYÖ), hakkında öğrenme analitiği oluşturmak için veri türleri ve veri analizi ile ilgili temel konuları kavramsallaştırmak için bir çerçeve sunmaktadır. İzleme verileri, bir öğrenenin, ÖYÖ’yü oluşturan üst bilişsel izleme ve üst bilişsel kontrolü hakkında geçerli çıkarımları destekleyen gözlemlenebilir göstergeler olarak önerilir. Öğrenenlerin günlük incelemeleri gerçekleştirmek için kullanabildikleri ve yazılım aracılığıyla toplanan izleme verilerinin özellikleri açıklanmaktadır. ÖYÖ hakkında neyin izlenmesi gerektiği, ortam izleme verilerinin toplanmasında kullanılan araçların özellikleri, izleme ve tamamlayıcı verilerin analizinde ortaya çıkan bilgi işlemsel sorunları, öğrenme analitiklerinin zamanlaması, sunumu ve üretkenliği ÖYÖ’yü destekleyen öğrenme analitiğinde aktarılacak bilgi türleri ile ilgili kritik konular ele alınmaktadır.

Anahtar Kelimeler: Tane büyüklüğü, üst biliş, öz yönetimli öğrenme (ÖYÖ), izler

Öğrenme analitiğinin dört yaygın tanımı zikredilmiştir. Siemens (2010), öğrenme analitiklerini “bilgi ve sosyal bağlantıları keşfetmek, öğrenme hakkında öngörüde ve tavsiyede bulunmak için akıllı verilerin, öğrenenin ürettiği verilerin ve analiz modellerinin kullanılması” olarak tanımlamıştır. 1. Uluslararası Öğrenme Analitiği ve Bilgi Konferansının web sitesinde şu açıklamayı yayınlamıştır: “öğrenmeyi ve gerçekleştiği ortamları anlamak ve optimize etmek amacıyla öğrenenler ve onların bağlamları hakkındaki verilerin ölçümü, toplanması, analizi ve raporlanması”.¹ Educase (t.y), öğrenme analitiğini “öğrencilerin ilerlemesini ve başarımını tahmin etmek için veri ve modellerin kullanımı ve bu bilgilere göre hareket etme becerisi” olarak tanımlamıştır. Eckerson’un (2006) çizdiği çerçeveden yola çıkan Elias (2011), “öğrenme analitiği analizin modelleme kapasitesinden yararlanmayı amaçlamaktadır: davranışları tahmin etmek, tahminlere göre hareket etmek ve daha sonra, zaman içinde tahminleri iyileştirmek için bu sonuçları tekrar işleme dahil etmek (s. 5)” demiştir.

Bu tanımlar esasa ait soruları doğru kabul etmektedir. Öğrenme analitiği üreten yöntemlere girdi olarak hangi veriler toplanmalıdır? Bu soruyu cevaplamak, sınırları belirler ve ilki önce analitiklerin altında yatan hesaplamalara yaklaşımları ve ikinci olarak da analitiklerin olgular hakkında ne söyleyebileceğini şekillendirir. Örneğin, sıralı (sıralama) veriler, veriler üzerinde toplama veya bölme gibi aritmetik işlemlerin kullanılmasını önler. Veriler sıralı değilse, A, B’den büyük olarak tanımlanamaz ve geçişli ifadeler geçerli olmaz: A> B ve B> C ise, ardından A> C.

Hangi veri özellikleri, verilerden geliştirilen öğrenme analitiklerini temel alan müdahalelerin geçerliliğine dayanmaktadır? Örneğin, bir öğrenenin yaşının, cinsiyetinin veya laboratuvar grubunun sonuçları öngördüğünü belirlemek, başka veriler olmadan müdahale etmek için zayıf bir zemin sunar. Bu veri sınıflarının hiçbiri yasal olarak doğrudan sonuçların yakınsak (yani yeterli) bir nedeni olarak değerlendirilmez. Yaş ve cinsiyet manipüle edilemez; laboratuvar grubunu değiştirmek elverişli olmayabilir. (ör. diğer kurslarla veya işle olan zamanlama çatışmalarından dolayı) ve özellikle tahmin, nedenselliği çıkarsama için geçerli bir zemin sağlamaz.

Kim veri üretir? Öğrenme analitiği kime ulaşır? Öğrenme ekolojileri çoklu aktörleri içerir. Metin ve web sayfalarının yazarları, öğrenenlere ders çalışmalarında nasıl rehberlik edeceklerini gösterir; yazı tipi stilleri ve biçimleri (madde imli listeler, metni grafiğe dönüştüren kenar çubukları) örneklerdir. Öğretim tasarımcıları ve öğretenler, yazarların çalışmalarını, örneğin, öğrenme ve içerik oluşturma hedeflerini belirleyerek çoğaltırlar. Öğrenme için programlar oluşturur ve önerir; öğrenenlere geri bildirim için çoğu fırsatı kontrol ederler. Öğrenciler yalnız çalışırlar ve genellikle konular hakkında görüş alışverişinde bulundukları öğrenme etkinliklerinin ürünlerini paylaştıkları (ör. sorular, notlar) ve sosyal birimlerden ayrıştıkları çevrimiçi öğrenme gruplarını veya çalışma gruplarını oluştururlar. Yüksek okul veya üniversite, diğer aktörlerin çalışmalarının ortaya çıktığı maddi ve siber altyapıyı iyileştirmeye çalışır. Her bir aktör kategorisi veri üretir ve öğrenme analitiği için meşru bir adaydır.

Veri toplama, işleme koyma ve öğrenme analitiğinin dağıtımına ait -başlangıç, süre ve telafinin- zamansal nitelikleri nelerdir? Öğrenciler çalışırken mi öğrenme analitiğine erişecekler yoksa öğrenme analitiği ertelendiğinde bağlam konusunda hatırlatmaya ihtiyaç duyulacak mı? Zamansal sınırlayıcılar öğrenme zaman çizelgesi boyunca esnek şekilde mi veya katı bir şekilde mi konumlandırılmış? Kimin öğrenme modeli önemlidir -analizi yapanın mı yoksa öğrenenin mi?

Son olarak, öğrenme analitiklerinin geliştirmeye yardımcı olması gerekenler nelerdir? Gelişimi ölçmek için hangi standartlar kullanılmalıdır? Örneğin, öğrenme analitiği uygulamasından sonra bir öğrenen ders çalışmasında daha verimli hale gelir ancak başarı artmazsa, bu bir fayda mıdır? Öğrencilere akademik çalışmaların ötesindeki etkinliklere katılmaları için boş zaman yaratmanın değeri var mıdır?

Bu bölümde, öz yönetimli öğrenme odağından sapmadan, öğrenen baş aktör olarak konumlandırılmıştır. Diğer aktörlerin etkinlikleri, değişebilen ve belki de bir öğrenenin davranışından etkilenebilen dış koşullar olarak rol oynar.

Öz Yönetimli Öğrenme

Öz yönetimli öğrenme (ÖYÖ) için öğrenme analitiklerini kavramsallaştırmak için bir çerçeve kullanışlıdır. Öğrenciler öğrenmelerini kendileri düzenlerken “öğrenmek için ne yaptıklarını ve öğrenmeye yaklaşımlarındaki değişikliklerle hedeflerine ne kadar iyi ulaştıklarını aktif olarak araştırırlar” (Winne, 2010a, s. 472). Çokça atıfta bulunulan bir model, ÖYÖ’nün özelliklerini, bir görevin zaman çizelgesi üzerinde ortaya çıkan, seyrek olarak sıralanmış dört adet yinelemeli aşama olarak detaylandırır (Winne, 2011; Winne ve Hadwin, 1998).

1. aşamada, öğrenen bir öğrenme görevi üzerinde çalışmanın nasıl ilerlediğini etkileyebileceğini öngördüğü kısıtları ve kaynakları, bazı eylemlerin belirli sonuçları meydana getirme olasılığını ve bu faaliyetlerin sonuçlarını araştırır. Bu etkenler öğrenenden bağımsız olarak, öğrenme ortamında veya öğrenenin kendisinde bulunabilir. Dış etken örnekleri, akranlardan veya İnternet’ten edinilen bilgilere erişimi, çeşitli şekillerde öğrenmeyi desteklemek için tasarlanmış işlevlere sahip yazılım araçlarını ve bir görevde çalışmak için ayrılan zamanı içerir. İçsel etkenlerin örnekleri arasında bilgi ve kavram yanılgısı, göreve veya konuya olan ilgi veya yavaş ilerlemeyi düşük yetenekli veya daha fazla çaba göstermeye ihtiyaç duyduğunun bir işareti olarak yorumlamaya yönelik güdülenmiş bir eğilim vardır (bakınız Winne, 1995).

Kaynakları ve kısıtlamaları belirledikten sonra, 2. aşamada, öğrenen hedefler belirler ve onlara nasıl ulaşacağını planlar. Hedefler bir ürünün karşılaması gereken standartlardır. Etkileyici hedefler, öğrenenin mevcut sonuçlarını önceki sonuçlarla karşılaştırır; kişisel gelişimi (veya gerilemeyi) ölçer. Ölçüt referanslı hedefler bir ürünü, bir alandaki görev özellikleri veya başarıların sabit bir profili ile ilişkili olarak ölçer. Norm referanslı hedefler, bir öğrenenin bir ürününü bir akranınınkine veya bir grubunkine göre konumlandırır. Karşılaştırmalar, bir öğrenen, bir öğreten veya başka bir kişi tarafından düzenlenebilir. Hedeflerin hangi işlemin kullanıldığı, sürecin gerçekleştirilmesine yönelik harcanan çaba, sürecin etkinliği ya da bir sürecin belirli bir ürün sağlama olasılığını arttırma gibi öğrenme süreçlerinin özelliklerine yönelik olduğuna dikkat etmek önemlidir. Hedefler ayrıca kendi başına ürünler ve özellikleri bakımından da belirlenebilir; örneğin, yazılan kompozisyonun sayfa sayısı, azalan kaygı veya anlatımın kusursuzluğu. Planlar, bir öğrenenin hedeflere ulaşmak için yapmayı düşündüğü eylemleri tanımlar. Her eylem potansiyel olarak birden fazla ürün üretir. Önemli ürünler bilgi dağarcığına eklenen yeni bilgileri, düzeltilen hataları, doldurulmuş boşlukları veya giderilen yanlış anlamaları içerir. Ürünler ayrıca, öğrenenin ilerleme hızı, harcanan çaba, keşif fırsatı veya başkalarını etkileme beklentilerini içerebilir.

3. aşamada, öğrenen planlanan işlemleri gerçekleştirerek görevle meşgul olur. Bir görev üzerinde çalışmak, kendiliğinden görev koşullarını güncelleyen geri bildirim oluşturur. Geri bildirim, yazılımın bip sesi çıkarması veya çevrimiçi bir tartışmaya yapılan bir katkı hakkında bir arkadaş yorumunda olduğu gibi, öğrenenin dış ortamında ortaya çıkabilir. Veya, bir arama sorgusunun getirdiği sonuçların beklenildiği gibi olmaması ya da belirli bir bilgiye olan ihtiyacı karşılamaması nedeniyle verimsiz sayıldığı durumlarda olduğu gibi geribildirim öğrenenin iş akışını izlemesinin bir sonucu olarak içsel bir şekilde ortaya çıkabilir. Öğrenenin bir görevin zaman çizelgesi üzerindeki koşullara ait güncellemeleri izlemesi mütevazı “ders düzeltmeleri” ile sonuçlanabilir. Hedeflerin güncellenebileceğini açıkça belirtmekte fayda var.

4. Aşama, öğrenenin görevden ayrıldığı zaman, 1 ile 3 arasındaki bir veya birkaç aşamada sonuçları izler ve büyük ölçekli bir değişiklik yapmak için seçimde bulunur. Bir öğrencinin bir problemi çözme konusundaki işi askıya alması ve bilgideki büyük boşlukları gidermek amacıyla belirlenmiş okumaları incelemeye geri dönmesi veya telafi çalışmasının başarılı olmaması durumunda, öğrenenin eğitmenden yardım istemesi örnekler arasındadır. Çok değişkenli profili büyük ölçüde yeniden şekillendiren değişiklikler göreve her en uygulanabilir. veya daha sonra kullanılmak üzere “ileriye yönelik transfer” olarak adlandırılan değişiklik için planlar yapılabilir.

Tablo 21.1. AİBTD² Bilişsel İşlemler

5 Satırlı bir şema ÖYÖ’nün her evresindeki ögeleri tanımlar KİÜDS (Winnie, 1997) kısaltmasının ilk harfleri bu şemadaki 5 ögeyi temsil eder. K koşulları ifade eder. Bunlar, öğrenenin algıladıkları, görevin aşamaları boyunca çalışmayı etkileyen özelliklerdir. Örneğin, 3. aşamada üretilen bir ürünün izlenmesi için bariz bir standart yoksa, öğrenen standartları aramayı seçebilir veya görevi çok riskli olarak bırakabilir. Koşullar, daha önce belirtildiği gibi iki ana sınıfa ayrılır. Dahili koşullar, öğrenenin çalışılan konu ve öğrenme yöntemleri hakkında bilgi birikiminin yanı sıra, öğrenenin kendisi, öğrenilen konu ve bu bağlamda harcanan çaba hakkındaki güdüsel ve duyuşsal görüşleridir. Harici koşullar, ortamdaki dahili koşulları veya KİÜDS’nin diğer iki yönünü, operasyonlarını ve standartlarını potansiyel olarak etkilediği algılanan faktörlerdir.

KİÜDS şemasında İ, işlemleri temsil eder. Birinci dereceden veya iptidai bilişsel işlemler, bilgileri daha fazla ayrışamayacak şekilde dönüştürür. Ben beş işlem önerdim: arama, izleme, birleştirme, tekrarlama ve dönüştürme; AİBTD işlemleri (Winne, 2011). Tablo 21.1, her biri işlemin meydana geldiğini gösteren izler -gözlemlenebilir davranış- örnekleri ile birlikte açıklamasını içerir. Çalışma taktikleri ve öğrenme stratejileri gibi ikinci -ve daha yüksek- düzey biliş tanımları, AİBTD işlemlerinin bir örüntüsü olarak modellenmiştir (bk. Winne, 2010a). Örnek bir çalışma taktiği “Tanım içeren her cümlenin vurgulanması”dır. Örnek bir öğrenme stratejisi “Ödev olarak verilmiş bir okumadaki anket başlıklarının araştırılması, her biri hakkında önemli bir soru ortaya çıkarılması, ardından tüm okuma görevini tamamladıktan sonra anlamayı test etmenin bir yolu olarak her soruyu cevaplamak için geri dönülmesi”dir.

Ü, KİÜDS şemasındaki ürünleri temsil eder. İşlemler, her zaman istenilen türde olmasa da, kaçınılmaz olarak ürünler yaratır. Bir ürün, İngiliz hükümdarlarının sıralı listesi veya örneğin, sosyal medyadaki gizlilik riskleri veya bir katalizin açıklanması argümanları gibi karmaşık olabilir. D bir ürünün değerlendirmesini ve S ise Standartları temsil eder. Bir ürün için standartlar bir hedef teşkil eder.

Öğrenme analizlerinin öğrenenleri nasıl bilgilendirebileceği ve onlara fayda sağlayabildiğini göz önünde bulundurmada, ÖYÖ’nün daha ileri ve önemli iki özelliği önemlidir. İlk olarak, ÖYÖ şartlara, işlemlere veya standartlara uygulanan bir ayardır. Bu nedenle, ÖYÖ yalnızca verinin olduğu zaman gözlemlenebilir. İkincisi, öğrenenler etkin öznelerdir. Öğrenmelerini bazı esnek olmayan ve şekillendirilebilir kısıtlamalar dâhilinde, çalıştıkları koşullar altında düzenlerler. Ancak etkin özne olarak öğrenenler her zaman ve öğrendikçe doğal olarak seçime sahiptir. Bir öğrenen, “Yapmam gerektiğinden yaptım” diye düşünebilir. Bunun geçerli bir yorumu, öğrenenin bunu yapmayı, yapmamayı öngören sonuçlar oldukça nahoş olduğu, ne pahasına olursa olsun bunu yapmak ağır bastığı için seçtiğidir.

KİÜDS modeli, ÖYÖ hakkında öğrenme analitiğinin geliştirilebileceği veri sınıflarını tanımlar. Bir sonraki ana bölümde ben, kökenleri ile ayırt edilen dört ana veri sınıfını açıklıyorum: izler, öğrenen geçmişi, raporlar ve çalışılan materyaller. Aşağıdaki ana bölümde, ÖYÖ ile ilgili olarak öğrenme analitiği için hesaplamaları ve raporlama formatlarını inceliyorum. Bu bölümler birlikte, öğrenenlerin ÖYÖ’sünü desteklemek için tasarlanan öğrenme analitiği mimarisini açıklar. Son bölümde, ben ÖYÖ’yü destekleyen öğrenme analitiği tasarlama konusunda çeşitli zorlukları öne sürüyorum.

ÖĞRENME VE ÖYÖ HAKKINDA ÖĞRENME ANALİTİĞİ BİLGİLERİ

Öğrenciler çalıştıkça, doğal olarak ortam verileri oluşturur (bazen birikim verileri olarak adlandırılır; Webb, Campbell, Schwartz ve Sechrest, 1966). Ortam verileri, faaliyetlerin doğal seyri sırasında ortaya çıkar. Örneğin, bir web kaynağını açmak için bir köprüye (hyperlink) tıklamak, mevcut bağlam (belki de sadece kaynağın başlığı olmak üzere) ne olursa olsun, öğrenenin biliş ve motivasyonuna ilişkin verilerdir, öğrenenin onun içinde bilgi öngörmesi, onu görüntülemeyi motive edecek yeterli değere sahiptir. Bu tıklama, bir veya daha fazla bilişsel, duyuşsal, üst bilişsel ve güdüsel durum ve süreç hakkında göreceli olarak güçlü çıkarımlar sağlayan bir iz, bir parça ortam verisidir (BDÜBG süreçleri; Azevedo, Moos, Johnson ve Chauncey, 2010). Sağladıkları izler ve çıkarımlar için iki örnek daha veriyorum. İzleme verilerine dayanan çıkarımların geçerliliği her zaman <1.00 (kesinlik) olasılığı ile nitelendirilmesinin gerektiği açık bir uyarıdır.

Cümlenin Bir Bölümünün Altını Çizmek. Genel bir çalışma oturumunda okunan yüzlerce cümleyi vurgulamak için belirli bir metni seçmede, öğrenen metindeki bilginin niteliklerini standartlara göre üst bilişsel olarak izler. Standartlar, altı çizilmemesi gereken metinden altı çizilmesi gereken metni ayırt eder. Öğrenci tanım veya ilkeler gibi “yapısal” özellikler veya ilginçlik veya yenilikçilik gibi motivasyonel / duygusal özellikler hakkındaki bilgileri izleyebilir. Yazarlar genellikle yazı biçimleri (ör. italik) veya kelime öbeği kullanılarak vurgulanması gereken bilgileri işaret etmeye çalışır: “İlginçtir ki…” bir vurgu, öğrenenin vurgulanan metni incelemeyi planladığını da gösterir. Öğrenci seçilen metni başka neden kalıcı olarak işaretlesin ki?

Bir Notu Gözden Geçirme. Belirli bir notu gözden geçirmeden önce, öğrenen neyin hatırlanabileceğini veya belirli bilgilerden ne anlaşıldığını üst bilişsel olarak izlemeye çalışır. Öğrenci, belki de yanlış, eksik veya belirsiz olduğu için hatırlatma yeterince yetersiz olduğuna karar verildiğinde, yeniden incelemeyi seçer. Belirli bir notu aramak ve tekrar incelemek, öğrenenin algıladığı sorunu çözmek için motivasyonu gösterir. Öğrenci, gözden geçirilen nottaki bilgilerin altını çizerse, bu öğrenenin hangi belirli bilgileri izlediğini ve yetersiz olduğu hükmüne vardığını belirler.

Dört özellik, ÖYÖ’yü desteklemek ve öğrenme analitiği oluşturmak için toplanan ideal iz verilerini tanımlar. İlk olarak, öğrenenin öğrenme sırasında gerçekleştirdiği işlemlerin örnekleme oranı büyüktür. Bir öğrenme bölümündeki her işlem izlenir. İkinci olarak, çalışılan bilgi tanımlanabilir. Üçüncüsü, izlerin zamanı bellidir. Dördüncüsü, işlem(ler)in ürün(leri) kaydedilir. Bu 4-parçalı yapıya sahip veriler, ideal bir kayıt makinesinin bir öğrenme bölümü hakkındaki verileri okumasına ve onun her öğrenme olayının ve sonuçlarının mükemmel bir şekilde yansıtılmış yorumunu çıkarmasına izin verir. 4-parçalı izleme verisi ile zengin öğrenme analizleri üretmek için ham madde mevcuttur.

Gerçekte, her iz verisi hafif derecede kusurludur ve güvenilmezdir. Örneğin, bir vurgu bir izleme işlemini izler ve işaretlenmiş içerik ve işaretin kendisinden oluşan bir ürün oluşturur. Gelecekte, bu işaretlenmiş içerik, odaklanılmış gözden geçirmeyi kolaylaştıran bir durumdur. Bir vurgu ile net bir şekilde ortaya çıkmayacak olan şey, öğrenenin bu içeriği seçmek için kullandığı standartlarıdır. Daha iyi tasarlanmış izler bu açığı azaltabilir. Öğrenciler içeriği etiketlemeye davet edilirlerse, -ilginç, önemli, net olmayan, proje1, anlatMike’a- etiketleriyle vurgularlar, öğrenenin uyguladığı her etiket vurgulanan bilgiyi üst bilişsel olarak izlemek için kullanılan bir standardı gösterir. Bazı durumlarda, bir etiket bir plan hakkında daha güçlü bir işareti ortaya çıkarır, örneğin, bu içeriği proje1’de kullanın, bir sonraki sohbette Mike’a bu içeriği anlat.

Öğrenen Geçmişi

Bir öğrenenin faaliyetler geçmişini yansıtmak için izleri kaydetme araçları en az üç ortamda bulunur: basılı materyal sistemleri, öğrenme yönetim sistemleri ve öğrenenlere çalışmak için “anında” araçlar sunan sistemler.

Kâğıt Sistemleri. Basılı materyali esas alan öğrenme ortamlarında, öğrenen izlerine ilişkin örnekler, altı çizilen içerikleri, notları, ders kitabının beyaz boşluklarına eklenmiş “!,” “?” ve “√” gibi kenar notları, kullanım sırasına göre üst üste istiflenmiş bir yığın kitap veya kâğıtlar (ör. en üstteki en son kullanılan) ve defterin kenarına yapıştırılmış, çeşitli notların yer aldığı farklı renklerdeki postitlerdir.

“?” simgesini bir öğrenenin ders kitabı sayfasının beyaz boşluklarına yazdığı bir sembol olarak ele alalım. Bu sembol, öğrenenin içeriğin anlamını üst bilişsel olarak izlediğini ve onu tamamen kavramak için gereken bilgiyi anlaşılmaz veya eksik olarak değerlendirdiğini gösterir. Başka bir çıkarım yapmak da mümkündür. Öğrenci neden kenardaki “?” sembolünü yazmak için çaba harcasın? kenardaki sembol? Bir sembolü kaydetmeden içerik, kafa karıştırıcı veya eksik değerlendirilebilir. Olasılıklar öğrenenin motive olduğu ve bu boşluğu gidermeyi planladığı ve anlamayı geliştirmek için metni çevreleyen içeriğe geri döneceği şeklindedir.

Öğrencileri kâğıt tabanlı bir ortamda izleme yapması kolayken, öğrenme analitiğini hesaplayan yöntemlere girdi olarak kâğıtla ilişkili izleme verilerini toplamak ve hazırlamak yoğun bir emek gerektirir. Yazılım destekli ortamlarda bu yük büyük ölçüde azalır.

Öğrenme Yönetim Sistemleri. Günümüzün öğrenme yönetimi sistemleri, giriş ve çıkış, görüntülenen veya indirilen kaynaklar, yüklenen ödevler, denenen ögelerin test edilmesi ve herhangi birine veya belirli akranlara forum gönderileri gibi birkaç zaman damgalı öğrenenin çalışma izlerini sorunsuz bir şekilde kaydeder. Bazı basit arayüz özellikleri ekleyerek, hedefler çıkarılabilir. Örneğin, “uygulama testi” etiketli bir düğmeye tıklanması, öğrenenin bilginin eksik olduğu ya da güvenilirliğinin bir eşik değerin altında olduğu konusundaki kararını izler. Toplam izleme verileri, 1) öğrenenlerin, erteleme ile ilgili çıkarımları destekleyen tercih ettikleri çalışma programları, 2) hangi kaynakların daha ilgili veya çekici olduğuna yönelik kararları, 3) öğrenme ve etkililik hakkındaki kararlarını ayarlama güdüsü ve 4) akranlarla bilgi alışverişinde bulunarak, edinmeye veya netleştirmeye atfedilen değerler hakkında yapılan çıkarımları destekler.

Zaman akışında toplanan izler, öğrenenlerin bir kaynağı ilk kez ne zaman okuduğunu, bir kaynağı ne zaman incelediğini, kendilerini test etmeyi seçtikleri zamanı ve soru maddelerindeki seçimlerini işaretleyebilir. Tamamlanan kredi saatleri veya bilgi alışverişinde bulunan akranların özellikleri gibi faktörler hakkındaki diğer verilerle birleştiğinde, bunlar gibi izleyiciler, öğrenenlerin çalışma-inceleme-uygulama-test döngüsünü (Arnold ve Pistilli) öz yönetimli çalışmaları hakkında modeller oluşturmak için kaynak materyal sağlarlar. (Arnold ve Pistilli, 2012; Delaney, Verkoeijen ve Spirgel, 2010; Dunlosky ve Rawson, 2015).

Öğretenler veya kurumlar, öğrenci bir öğrenme yönetimi sistemi kullanmalarını istediğinde, sistemin günlük kullanımı sırasında ortam verileri oluşur. İzleme verilerini toplamak ve bunları öğrenme analitiği üreten hesaplamalara girdi olarak hazırlamak için yapılan maliyetler çok düşüktür.

Çoğu öğrenme yönetim sistemi, öğrenenlerin çalıştıkları veya gözden geçirdikleri sırada yaptıkları ve hangi bilgileri okuduklarını ve incelediklerini izleme işlemleriyle ilgili kayıtlarda hassasiyetten yoksundur. İndirilen kaynaktaki zaman damgası izi, öğrenenin bu içeriği çalışıp çalışmadığı veya nasıl çalıştığı hakkında hiçbir bilgi sağlamaz.

Çalışılacak Yazılım Araçları. Winne ve Baker (2013) motivasyon, üst biliş ve ÖYÖ’yü üç başlı yönetime aday göstererek “öğrencilerin neden ve nasıl bilgi, inanç, tutum ve ilgi geliştirdiği hakkında bir hesabın büyük kısmını mühendislik için hammadde olarak belirlemişlerdir” (s.1). Bu faktörlerle ilgili izleme verilerini madencilik yaparak öğrenme çıktılarını iyileştirme konusunda araştırma yapmak için göstergeleri işlemselleştirmek, bu yapıları takip eden verileri toplamak ve yapılar hakkındaki sinyalleri gizleyen gürültüyü filtrelemek (ayrıca Roll ve Winne, 2015a) olmak üzere üç zorluk belirttiler.

İşlemsel göstergeler -KİÜDS’nin izleri- yazılım geliştiricilere öğrenme hakkında denemeyi desteklerken ve bir öğrenenin tercih ettiği çalışma alışkanlıklarını zorlamadan izleme verilerini toplama fırsatlarını optimize eden arayüzler tasarlamada hayal gücünü kullanma çağrısında bulunur. Tablo 21.2, öğrenenin yazılım araçlarını kullandığı bağlamda izleme verilerini toplama fırsatlarının örneklerini sunmaktadır:

• Atanan okumalar içeren bir kütüphanede, bir öğreten tarafından sağlanan kaynakları destekleyen ve öğrenenin oluşturduğu eserleri (ör. terimler, notlar) içeren bilgileri arayın.

• Vurgulamak veya etiketlemek için atanmış bir okumadaki içeriği seçin.

• Açıklama notunu web formunda bir şemaya uygun yerlerle kaydeden, şema ile yapılandırılmış bir not oluşturun, ör. TERİM NOTU: terim, tanımlama, örnek, ayrıca bakınız…. veya TARTIŞMA NOTU: tez, kanıt, haklı neden, karşı tez, benim görüşüm.

• Öğeleri klasör benzeri bir dizinde düzenleyin.

4. Aşama, taktikleri ve öğrenme stratejilerinin stratejik revizyonu, Tablo 21.2’ye dâhil edilmemiştir; ÖYÖ için Öğrenme Analitiğinin sonraki bölümünde ele alınmaktadır.

Winne ve Baker’ın (2013) belirttiği gibi, “Öz yönetimli öğrenme (ÖYÖ) üst bilişsel güdümlü motivasyonun davranışsal bir ifadesidir” (s. 3). Sonuç olarak, her iz nasıl öğrenileceği konusuna odaklı bir seçim kaydeder. KİÜDS modelinin özelliklerini temsil etmenin ötesinde, izler, öğrenenlerin alternatif hedefler arasında seçimleri işlemsel kılan değerli çabaya ilişkin inançlarını ortaya koymaktadır.

Öğrenci Raporları

Yazılı anketler ve sözlü raporlar, öğrenme olaylarıyla ilgili veri toplamak için yaygın yöntemlerdir. Sözlü raporlar, bir çalışma oturumunun zamansal sınırları dışındaki görüşmeler yoluyla veya sesli düşünme raporları olarak öğrenme sırasında eylem anında edinilebilir.

Hem kâğıt temelli (veya elektronik olarak sunulan) anketlerde hem de sözlü raporlarda, öğrenenlerden KİÜDS’nin bir veya daha fazla özelliğini tanımlamaları istenir. Bilgi isteminin niteliği kritiktir çünkü bir işbirlikli öğrenen neyi rapor edeceğine karar vermek için standartlar belirlemede kullandığı çeşitli dış koşulları belirler. Kapsamlı bir inceleme bu bölümün kapsamı dışındadır; bk. Winne ve Perry (2000) ve Winne (2010b). Genel olarak, anket verileri sadece zayıf bir bağlamda olduğundan (ör. çalışırken, ne kadar sıklıkla …/ sizin için … ne kadar önemli?) ve her türlü kişisel rapor verisinin kaybı, çarpıtılması ve önyargısı olması nedeniyle ve insan hafızasının zayıflıklarından ötürü, bir öğrencinin herhangi bir belirli eğitim bölümünde öğrenmeye nasıl devam ettiğini veya koşullar değiştikçe öğrenmenin nasıl değiştiğini (öz-düzenlemeli) güvenilir bir şekilde göstermeyebilirler. Ancak öz raporlama verileri önemlidir, çünkü öğrenenlerin KİÜDS hakkındaki inançlarını güvenilir bir şekilde yansıtırlar. İnançlar, öğrenenlerin görevler, kendileri ve kendileri için belirledikleri standartlar hakkında nelere dikkat ettiğini gösterir.

Çalışılan Malzemeler

Birlikte çalıştıkları materyaller öğrenenlerin ÖYÖ ile nasıl muhatap olduklarına bağlı olabilecek koşullar hakkındaki veri kaynaklarıdır. Metinler okunabilirlik³ ve uyum dâhil olmak üzere çeşitli analitiklerle tanımlanabilir (ör. Coh-Metrix⁴). İçerik, öğrenenlerin öğrenmeye fırsat verdiği ölçüde ve bir öğrenenin önceki etkileşimlerden öğrendiklerinin özelliklerini belirterek dizinlenebilir. Bir öğrenenin çalıştığı materyaller, ikinci dereceden bir ifadenin kelimeler(semantik), bir denklem (sembolik) ve bir grafik (görsel) formları tarafından tanımlanması gibi, örnekler ve çok kanallı bilgi sunumları gibi retorik özelliklerin varlığı için tanımlanabilir.

Tablo 21.2. ÖYÖ’nün Aşamaları Hakkında Örnek İzler ve Çıkarımlar

ÖYÖ İÇİN ÖĞRENME ANALİTİĞİ

ÖYÖ’yü desteklemek için öğrenme analitikleri genel olarak iki unsurdan oluşacaktır: hesaplama ve öneri. Hesaplama -ör. mevcudiyet, sayım, oran, süre, olasılık hakkındaki- bir veya daha fazla çalışma dönemi sırasında gerçekleştirilen eylem izlerine dayanır (Roll ve Winne, 2015a). Sayısal bir rapor, görselleştirme ile birlikte veya görsel olarak iletilebilir. Örnekler, birkaç web sayfasını incelerken oluşturulan vurguların, etiketlerin ve notların göreceli oranlarını, belirli izlerin ne zaman oluşturulduğunu gösteren noktalarla işaretlenmiş bir zaman çizelgesini ve çalışma sırasında her terimin ne sıklıkla çalıştırıldığını gösteren ısı haritası desenlerine sahip bir sözlükte (bir terim başka bir terim kullanılarak tanımlandığında düğümleri bağlayan) terimler arasındaki ilişkileri gösteren bir düğüm-bağlantı grafiği gösteren yığılmış bir çubuk grafik olabilir. Bu unsur doğrudan veya dönüşümle, öğrenenin katılım tarihinde izlenen KİÜDS’yi açıklayan bilgileri yansıtır. Tablo 21.3, yansıtılabilecek izleyici izleme verilerini göstermektedir.

Öğrenciye geri yansıtılan “basit” bir iz verisi geçmişi diğer veriler tarafından ayarlanabilir veya kavramsallaştırılabilir. Bu veriler: uzunluk veya okunabilirlik dizini gibi materyallerin özellikleri, öğrenciyi tanımlayan demografik veriler (örneğin, önceki başarıları, çalışma dışı saatleri, posta kodu), erteleme eğilimi, bir sosyal ağdaki derecesi (öğrenenin bilgi alışverişinde bulunduğu kişi sayısı) veya öğrenim bağlamı (MOOC ya da yüz yüze eğitim, notlandırılacak bir son nüshayı teslim etmeden önce akran incelemesi için taslakları gönderme imkanı) gibi diğer karakteristik özelliklerdir.

ÖYÖ ile ilgili öğrenme analitiğinin ikinci unsuru, öğrenmenin nasıl yapıldığına dair neyin değişmesi gerektiği ve onu nasıl değiştireceğiniz konusunda yol gösterici bir öneridir. Öğrenciler, üç KİÜDS cephesini doğrudan kontrol edebilir: işlemler, standartlar ve bazı koşullar (Winne, 2014). Ürünler sadece dolaylı olarak kontrol edilebilir çünkü özellikleri 1) bir öğrencinin yapabildiği ve değişkenlik yapmayı seçtiği koşullar, özellikle de işlemler için seçilen bilgiler; ve 2) öğrenenin bilgiyi kontrol ederken hangi işlem (ler)i seçtiği görevindedir. Değerlendirmeler, ürün özelliklerinin eşleşmesi ve bir öğrenenin bu ürünler için uyguladığı özel standartlar ile belirlenir. Değişen koşullar, işlemler veya standartlarla ilgili öneriler; teoriye, öğrenme bilimindeki araştırmalardan elde edilen bulgulara veya bir birleşime değil; veri madenciliğinden elde edilen bulgulara dayandırılabilir.

Tablo 21.3. ÖYÖ’deki ​​KİÜDS Yönlerini Anlatan Analitik

Bir öneri teklif edilse de edilmese de öğrenenin davranışındaki değişiklik, öğrenenin 1) öğrenmeye yönelik önceki yaklaşımların yeterince etkili veya tatmin edici olup olmadığı ve 2) öğrenenin öneri veya uyarlamasını benimseyerek fayda sağladığı yönündeki değerlendirmesini izler. Bu anlamda, öğrenme analitiği önceki dış koşulları günceller ve yeni iç koşulları sağlar. Birlikte, bir eylem için potansiyel oluşturulur ancak bu sadece aşağıda belirtilen iki nedenden ötürü bir potansiyeldir. Birincisi, öğrenenler bir öneriyi nasıl yürürlüğe koyacaklarını ya da öneriyi yürürlüğe koyacak beceriye sahip olup olmadıklarını bilemeyebilirler. İkincisi, öğrenenler etkin özne oldukları için kendi öğrenmelerini kontrol ederler. Winne ve Baker’ın (2013) belirttiği gibi:

ÖYÖ’yü diğer düzenleme ve karmaşık bilgi işlem biçimlerinden ayıran şey, bir öğrenenin aradığı hedefin bütünleşik olarak bağlantılı iki yüzü olmasıdır. Bir yön, başarıyı olabilecek en yüksek seviyeye çıkarmaktır. İkinci yön, başarının nasıl inşa edildiğini optimize etmektir. Bu öğrenme süreçleri ve bu süreçlerin üzerinde çalıştığı bilgi türleri hakkındaki seçimler üzerinde değişen boyutları olan bir alanda gezinme yollarını içerir (s 3).

Bu nedenle, öğrenme analitikleri, öğrenenlere ÖYÖ de egzersiz yapma fırsatı verir ancak öğrenen ne yapılacağına karar verir. Bu mantığın önemli bir sonucu var. Bir öğrenme analitiği eylem önerisi olmadan sunulursa, öğrenenin daha önce kendi başına pratik yapabildiği seçenekleri araştırmak için bir fırsat ortaya çıkar ve şimdi pratik yapmayı seçer. Başka bir deyişle, öğrenme için motivasyon ve mevcut taktikler, eylem önerileri ve rehberliği kullanmayan analitiklerle değerlendirilebilir.

ÖĞRENME ANALİTİĞİNİN ÖYÖ’YE İLİŞKİN KARŞILAŞTIĞI ZORLUKLAR

ÖYÖ’ye destek olan öğrenme analitiği araştırmaları henüz gelişmemiştir. Alan, ne izlenmesi gerektiği, izleri toplamak için enstrümantasyon, öğrenme etkinliklerini aşırı derecede rahatsız etmeden veri toplamayı optimize eden arayüzler, ÖYÖ ile ilgili verileri analiz eden hesaplama araçları, diğerleriyle veri takibini planlayan hesaplama araçları ve öğrenme analitiğinde aktarılan bilgilerin özellikleri (Baker ve Winne, 2013; Roll ve Winne, 2015b).da dâhil olmak üzere yeni sınırları oluşturmaya başlamıştır. Bu pek çok konu arasında, birçoğu odaklı keşfi desteklemektedir.

İnce Taneli

Öğrenme olaylarının özellikleri, ince taneli zaman birimlerinde (ör. onlarca milisaniye) işaretlenen zaman çizelgesi boyunca gerçekleştirilen ayrı tuş vuruşlarından ve tıklamalardan çok kaba zaman boyutlarına (ör. bir web sayfasının URL’si ve yüklendiğinde, öğrenenin çok maddeli bir uygulama testindeki toplam puanı) izlenebilmektedir. İnce taneli verilerin toplanması için farklı yöntemler, KİÜDS’nin farklı özelliklerini gösterir. Bu, öğrenenlerin ÖYÖ’ye nasıl katıldığına dair çeşitli görüşler verirken, birçok soru ortaya çıkar.

Birincisi, ÖYÖ’nün tasvirleri ve öğrenmeyi uyarlama önerileri farklı ince taneli verilerden oluşan öğrenme analitikleri arasında nasıl değişiklik gösterecektir? Kimyaya bir benzetme yapılabilir. Kimyasal özellikler ve kimyasal etkileşimlerin modelleri, birimin bir element, bir bileşik veya bir karışım olmasına bağlı olarak değişir. Bir birleştirme işlemi ile manipüle edilen bilgiler için iki adet ince tane büyüklüğünü göz önünde bulundurun: 1) bir web sayfasını okurken etiketlemek için seçilen metin parçacıkları ve 2) bir öğrenenin başlıklı (etiketli) bir klasörde dosyaladığı alıntılar, notlar ve yer imlerinin tümü. Gelecekteki araştırmalar, bir tane büyüklüğündeki⁵ birleştirmenin başka bir tane büyüklüğünde birleştirmeye göre öğrenme için farklı etkileri olduğunu ortaya çıkarabilir.

Tane büyüklüğü önemliyse, bir öğrenme analitiği oluşturma yaklaşımlarının yalnızca -öğrencinin ne yaptığı- ve hangi işlemlerin uygulanıp uygulanmadığını değil, aynı zamanda hangi işlemlerin uygulandığı bilgisinin özelliklerini de dikkate alarak fayda sağlayabileceğidir. ÖYÖ için öğrenme analitiği, KİÜDS’nin sayıları, diğer niceliksel tanımların, koşulların, ürünlerin ve standartların anlamsal, sözdizimsel ve retorik özellikleriyle harmanlayarak yarar sağlayabilir.

Genel olarak ÖYÖ’nün büyük taneli yansımaları ancak zorunlu olmamak kaydıyla, daha ince taneli veriler kullanılarak oluşturulduğundan, istatistiksel hesaplamaların geliştirilmesinde ve kullanılmasında bir başka sorun ortaya çıkar. Öğrenmenin daha geniş tanecikli özellikleri ile korelasyon ve uzaklık ölçütleri gibi ÖYÖ arasındaki ilişkileri tanımlayan istatistiksel açıklamalar daha ince taneli bileşenleri paylaşabilir. Bu doğası gereği parça bütün ilişkilerini tanıtır. Bu önemli mi?

Zaman

Başarının zamanla nasıl çalıştığını araştıran, inceleyen ve test eden bölümler (Delaney vd., 2010), unutma olgusu (Murayama, Miyatsu, Buchli ve Fırtına, 2014) ve yaz tatili boyunca bilginin kaybolmasını kapsayan(Cooper, Nye, Charlton, Lindsay ve Greathouse, 1996) öğrenme bilimi araştırmaları dışında zaman verileri kullanılmamıştır. Analitiklerin öğrenilmesinde kullanılan izler ve diğer veriler, zaman damgası ile desteklenebilir. KİÜDS ve daha kalın tanımlı tanımlayıcıların zamansal özelliklerinin, her inceleme bölümü içinde ve bir dizi bölüm boyunca ortaya çıkan bir süreç olarak ÖYÖ ile ilgili öğrenme analitiğinde nasıl faydalı rol oynayabileceğini araştıran birçok araştırma mevcuttur. Bu araştırmanın odak noktalarından biri, KİÜDS olaylarındaki zaman içindeki örüntüleri tanımlamaktır (Winne, Gupta ve Nesbit, 1994). Buradaki can sıkıcı sorular, içinde örüntülerin arandığı bir pencerenin zaman aralığının ve kapsamlı bir örüntüde odaklanmayan olayların ne ölçüde tanımlanabileceği ve filtrelenebileceğidir (bk. Zhou, Xu, Nesbit ve Winne, 2011). Zamanla ilgili bir diğer önemli konu, öğrenme analitiklerinin ne zaman sunulması gerektiğini araştırmaktır: gerçek zamanlı olarak mı (yani, bir olayın veya örüntünün tanımlanmasından hemen sonra), talep üzerine mi (öğrenenler veya öğretenler tarafından) veya kesintili aralıklarla mı (ör. haftalık olarak)?

Genelleme

Öğrenme bilimi, öğrenme olaylarının sonuçlarla ilgili olduğunu açıklamanın aksine belirli öğrenme olaylarıyla ilgili açıklamaların doğruluğunu dengelemeye çalışır; bu, belirli olayların genelleştirilmesine izin vermek için ayrıntıları göz ardı etmeyi gerektirir. Zaman içinde inceleme süreci hakkında çok ince taneli boyutlardaki veri ve zaman damgaları mevcut olduğunda, tanımlamanın doğruluğu en üst düzeye çıkarılır. Kesinlikten kasıtlı olarak taviz verildiğinde genellemeler nasıl oluşturulmalı ve test edilmeli ve geçerlik nasıl yorumlanmalıdır (bk. Winne, 2017)?

Eğitimin amacı, bilginin geliştirilmesi, ilgi, güven, eleştirel düşünme vb.dir. Eğitim başarılı olursa, her öğrenen zaman içinde değişir ve büyük olasılıkla değişimler akranlar arasında çeşitlenir. Çok büyük veriler olsa bile, çok ince taneli veri boyutlarında, iki öğrenenin veri imzalarının tam olarak eşleşmesi istatistiksel olarak çok düşüktür. Öğrenme analitiği, bir öğrencinin göreli gelişimini veya o öğrencinin “öğrenme imzasını” diğerleriyle eşleştirirken, doğruluk ve genelleme arasındaki dengeyi bulmakta zorlanır. Öğrenme analitiği alanı bu zorluğun sıkça değerlendirilmesinden fayda sağlayacaktır.

TEŞEKKÜR BÖLÜMÜ

Bu çalışma, Kanada Araştırma Başkanları Programı’ndan Philip H. Winne ve Kanada Sosyal Bilimler ve Beşerî Bilimler Araştırma Konseyi’nden 410-2011-0727 ve 435 2016-0379 hibeleri ile desteklenmiştir.

KAYNAKÇA

Arnold, K. E., & Pistilli, M. D. (2012). Course Signals at Purdue. Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK’12), 29 April–2 May 2012, Vancouver, BC, Canada (pp. 267–270). New York: ACM. doi:10.1145/2330601.2330666

Azevedo, R., Moos, D. C., Johnson, A. M., & Chauncey, A. D. (2010). Measuring cognitive and metacognitive regulatory processes during hypermedia learning: Issues and challenges. Educational Psychologist, 45(4), 210–223.

Baker, R. S. J. d., & Winne, P. H. (Eds.). (2013). Educational data mining on motivation, metacognition, and self-regulated learning [Special issue]. Journal of Educational Data Mining, 5(1).

Cooper, H., Nye, B., Charlton, K., Lindsay, J., Greathouse, S. (1996). The effects of summer vacation on achievement test scores: A narrative and meta-analytic review. Review of Educational Research, 66(3), 227–268.

Delaney, P. F., Verkoeijen, P. P., & Spirgel, A. (2010). Spacing and testing effects: A deeply critical, lengthy, and at times discursive review of the literature. Psychology of Learning and Motivation, 53, 63–147.

Dunlosky, J., & Rawson, K. A. (2015). Practice tests, spaced practice, and successive relearning: Tips for classroom use and for guiding students’ learning. Scholarship of Teaching and Learning in Psychology, 1(1), 72–78.

Educause (n.d.) Next generation learning initiative. http://nextgenlearning.org

Eckerson, W. W. (2006). Performance dashboards: Measuring, monitoring, and managing your business. Hoboken, NJ: John Wiley & Sons.

Elias, T. (2011, January). Learning analytics: Definitions, processes and potential. http://learninganalytics.net/ LearningAnalyticsDefinitionsProcessesPotential.pdf

Murayama, K., Miyatsu, T., Buchli, D., & Storm, B. C. (2014). Forgetting as a consequence of retrieval: A meta-analytic review of retrieval-induced forgetting. Psychological Bulletin, 140(5), 1383–1409.

Roll, I., & Winne, P. H. (2015a). Understanding, evaluating, and supporting self-regulated learning using learning analytics. Journal of Learning Analytics, 2(1), 7–12.

Roll, I., & Winne, P. H. (Eds.). (2015b). Self-regulated learning and learning analytics [Special issue]. Journal of Learning Analytics, 2(1).

Siemens, G. (2010, August 25). What are learning analytics? http://www.elearnspace.org/blog/2010/08/25/ what-are-learning-analytics/

Webb, E. J., Campbell, D. T., Schwartz, R. D., & Sechrest, L. (1966). Unobtrusive measures. Skokie, IL: Rand-McNally.

Winne, P. H. (1995). Inherent details in self-regulated learning. Educational Psychologist, 30, 173–187.

Winne, P. H. (1997). Experimenting to bootstrap self-regulated learning. Journal of Educational Psychology, 89, 397–410.

Winne, P. H. (2010a). Bootstrapping learner’s self-regulated learning. Psychological Test and Assessment Modeling, 52, 472–490.

Winne, P. H. (2010b). Improving measurements of self-regulated learning. Educational Psychologist, 45, 267– 276.

Winne, P. H. (2011). A cognitive and metacognitive analysis of self-regulated learning. In B. J. Zimmerman and D. H. Schunk (Eds.), Handbook of self-regulation of learning and performance (pp. 15–32). New York: Routledge.

Winne, P. H. (2014). Issues in researching self-regulated learning as patterns of events. Metacognition Learning, 9(2), 229–237.

Winne, P. H. (2017). Leveraging big data to help each learner upgrade learning and accelerate learning science. Teachers College Record, 119(3). http://www.tcrecord.org/Content.asp?ContentId=21769.

Winne, P. H. (in press). Cognition and metacognition in self-regulated learning. In D. Schunk & J. Greene (Eds.), Handbook of self-regulation of learning and performance, 2nd ed. New York: Routledge.

Winne, P. H, & Baker, R. S. J. d. (2013). The potentials of educational data mining for researching metacognition, motivation and self-regulated learning. Journal of Educational Data Mining, 5(1), 1–8.

Winne, P. H., Gupta, L., & Nesbit, J. C. (1994). Exploring individual differences in studying strategies using graph theoretic statistics. Alberta Journal of Educational Research, 40, 177–193.

Winne, P. H., & Hadwin, A. F. (1998). Studying as self-regulated learning. In D. J. Hacker, J. Dunlosky, & A. C. Graesser (Eds.), Metacognition in educational theory and practice (pp. 277–304). Mahwah, NJ: Lawrence Erlbaum.

Winne, P. H., & Perry, N. E. (2000). Measuring self-regulated learning. In M. Boekaerts, P. Pintrich, & M. Zeidner (Eds.), Handbook of self-regulation (pp. 531–566). Orlando, FL: Academic Press.

Zhou, M., Xu, Y., Nesbit, J. C., & Winne, P. H. (2011). Sequential pattern analysis of learning logs: Methodology and applications. In C. Romero, S. Ventura, S. R. Viola, M. Pechenizkiy & R. Baker (Eds.), Handbook of educational data mining (pp. 107–121). Boca Raton, FL: CRC Press.