Bölüm 22 Video Kullanan Öğrenenlerin Analizi

Negin Mirriahi¹, Lorenzo Vigentini²

¹Eğitim ve Öğretim Okulu İnovasyon Birimi, Güney Avustralya Üniversitesi, Avustralya

² Eğitim ve PVC Okulu (Eğitim Porfolyosu), New South Wales Üniversitesi, Avustralya

DOI: 10.18608/hla17.022

ÖZ

Videolar, özellikle harmanlanmış öğrenmeye, tersyüz edilmiş sınıflara ve kitlesel açık çevrimiçi derslere (KAÇD) olan ilginin artmasıyla birlikte birçok pedagojik yaklaşımın temel bir bileşeni haline gelmiştir. Eğitim amaçlı kullanılan çeşitli video türleri olmasına rağmen, ders videoları en yaygın olarak kullanılanlardır. Ayrıca, video akışı teknolojilerindeki son gelişmelerle, öğrenenlerin videolarla etkileşime girerek nasıl öğrendiklerini daha iyi anlamak için videolara erişirken bıraktıkları dijital ayak izleri işlenebilir ve analiz edilebilir. Öğrencilerin videoları nasıl kullandığını anlamak amacıyla bu verilerin toplanması, ölçülmesi ve analizi video analitiği olarak adlandırılmaktadır. Mülakatlar veya anketler gibi daha geleneksel veri toplama yöntemleri, öğrenenlerin videolarla nasıl ve niçin uğraştıkları ve öğrendiklerine dair bütünsel bir bakış açısı elde etmek için performans verileriyle birleştirildiğinde, video analitiği ders tasarımını ve öğretim uygulamalarını bilgilendirmeye yardımcı olabilir. Bu bölümde, öğretim programına entegre edilen videolara genel bir bakış ile çoklu medya öğrenimine bir giriş yapmakla birlikte, öğrenenin video kullanımını, videolarla etkileşimi ve videolarla öğrenmesini araştırmak için veri madenciliği yaklaşımlarını tartışmakta ve ileriye yönelik öneriler sunmaktayız.

Anahtar Kelimeler: Video, analitik, öğrenme, eğitim, çoklu ortam

Çevrimiçi ve harmanlanmış eğitim, kitlesel açık çevrimiçi dersler (KAÇD) ve ters yüz edilmiş sınıf yaklaşımlarına olan ilgi artışı video kullanımının istikrarlı bir artış göstermesine yol açtı. Çok fazla araştırma yapılmış olmasına rağmen, özellikle psikolojik yönlere, eğitim değerine ve kullanıcı deneyimine odaklanarak, teknolojideki gelişmeler ve analitiklerin ortaya çıkması, videoların öğretim programında nasıl kullanıldığını değil, aynı zamanda nasıl kullanılacağını keşfetme ve bütünleştirme fırsatı da sunmaktadır; videoların benimsenmesi, öğrenenin ilgi ve katılımına veya öğrenmesine katkıda bulunmuştur (Giannakos, Chorianopoulos ve Chrisochoides, 2014). Eğitimciler amaçladıkları hedefleri gerçekleştirmek için videoları çeşitli şekillerde kurslarına dâhil etmeyi seçiyorlar. Bu durum sadece yükseköğretimde, sürekli mesleki gelişimde ve K-12 sektörlerinde değil, aynı zamanda özel sektör ve resmî hizmetiçi eğitimlerde de yaşanıyor (Ritzhaupt, Pastore ve Davis, 2015). Bu nedenle, videoların öğretim programlarına nasıl entegre edileceğine dair gelecekteki değişiklikleri veya gelişmeleri yönlendirmek için öğrenenlerin videoları nasıl kullandığı ve videolarla nasıl etkileşime geçtiğini değerlendirmek veya araştırmak önemlidir.

Videoların öğretim programlarında kullanılması, çoğu kez onlarca yıl öncesine uzanan öğrenme ortamlarında kullanımına dayanmaktadır. Bu nedenle, videoların öğretim programların nasıl bütünleştirildiğini keşfetmeden veya öğrenenlerin bunları nasıl kullandıklarını araştıran yöntemleri belirlemeden önce, öğrenimi üzerinde yapılan önceki araştırmaları dikkate almak önemlidir. Bu bölüm ilgili çalışmaların, özellikle de çoklu ortam öğrenimi ve çoklu ortam ile öğrenmeyi değerlendirmenin stratejilerinin tartışılması ile başlar. Bunu, video türleri, videoların öğretim programlarına bütünleştirilmesinin çeşitli yolları ile videolarla etkileşim, öğrenme ve video kullanımında uygulanabilecek veri madenciliği yaklaşımlarını içeren metodolojik düşünceler izler. Son kısım, bölümü özetlemekte ve daha ileri araştırmalar için yönergeler sunmaktadır.

İLGİLİ ÇALIŞMALAR

Çoklu Ortam ve İnteraktif Eğitim Yazılımları ile Öğrenme Hakkında Ne Biliyoruz?

“İnsanlar, salt yazılar yerine, yazı ve resimlerin bir arada kullanıldığı durumlarda daha iyi öğrenirler”, Mayer’in (2009) öğrenmeye yönelik popüler çalışmasını belirleyen kilit ifadedir. Videolar bir biçimidir ve bu nedenle bu bölüm öğrenmenin etkililiğini araştıran çok sayıda araştırmadan yararlanacaktır. Eğitimde bilgisayarların ve öğretim teknolojilerin kullanılmasından bu yana, etkileşimli ders materyallerinin araştırılması ve geliştirilmesi, psikoloji ve eğitim araştırmalarındaki düşünce eğilimlerini ve değişimlerin takip edilmesi aşağıdaki üç aşama/ bakış açılarından biri ile tanımlanabilir:

1. Davranışçı: materyalin seri olarak yapılandırılmasına, program / dağıtım kontrolüne ve Skinner’ın (1950) radikal davranışçılığının Gagne’nin (1965) öğrenme koşullarına ilişkin şartlarına göre belirlenmiş kriterler doğrultusunda düzenli inceleme ve testlere odaklanarak, bilgi ve öğretim tasarımı özellikleri hakkında nesnelci bir görüş sunma.

2. Bilişsel: bilgi işlemeye ve öğrenenin, öğretmenlerin ve öğrenme ortamının özelliklerine dikkat ederek etkili öğrenmeyi ve öğretmeyi etkileyen faktörlere odaklanma (Keller, 1967; McKeachie, 1974).

3. Yapılandırmacı: Bilginin bir araya getirilmesinde sosyal ve bireysel süreçlerin birbirine bağımlılığına odaklanan bilgi oluşturma (Palincsar, 1998).

Bu sıkça yerleşik bakış açıları arasında temel sorun, öğretimin öğrenmeyi ne kadar etkilediğinin (özellikle Lee ve Anderson, 2013) ve özellikle de üç perspektiften türetilen eğitici ve yapılandırmacı yaklaşımların aktif öğrenmeyi ne kadar kolaylaştırdığının tanımı olmuştur. Davranışcı bakış açısına göre, öğrenme güçlü bir talimatlar seti ve belirli bir öğrenme dizilimi ile verimli bir şekilde gerçekleştirilebilir (Kirschner, Sweller ve Clark, 2006; Lee ve Anderson, 2013) ancak verim ve etkililik arasında bir değiş tokuş olabilir (Atkins, 1993). Bunun yerine, bilişsel yönelimin temel zayıflığı öğrenmeyi desteklemek için uygun üst bilişsel çerçevelerin ifade edilmesi veya sağlanmasındadır. Yapılandırmacı ve bağlantıcı öğrenme modelleri, doğaları gereği öğrenci merkezlidir ve en uygun öğrenme yolunu belirleme amacıyla öğretim materyalinde gezinmek için bir öz-yönlendirme ve yönetim düzeyini vurgularlar. Kabul edilen felsefi bakış açısına rağmen, “eksik görünen şey, yeni teknolojilerin sunduğu tasarım fırsatlarına uygun öğrenme modelleridir” (Atkins, 1993, s. 252) ve buna videolar ve çoklu ortam da dâhildir.

Uygulayıcılar ve öğretim tasarımcıları, Gagne’nin (1965) öğretim durumları modelini ve öğrenme kazanım türleri sınıflandırmasının göreceli olarak benimsenmesinde ve kullanımda sağladığı kolaylıklardan dolayı konforlu bulmaktadırlar (Reeves, 1986). Dahası, tam öğrenme kavramı (Bloom, 1968), etkililiğini destekleyen çok sayıda araştırmanın ilgi odağı oldu (Guskey ve Good, 2009; Kulik, Kulik ve Bangert – Drowns, 1990) ve Keller’in beş ana ögesiyle (1967) Şekil 22.1’de belirtildiği gibi Kişiselleştirilmiş Öğretim Sistemi (KÖS), öğretim tasarımını ve öğrenme bilimlerini güçlü bir şekilde etkiledi.

Mayer (2009), son kırk yılda gerçekleşen çoklu ortam öğrenimiyle ilgili bilgi zenginliğini, Şekil 22.2’de belirtildiği gibi, 12 ilkenin formülasyonunda özetlemeye çalışmaktadır. Bu ilkeler, insanların ile öğrenmeye yollarına yönelik olarak psikolojiden, öğretim tasarımından ve öğrenme bilimlerinden elde edilen kanıtlara dayanarak içgörü sağlar. Bir eğitimcinin videoları eğitimlerine dâhil ederken, olumlu ve olumsuz tasarım özelliklerinin ve öğrenme üzerindeki bilinen etkilerinin farkında olması önemlidir.

Aşağıda, “Videolara Yönelik Veri Madenciliği Yaklaşımları” bölümünde daha ayrıntılı olarak açıklanan, göz önünde bulundurulması gereken bir başka husus, katılım konusu ve öğrenmenin katılım örüntüleriyle nasıl ilişkili olduğudur. Mayer ve meslektaşları, ortamın belirli özelliklerinin öğrenme üzerindeki etkilerini göstermelerine rağmen laboratuvar ortamından gerçek hayata geçerken, bir öğrenenin ortamla etkileşime girme derecesi önemli bir husustur. Bu sadece ortamın özelliklerinden değil, aynı zamanda öğrenmeyi değerlendirme biçimine bağlı olan videolarla vakit geçirme (haşır neşir olma, etkileşimde bulunma) süresi ve öğrenme arasındaki ilişkinin net bir şekilde çözülmesini oldukça zorlaştıran, öğrenmeyle ilgili bireysel tercihler ve yaklaşımlardan da kaynaklanır.

Şekil 22.1. Keller’in (1967) KÖS’nin (Kişiselleştirilmiş Öğretim Sistemi) unsurları.

Şekil 22.2. Mayer’in (2009) çoklu ortam tasarım ilkeleri.

Çoklu Ortam Literatürde Önemli Hususlar

Video tabanlı öğrenme üzerine 2003-2013 yılları arasında yapılan alan yazın taraması (Yousef, Chatti ve Schroeder, 2014), yürütülen çalışma türlerine yararlı bir genel bakış sağlamıştır. Bu sınıflandırma, aşağıdaki Şekil 22.3’te yeniden düzenlenmiştir.

Bu en son araştırma yönelimlerini anlamak için iyi bir başlangıç ​​noktasıdır ancak çoğunlukla, son beş yılda üretilen ve öğrenme ve eğitimde ve video ile ilgili altı ana akımı tanımlayan Mayer (2009) ile sonuçlanan araştırmayı yok sayar: 1) algı ve dikkat; 2) çalışan bellek ve bellek kapasitesi; 3) bilişsel yük teorisi; 4) bilgi sunumu ve entegrasyonu; 5) öğrenme ve öğretme (öğrenme stilleri, yaklaşımlar ve öğretim yöntemleri dâhil) ve 6) öz yönetimli öğrenme. Bu alanlar, öğrenmeye yönelik videoların etkililiğini göstermek için uygun analitiği (burada hem yöntemler hem de metrikler kastedilmektedir) anlamak, tanımlamak ve seçmek için gerekli teorik temeli sağlar. Özellikle, ilk üç alanda yapılan çalışmalar, bir öğrenenin videolarla etkileşime girme ve etkileşimde bulunma şeklini belirlemek için gerekli parametreleri sağlar ve ikinci üçlü set, videolardan ve videolarla öğrenmenin nasıl gerçekleştiğini anlamak için yararlı veriler sağlar, hepsi de Şekil 22.4’te gösterilmektedir.

Şekil 22.3. Video temelli literatüre genel bakış 2003-2013 (Yousef vd., 2014’ten uyarlanmıştır).

Yousef ve meslektaşlarının taksonomisine (2014) ilişkin olarak, etkililik kavramı daha geniş öğrenme alanına uymakta (Şekil 22.4) ve tartışmanın merkezinde etkililiğin öğretime, öğrenene ve araçlara (özellikle videolar) nasıl uygulanabileceğinin değerlendirilmesi yer almaktadır. Öğretim ile öğrenen arasında doğrudan bir bağlantı vardır: bu bağlantı, Şekil 22.3’te (Yousef vd., 2014) öğretim yöntemleri başlığı altında belirtildiği gibi, bir öğretenin, öğrenenlere cevap verirken öğrenmeyi kolaylaştırmak adına yaptıklarıyla örneklendirilmiştir. Ayrıca, bu hem öğretim ve öğrenen hem de öğretim ve öğrenme araçları, yani video arasındaki ilişkiyi göstermek için Şekil 22.4’te genişletilmiştir. Öğretim ile öğrenen arasındaki etkileşimde, öğrenme biçim ve yaklaşımları ve öğretim yöntemlerinin yanı sıra öz yönetimli öğrenme de öğretim ve öğrenmenin verimini etkiler. Öğretim yöntemleri, bilişsel yük ve çoklu ortam öğrenme teorisinden etkilenir. Öğretim ile kaynaklar, etkinlikler, destek ve değerlendirme araçları gibi öğretim araçları arasındaki doğrudan ilişki, -bu özel durumda, videoların kullanımı,- Yousef ve meslektaşlarının (2014) taksonomisinde “tasarım” adı altında kısmen var olsa da öğrenciye yapılan önemli atıf, özellikle de öğrenciler yalnızca video tüketmeyip, aynı zamanda videoları oluşturuyorsa eksik kalmaktadır (Juhlin, Zoric, Engstrom ve Reponen, 2014). Son olarak, öğrenme ve video arasındaki ikili ilişki, öğrenenlerin algı, dikkat, çalışan bellek ve kapasitelerinin yanı sıra videoların sağladıklarıyla güdülenen tercihlerinden de etkilenir. Şekil 22.4 ayrıca, etkililiği ölçerken öğretim, öğrenen ve video arasındaki ilişkileri araştırmak için uygulanabilecek bazı temel ölçümleri göstermektedir.

Videoların Öğrenmedeki Etkililiğini Araştırmaya Yönelik Değerlendirme Yöntemleri

Çoklu ortam ve videoların etkililiğini değerlendirmek için, deneysel (ör. laboratuvar) çalışmalarla birlikte, yayınlanmış çok sayıda araştırma öğretim teknolojisi araçlarındaki en son yeniliklerle birlikte mitolojik bir “geleneksel öğretimin” karşılaştırılmasını değerlendirmek için karşılaştırmalı bir yaklaşım (aşağıdaki Videolara Yönelik Veri Madenciliği Yaklaşımları bölümüne bakınız) veya bir “at yarışı” modelini önermektedir (Reeves, 1986, 1991). Deneysel çalışmaların belli bir çekiciliği ve güvenilirliği olmasına rağmen, öğretim teknolojilerini karşılaştıran deneysel veya yarı deneysel tasarımları benimseyen araştırma çalışmaları çok az sayıda faydalı sonuç üretmiştir. Literatür taramaları ve meta-analizler bu olguyu “anlamlı bir fark yok” problemi olarak kabul etmiştir (Joy ve Garcia, 2000; Oblinger ve Hawkins, 2006; Russell, 1999). Videolar, 1980’lerden bu yana benzer karşılaştırmalı çalışmalara -önce video disklere ve etkileşimli videolara odaklı daha sonra bilgisayar tabanlı öğretime, video animasyonlarına, belgesellere ve video- kayıtlı sunumlara veya konferanslara odaklı olarak konu olmuştur. Medyanın öğrenme üzerindeki etkisi hakkındaki tartışma, Clark (1983, 1994) ve Kozma’nın (1991, 1994) karşıt görüşleri ile iyi bir şekilde temsil edilmiştir. Clark (1994), medyanın hiçbir koşulda öğrenmeyi etkilemediğini; ancak “öğrenmenin, medya sunumuna gömülü öğretim yöntemlerinden kaynaklandığını” iddia etmektedir (s. 26). Özellikle, öğretim yöntemleri “başarı veya motivasyon için gerekli bilişsel süreçleri harekete geçiren, destekleyen veya telafi eden bilgileri şekillendirmenin herhangi bir yolu” olarak tanımlamıştır. (s. 23). Tartışmanın diğer tarafında, Kozma (1991, 1994), medya ve yöntemlerin iç içe geçtiğini ve birbirlerine bağlı olduğunu savunmaktadır:

Şekil 22.4. Literatürde kullanılan bazı temel ölçümlere atıflarla birlikte öğrenen, öğretim ve video arasındaki bağıntılar.

Etkileşimci bir bakış açısına göre medya ile öğrenme, bazen öğrenen ve bazen de ortam tarafından temsillerin ve işlemlerin yapıldığı tamamlayıcı bir süreç olarak düşünülebilir [..] medya bize güçlü yeni yöntemler verecek şekilde tasarlanmalı ve yöntemlerimiz medyanın yeteneklerinden uygun şekilde faydalanmalıdır (1994, s. 11, 16).

Tennyson (1994), bu “Büyük medya tartışması” içinde “bir bilim insanının mevcut durumdan asla tatmin olmadığını ancak her zaman ve her şeyden önce bilginin genişletilmesinden kaynaklanan zorluklarla karşı karşıya kaldığını” iddia eder (s. 15). O, bir bilim insanının, istatistiksel olarak önemli sonuçlar bulunduğunda ve dünyadaki karmaşıklığın üstesinden gelmek için yeni bulunan bir yaklaşımı benimsendiği zaman savunucuya dönüştüğünü ileri sürer: buna “ İngiliz anahtarı”¹ yaklaşımı deniyor. “Elinde İngiliz anahtarı olan taraftar, birdenbire, göreceli olarak sınırlı sayıda problemi çözmek için, yola koyulur. Yani, eskiden birçok farklı sorunun tümü, şimdi yeni İngiliz anahtarı (veya her derde deva ilaç) ile çözülebilirmiş gibi görünüyor ”(s. 16). Bu eğitimde videolarla ve onlardan öğrenme anlamında kullanılan potansiyel “İngiliz anahtarı” olarak tek bir değerlendirme yöntemine (ör. analitik) çok fazla odaklanmanın cazibesine karşı kesin bir uyarı sağlamalıdır. Bunun yerine, videolarla etkileşim, öğrenme ve video kullanımını araştırmak ve değerlendirmek için bir dizi yaklaşım kullanılmalıdır. Bu tür stratejiler, aşağıdaki Videolara Yönelik Veri Madenciliği Yaklaşımları bölümünde incelenecektir.

METODOLOJİK ANA HATLAR

Video Türleri

Videolar, esnek, karma ve çevrimiçi öğrenme türlerinin artan ihtiyacına cevap vermek ve öğrenenlerin ilgisini çekmek amacıyla çeşitli pedagojik fırsatlar sağlamak için giderek daha önemli hale gelmiştir. Video kullanımında iki yaygın kategori vardır: eşzamanlı ve eşzamansız. İlki, öğreten ve öğretenlerin birbirleriyle sanal sınıflar, canlı web yayınları veya video yayınları aracılığıyla aynı anda etkileşimde bulunmaları için gerçek zamanlı bir fırsat sunar. İkincisi, kendi hızında öğrenmeyi destekler ve öncelikle ortam ile öğrenen arasındaki bireysel bir etkileşimdir. Eşzamanlı olmayan videolar daha yaygın hale gelmekte ve sınıf içi bir dersin kaydedilmesinden, bir eğitimcinin konuşan kafasının kaydına veya dersin ana kavramlarını gösteren sunular veya görüntülerin eşlik ettiği ders sesine kadar çeşitlilik göstermektedir (Owston, Lupshenyuk ve Wideman, 2011). Bu tür ders videoları çeşitli uzunluklarda olabilir ve videoların üretilmesi için eğitimcinin ihtiyaç duyduğu kaynak ve zamanı en aza indiren Echo360², Opencast³ ve Kaltura⁴ vb. yazılım teknolojilerinin de kolaylaştırmasıyla birçok amfide (büyük derslik) kullanılan otomatik ders kayıtlarının ortaya çıkmasıyla daha yaygın hale gelmiştir. Bazı öğrenme bağlamlarında, bu videolar öğrenenlere tamamlayıcı kaynaklar olarak sunulurken, birçok eğitimci bilgi aktarımının derse başlamadan önce gerekli video dersleri ile iş birliğine dayalı ve aktif öğrenme etkinlikleri için sınıfta zaman sağladığı tersyüz edilmiş sınıf yaklaşımlarını benimsemektedirler. Dahası son zamanlarda çeşitli disiplinleri ve kavramları kapsayan çok çeşitli videoların barındırıldığı YouTube, Apple firmasının “iTunes U” programı ve Khan Academy gibi akış platformlarının mevcudiyeti sayesinde ders videolarının kullanımı ivme kazanmıştır. KAÇD’ler ayrıca ders videolarının yaygın benimsenmesine katkıda bulunmuştur. Birçok KAÇD sağlayıcısı (ör. Coursera, Udacity, EdX) için sınavların, forumların ve okumaların desteklendiği videolar aracılığıyla kurs içeriğinin sunulduğu video akışlarının sağlanması temel bir işlevselliktir (Diwanji, Simon, Marki, Korkut ve Dornberger, 2014; Li, Kidzinski, Jermann ve Dillenbourg, 2015). Yoğun olarak video derslerine ve içerik bireysel olarak tam öğrenilmesine odaklanan bu belirli KAÇD’ler (ör. anında geri bildirimli sınavlar yoluyla), çoğunlukla gKAÇD’ler (Conole, 2013) olarak adlandırılan ve çoğunlukla 2012’den bu yana geliştirilen bilişsel-davranışçı bir yaklaşım izler (Margaryan, Bianco ve Littlejohn, 2015). Birçok durumda, yükseköğrenim videoları, mevcut olan imkânlarla yapılan canlı kaydın sonucudur (ör. ekran yakalama ve ses kaydı ile yapılan otomatik ders kaydı veya masaüstü kayıt), KAÇD’lerde ise videolar genellikle senaryo temelli, yüksek kaliteli ekipman ve hızlı üretim değerleri ile kaydedilmiş olarak bulunmaktadır (Guo, Kim ve Rubin, 2014; Ilioudi, Giannakos ve Chorianopoulos, 2013; Kolowich, 2013).

Ders videoları, öğretim programları ile bütünleştirilen tek eğitsel video türü değildir. Öğrencilerin kendi performanslarının veya bir etkinliğe katılımlarının video kaydı, kendini yansıtma, akran ve öğreten geri bildirimi ve hedef belirleme amacıyla kullanılır. Örneğin, öğretmen adayları kendi öğretim senaryolarının kayıtlarını incelediler ve kendi özdüşünüm amaçları için ya da akranlara geri bildirim sağlamak için Medya Derkenar Aracı (MDA) gibi video ek açıklama yazılımının kolaylaştırmasıyla belirli bölümler üzerine not aldılar ya da işaretlemeler yaptılar. (Colasante, 2010, 2011). Öğrenen yansıması ve eleştirel analiz için video kayıtlarının kullanılması tıp eğitiminde de kullanılmıştır, böylece öğrenenler temsili hastalarla yaptıkları muayenelerinin kayıtlarını görebilir ve hasta davranışlarını açıklarlar ve DiViDU not yazılımını kullanarak videodaki belirli zaman kodlarına bağlı iyileşme alanlarını not alırlar (Hulsman, Harmsen ve Fabriek, 2009). Sahne sanatları disiplininde, öğrenenlerin kendi performanslarının videoları, özdüşünüm amacıyla kullanılmıştır (Daniel, 2001) ve daha yakın zamanda, öğrenenlerin performansları ile ilgili zaman damgalı ve genel yorumlar yapabilmeleri için CLAS video derkenar yazılımı ile birleştirilmiştir. (Gašević, Mirriahi ve Dawson, 2014; Mirriahi, Liaqat, Dawson ve Gašević, 2016; Risko, Foulsham, Dawson ve Kingstone, 2013).

Öğretim Programlarında Video

Videolar öğretim programlarına çeşitli şekillerde dâhil edilmekle birlikte, videoların derse bütünleştirilmesinin etkili olup olmadığı veya daha fazla ayrıntılandırılması gerekip gerekmediği genellikle açık (şeffaf) değildir. İster ters yüz edilmiş sınıf yaklaşımlarının veya KAÇD’lerin temel bileşenleri, kaynakları olarak ister yansıtıcı uygulama ve akran geri bildirimleri için kullanılsın, öğrenenlerin videolarla nasıl etkileşime girdiği ve videoların öğrenme deneyimlerine nasıl katkıda bulunduğunu anlamak önemlidir (Giannakos vd., 2014). Bugüne kadar, öğretim programlarındaki videoların etkililiğini araştıran çeşitli eğitim ortamlarında birçok çalışma yürütülmüştür (Giannakos, 2013; Yousef vd., 2014). Bununla birlikte, önceki çalışmaların çoğu, nesnel veriler yerine, büyük ölçüde öğrenenlerin ve eğitimcilerin öz-raporlarına dayanmaktadır. Yalnızca öz raporlara güvenmek, öğrenenin önceki davranışlarını potansiyel olarak yanlış hatırlamalarına neden olabilir (Winne ve Jamieson-Noel, 2002) veya öğrenenlerin en doğru cevaptan ziyade beklenen cevabı verdiği “sosyal arzulanabilirlik” yanlılığına yol açabilir (Beretvas, Meyers ve Leite, 2002; Gonyea, 2005). Bununla birlikte, öğrenme analitiği ve veri madenciliği tekniklerindeki son gelişmeler, dijital ayak izlerini analiz ederek, öğrenenlerin öğrenme teknolojilerini fiilî olarak kullanmalarına ilişkin daha objektif ve özgün veriler sağlayabilir (Greller ve Drachsler, 2012). Bu nedenle, veri işlenmesinde öğrenenlerin video kullanımının diğer veri kaynaklarına tamamlayıcı olarak kullanması (ör. değerlendirme puanları, anketler vb.) (Giannakos, Chorianopoulos ve Chrisochoides, 2015) öğrenenlerin gerçekten videoları nasıl kullandıklarını ve videoların öğrenme deneyimlerine nasıl katkıda bulunduklarını ortaya çıkarmaya yardımcı olabilir. Video analitiği olarak adlandırılan öğrenenlerin video kullanımından elde edilen izleme veya tıklama verilerinden yararlanmak, son yıllarda akış video platformlarından (YouTube, Vimeo) veya KAÇD sağlayıcılarından (Udacity, Coursera, FuturLearn, EdX) daha kolay erişilebilir hale gelmiştir.

Genel olarak, video analitiğini, öğrenme bağlamlarında öğrenenlerin videolarla nasıl etkileşimde bulunduklarını anlamak amacıyla video kullanımlarıyla ilgili verilerin toplanması, ölçülmesi ve analizi olarak tanımlarız. Bu öğrenenlerin mevcut video kullanımları ile birlikte kısa sınavlar veya derkenarlar gibi diğer çevrimiçi etkinliklerden onların videolarla ve ilişkili etkinliklerle ne zaman ve nasıl ilgilendiklerini araştırma amacıyla toplanan verileri işleme fırsatı sağlar. Öz raporlama yoluyla öğrenenin niyetleri veya motivasyonları hakkında bilgi toplanması öğrenen kullanımını açıklamaya yardımcı olurken bu tür verilerin performans ölçümüyle (ör. notlar veya puanlar) toplanması öğrenme kazanımları üzerindeki herhangi bir etkinin tanımlanmasına yardımcı olabilir. Toplu olarak, bu çeşitli veri kümeleri, öğrenenlerin video teknolojilerine yönelik kullanımlarının ve onlarla etkileşimlerinin ders tasarımında öngörüldüğü şekilde gerçekleşip gerçekleşmediğini veya öğrenme ve öğretme stratejisinin amaçlanan kazanımlarını daha iyi karşılamak için eğitsel yaklaşımda daha fazla güncelleme yapılması gerekip gerekmediğini ortaya koymaya yardımcı olabilir (Pardo vd., 2015).

Bir sonraki bölümde, öğrenme ve etkileşimdeki örüntüleri anlamaya başlamak için, öğrenenin video teknolojileri kullanımıyla (diğer veri toplama yöntemlerinin yanı sıra video analitiklerini kullanarak) ilgili çalışmalarda kullanılmak üzere çeşitli yaklaşımları tartışıyoruz.

VİDEOLARA YÖNELİK VERİ MADENCİLİĞİ YAKLAŞIMLARI

Veri madenciliği genel olarak örüntüleri, eğilimleri veya ilişkileri keşfetmek için büyük miktardaki bilgisayarla işlenmiş veriyi toplama, arama ve analiz etme süreci olarak tanımlanmaktadır (Witten ve Frank, 2005; Romero ve Ventura, 2010; Pena-Ayala, 2014). Bu istatistik ve yapay zekâ’da (YZ) kullanılan araçlar ve yöntemler birleşimi aracılığıyla yapılır. İşleme (Madencilik) sürecini yönlendiren algoritmalar YZ kapsamında bilgi keşfi ve makine öğrenmesi (geniş makine öğrenmesi kategorileri ve bunlarla ilgili algoritmalar Şekil 22.5’de gösterilmiştir) olarak isimlendirilen bir araştırma alanından gelmektedir.

Çoklu ortam ve video üzerine çalışmalarda veri madenciliği uzun zamandır kullanılmaktadır. Bu kısmen yeni içerik oluşturmadaki göreceli kolaylık ve videoları dağıtmak (yayınlamak) için web tabanlı video akışı hizmetlerinin mevcut olması nedeniyledir. Videolar için uygulamalara ve madencilik tekniklerine bakıldığında, işin iki ana zinciri olduğu görülür: 1) videonun içeriğini anlama ve 2) öğrenenlerin videoları nasıl kullandıklarını keşfetme. Sonraki iki bölümde, bu yöntem ve tekniklerin bazılarını inceleyeceğiz.

Şekil 22.5, makine öğrenmesi algoritmaları ve video analitiğine tatbik edilebilen uygulamaların bağlantılarına genel bir bakış sunmaktadır. Denetimli ve denetimsiz makine öğrenmesi arasında bir ayrım sağlar ve farklı video kullanımlarından (ör. öğrenenlerin video içeriği ile etkileşimi ve video kullanımından) verileri analiz etmek için kullanılan belirli algoritma türlerine yol açar. Veri kaynaklarının niteliğine bağlı olarak (ör. kullanım ve video içi davranışlar veya çerçeve analizi), verilerden anlam çıkarmak için farklı algoritma kümeleri daha uygundur.

Şekil 22.5. Literatürde kullanılan bazı temel ölçümlere atıflarla birlikte öğrenen, öğretim ve video arasındaki bağıntılar.

Bu bölümde, algoritmaların etkililiği üzerinde durmayacağız ancak kullanımına özel önem vererek, video içeriği madenciliğinin bazı uygulamalarını kısaca açıklayacağız. Tablo 22.1, mevcut literatürün, algoritmaların, etkileşim türlerinin ve analizde kullanılan özelliklerin açık bir haritasını sunar.

İçeriğe Uygulanan Madencilik

Videoların anlaşılması, görsel örüntü tanıma (Antani, Kasturi ve Jain, 2002), makine öğrenmesi (Brunelli, Mich ve Modena, 1999) ve kişi yönetimli eylem (Avlonitis, Karydis ve Sioutas, 2015; Chorianopoulos, 2012; Risko vd., 2013) gibi otomatik içerik tabanlı yöntemlerdeki gelişmeleri destekleyen karmaşık bir meseledir. İkincisi, video kaynaklarını veya sosyal üst verileri (etiketleme, paylaşma ve sosyal etkileşim) bireysel olarak kullanmak olabilir. Video içeriğini anlamak için yaygın olarak kullanılan video indeksleme, üç ana adıma dayanır: 1) video çözümleme, 2) soyutlama ve 3) içerik analizi (Fegade ve Dalal, 2014). Ayrıca, video içeriğindeki genişleme göz önüne alındığında, gezinme (veya içeriğin içinde arama) ve özetleme sorunları da içerik analitiği kullanılarak çözülebilir (Grigoras, Charvillat ve Douze, 2002; He, Grudin ve Gupta, 2000).

Bu çalışmanın önemi, öğrenenlere video içeriğini karakterize etme ve sunma yeteneğinde ve bu ortamı öğrenim ve öğretim ile bütünleştirme yöntemlerinde görülebilir. Örneğin, öğrenenlere bir videodaki kilit noktalara rehberlik etmenin ya da kendi öğrenmelerini düzenleme yollarını sağlamanın daha iyi bir yolu, öğrenenlerin videonun konuyla en alakalı bölümüne atlamasına izin vermek için bir içindekiler veya sözlük bölümü gibi gezinme indeksi sağlamaktır. Bunu gerçekleştirmenin bir yolu, öğretenlere ve öğrenenlere bir videonun belirli zaman damgalı bölümlerini daha sonra izlemek üzere veya diğer kullanıcıların ek açıklamalarını ya da bayraklarını görüntüleyerek onların öğrenmelerine ilişkili olarak kendi öğrenmelerini ölçmek için işaretleme yapmalarına olanak tanıyan bir video işaretleyici yazılım sağlamaktır (Dawson, Macfadyen, Evan, Foulsham ve Kingstone, 2012). Web siteleri ve uygulamaların yeni kullanıcılarının video izleme ve metin atlama eğilimi ile daha yetkin kullanıcıların videoları atlayıp ilgili metni tarama eğilimi (Johnson, 2011) göz önüne alındığında, ilginç tasarım problemleri ve sorular ortaya çıkar: öğrenenin katılımını veya video kullanımını birleştirerek, Öğrencilerin “kalabalık kaynaklı” uzmanlığı, acemi veya daha az deneyimli öğrenenler ya da makine öğrenmesinin uyarlanması yoluyla otomatik veya kullanıcı odaklı eğitsel destek sağlar mı? Makine tarafından yönlendirilen yöntemler (yani, EVM ve EYZ toplulukları) lehine çok fazla kanıt olmasına rağmen, bilgi temsili ve aktarımı hayati bir mesele olarak önemini korumaktadır.

Videolarla ilgili erişilebilir başka bir üst veri kaynağı, yardımcı teknolojiler ve videolarla ilgili metin kopyalarının senkronize edilmesiyle ortaya çıkmıştır. Örneğin, Ed-X aynı sayfada hem video hem de transkript görüntülerken, YouTube altyazı oluşturmak için otomatik bir altyazı aracını yakın zamanda tanıtmıştır.

1. 1. 1. 1. Kullanıma Dayalı Madencilik: Etkileşimi Ölçmek için Etkinlik Kayıtları

İzlemenin ya da kayıt günlüğü verisinin öğrenenlerin video teknolojilerini kullanmasından çıkarılması ve öğrenme süreçlerini ya da katılımını anlamaya yönelik analizler hem araştırma disiplini (ör. öğrenme analitiği ve eğitsel veri madenciliği) açısından hem de öğretmenlik uygulamalarını bilgilendirmek için nasıl kullanıldığı bakımından hala ilk evrelerdedir. Giannakos, Jaccheri ve Krogstie (2015) tarafından belirtildiği gibi, alanı ilerletmek için metodolojik yaklaşımlarla daha ileri deneylere ihtiyaç vardır. Yine de daha geleneksel veri toplama yaklaşımları (ör. anketler, gözlemler ve görüşmeler) ile birlikte öğrenenlerin eğitsel veri madenciliği ve öğrenme analitiği yöntemlerini kullanarak video teknolojilerini nasıl öğrendiklerini araştıran ve sayıca artan çalışmalar da mevcuttur. Genel bir bakış sağlamak için spesifik olarak 2000’den itibaren yayınlanan video veya çoklu medya öğrenimini konu alan yayınları inceledik. Gerekli olan bir diğer kriter, son bölümde açıklandığı gibi “kullanım” veya “etkileşim” başlıkları altında sınıflandırılan değişkenlerden en azından birinin kullanılmasıydı.

Tablo 22.1’de, öğrenenin video kullanımı, katılımı ve videolarla öğrenmeyi araştırmak için bu yöntemleri kullanan çalışmaları tanıtmaktayız. Şekil 22.5’te belirtildiği üzere algoritma kategorilerini ve uygulama türlerini kullanan çalışmaları sınıflandırdık.

Tablo 22.1. Video Analitik Tekniklerini Kullanan Çalışmaların Özeti

NOTLAR: ‘o’ bulunan yerlerde, atıf yorumlanmaya tabidir.

Genel kullanım, faaliyet sayımlarını ifade eder; Gezinme; tarama, arama ve atlama anlamına gelir; Video içi davranışlar oynatma, duraklatma, geri alma, ileri sarma ve hız değişikliklerini sunar; Etiketleme / İşaretleme, bir anahtar kelime (etiketleme) veya görsel gösterge (“v” ile işaretleme) içerebilen bir zaman noktasını işaretlemenin basit bir eylemidir; Ek açıklama, videolara metin veya başka kaynaklar ekleyebilme yeteneğini ifade eder; Sosyal Etkileşim, girdi veya çıktıları başkalarıyla paylaşma yeteneğini ifade eder; Öğrenme tasarımı, özel olarak tasarlanmış koşullara, etkinliklere veya sunum modlarına atıfta bulunur; Memnuniyet ve Algılanan etkililik, anketler veya diğer çevrim içi yöntemler (örn; kısa sınavlar) yoluyla elde edilir; Kullanıcı bilgisi, kullanıcı detaylarının (örn; demografik bilgiler) mevcudiyeti anlamına gelir; Değerlendirme, performans testlerinin veya notların varlığını ifade eder; İçerik- İlgili ise girdi / çıktıların içerikle alakalı olduğu anlamına gelir.

Her değişkenin tanımına ek olarak, çalışma veya algoritma tipi, karşılaştırmalı yaklaşımı veya Şekil 22.5’teki şema kullanılarak sınıflandırılmış veri madenciliği tekniklerini uygulayan çalışmalarla daha önce sunulan taksonomiyi kullanır. Özellikle veriye ve değişkenlere öğrenme ve öğretimi sadece kendileri bilgilendirmek için değil, aynı zamanda kullanım ve videolarla etkileşim örüntülerini açıklamak için kullanılan, işe atıfta bulunan bir “modelleme” türü eklenmiştir.

Kullanımdan Katılıma Geçiş

Önceki bölümde görüldüğü gibi, bir dizi çalışma öğrenenlerin videolarla neler yaptığını araştırmaktadır. Bununla birlikte, etkileşimi öğrenme ve öğretme bağlamında karakterize etmek için, videolarla etkileşimin ne anlama geldiğini bilmek önemlidir. Örneğin, bir öğrenen “ters yüz edilmiş sınıf” etkinliğinin bir parçası olarak sunulan bir videonun oynat düğmesini tıklayabilir ve daha sonra kahve yapmaya gidebilir. Video hala oynamakta ve bu etkinliği kullanılıyor olarak kaydetmekte olabilir; ancak öğrenen faaliyetle meşgul değildir. Bu etkinlik günlüğünü yorumlamada güçlük meydana getirir ve daha önce bahsedilen “İngiliz anahtarı” yaklaşımından kaçınılması için bir durum yaratır. Öğrenilecek iş üzerinde harcanan zaman, ekolojik olarak geçerli bir ortamda yorumlanabilecek kadar basit değildir; değişkenlerin kontrol altında tutulduğu deneysel koşulların aksine, gerçek öğrenme oldukça gürültülü ortamlarda (ör. otobüsle gidiş-geliş yaparken mobil cihazla gerçekleşen) olabilir (Chen, Seilhamer, Bennett ve Bauer, 2015).

Bununla birlikte, modern web teknolojileriyle alınan tedbirler bu sorunu kısmen aşabilir. Örneğin, video içi sınavlara (VİS) yer vermek, öğrenenlerin videodaki kavramları anlayıp anlamadıklarını veya bunların etkililiğini nasıl algıladıklarını kontrol etme fırsatı sunar. Bunlar sadece katılım konusundaki “eğilimi” değil, aynı zamanda öğrenmeye yönelik videoların etkililiği hakkında bir fikir sunar. Çoğu KAÇD sağlayıcısı, belirli noktalara eklenebilecek VIS’ler sunar.

Giannakos vd. (2014) video içi davranışları incelemek, farklı türlerdeki video uygulamalarının ve sınav kombinasyonlarının uygunluğunu test etmek için ilginç bir yaklaşım sunmuştur. SocialSkip web uygulaması (http://www.socialskip.org), öğretenlerin farklı senaryoları test etmelerine ve öğrencilerin gezinme ve performanslarındaki sonuçları görmelerine imkân tanır. Bu anlamda, Kozma’nın, medyanın (yani videoların) öğrenenle etkileşime giren özellikleri tanımladığı, görevin (yani öğrenilecek işin) özelliklerinin, onları kullanan öğretim tasarımına bağlı olduğu ve dolayısıyla ortam ile mümkün olan etkileşim türünü şekillendirdiği yönündeki argümanı analitik ile doğrudan test edilebilmektedir.

Kullanım ve Katılımdan Öğrenme Ölçümü

Bazı öğrenenlerin video tarafından sağlanan fırsatlardan memnuniyet duyduğu (Merkt, Weigand, Heier ve Schwan, 2011) ve belirli koşullar altında, özel tasarımlarla videoların öğrenmeyi ilerlettiğini (vekâleten başarı düzeyi ve notlar kullanılarak) gösteren kanıtlar mevcuttur (Giannakos vd., 2014; Mirriahi ve Dawson, 2013). Laboratuvar deneyleri, videoların daha iyi keskinliğe ve hassasiyete öncülük ettiğini göstermektedir (Mayer, Heiser ve Lonn, 2001) ancak aktarım konusu çoğu çalışmanın zayıf olduğu bir husustur. Öğrenmeyi nasıl göstereceğiz? İçeriğe daha aktif katılım derin öğrenmeyi kolaylaştırıyorsa, videolar bu fırsatı sağlayabilir mi ve eğer sağlıyorsa hangi koşullar altında sağlar?

Şekil 22.6. Öğrenme ve öğretime katılım unsurları.

Öğrenmenin videolarla etkileşim seviyesine göre gerçekleşip gerçekleşmediğinin tespit edilip edilemeyeceği konusu tartışmalı bir konudur. Önceden, öğrenilecek iş üzerinde geçirilecek zamanın, katılımı ölçmenin etkisiz bir yolu olduğunu belirtmiştik. Aslında, öğrenme ve öğretimde katılım şu altı boyuta sahip olmakla karakterize edilebilir (Şekil 22.6): bilimsel, duygusal, davranışsal, fiziksel, sosyal ve kültürel. Videoların kullanımı göz önüne alındığında en alakalı boyutların, öğretim programındaki birleştirme ve kullanımın doğası ile iç içe olduğu ve bu nedenle, öğrenmeye katılımın araştırılması için gerekli olan verilerin türünün öğrenme tasarımına ve mevcut teknolojiye bağlı olduğu söylenebilir.

Örneğin, anketlerin yanı sıra öğrenenlerin video kullanmasından kaynaklanan analitiklerin bir kombinasyonu, örneğin; öğrenenlerin videoları konu ile ilgili veya zorlayıcı bulup bulmadıkları ve bunları izlemeye yönelik motivasyonları gibi öğrenmenin entelektüel, duygusal ve kültürel boyutlarıyla ilgili metriklerin yakalanmasına yardımcı olabilir. VIS’lerin eklenmesiyle, geri bildirim ve talimatların netliği (davranışsal boyutu) incelenebilir. Video etiketleme ve açıklama kullanımı ve paylaşımı ile sosyal boyut düşünülebilir; videolar sınıfta kullanılıyorsa, fiziksel çevrenin öğrenme üzerindeki etkilerini anlama fırsatı vardır. Temel sorunlardan biri, videoların öğrenme üzerindeki etkisinin genişletilmemesidir; çünkü öğrenme vekili, genellikle video etkinliğinin dışındaki değerlendirmeler yoluyla ortaya konan öğrenci performansı veya başarısıdır (bir videoyla doğrudan ilişkili içeriği değerlendiren özet sınavlar olarak kullanılabilecek VİS’ler hariç). Bu videolarla etkileşim yoluyla elde edilen öğrenmenin kapsamı hakkında geçerli yargılarda bulunma konusunda güçlük oluşturmaktadır. Bununla birlikte, öğrenenlerin, videoların yararlılığı veya etkinliği hususundaki geri bildirimlerine ve öğrenme deneyimlerine bir bakış açısı sağlayan memnuniyet düzeylerine güvenebiliriz.

ÖZET VE GELECEĞE YÖNELİK ÖNERİLER

Bu bölümde verilen genel bakış, öğrenme bilimcilerini, araştırmacıları, eğitimcileri ve videoların öğrenme, kullanım ve yeni soruları ve hipotezi keşfetmek için uyarlanabilecek önceki yaklaşımlara dâhil olmalarını araştırmakla ilgilenen diğer kişilere tanıtmak içindir.

Bu bölüm, eğitim amaçlı kullanılan potansiyel video türlerine ve bunların öğretim programına entegre edilebilecek çeşitli yollara genel bir bakış sunmuştur (ayrıntılı bir liste olmasa da). Veri madenciliği yaklaşımları, öğrenenin kullanımı, katılım ve videolarla öğrenme ile ilgili (daha geleneksel yaklaşımların yanı sıra) ilgili verilerin analiz edilmesinin bir yöntemi olarak, son zamanlarda yapılan araştırmalarda okuyucunun daha fazla araştırması için başlangıç noktası olarak bildirilen yaklaşımların kısa bir özeti ile tartışılmıştır.

Bu bölüm, video analitiği ve bu yaklaşımın öğrenenin ilgisini çekmeyi ve videolarla öğrenmeyi araştırmayı ve değerlendirmeyi nasıl destekleyebileceğini gösteren bazı uygulamaları tanıtmıştır. Çoklu ortam öğrenimi içerisinde öğretim programlarında yer alan video kavramlarının konumlandırılması, çoklu ortamın (ve videoların) öğrenme ve öğretime nasıl dâhil edildiğine ve bunların etkililiği açısından tarihsel olarak nasıl değerlendirildiklerine yönelik yolların göz önünde bulundurmaya yönelik teorik bir temel sağlar. Görüldüğü gibi, tek bir yaklaşım veya “ İngiliz anahtarı”, yöntem ve yaklaşımların bir kombinasyonu kadar uygun olmayabilir.

Çoklu ortam ve videoların öğrenme için etkinliğinin değerlendirilmesi üzerine yapılan birçok araştırmaya rağmen, cevaplanması gereken pek çok soru bulunmaktadır. Video teknolojileri tarafından yakalanan artan veri kütlesine ulaşmak ve bunları geliştirmek için yapılacak çalışma ve stratejilerin genişletilmesi, aşağıdakilerle sınırlı olmayan bir soru ortamını araştırma fırsatı sunar:

1. Öğrenciler farklı türdeki videoları nasıl kullanır, onlarla nasıl etkileşime girer ve nasıl öğrenir (ör. yansıtıcı öğrenme vs. konferans öğrenmesi)? Video analitiği, öğrenen geri bildirimi ve öğreten yansımalarından ve çeşitli öğretim programı veya öğrenme tasarım bağlamlarından oluşan karma yöntemler yaklaşımı burada yararlı olacaktır.

2. a) video içeriğinde yapılması gereken değişiklikler veya bunların öğretim programına nasıl dâhil edildiği hakkında öğretenleri bilgilendirmek ya da b) video içeriği veya ilgili etkinliklerle daha iyi ilgilenmeleri için öğrenenlere öğrenme stratejileri hakkında bilgi vermek hususlarında ne tür müdahalelerde bulunulabilir? Bu tür müdahaleler tanımlandıktan sonra, bunların etkililiğinin araştırılması gerekecektir.

3. Öğrenme vekillerine (ör. değerlendirme puanları veya final puanları) güvenmek yerine, videolarla veya videolardan öğrenme nasıl daha doğru bir şekilde yönlendirilebilir?

4. Video içeriğiyle ilgili veriler, öğrenenin kullanımını ve katılım örüntülerini nasıl etkilediğini keşfetmek için nasıl daha iyi kullanılabilir?

5. Bu etki alanı için en etkili algoritmalar nelerdir? Öğretim tasarımını bilgilendirmek, öğrenmeyi ve öğrenci deneyimini geliştirmek için daha fazla fırsat sağlamak amacıyla oluşturulan modellerden bazılarını kullanmak mümkün müdür?

KAYNAKÇA

Antani, S., Kasturi, R., & Jain, R. (2002). A survey on the use of pattern recognition methods for abstraction, indexing and retrieval of images and video. Pattern Recognition, 35(4), 945–965. http://doi.org/10.1016/ S0031-3203(01)00086-3

Anusha, V., & Shereen, J. (2014). Multiple lecture video annotation and conducting quiz using random tree classification. International Journal of Engineering Trends and Technology, 8(10), 522–525.

Atkins, M. J. (1993). Theories of learning and multimedia applications: An overview. Research Papers in Education, 8(2), 251–271. http://doi.org/10.1080/0267152930080207

Avlonitis, M., & Chorianopoulos, K. (2014). Video pulses: User-based modeling of interesting video segments. Advances in Multimedia, 2014. http://doi.org/10.1155/2014/712589

Avlonitis, M., Karydis, I., & Sioutas, S. (2015). Early prediction in collective intelligence on video users’ activity. Information Sciences, 298, 315–329. http://doi.org/10.1016/j.ins.2014.11.039

Beretvas, S. N., Meyers, J. L., & Leite, W. L. (2002). A reliability generalization study of the Marlowe-Crowne social desirability scale. Educational and Psychological Measurement, 62(4), 570–589. http://doi.org/10.1177/0013164402062004003

Bloom, B.S. (1968). Learning for Mastery: Instruction and Curriculum. Regional Education Laboratory for the Carolinas and Virginia, Topical Papers and Reprints, Number 1. Evaluation Comment, 1(2), n2.

Brooks, C., Epp, C. D., Logan, G., & Greer, J. (2011). The who, what, when, and why of lecture capture. Proceedings of the 1st International Conference on Learning Analytics and Knowledge (LAK’11), 27 February–1 March 2011, Banff, AB, Canada (pp. 86–92). New York: ACM.

Brunelli, R., Mich, O., & Modena, C. M. (1999). A survey on the automatic indexing of video data. Journal of Visual Communication and Image Representation, 10(2), 78–112. http://doi.org/10.1006/jvci.1997.0404

Chen, B., Seilhamer, R., Bennett, L., & Bauer, S. (2015, June 22). Students’ mobile learning practices in higher education: A multi-year study. Educause Review. http://er.educause.edu/articles/2015/6/students-mobile-learning-practices-in-higher-education-a-multiyear-study

Chen, L., Chen, G.-C., Xu, C.-Z., March, J., & Benford, S. (2008). EmoPlayer: A media player for video clips with affective annotations. Interacting with Computers, 20(1), 17–28. http://doi.org/10.1016/j.intcom.2007.06.003

Chorianopoulos, K. (2012). Crowdsourcing user interactions with the video player. Proceedings of the 18th Brazilian Symposium on Multimedia and the Web (WebMedia’12), 15–18 October 2012, São Paulo, Brazil (pp. 13–16). New York: ACM. http://doi.org/10.1145/2382636.2382642

Chorianopoulos, K. (2013). Collective intelligence within web video. Human-Centric Computing and Information Sciences, 3(1), 1–16. http://doi.org/10.1186/2192-1962-3-10

Chorianopoulos, K., Giannakos, M. N., Chrisochoides, N., & Reed, S. (2014). Open service for video learning analytics. Proceedings of the 14th IEEE International Conference on Advanced Learning Technologies (ICALT 2014), 7–10 July 2014, Athens, Greece (pp. 28–30). http://doi.org/10.1109/ICALT.2014.19

Clark, R.E. (1983). Reconsidering research on learning from media. Review of Educational Research, 53(4), 445–459. http://doi.org/10.3102/00346543053004445

Clark, R.E. (1994). Media and method. Educational Technology Research and Development, 42(3), 7–10. http: // doi.org/10.1007/BF02298090

Cobârzan, C., & Schoeffmann, K. (2014). How do users search with basic HTML5 video players? In C. Gurrin, F. Hopfgartner, W. Hurst, H. Johansen, H. Lee, & N. O’Connor (Eds.), MultiMedia Modeling (pp. 109–120). Springer. http://link.springer.com.wwwproxy0.library.unsw.edu.au/chapter/10.1007/978-3-319-04114-8_10

Colasante, M. (2010). Future-focused learning via online anchored discussion, connecting learners with digital artefacts, other learners, and teachers. Proceedings of the 27th Annual Conference of the Australasian Society for Computers in Learning in Tertiary Education: Curriculum, Technology & Transformation for an Unknown Future (ASCILITE 2010), 5–8 December 2010, Sydney, Australia (pp. 211–221). ASCILITE.

Colasante, M. (2011). Using video annotation to reflect on and evaluate physical education pre-service teaching practice. Australasian Journal of Educational Technology, 27(1), 66–88.

Coleman, C. A., Seaton, D. T., & Chuang, I. (2015). Probabilistic use cases: Discovering behavioral patterns for predicting certification. Proceedings of the 2nd ACM conference on Learning@Scale (L@S 2015), 14–18 March 2015, Vancouver, BC, Canada (pp. 141–148). New York: ACM. http://doi.org/10.1145/2724660.2724662

Conole, G. (2013). MOOCs as disruptive technologies: Strategies for enhancing the learner experience and quality of MOOCs. Revista de Educación a Distancia (RED), 39. http://www.um.es/ead/red/39/conole.pdf

Crockford, C., & Agius, H. (2006). An empirical investigation into user navigation of digital video using the VCR-like control set. International Journal of Human–Computer Studies, 64(4), 340–355. http://doi.org/10.1016/j.ijhcs.2005.08.012

Daniel, R. (2001). Self-assessment in performance. British Journal of Music Education, 18(3). http://doi.org/10.1017/S0265051701000316

Dawson, S., Macfadyen, L., Evan, F. R., Foulsham, T., & Kingstone, A. (2012). Using technology to encourage self-directed learning: The Collaborative Lecture Annotation System (CLAS). Proceedings of the 29th Annual Conference of the Australasian Society for Computers in Learning in Tertiary Education (ASCILITE 2012), 25–28 October, Wellington, New Zealand (pp. XXX– XXX). ASCILITE. http://www.ascilite.org/conferences/Wellington12/2012/images/custom/dawson, _shane_-_using_technology.pdf

de Koning, B. B., Tabbers, H. K., Rikers, R. M. J. P., & Paas, F. (2011). Attention cueing in an instructional animation: The role of presentation speed. Computers in Human Behavior, 27(1), 41–45. http://doi.org/10.1016/j.chb.2010.05.010

Delen, E., Liew, J., & Willson, V. (2014). Effects of interactivity and instructional scaffolding on learning: Self-regulation in online video-based environments. Computers & Education, 78, 312–320. http://doi.org/10.1016/j.compedu.2014.06.018

Diwanji, P., Simon, B. P., Marki, M., Korkut, S., & Dornberger, R. (2014). Success factors of online learning videos. Proceedings of the International Conference on Interactive Mobile Communication Technologies and Learning (IMCL 2014), 13–14 November 2014, Thessaloniki, Greece (pp. 125–132). IEEE. http: // IEEExplore. ieee.org/xpls/abs_all.jsp?arnumber=7011119

Dufour, C., Toms, E. G., Lewis, J., & Baecker, R. (2005). User strategies for handling information tasks in webcasts. CHI’05 Extended Abstracts on Human Factors in Computing Systems (CHI EA’05), 2–7 April 2005, Portland, OR, USA (pp. 1343–1346). New York: ACM. http://doi.org/10.1145/1056808.1056912

El Samad, A., & Hamid, O. H. (2015). The role of socio-economic disparities in varying the viewing behavior of e-learners. Proceedings of the 5th International Conference on Digital Information and Communication Technology and its Applications (DICTAP) (pp. 74–79). https://doi.org/10.1109/DICTAP.2015.7113174

Fegade, M. A., & Dalal, V. (2014). A survey on content based video retrieval. International Journal of Engineering and Computer Science, 3(7), 7271–7279.

Gagne, R.M. (1965). The conditions of learning. Holt, Rinehart ve Winston.

Gašević, D., Mirriahi, N., & Dawson, S. (2014). Analytics of the effects of video use and instruction to support reflective learning. Proceedings of the 4th International Conference on Learning Analytics and Knowledge (LAK’14), 24–28 March 2014, Indianapolis, IN, USA (pp. 123–132). New York: ACM. http://doi.org/10.1145/2567574.2567590

Giannakos, M.N. (2013). Exploring the video-based learning research: A review of the literature: Colloquium. British Journal of Educational Technology, 44(6), E191–E195. http://doi.org/10.1111/bjet.12070

Giannakos, M. N., Chorianopoulos, K., & Chrisochoides, N. (2014). Collecting and making sense of video learning analytics. Proceedings of the 2014 IEEE Frontiers in Education Conference (FIE 2014), 22–25 October 2014, Madrid, Spain. IEEE. http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=7044485

Giannakos, M. N., Chorianopoulos, K., & Chrisochoides, N. (2015). Making sense of video analytics: Lessons learned from clickstream interactions, attitudes, and learning outcome in a video-assisted course. The International Review of Research in Open and Distributed Learning, 16(1). http://www.irrodl.org/index.php/ irrodl/article/view/1976

Giannakos, M. N., Jaccheri, L., & Krogstie, J. (2015). Exploring the relationship between video lecture usage patterns and students’ attitudes: Usage patterns on video lectures. British Journal of Educational Technology, 47(6), 1259–1275. http://doi.org/10.1111/bjet.12313

Gkonela, C., & Chorianopoulos, K. (2012). VideoSkip: Event detection in social web videos with an implicit user heuristic. Multimedia Tools and Applications, 69(2), 383–396. http://doi.org/10.1007/s11042-012-1016-1

Gonyea, R.M. (2005). Self-reported data in institutional research: Review and recommendations. New Directions for Institutional Research, 2005(127), 73–89.

Greller, W., & Drachsler, H. (2012). Translating learning into numbers: A generic framework for learning analytics. Journal of Educational Technology & Society, 15(3), 42–57.

Grigoras, R., Charvillat, V., & Douze, M. (2002). Optimizing hypervideo navigation using a Markov decision process approach. Proceedings of the 10th ACM International Conference on Multimedia (MULTIMEDIA’02), 1–6 December 2002, Juan-les-Pins, France (pp. 39–48). New York: ACM. http://doi.org/10.1145/641007.641014

Guo, P. J., Kim, J., & Rubin, R. (2014). How video production affects student engagement: An empirical study of MOOC videos. Proceedings of the 1st ACM conference on Learning@Scale (L@S 2014), 4–5 March 2014, Atlanta, Georgia, USA (pp. 41–50). New York: ACM. http://doi.org/10.1145/2556325.2566239

Guskey, T. R., & Good, T. L. (2009). Mastery learning. In T. L. Good (Ed.), 21st Century Education: A Reference Handbook, vol. 1 (pp. 194–202). Thousand Oaks, CA: Sage.

He, W. (2013). Examining students’ online interaction in a live video streaming environment using data mining and text mining. Computers in Human Behavior, 29(1), 90–102. http://doi.org/10.1016/j.chb.2012.07.020

He, L., Grudin, J., & Gupta, A. (2000). Designing presentations for on-demand viewing. Proceedings of the 2000 Conference on Computer Supported Cooperative Work (CSCW’00), 2–6 December 2000, Philadelphia, PA, USA (pp. 127–134). New York: ACM. http://doi.org/10.1145/358916.358983

He, L., Sanocki, E., Gupta, A., & Grudin, J. (2000). Comparing presentation summaries: Slides vs. reading vs. listening. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI 2000), 1–6 April 2000, The Hague, Netherlands (pp. 177–184). New York: ACM. http://doi.org/10.1145/332040.332427

Hulsman, R. L., Harmsen, A. B., & Fabriek, M. (2009). Reflective teaching of medical communication skills with DiViDU: Assessing the level of student reflection on recorded consultations with simulated patients. Patient Education and Counseling, 74(2), 142–149. http://doi.org/10.1016/j.pec.2008.10.009

Ilioudi, C., Giannakos, M. N., & Chorianopoulos, K. (2013). Investigating differences among the commonly used video lecture styles. Proceedings of the Workshop on Analytics on Video-Based Learning (WAVe 2013), 8 April 2013, Leuven, Belgium (pp. 21–26). http://ceur-ws.org/Vol-983/WAVe2013-Proceedings.pdf

Johnson, T. (2011, July 22). A few notes from usability testing: Video tutorials get watched, text gets skipped. I’d Rather Be Writing [Blog]. http://idratherbewriting.com/2011/07/22/a-few-notes-from-usability-testing-video-tutorials-get-watched-text-gets-skipped/

Joy, E. H., & Garcia, F. E. (2000). Measuring learning effectiveness: A new look at no-significant-difference findings. Journal of Asynchronous Learning Networks, 4(1), 33–39.

Juhlin, O., Zoric, G., Engström, A., & Reponen, E. (2014). Video interaction: A research agenda. Personal and Ubiquitous Computing, 18(3), 685–692. http://doi.org/10.1007/s00779-013-0705-8

Kamahara, J., Nagamatsu, T., Fukuhara, Y., Kaieda, Y., & Ishii, Y. (2009). Method for identifying task hardships by analyzing operational logs of instruction videos. In T.-S. Chua, Y. Kompatsiaris, B. Mérialdo, W. Haas, G. Thallinger, & W. Bailer (Eds.), Semantic Multimedia (pp. 161–164). Springer. http://link.springer.com.wwwproxy0.library.unsw.edu.au/chapter/10.1007/978-3-642-10543-2_16

Keller, F.S. (1967). Engineering personalized instruction in the classroom. Revista Interamericana de Psicologia, 1(3), 144–156.

Kim, J., Guo, P.J., Cai, C.J., Li, S.-W. (Daniel), Gajos, K. Z., & Miller, R. C. (2014). Data-driven Interaction Techniques for Improving Navigation of Educational Videos. In Proceedings of the 27th Annual ACM Symposium on User Interface Software and Technology (pp. 563–572). New York, NY, ABD: ACM. https://doi.org/10.1145/2642918.2647389

Kim, J., Guo, P. J., Seaton, D. T., Mitros, P., Gajos, K. Z., & Miller, R. C. (2014). Understanding in-video dropouts and interaction peaks in online lecture videos. Proceedings of the 1st ACM Conference on Learning @ Scale (L@S 2014), 4–5 March 2014, Atlanta, GA, USA (pp. 31–40). New York: ACM. http://doi.org/10.1145/2556325.2566239

Kirschner, P. A., Sweller, J., & Clark, R. E. (2006). Why minimal guidance during instruction does not work: An analysis of the failure of constructivist, discovery, problem-based, experiential, and inquiry-based teaching. Educational Psychologist, 41(2), 75–86. http://doi.org/10.1207/s15326985ep4102_1

Kolowich, S. (2013, March 18). The professors who make the MOOCs. The Chronicle of Higher Education, 25. http://www.chronicle.com/article/The-Professors-Behind-the-MOOC/137905/

Kozma, R. B. (1991). Learning with media. Review of Educational Research, 61(2), 179–211. http://doi.org/10.3102/00346543061002179

Kozma, R. B. (1994). Will media influence learning? Reframing the debate. Educational Technology Research and Development, 42(2), 7–19. http://doi.org/10.1007/BF02299087

Kulik, C.-L. C., Kulik, J. A., & Bangert-Drowns, R. L. (1990). Effectiveness of mastery learning programs: A meta-analysis. Review of Educational Research, 60(2), 265–299. http://doi.org/10.3102/00346543060002265

Lee, H. S., & Anderson, J. R. (2013). Student learning: What has instruction got to do with it? Annual Review of Psychology, 64(1), 445–469. http://doi.org/10.1146/annurev-psych-113011-143833

Li, F. C., Gupta, A., Sanocki, E., He, L., & Rui, Y. (2000). Browsing digital video. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI 2000), 1–6 April 2000, The Hague, Netherlands (pp. 169–176). New York: ACM. http://doi.org/10.1145/332040.332425

Li, N., Kidzinski, L., Jermann, P., & Dillenbourg, P. (2015). How do in-video interactions reflect perceived video difficulty? Proceedings of the 3rd European MOOCs Stakeholder Summit, 18–20 May 2015, Mons, Belgium (pp. 112–121). PAU Education. http://infoscience.epfl.ch/record/207968

Li, K., T. Zhang, X. Hu, D. Zhu, H. Chen, X. Jiang, F. Deng, J. Lv, C. C. Faraco, and D. Zhang. 2010. “Human-Friendly Attention Models for Video Summarization.” In International Conference on Multimodal Interfaces and the Workshop on Machine Learning for Multimodal Interaction (pp. 27:1–27:8). New York: ACM. http://doi.org/10.1145/1891903.1891938

Lyons, A., Reysen, S., & Pierce, L. (2012). Video lecture format, student technological efficacy, and social presence in online courses. Computers in Human Behavior, 28(1), 181–186. http://doi.org/10.1016/j. chb.2011.08.025

Margaryan, A., Bianco, M., & Littlejohn, A. (2015). Instructional quality of Massive Open Online Courses (MOOCs). Computers & Education, 80, 77–83. http://doi.org/10.1016/j.compedu.2014.08.005

Mayer, R. E. (2009). Multimedia learning. Cambridge, UK: Cambridge University Press.

Mayer, R. E., Heiser, J., & Lonn, S. (2001). Cognitive constraints on multimedia learning: When presenting more material results in less understanding. Journal of Educational Psychology, 93(1), 187–198. http://doi.org/10.1037/0022-0663.93.1.187

McKeachie, W. J. (1974). Instructional psychology. Annual Review of Psychology, 25(1), 161–193. http://doi.org/10.1146/annurev.ps.25.020174.001113

Merkt, M., Weigand, S., Heier, A., & Schwan, S. (2011). Learning with videos vs. learning with print: The role of interactive features. Learning and Instruction, 21(6), 687–704. http://doi.org/10.1016/j.learninstruc.2011.03.004

Mirriahi, N., & Dawson, S. (2013). The pairing of lecture recording data with assessment scores: A method of discovering pedagogical impact. Proceedings of the 3rd International Conference on Learning Analytics and Knowledge (LAK’13), 8–12 April 2013, Leuven, Belgium (pp. 180–184). New York: ACM. http://dl.acm.org/citation.cfm?id=2460331

Mirriahi, N., Liaqat, D., Dawson, S., & Gašević, D. (2016). Uncovering student learning profiles with a video annotation tool: Reflective learning with and without instructional norms. Educational Technology Research and Development, 64(6), 1083–1106. http://doi.org/10.1007/s11423-016-9449-2

Monserrat, T.-J. K. P., Zhao, S., McGee, K., & Pandey, A. V. (2013). NoteVideo: Facilitating navigation of Blackboard-style lecture videos. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI’13), 27 April–2 May 2013, Paris, France (pp. 1139–1148). New York: ACM. http://doi.org/10.1145/2470654.2466147

Mu, X. (2010). Towards effective video annotation: An approach to automatically link notes with video content. Computers & Education, 55(4), 1752–1763. http://doi.org/10.1016/j.compedu.2010.07.021

Oblinger, D. G., & Hawkins, B. L. (2006). The myth about no significant difference. EDUCAUSE Review, 41(6), 14–15.

Owston, R., Lupshenyuk, D., & Wideman, H. (2011). Lecture capture in large undergraduate classes: Student perceptions and academic performance. The Internet and Higher Education, 14(4), 262–268. http://doi.org/10.1016/j.iheduc.2011.05.006

Palincsar, A. S. (1998). Social constructivist perspectives on teaching and learning. Annual Review of Psychology, 49(1), 345–375. http://doi.org/10.1146/annurev.psych.49.1.345

Pardo, A., Mirriahi, N., Dawson, S., Zhao, Y., Zhao, A., & Gašević, D. (2015). Identifying learning strategies associated with active use of video annotation software. Proceedings of the 5th International Conference on Learning Analytics and Knowledge (LAK’15), 16–20 March 2015, Poughkeepsie, NY, USA (pp. 255–259). New York: ACM Press. http://doi.org/10.1145/2723576.2723611

Peña-Ayala, A. (2014). Educational data mining: A survey and a data mining-based analysis of recent works. Expert Systems with Applications, 41(4, Part 1), 1432–1462. http://doi.org/10.1016/j.eswa.2013.08.042

Phillips, R., Maor, D., Cumming-Potvin, W., Roberts, P., Herrington, J., Preston, G., … Perry, L. (2011). Learning analytics and study behaviour: A pilot study. In G. Williams, P. Statham, N. Brown, & B. Cleland (Eds.), Proceedings of the 28th Annual Conference of the Australasian Society for Computers in Learning in Tertiary Education: Changing Demands, Changing Directions (ASCILITE 2011), 4–7 December 2011, Hobart, Tasmania, Australia (pp. 997–1007). ASCILITE. http://researchrepository.murdoch.edu.au/6751/

Reeves, T. C. (1986). Research and evaluation models for the study of interactive video. Journal of Computer-Based Instruction, 13(4), 102–106.

Reeves, T. C. (1991). Ten commandments for the evaluation of interactive multimedia in higher education. Journal of Computing in Higher Education, 2(2), 84–113. http://doi.org/10.1007/BF02941590

Risko, E. F., Foulsham, T., Dawson, S., & Kingstone, A. (2013). The collaborative lecture annotation system (CLAS): A new TOOL for distributed learning. IEEE Transactions on Learning Technologies, 6(1), 4–13. http: // doi.org/10.1109/TLT.2012.15

Ritzhaupt, A. D., Pastore, R., & Davis, R. (2015). Effects of captions and time-compressed video on learner performance and satisfaction. Computers in Human Behavior, 45, 222–227. http://doi.org/10.1016/j. chb.2014.12.020

Romero, C., & Ventura, S. (2007). Educational data mining: A survey from 1995 to 2005. Expert Systems with Applications, 33(1), 135–146.

Romero, C., & Ventura, S. (2010). Educational data mining: A review of the state of the art. IEEE Transactions on Systems, Man, and Cybernetics, Part C: Applications and Reviews, 40(6), 601–618. https://doi.org/10.1109/TSMCC.2010.2053532

Russell, T.L. (1999). The no significant difference phenomenon: A comparative research annotated bibliography on technology for distance education: As reported in 355 research reports, summaries and papers. North Carolina State University.

Schwan, S., & Riempp, R. (2004). The cognitive benefits of interactive videos: Learning to tie nautical knots. Learning and Instruction, 14(3), 293–305. http://doi.org/10.1016/j.learninstruc.2004.06.005

Shi, C., Fu, S., Chen, Q., & Qu, H. (2014). VisMOOC: Visualizing video clickstream data from massive open online courses. Proceedings of the 2014 IEEE Conference on Visual Analytics Science and Technology (VAST 2014), 9–14 November 2014, Paris, France (pp. 277–278). IEEE. http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=7042528

Sinha, T., & Cassell, J. (2015). Connecting the dots: Predicting student grade sequences from Bursty MOOC interactions over time. Proceedings of the 2nd ACM Conference on Learning@Scale (L@S 2015), 14–18 March 2015, Vancouver, BC, Canada (pp. 249–252). New York: ACM. http://doi.org/10.1145/2724660.2728669

Skinner, F. B. (1950). Are theories of learning necessary? Psychological Review, 57(4), 193–216. http://doi.org/10.1037/h0054367

Song, S., Hong, J., Oakley, I., Cho, J. D., & Bianchi, A. (2015). Automatically adjusting the speed of e-learning videos. CHI 33rd Conference on Human Factors in Computing Systems: Extended Abstracts (CHI EA’15), 18–23 April 2015, Seoul, Republic of Korea (pp. 1451–1456). New York: ACM. http://doi.org/10.1145/2702613.2732711

Syeda-Mahmood, T., & Ponceleon, D. (2001). Learning video browsing behavior and its application in the generation of video previews. Proceedings of the 9th ACM International Conference on Multimedia (MULTIMEDIA’01), 30 September–5 October 2001, Ottawa, ON, Canada (pp. 119–128). New York: ACM. http://doi.org/10.1145/500141.500161

Tennyson, R. D. (1994). The big wrench vs. integrated approaches: The great media debate. Educational Technology Research and Development, 42(3), 15–28. http://doi.org/10.1007/BF02298092

Vondrick, C., & Ramanan, D. (2011). Video annotation and tracking with active learning. In J. Shawe-Taylor, R. S. Zemel, P. L. Bartlett, F. Pereira, K. Q. Weinberger (Eds.), Advances in Neural Information Processing Systems 24 (NIPS 2011), 12–17 December 2011, Granada, Spain (pp. 28–36). http://papers.nips.cc/paper/4233-video-annotation-and-tracking-with-active-learning

Weir, S., Kim, J., Gajos, K. Z., & Miller, R. C. (2015). Learnersourcing subgoal labels for how-to videos. Proceedings of the 18th ACM Conference on Computer Supported Cooperative Work & Social Computing (CSCW’15), 14–18 March 2015, Vancouver, BC, Canada (pp. 405–416). New York: ACM. http://doi.org/10.1145/2675133.2675219

Wen, M., & Rosé, C. P. (2014). Identifying latent study habits by mining learner behavior patterns in massive open online courses. Proceedings of the 23rd ACM International Conference on Conference on Information and Knowledge Management (CIKM’14), 3–7 November 2014, Shanghai, China (pp. 1983–1986). New York: ACM. http://doi.org/10.1145/2661829.2662033

Wieling, M. B., & Hofman, W. H. A. (2010). The impact of online video lecture recordings and automated feedback on student performance. Computers & Education, 54(4), 992–998. http://doi.org/10.1016/j.compedu.2009.10.002

Winne, P. H., & Jamieson-Noel, D. (2002). Exploring students’ calibration of self reports about study tactics and achievement. Contemporary Educational Psychology, 27(4), 551–572.

Witten, I. H., & Frank, E. (2005). Data mining: Practical machine learning tools and techniques. Burlington, MA: Morgan Kaufmann Publishers.

Yousef, A. M. F., Chatti, M. A., & Schroeder, U. (2014). Video-based learning: A critical analysis of the research published in 2003–2013 and future visions. Proceedings of the 6th International Conference on Mobile, Hybrid, and On-line Learning (ThinkMind/eLmL 2014), 23–27 March 2014, Barcelona, Spain (pp. 112–119). http://www.thinkmind.org/index.php?view=articlevearticleid=elml_2014_5_30_50050

Yu, B., Ma, W.-Y., Nahrstedt, K., & Zhang, H.-J. (2003). Video summarization based on user log enhanced link analysis. Proceedings of the 11th ACM International Conference on Multimedia (MULTIMEDIA’03), 2–8 November 2003, Berkeley, CA, USA (pp. 382–391). New York: ACM. http://doi.org/10.1145/957013.957095

Zahn, C., Barquero, B., & Schwan, S. (2004). Learning with hyperlinked videos: Design criteria and efficient strategies for using audiovisual hypermedia. Learning and Instruction, 14(3), 275–291. http://doi.org/10.1016/j.learninstruc.2004.06.004

Zhang, D., Zhou, L., Briggs, R. O., & Nunamaker Jr., J. F. (2006). Instructional video in e-learning: Assessing the impact of interactive video on learning effectiveness. Information & Management, 43(1), 15–27. http://doi.org/10.1016/j.im.2005.01.004

Zupancic, B., & Horz, H. (2002). Lecture recording and its use in a traditional university course. In Proceedings of the 7th Annual Conference on Innovation and Technology in Computer Science Education (ITiCSE’02), 24–28 June 2002, Aarhus, Denmark (pp. 24–28). New York: ACM. http://doi.org/10.1145/544414.544424