Bölüm 20 Öğrenme Analitiği İçin Tavsiye Sistemlerini Uygulamak: Akıllı Öğreticiler

Soude Fazeli¹, Hendrik Drachsler², Peter Sloep²

¹Welten Enstitüsü, Öğrenme, Öğretme ve Teknoloji Araştırma Merkezi, Hollanda

²Hollanda Açık Üniversitesi, Hollanda

DOI: 10.18608/hla17.020

ÖZ

Bu bölüm, bir öneri sistem deneyiminin öğrenme analitiği (ÖA) alanında nasıl uygulanabileceğine ilişkin bir örnek sunmaktadır. Bu bölümde sunulan örnek çalışma, öğrenmede öneri sistemlerini değerlendirmek için standart bir yöntem izlemiştir. Örnek, Avrupa’daki eğitim paydaşları için, Facebook benzeri bir sosyal öğrenme platformu sağlamayı ancak Facebook’ dan farklı olarak sadece öğrenme ve bilgi paylaşımını amaçlayan, FP7 programlarında Açık Keşif Alanı (AKA) projesi kapsamında hazırlanmıştır. Bu bölümde, adım adım bir süreçte tam bir tavsiye sistemi veri çalışmasını açıklamaktayız. Ayrıca, öğrenme alanındaki veri güdümlü çalışmaların eksikliklerini ana hatlarıyla belirtmekte ve SoLAR topluluğu tarafından önerildiği gibi açık bir öğrenme analitiği platformuna olan ihtiyacı vurgulamaktayız.

Anahtar Kelimeler: Tavsiye sistemi, çevrimdışı veri çalışması, kullanıcı çalışması, işbirlikli filtreleme, bilgi arama ve alma, bilgi filtreleme, araştırma, metodoloji, seyreklik

Çeşitli alanlarda büyük miktarlarda verinin ortaya çıkmasıyla birlikte, tavsiye sistemleri, kullanıcıların geçmiş davranışlarına ve mevcut durumlarına göre en uygun bilgileri sağlamak için pratik bir yaklaşım haline gelmiştir. Duval (2011) tavsiye sistemlerini “‘Seçim paradoksunu’ ele almak ve bolluğu bir problemden öğrenme için bir varlığa dönüştürmek”in bir çözümü olarak ortaya koymuştur (s. 9), eğitsel veri madenciliği, büyük veri ve web analitiği gibi alanların tümü büyük miktarda veride örüntü bulmaya çalıştığına dikkat çekiyor. Örneğin, veri madenciliği yaklaşımları, kullanıcıların toplanan verilerinden tespit edilen benzerlik örüntülerine dayanarak tavsiyelerde bulunabilir. Bunun yanı sıra, Greller ve Drachsler (2012) tarafından yapılan bir saha araştırması, tavsiye sistemlerini ve kişiselleştirmeyi ÖA araştırmasının önemli bir parçası olarak tanımlamıştır.

Tavsiye sistemleri teknolojilerinin temeline ve algoritmalarına göre ayırt edilebilir. Kabaca içerik tabanlı ya da işbirlikli filtreleme kullanırlar. İçerik tabanlı algoritmalar, tavsiye sistemlerinde kullanılan ana yöntemlerden biridir; ögenin içeriğinin temsilini kullanıcının tercih modeliyle karşılaştırarak kullanıcıya bir öge tavsiye ederler (Pazzani ve Billsus, 2007). Ortak filtreleme, kullanıcıların ögeleri hakkındaki görüşlerine ve geri bildirimlerine dayanır. İşbirlikli filtreleme algoritmaları ilk önce benzer düşünen kullanıcıları bulur ve bunları bazı hedef kullanıcılara en yakın komşular olarak tanıtır; daha sonra, bu kullanıcının hedeflenen kullanıcıların en yakın komşuları (eş dereceleri) tarafından verilen ögelere göre bir ögenin derecelendirmesini tahmin ederler (Herlocker, Konstan, Terveen ve Riedl, 2004; Manouselis, Drachsler, Verbert ve Duval, 2012; Schafer, Frankowski, Herlocker ve Sen, 2007).

Geçmişte, farklı amaçlarla çeşitli eğitim projelerinde tavsiye sistemlerini uyguladık (Drachsler vd., 2010; Fazeli, Loni, Drachsler ve Sloep, 2014; Drachsler vd., 2009). Bu bölümde, eğitimde tavsiye sistemi algoritmalarının geliştirilmesi ve değerlendirilmesi ile ilgili şu ana kadar tespit ettiğimiz en iyi uygulamalardan bazılarını paylaşmak istiyoruz; özellikle de bir tavsiye sistemleri denemesinin nasıl kurulacağı ve çalıştırılacağına dair bir örnek vermek istiyoruz.

Teknoloji ile Geliştirilmiş Öğrenme alanına istinaden TavSisTDÖ çalışma grubunun Tavsiye Sistemleri için yaptığı açıklamaya göre (Drachsler, Verbert, Santos ve Manouselis) standart bir değerlendirme yönteminin uygulanması önemlidir. Çalışma grubu, eğitimde bir tavsiye sistemini değerlendirmek için dört kritik adımdan oluşan bir araştırma metodolojisi tanımlamıştır:

1. Tavsiye görevine uyan bir dizi veri kümesinin seçimi. Örneğin, tavsiye görevi bir kullanıcı için yeni ögeler bulmak veya ilgili ögeleri keşfetmek olabilir.

2. Tavsiye edilen sistemlerin performansı hakkında bilgi vermek için iyi bilinen veri kümeleri (mümkünse, MovieLens gibi eğitime dayalı veri kümeleri dâhil) dâhil olmak üzere seçilen veri kümelerinde farklı algoritmaların çevrimdışı veri çalışması.

3. Tasarlanan tavsiye sisteminin teknik yönlerinin yanı sıra öğrenenler üzerindeki psiko-eğitsel etkilerini test etmek için kapsamlı bir kullanıcı çalışması.

4. Tavsiye sisteminin gerçek kullanıcılar ile gerçekçi, normal çalışma koşulları altında test edilebilen gerçek zamanlı bir uygulamada kullanılması.

Tavsiye sisteminin tam bir açıklaması yukarıdaki dört adıma sunulan sınıflandırma çerçevesine göre eklenmelidir. (Drachsler vd., 2015). Kullanılan veri kümesi, Öğrenme Analitiği Dergisi¹‘nin eğitsel veri kümeleri ile ilgili özel bölümünde bildirilmelidir ve belirli koşullar altında diğer araştırmacılar için hazır bulundurulmalıdır (Dietze, Siemens, Taibi ve Drachsler, 2016). Bu diğer araştırmacıların karşılaştırılabilir sonuçları ve yeni görüşleri elde etmek için araştırmanın herhangi bir bölümünü tekrarlamasını ve düzenlemesini ve böylelikle analitik öğrenmenin tavsiye sistemleri gibi bir bilgi birikiminin oluşmasını mümkün kılar.

Bu bölümde eğitimde tavsiye sistemleri için yukarıda açıklanan araştırma metodolojisini takip eden deneysel bir çalışma örneği sunuyoruz. Bölümün geri kalanı şu şekilde düzenlenmiştir: Bu bölümde, eğitimde tavsiye veren sistemler için yukarıda açıklanan araştırma metodolojisini izleyen deneysel bir çalışma örneği sunacağız. Daha sonra, deneyin pratik sonuçlarını açıklayacak ve sonuçlandıracağız.

EĞİTİM ALANINDA BİR ÖNERİ SİSTEMİ DENEYİMİ

Bu bölümde, 2014 TDÖAK çalışmamızda sunulan deneysel bir çalışmayı kullanarak öğrenmede bir tavsiye sisteminin nasıl değerlendirilmesi gerektiği açıklanmaktadır (Fazeli vd., 2014). Bu çalışma, yukarıda açıklanan standart metodolojiyi izler. Bununla birlikte, bu metodolojiye ek bir adım daha ekledik: TavSisTDÖ’nün özel bir sayısında sunulan (Manouselis vd., 2012), kavramsal / teorik bir model geliştirme (Fazeli vd., 2013).

Çalışmamızda hedef çevremiz genel olarak sosyal öğrenme platformlarıdır. Sosyal öğrenme platformları, Facebook gibi sosyal ağlara benzer şekilde çalışır ancak Facebook’un aksine yalnızca öğrenme ve bilgi paylaşımı amacıyla geliştirilmiştir. Bu nedenle; genellikle öğretmenler, öğrenciler, öğrenenler, politika yapıcılar gibi eğitim paydaşları için ortak bir alan olarak hizmet sunarlar. Hedef sosyal öğrenme platformumuz Açık Keşif Alanı (AKA)’dır.² AKA ana sayfasında belirtildiği gibi,

AKA, e-öğrenme ortamının Avrupa bağlamında karşılaştığı çeşitli zorlukları ele almaktadır. Arayüz öğrenciler, öğretmenler, veliler ve politika yapıcılar gözönünde bulundurularak tasarlanmıştır. AKA üç ana hedefi yerine getirecektir. Öncelikle, paydaşları, dağınık eğitsel veri ambarlarından gelen e-öğrenme kaynakları için tek, entegre bir erişim noktası aracılığıyla güçlendirecektir. İkincisi, sosyal ağ tarzı çok dilli bir portal kullanarak, e-öğrenme kaynaklarını ve aynı zamanda eğitim faaliyetlerinin üretimi için hizmetler sunarak, anlamlı eğitim faaliyetlerinin üretiminde paydaşları hedef almaktadır. Üçüncüsü, paydaşların okul eğitiminde benimsemeleri için prototip görevi görebilecek yeni eğitim faaliyetlerinin etkisini değerlendirecektir.

Çalışmamızın temel amacı, hangi tavsiye sisteminin bir sosyal öğrenme platformunun veri ve bilgi ihtiyaçlarına en iyi şekilde cevap verebileceğini bulmaktır, asıl tavsiye görevi kullanıcılar için ilgili ögeleri bulmaktır. Aşağıdaki alt bölümlerde, çalışmayla ilgili detaylar adım adım verilmektedir.

Veri Kümesi Seçimi

Çoğu veri çalışması belirli bir ortamı veya belirli bir kullanıcı grubunu hedefler ve bu nedenle belirli bir veri türünü gerektirir. Bizim durumumuzda, hedef sosyal öğrenme platformları AKA’dır. Sonuç olarak, AKA’ya benzer öğrenme platformlarından toplanan verileri bulmaya çalıştık. AMİÜV ve OpenScout veri kümelerini aşağıdaki nedenlerden dolayı seçtik:

1. Veri kümeleri, kullanıcıların öğrenme kaynakları hakkındaki sosyal verilerini (derecelendirmeler, etiketler, incelemeler, vb.) sağlar. Bu nedenle, veri kümelerinin yapısı, içeriği ve hedef kullanıcıları AKA’nınkine benzerdir.

2. Bu veri kümeleri üzerinde öneri sunan algoritmaları kullanmak, AKA’nın gerçek kullanıcılarıyla çevrimiçi olmadan önce performanslarını değerlendirmemize yardımcı olur.

3. Hem AMİÜV hem de OpenScout veri kümeleri, sosyal verilerin toplanması ve depolanması için standart bir üst veri belirtimi sunan BOÜV (Bağlamsal Otomatikleştirilmiş Üst Veri) formatına (Schmitz vd., 2009) uygundur. BOÜV ayrıca sosyal verilerin depolanması için AKA’da uygulanmıştır.

Tablo 20.1. Seçilen Veri Kümelerinin Detayları

Bu iki veri kümesinin yanı sıra, MovieLens veri kümesini referans olarak test ettik, çünkü bugüne kadar, eğitim alanı genel olarak tavsiye sistemleri ile ilgilenen BİMK TavSis konferans serisinin aksine, çalışma için referans veri kümeleri yetersiz kalmıştır. Tablo 20.1, her üç veri kümesine genel bir bakış sunmaktadır (Fazeli vd., 2014). Eğitsel veri kümelerinden AMİÜV ve OpenScout’un aşırı derecede seyreklikten sıkıntı yaşadığı dikkate alınmalıdır. Tüm verilere ait detaylar TDÖAK 2014 makalemizde daha ayrıntılı olarak tanımlanmaktadır (Fazeli vd., 2014).

Çevrimdışı Veri Çalışması

Algoritmalar. Bu ikinci adımda, verilerimizle uyumlu çalışacak algoritmaları seçmeye çalıştık. Öncelikle, öneri algoritmalarını besleyecek olan giriş verisini kontrol etmek önemlidir. Bu durumda, AKA verileri, dolayısıyla seçilen veri kümelerinin verilerini, kullanıcıların öğrenme kaynakları (ögeler) ile etkileşim verilerini içerir. Bu nedenle, tavsiye sistemleri ailesinden İşbirlikli Filtreleme’den (İF) faydalanmayı uygun gördük. İF algoritmaları, içerik esaslı tavsiye sistemleri tarafından kullanılan içerik verilerinden daha ziyade kullanıcıların derecelendirmeler, yer imleri, görünümler, beğeniler, vb. gibi etkileşim verilerine dayanır. İF önerileri “türüne” göre bellek tabanlı veya model tabanlı olabilir; “teknik”e atıfta bulunarak madde bazında veya kullanıcı tabanlı olabilirler. Bu ayrımların ayrıntılı bir açıklaması için Bölüm 4 Fazeli vd. (2014) bakınız. Çalışmamızda, tüm bellek türlerinden ve tekniklerinden faydalandık: bellek temelli, model temelli,kullanıcı temelli ve öğe temelli. Şekil 20.1, üç temel adımdan oluşan deneysel yöntemimizi göstermektedir:

Şekil 20.1. Fazeli vd. (2014)’nin kullandıkları deneysel yöntem.

1. Bellek bazlı İF’lerin performansını hem kullanıcı hem de ürün bazında olmak üzere farklı benzerlik işlevlerini kullanarak karşılaştırdık.

2. Örnek verilerimiz üzerine en gelişmiş Matris Çarpanlarına Ayırma yöntemleri de dâhil olmak üzere model tabanlı İF’leri işledik.

3. Adım 1 ve 2’den en iyi performans gösteren algoritmaların son bir karşılaştırmasını yaptık. Dayanaklara ek olarak, en yakın k komşusu (kNN) yöntemini kullanarak komşu bulma mekanizmasını geliştirmek için önerilen grafik tabanlı bir yaklaşımı değerlendirdik (Fazeli vd., 2014).

Performans Değerlendirmesi. Uygun veri kümeleri ve öneri algoritmalarını seçtikten sonra, aday algoritmaların performansını değerlendirme görevine ulaşırız. Bunun için bir değerlendirme protokolü tanımlamamız gerekir (Herlocker vd. 2004). Bir değerlendirme protokolünün iyi bir açıklaması aşağıdaki sorular üzerine eğilmelidir:

S1. Ne ölçülecek?

Genel olarak, çoğu çevrimdışı tavsiye sistemi çalışmalarında, üretilen önerilerin kestirim doğruluğunu ölçüyoruz. Bununla, bir eğitim setini ve bir test setini karşılaştırarak, derecelendirme kestirimlerinin gerçek kestirimlerden ne kadar farklı olduğunu ölçmek istiyoruz. Eğitim ve test setleri, kullanıcı derecelendirme verilerimizin (kullanıcı etkileşimi verileriyle aynı) bölünmesinden kaynaklanmaktadır. TDÖAK 2014 çalışmamızda, eğitim seti ve test seti için kullanıcı derecelendirmelerini sırasıyla %80 ve %20’ye böldük. Bu tür bir bölünme tavsiye sistem değerlendirmelerinde yaygın olarak kullanılmaktadır (Fazeli vd., 2014).

Şekil 20.2. Grafik tabanlı İF’nin F1’i ve kullanılan tüm veri kümeleri için en iyi performans gösteren temel bellek tabanlı ve model tabanlı İF’ler (Fazeli vd., 2014).

S2. Bir öneri sistemi çalışması için uygun olan ölçümler nelerdir?

Girdi verilerimiz 5 yıldızlı derecelendirmeler gibi açık kullanıcı tercihleri ​​içeriyorsa, MHO (mutlak hatalar ortalaması) veya KOKH (kök ortalama kare hatası) kullanabiliriz. MHO ve KOKH’nin her ikisi de kullanıcı derecelendirmeleriyle aynı aralığı takip eder; örneğin, eğer veriler 5 yıldızlı derecelendirmeler içeriyorsa, bu metrikler 1 ile 5 arasındadır.

Girdi verileri görünümler, yer imleri, indirmeler vb. gibi kesin kullanıcı tercihlerini içeriyorsa Keskinlik, Hassasiyet ve F1 skorlarını kullanabiliriz. F1 skorunu, üretilen önerilerin doğruluğunu ve kapsamını değerlendirmede önemli ölçütler olan keskinlik ve hassasiyeti birleştirdiği için kullandık (Herlocker vd., 2004). F1, 0 ile 1 arasındadır.

Ek olarak n’ yi metrik olarak ölçülen, kesme olarak da bilinen, en üstteki n tavsiyelerinde tanımlamamız gerekir.

Son olarak tanımlanan değerlendirme protokolünü takip ederek veri kümelerindeki aday algoritmaların çalıştırılmasıyla ilgili sonuçları sunuyoruz. Sınırlı alan nedeniyle sadece TDÖAK 2014 makalemizin son sonuçlarını burada sunuyoruz. Daha fazla sonuç için lütfen orijinal makalenin 5.1 ve 5.2 bölümlerine (Fazeli vd., 2014) bakınız.

Şekil 20.2, en iyi performans gösteren bellek tabanlı İF (Jaccard kNN), çizge tabanlı İF ile karşılaştırıldığında model tabanlı İF (Bayesçi yöntemi) in F1 sonuçlarını göstermektedir. X ekseni kullanılan veri kümelerini ve y ekseni F1 değerlerini göstermektedir. Şekil 20.2’nin gösterdiği gibi çizge tabanlı yaklaşım AMİÜV ve MovieLens için en iyi performansı (%24) gösterir ve seçilen bellek -tabanlı ve model- tabanlı İF’ler, çizge tabanlı İF’den hem en sonra ikinci ve üçüncü sırada yer almaktadır. OpenScout için, bellek tabanlı yaklaşım neredeyse %1 farkla daha iyi performans gösterir.

Sonuç olarak şekil 20.2’de sunulan sonuçlara göre çizge tabanlı yaklaşımın sosyal öğrenme platformları için etkili olduğu görülmektedir. Bu keskinlik ve yapılan önerinin hassasiyetini etkili bir birleşimi olan gelişmiş bir F1 ile yansıtılır.

Öneri Sisteminin Uygulanması ve Kullanıcı Çalışması

Eğitim alanında, kullanıcı çalışmalarının önemi her zamankinden daha da belirgin hale gelmiştir (Drachsler vd., 2015). Eğitimde tavsiye sistemlerinin temel amacı doğru kestirimlerin çok daha fazlasını içerdiği için fayda, yenilik ve önerilerin çeşitliliği gibi diğer kalite göstergelerini de yapılandırmalıdır. Bununla birlikte, tavsiye sistemi çalışmalarının çoğunluğu hala yalnızca çevrimdışı veri çalışmalarına dayanmaktadır. Bunun nedeni muhtemelen kullanıcı çalışmalarının zaman alıcı ve karmaşık olmasıdır.

AKA verileri üzerinde çevrimdışı veri çalışması yaptıktan sonra hedef platformumuzda bir kullanıcı çalışması yürüten Fazeli vd. (2014) açıkladığı çalışmaları daha da ileriye taşıdık. Bunun için en iyi performans gösteren algoritmaları AKA ile birleştirdik. Gerçek AKA kullanıcılarına, onlar için yaptığımız önerilerden memnun olup olmadıklarını sorduk. Bunun için şu beş faktörü kullanarak kısa bir anket hazırladık: kullanışlılık, doğruluk, yenilik, çeşitlilik ve tesadüfen değerli bir şeyler keşfetme yeteneği. Bu veri çalışmasının ve takip eden kullanıcı çalışmasının tam açıklaması ve sonuçları henüz yayınlanmamıştır. Kullanıcı çalışması, gerçek AKA verileri üzerinde yürüttüğümüz veri çalışmasının sonuçlarını doğrulamaz, tahmin doğruluğu gibi veri çalışmalarının başarı göstergelerinin ötesine geçebilecek kullanıcı çalışmaları yapmanın oldukça gerekli olduğunu gösterir.

Doğruluk, tavsiye sistemlerini değerlendirmedeki önemli ölçütlerden biridir ancak sadece bu metriğe güvenmek veri bilimcilerinin ve eğitim teknologlarının daha az etkili yollara yönelmelerine neden olabilir.

PRATİK ÇIKARIMLAR VE SINIRLAMALAR

Eğitsel veri kümeleri, referans bağlantıları aracılığıyla halka açık ve açıkça kullanılabilir olmadıklarından eğitim veri kümelerinin çoğuna erişmek zordur. Dahası ilgili çalışmalara ait bulguların karşılaştırılması zordur, örneğin Verbert vd. (2011) ve Manouselis, Vuorikari, and Van Assche’ nin (2010) çalışmaları gibi. Her ne kadar aynı veri kümelerini ve bu iki çalışmada kullanılan bazı algoritmaları uygulasak da örnek çalışmamızın sonuçları onların sonuçlarından farklıdır. Bu nedenle, öğrenme kaynaklarının kişiselleştirilmesine ilişkin karşılaştırmalardan ek bilgi elde edemedik. Olası sebeplerden biri çalışmaların aynı veri kümesinin farklı versiyonlarını kullanmasıdır çünkü toplanan veriler farklı zamanlara aittir. Örneğin AMİÜV veri kümesi için farklı sürümler mevcuttur. Aslında, denemeler yapmak için ya da tavsiye sistemi topluluğunda karşılaştırma yapmak için benzersiz bir sürüm belirlenmemiştir.

Bu sorun, maalesef eğitim alanında e-ticaret dünyasında bulunan MovieLens veri kümesi¹ ile karşılaştırılabilecek altın bir standart veri kümesinin olmamasından kaynaklanmaktadır. Aslında, ÖA topluluğu, farklı kişiselleştirme yaklaşımları için ana referanslar seti olarak kullanılabilecek birkaç temsili veri kümesine ihtiyaç duymaktadır. Temel amaç, ÖA araştırmasını yürütmek için standart bir veri formatı elde etmektir. Bu fikir başlangıçta dataTEL projesi (Drachsler vd., 2011) tarafından önerilmiş ve daha sonra SoLAR Öğrenme Analitiği Topluluğu tarafından takip edilmiştir (Gašević vd., 2011). KAÇD’ler alanında, Drachsler ve Kalz (2016), bu karşılaştırılabilir sonuç eksikliğini ve bilimsel sonuçları karşılaştırmak için veri havuzlarını kullanan bir araştırma döngüsüne duyulan acil ihtiyacı tartışmışlardır. Dahası, AB tarafından finanse edilen LinkedUp² adlı bir proje, bağlı veri kavramlarını uygulayarak bir dizi altın standart veri kümesini sağlama yönünde ümit verici bir yaklaşım izlemektedir (Bizer, Heath ve Berners – Lee, 2009). LinkedUp projesi, öğrenme analitiği araştırmaları için bağlantılı bir veri havuzu sağlamayı ve merkezi veri havuzu üzerinden çeşitli veri yarışmalarını yürütmeyi amaçlıyor.

Genel olarak, farklı tavsiye sistemlerinin sonuçları veya eğitim alanındaki kişiselleştirme yaklaşımlarının karşılaştırılması algoritmaların, öğrenen modellerinin, veri kümelerinin ve değerlendirme ölçütlerinin çeşitliliği nedeniyle hala güçlükle yapılabilmektedir(Drachsler vd., 2015; Manouselis vd., 2012).

SONUÇ

Bu bölümün temel amacı bir öğrenme ortamı için en uygun tavsiye sisteminin nasıl tanımlandığını göstermektir. Bunu yapmak için, Drachsler vd.nin (2015) öğrenmede danışman sistemlerini değerlendirmek için sundukları standart metodolojiyi kullanarak bir örnek veri çalışmasını takip ettik. Metodoloji dört temel basamaktan oluşur:

1. Gerçek verinin henüz mevcut olmaması durumu göz önünde bulundurularak hedef verilerin benzeri olan ve tercihen de eğitim alanından uygun veri kümelerini seçin.

2. Girdi verilerine en uygun olan bir dizi aday öneri algoritmalarını çalıştırın. Bu basamağın çıktısı girdi verileriyle en iyi şekilde çalışacak öneri algoritmalarını ortaya çıkarmalıdır.

3. Kendileri için yapılan tavsiyelerde kullanıcı memnuniyetini ölçmek amacıyla bir kullanıcı çalışması gerçekleştirin.

4. En iyi aday tavsiyeyi hedef öğrenme platformuna dağıtın.

Kullanıcılara yönelik yaptığımız çalışma sonuçlarının, çevrimdışı veri çalışması sonuçlarını doğrulamamış olması gerçeği, her ne kadar zaman alıcı ve karmaşık olsa da kullanıcılara yönelik çalışmalar yürütülmesinin önemini ortaya koymaktadır.

TEŞEKKÜR BÖLÜMÜ

Bu bölüm kısmen AB 7. Çerçeve Programı Açık Uzay Araştırmaları projesi kapsamında finanse edilmiştir. Bu belge Avrupa Birliği’nin görüşlerini temsil etmemektedir ve Avrupa Birliği içeriğinden kaynaklanabilecek herhangi bir kullanımdan sorumlu değildir. Hendrik Drachsler’in çalışmaları FP7 AB projesi ÖATP tarafından desteklenmiştir.

KAYNAKÇA

Bizer, C., Heath, T., & Berners-Lee, T. (2009). Linked data: The story so far. International Journal on Semantic Web and Information Systems, 5(3), 1–22.

Dietze, S., Siemens, G., Taibi, D., & Drachsler, H. (2016). Editorial: Datasets for learning analytics. Journal of Learning Analytics, 3(3), 307–311. http://dx.doi.org/10.18608/jla.2016.32.15

Drachsler, H., Hummel, H., van den Berg, B., Eshuis, J., Waterink, W., Nadolski, R., Berlanga, A., Boers, N., & Koper, R. (2009). Effects of the ISIS recommender system for navigation support in self-organised learning networks. Journal of Educational Technology & Society, 12(3), 115–126.

Drachsler, H., & Kalz, M. (2016). The MOOC and learning analytics innovation cycle (MOLAC): A reflective summary of ongoing research and its challenges. Journal of Computer Assisted Learning, 32(3), 281–290. http:// doi.org/ 10.1111/jcal.12135

Drachsler, H., Rutledge, L., Van Rosmalen, P., Hummel, H., Pecceu, D., Arts, T., Hutten, E., & Koper, R. (2010). ReMashed: An usability study of a recommender system for mash-ups for learning. International Journal of Emerging Technologies in Learning, 5. http://online-journals.org/i-jet/article/view/1191

Drachsler, H., Verbert, K., Santos, O., & Manouselis, N. (2015). Panorama of recommender systems to support learning. In F. Ricci, L. Rokach, & B. Shapira (Eds.), Recommender systems handbook, 2nd ed. Springer.

Drachsler, H., Verbert, K., Sicilia, M.-A., Wolpers, M., Manouselis, N., Vuorikari, R., Lindstaedt, S., & Fischer, F. (2011). dataTEL: Datasets for Technology Enhanced Learning — White Paper. Stellar Open Archive. http: // dspace.ou.nl/handle/1820/3846

Duval, E. (2011). Attention please! Learning analytics for visualization and recommendation. Proceedings of the 1st International Conference on Learning Analytics and Knowledge (LAK’11), 27 February–1 March 2011, Banff, AB, Canada (pp. 9–17). New York: ACM.

Fazeli, S., Loni, B., Drachsler, H., & Sloep, P. (2014). Which recommender system can best fit social learning platforms? Proceedings of the 9th European Conference on Technology Enhanced Learning (EC-TEL’14), 16–19 September 2014, Graz, Austria (pp. 84–97).

Gašević, G., Dawson, C., Ferguson, S. B., Duval, E., Verbert, K., & Baker, R. S. J. d. (2011, July 28). Open learning analytics: An integrated and modularized platform. http://www.elearnspace.org/blog/wp-content/uploads/2016/02/ProposalLearningAnalyticsModel_SoLAR.pdf

Greller, W., & Drachsler, H. (2012). Translating learning into numbers: A generic framework for learning analytics. Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK’12), 29 April–2 May 2012, Vancouver, BC, Canada (pp. 42–57). New York: ACM.

Herlocker, J. L., Konstan, J. A., Terveen, L. G., & Riedl, J. T. (2004). Evaluating collaborative filtering recommender systems. ACM Transactions on Information Systems, 22(1), 5–53.

Manouselis, N., Drachsler, H., Verbert, K., & Duval, E. (2012). Recommender systems for learning. Springer Berlin Heidelberg.

Manouselis, N., Vuorikari, R., & Van Assche, F. (2010). Collaborative recommendation of e-learning resources: An experimental investigation. Journal of Computer Assisted Learning, 26(4), 227–242.

Pazzani, M. J., & Billsus, D. (2007). Content-based recommendation systems. In P. Brusilovsky, A. Kobsa, & W. Nejdl (Eds.), The adaptive web: Methods and strategies of web personalization (pp. 325–341). Lecture Notes in Computer Science vol. 4321. Springer.

Schafer, J. B., Frankowski, D., Herlocker, J., & Sen, S. (2007). Collaborative filtering recommender systems. In P. Brusilovsky, A. Kobsa, & W. Nejdl (Eds.), The adaptive web: Methods and strategies of web personalization (pp. 291–324). Lecture Notes in Computer Science vol. 4321. Springer.

Schmitz, H., Scheffel, M., Friedrich, M., Jahn, M., Niemann, K., Wolpers, M., & Augustin, S. (2009). CAMera for PLE. In U. Cress, V. Dimitrova, & M. Specht (Eds.), Learning in the Synergy of Multiple Disciplines: 4th European Conference on Technology Enhanced Learning (EC-TEL 2009) Nice, France, September 29–October 2, 2009 Proceedings (pp. 507–520). Lecture Notes in Computer Science vol. 5794. Springer.

Verbert, K., Drachsler, H., Manouselis, N., Wolpers, M., Vuorikari, R., & Duval, E. (2011). Dataset-driven research for improving recommender systems for learning. Proceedings of the 1st International Conference on Learning Analytics and Knowledge (LAK’11), 27 February–1 March 2011, Banff, AB, Canada (pp. 44–53). New York: ACM.