Bölüm 2 Öğrenme ve Bilgi Toplulukları İnşa Etmek İçin Bilgi İşlemsel Yöntemler

H. Ulrich Hoppe

Bilgisayar Bilimleri ve Uygulamalı Bilişsel Bilimler Bölümü, Duisburg Üniversitesi, Essen, Almanya

DOI: 10.18608/hla17.002

ÖZ

Öğrenme analitikleri (ÖA) algoritmalara ve bilgi işlemsel analiz yöntemlerine doğal bir ilgi gösterir. Bu ÖA’yı bilgisayar bilimcileri ve matematikten ilham alan araştırmacılar için ilgi çekici bir çalışma alanı yapar. Farklı yaklaşım türlerinin farklılaşan görünümü sadece “teknoloji uzmanları” için değil, aynı zamanda analitik uygulamalarının tasarımı ve yorumlanması için de geçerlidir. Analitik “Yöntemlerin teslisi”, 1) aktör-aktör (sosyal) ağlar dâhil olmak üzere ağ yapılarını, aynı zamanda aktör-yapay¹ ağlarının da dâhil olduğu ağ yapılarının analizini, 2) dizilim analizi yöntemlerini kullanan işlemleri ve 3) metin madenciliği veya diğer nesne analiz tekniklerinin kullanıldığı içerikleri kapsar. Bu yaklaşımların ve kaynakların özet bir resmi verilmiştir. Farklı metodolojik yaklaşımları birleştiren ileri bilgi işlemsel yöntemleri kullanmanın zorluklarını ve potansiyel faydalarını örneklemek için iki yeni çalışma sunulmuştur.

Anahtar Kelimeler: Bilgi işlemsel yöntemlerin üçlemesi, bilgi oluşturma, aktör-yapay ağları, kaynak erişim örüntüleri

Yeni kurulan öğrenme analitiği alanı (ÖA) bilgi işlemsel veya algoritmik veri analizi yöntemlerine doğal bir ilgi gösterir. Bu perspektifte, “analitik”, teknoloji yönünden zengin ortamlardaki öğrenme etkileşimlerinin görgül analizinden çok daha fazlasıdır, aslında analizin bir parçası olarak özel bilgi işlemsel ve matematiksel yaklaşımları da gerektirir. Bu araştırma dizisi, bir ÖA bağlamında uyarlanmış, uzmanlaşmış ve potansiyel olarak geliştirilmiş veri madenciliği ve ağ analizi tekniklerine dayanır.

Bu çabanın potansiyelini ve zorluklarını daha iyi anlamak için, altta yatan metotların doğası ile ilgili bazı farklılıkları ortaya koymak önemlidir. ÖA’da kullanılan bilgi işlemsel yaklaşımlar 1) ağ yapıları aktör-aktör (sosyal) ağlar dâhil olmak üzere aynı zamanda aktör-yapay ağ yapıları, 2) dizilim analizi yöntemlerini kullanan süreçleri ve 3) metin madenciliği veya diğer bilgi işlemsel yapay analiz tekniklerini kullanan içeriği içermektedir. Bu ayrım yalnızca bilgi işlemsel yöntemler ile birlikte ve onlar üzerinde fiilen çalışan “teknoloji uzmanları” ile ilgili değil, aynı zamanda “ÖA-zenginleştirilmiş” eğitim ortamları ve senaryolarının tasarımı için de önemlidir. ÖA’dan sıfırdan yeni bilgi işlemsel-analitik teknikler geliştirmesini beklememeliyiz, mevcut yaklaşımları bir ÖA bağlamında uyarlamalı ve genişletmeliyiz. İlk olarak farklı çevrelerin ve sağlayıcıların değişik yöntemleri iyi anlaşılmalıdır. Ayrıca, farklı yöntem türlerinin birleşimi ve sinerjik kullanımı, bir uygulama perspektifinden sıklıkla istenmektedir ancak bu hem kavramsal hem de bilgi işlemsel açısından yeni zorluklar oluşturmaktadır.

Grupla öğrenme senaryolarında ve öğrenme topluluklarında etkileşimin ve iletişimin bilgi işlemsel analizi, ÖA alanı ortaya çıkmadan önce bile bir araştırma konusu olmuştur ve bu çalışma hala ÖA ile ilgilidir. Bu bağlamda, erken benimsenen sosyal ağ analizi (SAA tip 1) uygulamaları Haythornthwaite (2001), Reffay ve Chanier (2003), Harrer, Malzahn, Zeini ve Hoppe (2007), De Laat, Lally, Lipponen ve Simons’in (2007) çalışmalarını içermektedir. Süreç odaklı analitik teknikler (tip 2), özellikle bilgisayar destekli işbirlikli öğrenme (BDİÖ) bağlamındaki etkileşimlerin analizlerinde daha uzun bir geçmişe sahiptir (Muhlenbrock ve Hoppe, 1999; Harrer, Martinez Mones ve Dimitracopoulou, 2009). Bilgi işlemsel dil bilim tekniklerine dayanan içerik tabanlı analizler (tip 3) diğerlerine göre daha geç ve daha az sayıda olmasına rağmen, işbirlikli öğrenme süreçlerinin analizine başarıyla uygulanmıştır (ör. Rose vd., 2008).

Ağ Analitiği Yöntemleri

Ağ analitiği yaklaşımları, özellikle sosyal ağ analizi (SAA), ilişkisel bir bakış açısıyla ve aktörleri bir ağdaki düğümler olarak gören bir çizge² yapısı şeklinde temsil edilerek betimlenir. Bu anlamda bir ağ, bir dizi aktör ve ağ aktörleri kümesi arasındaki bir dizi bağdan oluşur (Wasserman ve Faust, 1994). İkili bağlantının türü, her sosyal ağın yapısını tanımlar (Borgatti, Mehra, Brass ve Labianca, 2009). Farklı bağ türlerine örnek olarak katılım, arkadaşlık, profesyonel, davranışsal etkileşim veya bilgi paylaşımı verilebilir. Bu tür ağ yapılarının görselleştirilmesi belirli bir alt alan olarak ortaya çıkmıştır (Krempel, 2005). Standart ağ analizi yöntemleri, aktörlerin önemini farklı türlerdeki “merkezilik ölçütleri”³ ile ölçmeye ve genel olarak birbirlerinden daha yoğun şekilde bağlanmış aktörlerin kümelerini tespit etmeye izin verir (“birleştirici alt gruplar” veya “topluluk keşfi” tespiti- genel bakış için bk. Fortunato, 2010).

İyi bilinen bir SAA sınırlaması, hedef gösterimin, yani sosyal ağın, belirli bir zaman aralığında verileri toplaması ancak altta yatan zamansal dinamikleri (yani etkileşim örüntüleri) temsil etmemesidir. Kümelenmenin zaman aralığı boyutunun, alt topluluk yapıları gibi bazı ağ özellikleri üzerinde sistematik bir etkiye sahip olduğu gösterilmiştir (Zeini, Gohnert, Hecking, Krempel ve Hoppe, 2014). Zamana bağlı etkileri açıkça ele almak için, SAA teknikleri, dinamik yaklaşımlara yönelik olarak ağlarda zaman serilerinin analizini yapmak için genişletilmiştir.

Ağ analitik tekniklerinin (SAA başlığı altında bile olsa) aktörlerle ve sosyal ilişkilerle temel unsurlar olarak özellikle ilgilenmediğini kabul etmek önemlidir. “Bağlı kuruluş ağları” veya “iki modlu ağlar” (Wasserman ve Faust, 1994), iki farklı varlık türü, yani aktörler ve bağlılıklar arasındaki ilişkilere dayanmaktadır. Burada, “bağlılık/yakın ilişki” türü, örneğin yayınlarda ortak yazarlık ağları bağlamındaki aktörler olarak yazarlarla ilintili bağlılıklar da dâhil olmak üzere, çok farklı bir nitelikte olabilir. Genel olarak, iki modlu ağları bilgi yapı senaryolarda bilgi yapılarının oluşturulması ve paylaşımı modeli için kullanılabilir. En basit haliyle, bu ağların çift taraflı⁴ olduğu varsayılmaktadır, yani yalnızca alternatif bağlantılar olan aktör- yapay (“oluşturulmuş / değiştirilmiş” ilişki) veya yapay-aktöre (“oluşturulmuş / değiştirilmiş” ilişki) izin verilebilir. Basit matris işlemlerini kullanarak, bu çift taraflı iki modlu ağlar, sadece aktörlerin veya sadece yapıların homojen (tek modlu) ağlarına “yerleştirilebilir”. Burada, örneğin, aynı yapı üzerinde hareket etmişlerse iki aktör ilişkilendirilirdi. Bu durumda aktörler arasındaki ilişkinin yapılar tarafından yönlendirildiğini söyleyebilirdik. Benzer şekilde, failleri (iki farklı yapının oluşumunda yer alan bir aktör) aracılar olarak düşünülerek beşerî yapılar arasındaki ilişkileri türetebiliriz.

Ağ bağlantılı öğrenme ve BDİÖ ile ilgili SAA tekniklerinin kullanıldığı eğitim toplulukları ile ilgili sayıca artan çalışmalar gördük. Başlangıçta, öğrenme gruplarındaki bağıntıya yönelik önceki çalışmalarda olduğu gibi, e-posta ve tartışma panolarından türetilen ağlar, çalışılan en belirgin durumlardı (Reffay ve Chanier, 2003). Bu arada, ağ analizi ÖA tekniklerinin özüne aittir. Ferguson ve Shum (2012) tarafından “sosyal öğrenme analitiği” yaklaşımlarının sınıflandırılması, esas olarak bilgi işlemsel amaçlı olmamakla birlikte hem aktör-aktör hem aktör-yapay ağlarını içeren ağ analizi tekniklerini belirgin bir şekilde ifade etmektedir.

Süreç Odaklı Etkileşim Analizi

Sistemin günlük dosyalarına dayanan öğrenen eylemlerinin (ve etkileşimlerinin) bilgi işlemsel analizi, BDİÖ’de bir geleneğe sahiptir. Mevcut etkileşim analizi tekniklerinin paylaşılmasını ve birleştirilmesini kolaylaştırmak için BDİÖ sistemlerinde eylem günlüğü formatlarını standartlaştırma girişimleri bile vardı (Harrer vd., 2009). BDİÖ bağlamında (yani sıralı örüntü tanıma) akıllı hesaplama tekniklerini uygulamanın en eski örneklerinden biri Muhlenbrock ve Hoppe (1999) tarafından önerilmiş ve örneklenmiştir. Bu yaklaşım daha sonra “birlikte inşa etme” veya “çatışma” (Zumbach, Muhlenbrock, Jansen, Reimann ve Hoppe, 2002) gibi işbirliği örüntülerinin oluşumunu otomatik olarak saptamak için BDİÖ eylem günlüklerinin⁵ ön işlemine yönelik görgül bir bağlamda kullanılmıştır.

Bu yaklaşımlar öğrenmeyle ilgili bir araştırma bağlamında geliştirilirken, ölçeklendirilebilir platformlar yönetim forumu (ÖPYF) ve sıralı örüntü madenciliği yöntemleri kütüphanesi gibi uyarlanabilir ve kullanılabilir daha genel teknikler de vardı (Fournier-Viger vd., 2014). Bir ÖA bağlamında ÖPYF LeMo, araç takımı tarafından çevrimiçi öğrenme platformlarındaki etkinliklerin analitiği için kullanılır (Elkina, Fortenbacher, Merceron, 2013). Son bir başka çalışmada, Bannert, Reimann ve Sonnenberg (2014), özdevinim kuramı⁶ kökleri olan ve öz yönetimli öğrenmedeki örüntüleri ve stratejileri karakterize etmek için bilgi işlemsel bir teknik olan “süreç madenciliğini” kullanmıştır.

Metin Madenciliği Yöntemlerini Kullanarak İçerik Analizi

Strijbos, Martens, Prins ve Jochems (2006) tarafından BDİÖ perspektifinden tartışıldığı gibi, genellikle nicel görgül/deneysel araştırmalara girdi olarak kullanılan, içerik analizine dayalı insan yorumu ve kodlama geleneği vardır. Bunun tersine, bilgi işlemsel açıdan, yapıdan anlamsal bilgileri çıkarmak için bilgi madenciliği tekniklerini uygulamak istiyoruz. Açıkçası bu, öğrenenin ürettiği yapılar söz konusu olduğunda özel ilgi alanıdır. Rose vd. (2008), BDİÖ transkriptlerinin bir derlem ile otomatik metin sınıflandırmasının yararlılığını göstermiştir. Sherin (2013), öğrencilerin fen kavramlarını anlamalarını keşfetmek için öğrenci görüşme verisi üzerinde bilgi işlemsel içerik analizi tekniklerini kullanmıştır. E-öğrenme kaynaklarının benzerliklerine göre kümelenmesinde içerik analizi teknikleri de kullanılmıştır (Hung, 2012). Sherin (2013), çevrimiçi video tabanlı öğrenme bağlamında, öğrencilerin öğretmenin çevrimiçi soruları ve birebir sohbet mesajlarındaki ana konularını gruplamak için benzer tekniklerin kullanılmasını önermiştir.

Tipik olarak, bu metinsel içerik analizi yöntemleri, bir metinde verilen kelimelerin sırasının analiz ile ilgisi olmadığı “sözcük çantası⁷” modeline dayanmaktadır. Bu şu anda oldukça popüler olan gizli Dirichlet tahsisi yöntemi gibi çeşitli ihtimal dâhilindeki konu modelleme teknikleri için geçerlidir (GDT; Blei, 2012). Bir metindeki kelimelerin konumlarını dikkate alan yöntemin adı ağ metin analizidir (AMA). AMA, verilen metinlerden bir kavramlar ağı çıkardığı için içerik analizini ağ temsilleriyle birleştiren bir metin madenciliği yöntemidir (Carley, Columbus ve Landwehr, 2013). Kavramlar arasındaki bağlantılar, karşılık gelen terimler, metnin normalleştirilmiş bir sürümü üzerinden geçen önceden belirlenmiş genişlikte kayan bir pencerede belirli bir frekansla birlikte ortaya çıkarsa kurulur. Bir “üst eş anlamlılar sözlüğü” farklı kavram kategorilerini (ör. “kişi”, “yer”, “etki_alanı_fikri” ve benzeri) tanıtmaya izin verir. Bu temelde, kavram-kavram ilişkilerinin konum-kişi veya kişi-etki_alanı_fikri gibi belirli kategoriler arası tiplerle sınırlandırıldığı çok modlu ağlar oluşturulabilir. Bu temsiller, merkezilik ölçütleri gibi ağ-analitiği kavramları veya ağ tabanlı kümeleme tekniği olarak birleştirici alt grupların tespiti kullanılarak sırayla analiz edilebilir.

 Şekil.2.1. Öğretmen ve öğrenci atölyelerinin transkriptlerinden çıkarılan konu-konu ve kişi-konu ilişkileri.

Şekil 2.1, Avrupa JuxtaLearn projesi kapsamında öğretmen-öğrenci atölye çalışmalarından transkriptlere AMA uygulamasının sonucunu göstermektedir (Hoppe, Erkens, Clough, Daems ve Adams, 2013). Sonuçta ortaya çıkan ağlar, başlangıçta öğrenciler tarafından sunulan ve daha sonra tüm grupta tartışılan, biyoloji, kimya ve fizik alanlarından farklı konuları güzel bir şekilde yansıtmaktadır. Burada konular (beşgen şeklindeki düğümler) ve konu-konu ilişkileri gri renkle gösterilirken, kişiler (kare düğümler) ve kişi-konu ilişkileri daha koyu (siyah) olur.

Konu-konu ağında, üç farklı bilim alanı, daha çapraz bağlanmış adalar (veya “birleştirici alt gruplar”) olarak görünmektedir ancak bazı çapraz bağlar mevcuttur (ör. biyolojideki diffüzyon, kimyadaki moleküle bağlıdır). Kişi-konu bağlantıları, kişisel sunumlara ve tartışmalara katkısının önemini değerlendirmek için izin verir. Katkıların çoğu bir alt alanda kalmaktadır. Öğrenci S5 derece merkeziliği olma (farklı konulara 14 bağlantı) ve fiziğe en çok katkı yapan ancak bir bağın kimyaya bağlandığı yönüyle öne çıkmaktadır. JuxtaLearn projesinde, öğrencilerin fen videolarıyla ilgili soru / cevap koleksiyonlarından anlama ile ilgili problemlerini değerlendirmek için bu yaklaşım daha da geliştirilmiştir (Daems, Erkens, Malzahn ve Hoppe, 2014). Çıkarılan kavram ağları öğretmen tarafından oluşturulan taksonomilerle karşılaştırılmıştır. Bu taksonomilerin zenginleşmesine ve öğrenenler tarafında belirli anlayış problemlerinin tanımlanmasına yol açmıştır. Pedagojik bir bakış açısına göre, bu, öğretim programı inşası ve öğretim programı revizyonuyla ilgili (burada özellikle öğretmen tarafından oluşturulan mikro öğretim programı ile ilgili) görgül bilgiler sağlamaktadır.

Şekil 2.2, üç metodolojik yaklaşımın özelliklerini, temel temsil özellikleri ve tipik teknikleri bakımından özetlemektedir. Yaklaşımlar arasındaki örtüşen alanlar, yeni bütünleştirici veya sinerjik uygulamalar için özellikle önemlidir.

Şekil 2.2. Metodolojik yaklaşımların “teslisi”.

Bu makalenin geri kalan kısmında, topluluklarda öğrenme ve bilgi birikiminin analizine belirli bilgi işlemsel tekniklerinin uygulanmasıyla ilgili iki vaka çalışması sunulmaktadır. İlk örnek, daha gelişmiş ağ analizi yöntemlerinin, “birinci dereceden yaklaşımların” ilginç yapıları çözemediği bir durumda ilginç bilgiler verebileceğini göstermektedir. Bu yüzden zaman içinde bir öğrenme platformunda kaynak erişim örüntülerinin evrimini göz önünde bulundurarak, ağ analitiği yaklaşımını süreç yönleriyle birleştirir. İkinci vaka, bilgi oluşturma topluluğundaki fikirlerin evrimini nitelemek için bir bilimetrik¹ yöntemin benimsenmesini ve gözden geçirilmesini tarif eder. Bu ağ-analitiği yaklaşımı daha sonra içerik tabanlı metin madenciliği yöntemleriyle birleştirilir. Bu nedenle, her iki örnek de farklı yöntemleri bir araya getirmekten ek bir fayda bekleyebileceğimize yönelik genel görüşü desteklemektedir.

Örnek 1: Çevrimiçi Kurslardaki Dinamik Kaynak Erişim Kalıpları

Günümüzde yükseköğrenim uygulamaları yaygın olarak, ders slaytları, videolar ve ödevler de dâhil olmak üzere çeşitli türde eğitim materyallerini dağıtmak için Moodle gibi öğrenme platformları tarafından desteklenmekte, aynı zamanda bu destek aracılığıyla quiz veya sınav sonuçlarını toplamak ve forum veya wiki kullanarak bireysel veya grup çalışmasını kolaylaştırmak amaçlanmaktadır. Böylelikle, klasik hazır bulunan dersler harmanlanmış öğrenme kurslarına veya Fox (2013)’a göre “küçük özel çevrimiçi kurslar”a (KÖÇK) dönüştürülür. Öğrencilerin bu tür öğrenme platformlarında bıraktıkları izlere gelince, en çok görülen eylemler, aktör (öğrenen) -yapı (öğrenme kaynağı) ilişkilerini oluşturan kaynak erişimi faaliyetleridir. Wiki makalelerinin birlikte düzenlenmesi gibi yalnızca özel durumlarda, aracı yapılar katlanarak (yani, aynı wiki makalesinde, ortak yazarları birbirine bağlayarak) aktör-aktör ilişkileri gibi oldukça açık bir şekilde yorumlanabilir. Öğreten tarafından sağlanan ders materyallerine uygulanırsa, aynı derse erişime dayanan aktör-aktör ilişkisi seçici olmaz ve yoğun bir ağ trafiğine neden olur. Buna göre, bu tür tekillenmiş aktör-aktör ağlarında kümelerin veya alt toplulukların tespit edilmesi ve izlenmesi ilginç bilgiler vermeyecektir.

Yazarın süregelen yüksek lisans kurslarından birine dayanan bir çalışmada (Hecking, Ziebarth ve Hoppe, 2014), bu sorunun üstesinden gelmek için daha karmaşık bir teknik kullanılmıştır. İki modlu ağlar için bir alt topluluk algılama algoritmasının orijinal öğrenen-kaynak verilerine uygulanması, belirli bir zaman diliminde belirli materyal gruplarıyla çalışan öğrenen gruplarının tanımlanması açısından çok daha seçici ve farklı sonuçlara yol açmaktadır. Bu yaklaşım, başlangıçta tek modlu ağlar için tanımlanmış olan hizip² süzme yönteminin genelleştirilmesi olan “çift uçlu hizip süzme analizi” ağ analitiği yöntemine (Lehmann, Schwarz ve Hansen, 2008) dayanmaktadır (Palla, Derenyi, Farkas ve Vicsek, 2005). Hizip süzme yöntemi (HSY) tek modlu ağlarda grup (tam bağlantılı alt çizgelerde) varlığında alt topluluklar oluşturur. HSY, işbirlikli toplulukların analizi için özel bir öneme sahiptir çünkü ortaya çıkan kümeler örtüşebilir ve dolayısıyla farklı alt topluluklar arasındaki potansiyel aracı veya ara bulucuları tanımlamak için de kullanılabilir. Bu özellik, iki modlu ağlara sahip çift uçlu hizip süzme yöntemi (ÇHYS) için de geçerlidir. Orijinal makalelerinde Lehmann vd. (2008) iki modlu ağda alt topluluk seçiciliğinin yüksek olduğunu tespit etmiştir. Kendi uygulamamızda bunu doğrulamayı başardık.

Şekil 2.3. Gelişen iki modlu kümeler (solda) ve karşılık gelen yüzme şeridi şeması (sağda).

Şekil 2.3, ilke olarak, ÇHYS’nin iki modlu ağlarda birleştirici kümeleri izlemek için nasıl kullanılabileceğini göstermektedir. İlk olarak, ÇHYS ağın her zaman dilimine (sol taraf) uygulanır. Sağdaki diyagram, bireysel varlıklardan soyutlar ve sadece aktör grupları (kareler) ve kaynak grupları (daireler) arasındaki bağlantıları gösterir ve birbiriyle ilişkilendirir. Belirli bir zaman dilimi içinde, farklı tiplerdeki gruplar, bu iki grubun bir çift taraflı küme oluşturduğunu gösteren bir dikey kenar ile bağlanır. Yatay kenarlar zaman dilimleri boyunca görünür ve aynı tipteki iki grubu birbirine bağlar, bu da iki grubun benzer olarak değerlendirilebileceğini gösterir. Burada, aktörler ve kaynaklar arasındaki bağlantının bir zaman diliminden diğerine geçtiği bir durum görüyoruz. Genel olarak, (burada olduğu gibi) temel grupların bir zaman diliminden diğerine “hayatta kaldığı” belli değildir. Palla, Barabasi ve Vicsek (2007), alt grupların zaman içindeki evrimini izlemek için kullanılabilecek karmaşık bir dönüşümler sistemi (“doğum”, “birleşme”, “ayrık” ve benzeri) tanımlamışlardır.

Çalışmamızda (Hecking vd., 2014), bağlı kuruluş ağları , etkileşimli öğrenme ve öğretme teknolojileri üzerine harmanlanmış bir öğrenme kursu sırasında öğrencilerin öğrenme kaynaklarına erişimlerine dayanarak bağlantı ağları oluşturulmuştur. Elbette, geleneksel derste slaytlar, ders videoları, oyunlar ve ayrıca öğrencilerin wiki olarak oluşturdukları önemli kavramlar sözlüğü gibi çeşitli ek öğrenme kaynaklarının kullanılmasının yol açtığı bir yoğunluk söz konusuydu. Öğrenciler ve kaynaklar aynı anda yukarıda açıklandığı gibi karışık ve örtüşen kümeler halinde gruplandırılmıştı. Bu kümeler, bir grup öğrenme kaynağına ortak bir ilgisi olan ancak zorunlu olarak sosyal bağlantıya sahip olmayan bir öğrenci grubu olarak yorumlanabilir. Tipik bir örnek küme Şekil 2.3’de gösterilmiştir.

Şekil 2.4. Çift taraflı öğrenci kümeleri ve öğrenme kaynakları (siyah düğümler birden fazla kümeye aittir).

Yöntemi ders süresince belirli haftaların öğrenci-kaynak ağlarına uygulayarak, belli ödevlerin neden olduğu belirli gruplamaları yansıtır ancak aynı zamanda materyal kullanımına ilişkin bazı şaşırtıcı içgörüler kazandırır. Bu durum, örneğin Şekil 2.4’te, turuncu renkli kümenin, ders videolarını ve diğerleriyle karşılaştırıldığında öğrenme kaynaklarına belirgin bir ilgi gösteren öğrencileri içerdiği yerlerde görülebilir.

Ayrıca, çift taraflı öğrenci kümelerinin izlenmesi, son dersten sonraki sınava hazırlık sırasındaki öğrenci kaynak-erişim davranışını araştırmak için kullanılmıştır. Bu dönem özellikle ilginçtir, çünkü o zamana kadar, kursa haftada art arda eklenen öğrenme materyalleri havuzunun tamamı, öğrenciler tarafından oluşturulan wiki makaleleri de dâhil olmak üzere erişilebilirdi.

Şekil 2.5’teki yüzme şeridi şeması, bu aşamada kursta bulunan kaynak erişim örüntülerini göstermektedir. 4 günlük bir zaman penceresi boyutuna göre derlenecek zaman dilimleri. Sözlü sınavlar çoğu öğrenciye iki hafta boyunca dağıtılmış, bir başka çalışma programı için ise sınav aşaması son dersten altı hafta sonra başlamıştır. Elde edilen bir bulgu, öğrencilerin büyük bir çoğunluğunun birkaç zaman diliminde (vurgulu mavi kutu) öğrenme materyalinin büyük kısmına eriştiğini göstermektedir. 2 ve 5. zaman dilimleri arasında, sınav hazırlığı için bu materyali kullanan istikrarlı bir öğrenci grubu (öğrenci grubu 3) vardı. Buna karşılık, sözlü sınavlarına katılan çalışma programı öğrencileri daha sonra kaynak erişiminde daha çeşitli davranışlara (yeşil kutu) sahipti. Ayrıca, sınav çalışmalarına diğer çalışma programlarına kıyasla sınav saatine daha yakın başladılar. Son dilimde dört öğrenci grubundan üçü, sonrasında çekirdek öğrenme materyaline daha bağlı olan büyük bir gruba katıldı (kaynak grup 1).

Şekil 2.5. Sınav aşamasında gelişen öğrenci-kaynak kümelerinin yüzme şerit diyagramı.

Bir yandan, bu örnek, “birinci dereceden yöntemlerin” ilginç ve anlamlı yapısal ilişkileri çözemeyeceği bir durumda, karmaşık ağ analizi yöntemlerinin olası ifadesini göstermektedir. Öte yandan, ağ tabanlı modellerin dinamik, evrimsel bir yorumunu desteklemek için ek çaba gösterilmesi gerektiğini göstermektedir (her bir ağın zamanı “ihmal” ettiği düşünülmektedir).

KAÇD’lerde küçük grup iş birliğini desteklemeye yönelik devam eden bir araştırma projesinde, “anaakım davranışı”nı öğrenenler tarafında daha bireysel ya da kendine özgü kaynak kullanım örüntülerinden ayırt etmek için, öğrenenlerin birleştirici kümeleri ve kaynakları izleme yaklaşımını kullandık (Ziebarth vd., 2015). Bu modele dayalı ayrım göz önüne alındığında, dış motivasyonun ana akım grupta daha yaygın olduğunu gördük. Bu aktör- yapı ilişkilerinde belirli örüntülerin öğrenme biçimleri için bir gösterge olabileceğini düşündürmektedir.

Örnek 2: Bilgi İnşa Eden Topluluklarda Fikir Gelişiminin Analizi

Bilimsel üretim, bir toplulukta prototipik bir bilgi birikimi örneği olarak görülebilir. Buna göre, bilimsel üretimi ve iş birliğini analiz etmek için geliştirilen yöntemler (“bilimetrik yöntemler”) ağa bağlı öğrenme topluluklarında diğer bilgi türlerini analiz etmek için de kullanılabilir. Hummon ve Doreian (1989), düğümler atıflar tarafından bağlanırken bilimsel yayınların olduğu atıf ağlarındaki temel fikir akışını tespit etmek için “ana yol analizi” (AYA) yöntemini önermiştir. Orijinal makalede, örnek olarak DNA biyolojisinde bir derlem yayını kullanılmaktadır.

AYA yöntemi, alıntı çizgelerinin çevrimsiz doğasına dayanır. Diğer ağ analitik tekniklerinden farklı olarak, AYA, atıf ağlarının yapısından kaynaklanan (alıntı her zaman atıf yapılandan daha yenidir), açık bir zaman kavramına sahiptir. Bu zaman sıralamasının bir sonucu olarak ve her koleksiyonun sınırlı olduğu göz önüne alındığında, bir derlemde, her zaman başkaları tarafından alıntılanmayan belgeler (son-noktalar veya “bitiş”) ve derlemde (“kaynaklar”) başka belgelerden alıntı yapmayan belgeler vardır. AYA fikri, kaynak düğümlerden bitiş düğümlerine bilgi akışı açısından en çok kullanılan kenarları bulmaktır. Bu kenarları bulmak için yaygın bir yaklaşım “arama yolu sayısı” veya AYS yöntemidir (Batagelj, 2003). Ağdaki tüm kaynaklar tek bir yapay kaynağa bağlanır ve tüm bitişler tek bir yapay bitişe bağlanır. AYS, kaynaktan kenarın oluştuğu bitişe giden yol sayısına göre bir kenara ağırlık atar. Ardından ana yol, Şekil 2.6’da gösterildiği gibi çizgesi en yüksek ağırlığa sahip kenarlar kullanarak kaynağından bitişe geçirerek bulunabilir.

AYA’yı, wiki belgelerinin hiper-linkli bağlantıları ile çalışan topluluklara öğrenme fikri ilk önce Iassen Halatchliyski ve meslektaşları, tarafından önerildi (2012). Bununla birlikte, AYA doğrudan hiper bağlantılı web belgelerine uygulanamaz çünkü yönlü çevrimsiz çizgelerin (YÇÇ’ler) önceliği genellikle yerine getirilmez. Bir wikideki makalelerin içeriği dinamik olarak geliştiğinden, iki makale arasındaki köprüler aralarında zamansal bir düzen oluşturmaz ve döngüleri hatta çift yönlü alıntı bağlantıları oldukça sık görülür. Halatchliyski, Hecking, Gohnert ve Hoppe (2014)’te bu soruna AYA uygulamasına izin veren resmî bir değişiklik önerdik. Uyarlanmış yaklaşım, makaleler yerine, makalelerin belirli revizyonlarını (ardışık versiyonları) dikkate alır. Gelişen bir wiki makalesinin revizyonları, bilimsel yayınlar gibi sabit içerikli eserlerdir. Düğüm gibi sürümlere dayanan bir ağda, aynı makalenin ardışık revizyonları arasında revizyon kenarları tanıtıyoruz. Farklı makaleler arasındaki orijinal köprüler belirli revizyonları birbirine bağlar ve ayrıca yeni sürümler sunar. Bu numara döngüsel yapıları önler ve AYA uygulanmasına izin verir. Wikiversity öğrenme topluluğu bağlamında, tanımlanmış ana yollara sahip makalelerin uyuşanlarını, katkıların önemini veya ağırlığını değerlendirmek ve belirli rol modelleri (ilham verici, bağlayıcı, çalışan) açısından yazar profillerini nitelemek için bir temel olarak kullandık. Bu nitelemeler, bilgi oluşturma topluluklarının yönetimi için destekleyici bilgiler olarak hizmet eder.

ekil 2.6. AYS yöntemini gösteren örnek ağ (kenar ağırlıkları AYS sayılarıdır; kalın kenarlar ana yolları gösterir).

Daha sonraki bir çalışmada (Hoppe, Gohnert, Steinert ve Charles, 2014), eğitim topluluğundaki sohbet etkileşimlerini analiz etmek için AYA’nın ağ analitik yöntemini içerik analizleriyle birleştirdik (Tapped In bk. Farooq, Schank, Harris, Fusco ve Schlager, 2007). Burada, sohbet senkronize bir iletişim aracı olarak, özellikle de sırayla ele alma, muhtemel paralel mesaj dizisi ve etkileşimsel tutarlılık gibi özellikler dikkate alınmak zorunda kalındı. [Çalışmamız işlemsel kurallara dayalı bağımlılıkları tespit etmek için durumsallık analizini¹ (Suthers, Dwyer, Medina ve Vatraou, 2010) teorik bir temel ve referans olarak kullandı.

Şekil 2.7. Kısıtlı olasılık bağlantılarına sahip bir sohbet protokolünün parçası (ana yol katkısı ve kalın harflerle gösterilen bağlantılar).

Temel göstergeleri zenginleştirmek için diyalog eylemi etiketleme kavramını (Wu, Khan, Fisher, Shuler ve Pottenger, 2005) kullanarak bu yaklaşımı yeniden yapılandırdık ve geliştirdik. Yöntemimizi bir öğretmen topluluğundan gelen birkaç sohbet protokolü örneğini kullanarak kıyaslama amacıyla test ettik. Bu F-puanına (bilgi getiriminde kullanılan, keskinlik ve hassasiyeti birleştiren bir ölçek) dayanan daha önce elle kodlanmış olan koşullarla (Suthers ve Desiato, 2012) yöntemimizin oluşturduğu durumsallık bağlantıları arasındaki uyuşmaya erişimi sağladı. Otomatik olarak oluşturulan muhtemel durumlar, manuel olarak analiz edilen grafiklerin ikili F-skor benzerliği ile karşılaştırılabilir olan %83 ile %97 arasında bir F-skor benzerliğine ulaştı. Şekil 2.7, sağ tarafta gösterilen acil durum bağlantılarına, kalın harflerle vurgulanan ana yol katkılarına ve parantez içine eklenen diyalog eylemi etiketlemesinden kaynaklanan mesaj kategorilerine (ör. “Açıklama” veya “evet / hayır sorusu”) ait bir sohbet diliminin bir parçasını gösterir.

Ana yön bilgisi, genel söylemlerin gelişiminde ve evrilmesindeki katkıların uygunluğunun bir göstergesi olarak yorumlanmalıdır. Bu katkı payları için ilgi düzeyi ölçütü, katılımcıların söylemdeki etkisini tahmin etmek için kullanılabilir. Bu özellik için insan değerlendirmesine sahip olmadığımızdan, aktör başına “ana söylemdeki katkı yüzdesi” (%MainPath) ölçüsünü, yerleşik PageRank ve Indegree ölçümlerine dayanan diğer etki sıralamalarıyla karşılaştırdık. Bu önlemleri, insan ve otomatik kodlamanın sebep olduğu beklenmedik durum grafiklerinin farklı sürümlerine uyguladık. Sonuç olarak, %MainPath’in PageRank ile 0.82 (0.82), Indegree ile 0.69 (0.88) bir korelasyon olduğunu bulduk. Kendi başına, %MainPath sadece rakip bir göstergedir. Bununla birlikte, yalnızca yerel (Indegree) veya küresel ağırlıklı prestij (Sayfa Sıralaması) değil, söylemdeki tartışmaların akışını da dikkate aldığından diğer tedbirlerden farklıdır. Şekil 2.6’da görülebileceği gibi, AYA aynı zamanda ana argüman konularına yönelik söylemin filtrelenmesine de izin vermektedir. Bu anlamda, AYA ağ modelini daha özel ve anlamlı kılmaktadır. Bununla birlikte, bu yapıları doğrulamak için daha fazla araştırmaya ihtiyaç vardır.

Genel olarak, ÖA’nın gerçekten yeni bilgi işlemsel veri madenciliği ve analiz yöntemleri icat etmesini bekleyemeyiz. Yine de bir dizi mevcut tekniğin başarılı bir şekilde benimsendiğini gördük. Bunun belirgin olduğu bir durum ise kesinlikle sosyal ağ analizidir- merkezilik ölçütleri veya birleştirici kümeler (alt topluluklar) gibi SAA kavramlarına kadar şu anda ÖA söyleminde kullanılan kavramsal repertuvarın bir parçasıdır. Bu durum karşılıklı konuşmaların ve metinsel eserlerin analizlerine yönelik süreç odaklı tekniklerde (sıralı örüntü madenciliği gibi) veya dilbilimsel yöntemlerde hala daha az geçerlidir. Bu makalede sunulan örnekler ve argümanlar, 1) SAA’nın bile, daha iyi bilinen “birinci dereceden yaklaşımlardan” daha fazla sunabileceğini ve 2) farklı analitik yöntem türlerini bir araya getirmekten beklenebilecek olanı desteklediğini doğrulamaktadır. Ağ analizi teknikleriyle ilgili olarak, saf aktör-aktör ağlarından aktör-yapı (veya iki modlu) ağlara geçiş, daha anlamlı ve anlamlı ilişkileri çözebilecek daha zengin bir bilgi temeli sağlar. Çevrimiçi kurslardaki kaynak erişimini analiz etme örneği bunun nasıl bir fark yaratabileceğini göstermektedir. Ayrıca, geçici ağ dizilimleri dikkate alınarak zamanın eklendiğini de gösterir.

TARTIŞMA ve BAKIŞ AÇISI

Bu makale, konulara ve zorluklara öncelikle bilgi işlemsel bir bakış açısıyla bakmaktadır. Pedagojik bir bakış açısına göre, potansiyel faydalarını değerlendirmek için satın alımların ve aynı zamanda belirli yöntemlerin eksikliklerinin belirlenmesi önemlidir. Örneğin bilgi oluşturma topluluklarında “etkileşim kalıpları” hedeflenirken, saf SAA modellerinin yalnızca statik oyuncu-aktör ilişkilerini ortaya çıkaracağı, zamana bağlı kalıpları ortaya çıkaramayacağı açık olmalıdır. Muhtemel uzantılar, zaman serileri ağını ve / veya aktör- yapı ilişkilerini kullanır. Ağ-metin analizi, metinsel yapıları kavram ağlarına (muhtemelen farklı kategorilerde) dönüştüren ve bu nedenle içerik ve ağ analitik yaklaşımlarını birleştirmeye izin veren bir yaklaşımın bir örneğidir. Öte yandan, bu bilgi işlemsel yöntemler göz önüne alındığında, potansiyel pedagojik katma değerler nerededir? Bu bakımdan aşağıdaki örnekleri gördük:

• AMA kullanarak öğrencinin ürettiği metinlerden elde edilen kavram ağları öğrencilerin zihinsel modellerini ve kavram yanılgılarını ortaya çıkarabilir. Bu alan taksonomisini zenginleştirmek ve öğretim programı değişiklikleri için bir temel olabilir.

• Öğrenme platformlarından edindiğimiz temel bilgiler, kaynaklara erişen (veya muhtemelen yaratan/yükleyen) öğrenenler hakkındadır. İki modlu öğrenen-yapay ağlarını takip eden dizilimlerden, öğrenen davranışını “ana akış” ya da daha fazla bireysel olarak çeşitlendirilmiş, muhtemelen içsel olarak motive veya merak odaklı olarak sınıflandırabiliriz.

• Bilimetrik’ den ödünç alınan teknikler, bilgi oluşturma topluluklarındaki fikirlerin evriminin ana çizgilerini belirlemeye izin verir. Bu temelde, toplum yönetiminde daha iyi bilgilendirilmiş kararları destekleme konusunda katkıları ve katkıda bulunanların rolünü karakterize edebiliriz.

Büyük çevrimiçi kurslarda forum katılımı son zamanlarda ÖA’dan ilham alan çeşitli çalışmalara konu olmuştur. Etkileşimlerin ve içerik değerlendirmesinin (insan puanlamasına göre) “düzenliliği” ile birleştirilen SAA örüntüleri içeren analitik tekniklerin bir karışımını kullanarak, Poquet ve Dawson (2016) üretken ve destekleyici forum etkileşimleri için başarı faktörlerini karakterize etmişlerdir. İlginç bir şekilde, kendileri yoğun bir şekilde bağlı alt grupların (veya “hiziplerin”) parçası olmayan belirli topluluk üyelerinin ağa bağlı topluluğun olumlu gelişimi üzerinde önemli bir etkisi buldular. Benzer bir bağlamda, Wise, Cui ve Vytasek (2016), bu tür forumlarda, içerikle ilgili olmayan (sosyal veya örgütsel) konuşmalardan içerik ayırt etmek için belirteçler olarak bazı dil özellikleri tanımlamıştır. Etki alanına özgü söz varlığının yanı sıra, içeriğe bağlı katkıların öngördürücüleri arasında “anlama”, “örnek”, “fark” veya soru sözcükleri gibi genel terimler de buldular. Bunlar, ağda kullanılan “sinyal kavramlarına”, Daems, Erkens, Malzahn ve Hoppe (2014)’ün eğitsel video yorumlarının metin analizine karşılık gelmektedir. Bu yine, öğrenme ve bilgi oluşturma topluluklarının belirleyicileri hakkında daha iyi bir anlayış ve anlayış elde etmek için “eldeki” modelleme yaklaşımları ve analiz tekniklerinin bir karışımına sahip olmanın önemini göstermektedir.

Temel iddia ve umut, ÖA topluluğundaki zenginliğin ve çeşitli bilgi işlemsel yöntemlerinin bilincini arttırmak ve böylece ÖA ile bilgi işlemsel esinli araştırmalar arasında daha fazla sinerji için zemin oluşturmaktır.

KAYNAKÇA

Bannert, M., Reimann, P., & Sonnenberg, C. (2014). Process mining techniques for analysing patterns and strategies in students’ self-regulated learning. Metackognition and Learning, 9(2), 161–185.

Batagelj, V. (2003). Efficient algorithms for citation network analysis. arXiv:cs/0309023v1.

Blei, D. M. (2012). Introduction to probabilistic topic models. Communications of the ACM, 55(4), 77–84.

Borgatti, S. P., Mehra, A., Brass, D. J., & Labianca, G. (2009). Network analysis in the social sciences. Science, 323(5916), 892–895.

Carley, K. M., Columbus, D., & Landwehr, P. (2013). AutoMap user’s guide 2013. Technical Report CMU-ISR-13-105. Pittsburgh, PA: Carnegie Mellon University, Institute for Software Research. www.casos.cs.cmu.edu/publications/papers/CMU-ISR-13-105.pdf.

Daems, O., Erkens, M., Malzahn, N., & Hoppe, H. U. (2014). Using content analysis and domain ontologies to check learners’ understanding of science concepts. Journal of Computers in Education, 1(2–3), 113–131.

De Laat, M., Lally, V., Lipponen, L., & Simons, R. J. (2007). Investigating patterns of interaction in networked learning and computer-supported collaborative learning: A role for Social Network Analysis. International Journal of Computer-Supported Collaborative Learning, 2(1), 87–103.

Elkina, M., Fortenbacher, A., & Merceron, A. (2013). The learning analytics application LeMo: Rationals and first results. International Journal of Computing, 12(3), 226–234.

Farooq, U., Schank, P., Harris, A., Fusco, J., & Schlager, M. (2007). Sustaining a community computing infrastructure for online teacher professional development: A case study of designing Tapped In. Computer Supported Cooperative Work, 16(4–5), 397–429.

Ferguson, R., & Shum, S. B. (2012). Social learning analytics: Five approaches. Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK’12), 29 April–2 May 2012, Vancouver, BC, Canada (pp. 23–33). New York: ACM.

Fortunato, S. (2010). Community detection in graphs. Physics Reports, 486(3), 75–174.

Fournier-Viger, P., Gomariz, A., Gueniche, T., Soltani, A., Wu, C. W., & Tseng, V. S. (2014). SPMF: A Java open-source pattern mining library. Journal of Machine Learning Research, 15(1), 3389–3393.

Fox, A. (2013). From MOOCs to SPOCs. Communications of the ACM, 56(12), 38–40.

Halatchliyski, I., Oeberst, A., Bientzle, M., Bokhorst, F., & van Aalst, J. (2012). Unraveling idea development in discourse trajectories. Proceedings of the 10th International Conference of the Learning Sciences (ICLS’12), 2–6 July 2012, Sydney, Australia (vol. 2, pp. 162–166). International Society of the Learning Sciences.

Halatchliyski, I., Hecking, T., Göhnert, T., & Hoppe, H. U. (2014). Analyzing the path of ideas and activity of contributors in an open learning community. Journal of Learning Analytics, 1(2), 72–93.

Harrer, A., Malzahn, N., Zeini, S., & Hoppe, H. U. (2007). Combining social network analysis with semantic relations to support the evolution of a scientific community. In C. Chinn, G. Erkens, & S. Puntambekar (Eds.), Proceedings of the 7th International Conference on Computer-Supported Collaborative Learning (CSCL 2007), 16–21 July 2007, New Brunswick, NJ, USA (pp. 270–279). International Society of the Learning Sciences.

Harrer, A., Martínez-Monés, A., & Dimitracopoulou, A. (2009). Users’ data: Collaborative and social analysis. In N. Balacheff, S. Ludvigsen, T. de Jong, A. Lazonder, & S. Barnes (eds.), Technology-enhanced learning: Principles and products (pp. 175–193). Springer Netherlands.

Haythornthwaite, C. (2001). Exploring multiplexity: Social network structures in a computer-supported distance learning class. The Information Society, 17(3), 211–226.

He, W. (2013). Examining students’ online interaction in a live video streaming environment using data mining and text mining. Computers in Human Behavior, 29(1), 90–102.

Hecking, T., Ziebarth, S., & Hoppe, H. U. (2014). Analysis of dynamic resource access patterns in online courses. Journal of Learning Analytics, 1(3), 34–60.

Hoppe, H. U., Erkens, M., Clough, G., Daems, O. & Adams. A. (2013). Using Network Text Analysis to characterise teachers’ and students’ conceptualisations in science domains. In R. K. Vatrapu, P. Reimann, W. Halb, & S. Bull (Eds.), Proceedings of the 2nd International Workshop on Teaching Analytics (IWTA 2013), 8 April 2013, Leuven, Belgium. http://ceur-ws.org/Vol-985/paper7.pdf

Hoppe, H. U., Göhnert, T., Steinert, L., & Charles, C. (2014). A web-based tool for communication flow analysis of online chats. Proceedings of the Workshops at the LAK 2014 Conference co-located with the 4th International Conference on Learning Analytics and Knowledge (LAK’14), 24–28 March 2014, Indianapolis, IN, USA. http://ceur-ws.org/Vol-1137.

Hummon, N. P., & Doreian, P. (1989). Connectivity in a citation network: The development of DNA theory. Social Networks, 11(1), 39–63.

Hung, J.2012). Trends of e-learning research from 2000 to 2008: Use of text mining and bibliometrics. British Journal of Educational Technology, 43(1), 5–16.

Krempel, L. (2005). Visualisierung komplexer Strukturen — Grundlagen der Darstellung mehr-dimensionaler Netzwerke. Frankfurt, Germany: Campus-Verlag.

Lehmann, S., Schwartz, M., & Hansen, L. K. (2008). Biclique communities. Physical Review E, 78(1). doi:10.1103/ PhysRevE.78.016108

Mühlenbrock, M., & Hoppe, H. U. (1999). Computer supported interaction analysis of group problem solving. Proceedings of the 1999 Conference on Computer Support for Collaborative Learning (CSCL’99), 12–15 December 1999, Palo Alto, California (pp. 398–405). International Society of the Learning Sciences.

Palla, G., Barabasi, A. L., & Vicsek, T. (2007). Quantifying social group evolution. Nature, 446(7136), 664–667.

Palla, G., Derenyi, I., Farkas, I., & Vicsek, T. (2005). Uncovering the overlapping community structure of complex networks in nature and society. Nature, 435(7043), 814–818.

Poquet, O., & Dawson, S. (2016). Untangling MOOC learner networks. Proceedings of the 6th International Conference on Learning Analytics and Knowledge (LAK’16), 25–29 April 2016, Edinburgh, UK (pp. 208–212). New York: ACM.

Reffay, C., & Chanier, T. (2003). How social network analysis can help to measure cohesion in collaborative distance-learning. In B. Wasson, S. Ludvigsen, & H. U. Hoppe (Eds.), Proceedings of the Conference on Computer Support for Collaborative Learning: Designing for Change in Networked Environments (CSCL 2003), 14–18 June 2003, Bergen, Norway (pp. 343–352). International Society of the Learning Sciences.

Rosé, C., Wang, Y. C., Cui, Y., Arguello, J., Stegmann, K., Weinberger, A., & Fischer, F. (2008). Analyzing collaborative learning processes automatically: Exploiting the advances of computational linguistics in computer-supported collaborative learning. International Journal of Computer-Supported Collaborative Learning, 3(3), 237–271.

Sherin, B. (2013). A computational study of commonsense science: An exploration in the automated analysis of clinical interview data. Journal of the Learning Sciences, 22(4), 600–638.

Strijbos, J. W., Martens, R. L., Prins, F. J., & Jochems, W. M. (2006). Content analysis: What are they talking about? Computers & Education, 46(1), 29–48.

Suthers, D. D., Dwyer, N., Medina, R., & Vatraou, R. (2010). A framework for conceptualizing, representing, and analyzing distributed interaction. International Journal of Computer-Supported Collaborative Learning, 5(1), 5–42.

Suthers, D. D., & Desiato, C. (2012). Exposing chat features through analysis of uptake between contributions. Proceedings of the 45th Hawaii International Conference on System Sciences (HICSS-45), 4–7 January 2012, Maui, HI, USA (pp. 3368–3377). IEEE Computer Society.

Wasserman, S., & Faust, K. (1994). Social network analysis: Methods and applications. New York: Cambridge University Press.

Wise, A. F., Cui, Y., & Vytasek, J. (2016). Bringing order to chaos in MOOC discussion forums with content-related thread identification. Proceedings of the 6th International Conference on Learning Analytics and Knowledge (LAK’16), 25–29 April 2016, Edinburgh, UK (pp. 188–197). New York: ACM.

Wu, T., Khan, F. M., Fisher, T. A., Shuler, L. A., & Pottenger, W. M. (2005). Posting act tagging using transformation-based learning. In T. Y. Lin, S. Ohsuga, C.-J. Liau, X. Hu, & S. Tsumoto (Eds.), Foundations of data mining and knowledge discovery (pp. 321–331). Springer Berlin Heidelberg.

Zeini, S., Göhnert, T., Hecking, T., Krempel, L., & Hoppe, H. U. (2014). The impact of measurement time on subgroup detection in online communities. In F. Can, T. Özyer, & F. Polat (Eds.), State of the art applications of social network analysis (pp. 249–268). Springer International Publishing.

Ziebarth, S., Neubaum G., Kyewski E., Krämer N., Hoppe H. U., & Hecking T. (2015). Resource usage in online courses: Analyzing learner’s active and passive participation patterns. Proceedings of the 11th International Conference on Computer Supported Collaborative Learning (CSCL 2015), 7–11 June 2015, Gothenburg, Sweden (pp. 395–402). International Society of the Learning Sciences.

Zumbach, J., Mühlenbrock, M., Jansen, M., Reimann, P., & Hoppe, H. U. (2002). Multi-dimensional tracking in virtual learning teams: An exploratory study. Proceedings of the Conference on Computer Support for Collaborative Learning: Foundations for a CSCL Community (CSCL 2002), 7–11 January 2002, Boulder, CO, USA (pp. 650–651). International Society of the Learning Sciences.

1 orj. artefact
2 orj. graph
3 orj. centrality measures
4 orj. bipartite
5 orj. action log
6 Çevirenin notu: özdevinim kuramı; alan yazında otomato teori olarak da geçmektedir.
7 orj. bag of words
8 orj. scientometric
9 orj. clique

10 orj. contingency analysis