BÖlüm 4 Ölçme ve Öğrenme Analitiğinde Kullanımı

Paul Prinsloo¹, Sharon Slade²

¹ İşletme Yönetimi Bölümü, Güney Afrika Üniversitesi, Güney Afrika

² İşletme ve Hukuk Fakültesi, Açık Üniversite, İngiltere

DOI: 10.18608/hla17.004

ÖZ

Öğrenme analitiği alanı olgunlaştıkça ve kapsamı, tanımı, zorlukları ve öğrenme analitiği fırsatlarını çevreleyen söylemler daha da arttıkça bunlara ilişkin eklemeler etik meselelerle ilgili ne kadar yol aldığımızı gözden geçirmemizde ve geleceği göz önünde bulundurmamızda fayda vardır. Bu bölüm, kendi düşüncemizin nasıl geliştiğine ve alandaki daha geniş gelişmelere karşı yolculuğumuzu haritalandırmaya genel bir bakış sağlar. Teknolojik gelişmeler ve her tarafa nüfuz eden gözetim konusundaki endişelerin artması ve algoritmaların önemi ve istenmeyen sonuçları ile ilgili olarak,etik ve ahlaki bir uygulama olarak öğrenme analitiğine yönelik araştırmaların geliştirilmesi, korkuların ve gerçeklerin zengin bir resmini sunar. Daha da önemlisi, etiği ve mahremiyeti, öğrenme analitiği için çok önemli bir kolaylaştırıcı unsur olarak görmeye başlıyoruz. Bu bölüm, bireysel araştırma yolculuğumuzu izlemeden önce, geniş bağlamda yükseköğrenimi şekillendiren güçler ile veri ve kanıt rollerine değinerek alandaki mevcut çalışmaları vurgulayarak ve gelecekteki sorunları haritalandırarak, öğrenme analitiği etiğini ele almaktadır.

Anahtar Kelimeler:Etik, yapay zekâ, veri, büyük veri, öğrenciler

2011’de, Yeni Medya Konsorsiyumu’nun Ufuk Raporu (YMK, 2011), orta sınıf bir teknolojiden ya da trendden bir yıl yada daha az bir zaman diliminde gelişimi fark edilecek bir seviyeye ulaşan öğrenme analitiğinin artan önemine işaret etmiştir. (YMK 2016, s. 38). Öğrenme analitiği ile daha gelişmiş eğitsel veri madenciliği alanı arasında açık bağlantılar olmasına rağmen otomasyon, amaçlar, kökenler, teknikler ve yöntemler ile diğerleri arasında da önemli ayrımlar vardır. (Siemens ve Baker, 2012). Öğrenme analitiği alanı, farklı bir araştırma ve uygulama alanı olarak geliştikçe (bk. Van Barneveld, Arnold ve Campbell, 2012), etik meseleleri düşünmek de yavaş yavaş çevreden merkeze doğru taşınmaya başlamıştır. Slade ve Prinsloo (2013), öğrenme analitiğinde etik odaklı bir şekilde geliştirilen en eski çerçevelerden birini kurmuştur. O zamandan beri, bu alt alanda yayın yapan yazarların sayısı önemli ölçüde artmıştır; bu da artan sayıda çerçeve, uygulama esasları, taksonomilerle ve rehberle sonuçlanmıştır (Gašević, Dawson & Jovanović, 2016).

Geniş kamuoyu kapsamında artan gözetimi ve güvence altına alın(ma)mış kişisel verilerin toplanması, analiz edilmesi ve kullanılmasıyla ilgili, “korku ve gerçekler genellikle ayırt edilemez şekilde karıştırılarak potansiyel faydalanıcılar arasında bir belirsizlik ortamına yol açmaktadır” (Drachsler ve Greller, 2016, s. 89). Gašević vd.(2016) ayrıca, “eğitim uygulamalarına daha fazla destek olmak ve entegrasyona yardımcı olmak için ele alınması gereken zorlukların bulunduğunu ve etik ile mahremiyeti, öğrenme analitiği alanındaki “engelden ziyade” önemli bir destekleyici olarak gördüklerini ileri sürmektedir (s. 2).

Alandaki kişisel araştırma yolculuğumuzu haritalamadan önce, öğrenme analitiklerinin etiksel çıkarımlarını göz önünde bulundurma bağlamını kısaca açıklıyoruz. Daha sonra son gelişmeleri göz önünde bulundurup daha geniş ve dâhil edilmesi gereken daha önemli bir dizi konuyu seçerek sonuçlandırıyoruz.

BAĞLAMIN KURULMASI: ETİĞİN KONUYLA İLGİSİ

Öğrenimin geleceğinin, eğitimin “yaşam kalitesini ve anlamlı istihdamı sağlaması anlamında (a) olağanüstü kalite araştırmalarının; (b) karmaşık veri toplamanın ve (c) ileri makine öğrenmesi ve insan öğrenmesinin analizi / desteği” ile dijital, dağıtılmış ve veri odaklı olacağı konusunda bir fikir birliği vardır (Siemens, 2016, Slayt 2). Her ne kadar öğrenme analitiklerinin etik etkilerine ilişkin düşünceler başlangıçta alanda geri planda kalsa da etiğin ön plana çıkması uzun bir yol kat etmiştir ve giderek daha da ön plana çıkmaktadır (Gašević vd., 2016). Artan veri toplama işleminden kaynaklanan daha başarılı öğrenme deneyimlerinin (hem öğrenciler hem de kurum için) potansiyel ekonomik fayda ile ilgili çok şey söylenebilecek bir bağlamda, “veri proxy’sinden elde edilen ayrıntılı bir şekilde somutlaştırılmış referansını dezavantajlı hale getirdiği veri – vekâlet kaynaklı zorlukların bulunma ihtimalini göz ardı etmemeliyiz”(Smith, 2016, s. 16; ayrıca bk. Ruggiero, 2016; Strauss, 2016b; ve Watters, 2016).

Öğrenci verilerinin toplanması, analizi ve kullanılmasıyla ilgili etik çıkarımlar, potansiyel çıkar çatışması söz konusu olduğunda, öğrenciler ve kurumlar gibi bir dizi paydaşın talepleri dikkate alınmalıdır. Öğrenci verilerinin toplanmasından, analiz edilmesinden ve kullanılmasından kaynaklanan fayda, risk ve zarar potansiyeli hakkındaki görüşler, belirli bir paydaşın çıkarına ve algısına bağlı olacaktır. Bu bölümde, öncelikle öğrencilerin ve kurumların farklı konumsallıkları, talepleri ve çıkarları hakkında öngörü sunmayı umuyoruz.

ETİK İLKELERİN KURULMASI: NE KADAR YOL KATETTİK?

Günümüzde etik yaklaşım ve öğrenci verilerinin nasıl ve hangi şartlar altında kullanılacağına ilişkin sorgulama ihtiyacı daha çok kabul görmüş ve daha sağlam bir yer edinmiş olsa da alanın ilk yıllarında bu konular çok kıyıda köşede kalmış konulardı. Öğrenme analitiği ile ilgili daha geniş konuları keşfetmeye yönelik ilk girişimler Vancouver’daki LAK ’12’de sunuldu. Bu konferanstaki oturumların büyük çoğunluğu gelişimsel çalışmaya odaklanmış olarak kaldı. Drachsler ve Greller (2012) başta olmak üzere, öğrenci verilerinin nasıl kullanılacağına ilişkin paydaş algılarından da bahsedilmişti ancak makalelerinde ankete katılan paydaşların değerlendirmelerinin büyük oranda gizlilik odaklı olduğu ve özellikle tartışmalı olarak kabul edilmediği öne sürülmüştü. Bir başka makale (Prinsloo, Slade ve Galpin, 2012), öğrencilerin öğrenme başarılarını artırmak için, onların öğrenme yolculuklarında tüm paydaşların etkilerinin düşünülmesi gerektiğine değinilmiştir. “Üçlü alan” kavramı, zorlukların ve fırsatların haritalanmasında yararlı bir bulgusal alan sağlamanın yanı sıra, öğrenme analitiğinin çelişkilerini ve bunun öğrenci başarısı ve kalıcı öğrenme üzerindeki potansiyel etkisini de ortaya koymuştur. Aynı konferansta, Campbell, DeBlois ve Oblinger’in (2007) ilk dönem çalışmalarına dayanan ve farklı paydaşların bakış açılarından bir dizi ilgili etik meseleyi göz önünde bulundurmayı ve genişletmeyi amaçlayan bir araştırma çalıştayı (Slade ve Galpin, 2012) yapılmıştır.

2013 yılında yapılan çalışmalarda, verilerin nasıl kullanılacağı ve korunacağı konusundaki amaçları belirleyen mevcut kurumsal politika çerçevelerinin incelenmesine başlanmıştır (Prinsloo ve Slade, 2013). Büyüyen ve gelişen öğrenme analitiği, öğrenci verilerinin kullanımlarının da hızla arttığını görmüştür. Genel olarak, öğrenci verilerinin kurumsal kullanımına ilişkin politikalar bu artışa ayak uyduramamıştır; özellikle veri yönetimine, veri güvenliğine ve gizlilik konularına odaklanarak etik kaygıları göz önüne alma ihtiyacına gereken önemi vermemiştir. İnceleme, mevcut politikalardaki boşlukları ve yetersizlikleri tespit etmiştir.

Slade ve Prinsloo (2013), öğrenme analitiğinin kullanımına dair sosyo-eleştirel bir bakış açısı kullanarak öğrenme analitiğinin etik kullanımının kapsamını ve tanımını etkileyen bir dizi konuyu ele almıştır. Bir dizi etik sorun birbiriyle örtüşen üç geniş kategoride gruplandırılmıştır. Bunlar:

• Verilerin yeri ve yorumlanması

• Açık rıza, mahremiyet ve verilerin anonimleştirilmesi

• Verilerin yönetimi, sınıflandırılması ve depolanmasıdır

Slade ve Prinsloo (2013) aşağıdaki altı ilkeye dayanan bir çerçeve önermiştir:

1. Öğrenme Analitiğinin ahlaki uygulamasının sadece neyin geçerli olduğu hususunun yanısıra neyin uygun ve ahlaki olarak gerekli olduğu üzerinde odaklanması

2. Öğrencilerin sadece müdahale ve hizmetlerin alıcısı olmayıp aynı zamanda ortak ve birliği yapılacak aracılar olması

3. Geçici dinamik yapılar olarak öğrenci kimliği ve performansı analitiğin belirli bir zamanda ve bağlamda öğrencinin anlık görüntüsünü sağladığının farkında olunması

4. Çok boyutlu, karmaşık bir olgu olarak öğrenci başarısı

5. Bireyin kimliğinin korunması, verilere erişim, hangi verilerin hangi şartlar altında hangi amaçlar için kullanılacağı konusunda önem taşıyan şeffaflık

6. Yükseköğrenimin veri kullanmamayı göze alamaması

Bu ilkeler, faydalı bir başlangıç pozisyonu sunar ancak (hangi şartlar altında) kimin yararına olduğu hususunda tam bir anlayışın geliştirilmesi gibi birtakım pratik hususlar dikkate alınarak desteklenmelidir. Onay alınarak kurumsal pozisyonların oluşturulması, tanımların belirlenmesi ve reddedilmesi konusunda; güvenlik açığı ve zararına ilişkin sorunlar (ör. yanlışlıkla etiketleme), tazminat sistemleri (hem öğrenci hem de kurum için), veri toplama, analizler, erişim ve depolama (ör. güvenlik sorunları ve önyargının sürekliliğinden kaçınma) ile yönetim ve kaynak tahsisi karşılanmalıdır.

Kaynak tahsisinin bu ikinci yönü, eğitim triyajı kavramı göz önüne alınarak daha sonraki bir makalede daha ayrıntılı incelenmiştir (Prinsloo ve Slade, 2014a). Öğrenme analitiği, YÖK’lere (yükseköğretim kurumları) başarısız veya bırakma riski altında olan öğrencileri proaktif olarak tanıtmak ve desteklemek için teorik fırsatlar sunsa da bunları kaynakların gittikçe sınırlandığı bir bağlamda yapar. O halde zorluk, destek kaynaklarını yönlendirmede en iyi yerin neresi olduğu ve bu kararın hangi temele dayanarak verildiğinin bilinmesidir. Desteğin “hayatta kalması” muhtemel olan öğrencilere yönelik yönlendirmenin bir aracı olarak eğitim önceliği kavramı, öğrenci özerkliğine saygı gösterme ve aynı zamanda kurumun uzun vadeli sürdürülebilirliğini sağlama arasındaki denge, yararlanma (her zaman öğrencinin çıkarına ilgi göstermek için), zarar vermeme ihtiyacı (en az zararla en faydalı sonuca varmak) ve dağıtıcı bir adalet duygusu sağlama (demografik özelliklerin sağlanan desteği, varsayımları, bunları tanıma ve çözme ihtiyacını etkilediğini anlamak) gibi bir dizi karmaşık konunun dikkatlice değerlendirilmesini gerektirir.

Öğrencinin haberinin olmasını gerektirmeden bir şeyler yapmanın bir yolu olarak öğrenme analitiği bilincindeki artış; gözlem, öğrenci mahremiyeti ve kurumsal güvenilirlik konularının daha da araştırılmasını tetiklemiştir (Prinsloo ve Slade, 2014b). Sonuçta ortaya çıkan tartışma öğrenci öğrenmesinin doğru, nesnel, tamamen eksiksiz resimlerinin bir üreticisi olarak öğrenme analitiği etrafındaki varsayımlara meydan okuyarak kurum ve öğrenci arasındaki eşit olmayan olası ilişkiyi yeniden ele almıştır. Kişisel verilerin kullanımı ve analizi ile ilgili mevcut çerçeveler göz önüne alındığında, çalışma, öğrenci merkezli bir öğrenme analitiği için temel oluşturabilecek altı unsur önermektedir:

1. Kümelenmiş, kişiselleştirilmemiş verilerin kullanımı, etkili ve uygun bir öğretme ve öğrenme sağlamak için esastır ancak öğrenciler giriş / çıkış kararlarını bilinçli bir şekilde yapabilmelidirler

2. Öğrenciler hangi verilerin toplandığı ve nasıl kullanıldığı konusunda tam bilgi sahibi olmalıdırlar

3. Öğrenciler kişisel veri kayıtlarının eksiksiz ve güncel olduğundan emin olmalıdırlar

4. Etkinliklerin izlenmesi ve verilerin toplanması öğrenci ilerlemesine zarar vermemelidir

5. Algoritmik çıktı (potansiyel) insan incelemesine tabi tutulmalı ve gerekirse düzeltilmelidir

6. Öğrenme analitikleri temel olarak bağlam ve zamana özgü, geçici, tamamlanmamış öğrencilerin portrelerini sağlamalı, algoritmalar sıklıkla gözden geçirilmeli ve doğrulanmalıdır

Gözetime ilişkin sorunlar ve öğrencilerin kendi verilerinin kullanımının aktif faili olarak tanınması gerekliliği, Açık Üniversitenin (AÜ; 2014) öğrenci analitiğinin öğrenci verilerinin etik kullanımı politikasının geliştirilmesi kapsamında açıkça ele alınmıştır. Paydaşlarla istişarenin bir parçası olarak, 50 öğrenciden oluşan bir temsilci grubu, üç haftalık bir süre zarfında çalışma hedeflerini tamamlamada öğrencilere destek olmak için verilerin nasıl kullanıldığına dair yaklaşımları araştırmıştır. Bir anket araştırması (Slade ve Prinsloo, 2014), öğrencilerin, verilerin aktif olarak toplanma ve kullanılma derecelerinin büyük ölçüde farkında olmadıklarını ve birtakım endişeleri dile getirdiklerini ortaya koymuştur. Öğrencilerin çoğunluğuyla aktif olarak rıza gösterme (ya da göstermeme) potansiyeli ile ilgili temel kaygı, sonradan bu tercihlerinden vazgeçebilme isteğinin olmasıdır. Öğrencilerin bu doğrudan katılımı, öğrenme analitiği etiğiyle ilgili bir politikayı şekillendirmede söz konusudur; öğrencilerin verilerini dikkatli bir şekilde korunmasını ve hatta daha dikkatli bir şekilde uygulanmaları için değerli bir varlık olarak görülmesi yönünde benzersiz bir fikir vermiştir. Slade ve Prinsloo’daki (2014) örneklemin toplam evreni tam olarak temsil edemeyebileceği göz önüne alındığında, sonuçlar kurumsal ve jeopolitik bağlamda genellenemez.

Bu artan öğrenci kaygısı konusundaki farkındalığa cevaben, Prinsloo ve Slade (2015), öğrencilerin mahremiyetle ilgili tutumlarını çevreleyen varsayımlarımızın ve anlayışımızın hem halkın yaşamlarının detaylarını paylaşmakta görülen belirgin kolaylıktan hem de büyük ölçüde ataerkil kurum kültürlerinden etkilenip etkilenmediğini sorgulamıştır. Çalışma, öğrencilerin verilerini izlemelerine izin vermemelerini veya seçmemelerini sağlamak için onay verme ve görünüşte basit bir seçim konusunda yaşadıkları sorunları araştırmıştır. Tartışmanın temeli olarak, üç kitlesel açık çevrimiçi ders (KAÇD) tedarikçisinin şart ve koşulları, kullanıcılara verilerinin kullanımıyla ilgili verilen bilgileri belirlemek için gözden geçirildi. Bu YÖK’lerin öğrencileri kişisel verilerindeki öğrenme analitiği üzerindeki etkileri hakkında tam olarak bilgilendiren bir yaklaşıma doğru nasıl hareket edebileceklerine dair bir tartışmaya evrilmiştir. Benzer bir tema Prinsloo ve Slade’de (2016a) izlenmiştir. Bu makale, birçok YÖK’ün öğrenci verilerine otoriter bir yaklaşım benimseme eğilimine itiraz etmiştir. Öğrenme analitiklerinin yayılmasındaki hızlı büyümeye rağmen, bazı YÖK’lerin düzenleyici çerçeveleri vardır ve / veya toplanan, analiz edilen, kullanılan ve paylaşılan öğrenci verilerinin kapsamı konusunda tamamen şeffaftırlar. Öğrenci hassaslığı öğrenme analitiği potansiyelini gerçekleştirmek ve YÖK’lerin güç ilişkileri, asimetrik bilgi ve öğrencilerle güç ilişkileri bağlamında ve öğrenci eylemliliğini çevreleyen öğrenme analitiği konusundaki karmaşıklıklar arasındaki bağda incelenmiştir. Amaç, öğrenci kırılganlığının nasıl ele alınabileceğini, öğrenci eylemliliğini artırarak ve onları nicelikli veri nesnelerinden nitelikli ve kalifiye kişilere doğru ilerleyen öğrenme analitiği aktif katılımcıları olarak güçlendirme yollarını düşünmektir (ayrıca bk. Prinsloo ve Slade, 2016b).

ETİK ÇERÇEVELER İLE İLGİLİ SON GELİŞMELER

Verinin, yükselen değiş tokuş edilebilme değeriyle birlikte, paylaşılabilir ticari bir ürün olarak artan değerinin, yasal ve geleneksel etik çerçevelerimizi aştığı genel kabul görmektedir (Zhang, 2016). “Derin ekonomik baskılar, bağlantının yoğunlaşmasını ve çevrimiçi izlemenin güçlenmesini sağlamaktadır” (Couldry, 2016, böl.13) ve “ihtiyaç duyulan şey, bizim etik yaşam olanaklarımız için kapitalizmin yeni veri ilişkileri maliyetleri olup (Couldry, 2016, böl. 35) daha kolektif bir yansımasıdır”. Bu nedenle, öğrenme analitiği etik uygulamaları ile uğraşmak için farklı jeopolitik ve kurumsal bağlamlarda girişimler olmuştur. Sclater, Peasgood ve Mullan (2016), örneğin, Amerika Birleşik Devletleri, Avustralya ve Birleşik Krallık’ta yükseköğretimdeki uygulamaları gözden geçirmiştir. Bulgularını, öğrenme analitiklerinin 1) kalite güvencesi ve kalite iyileştirmede 2) tutma oranlarının arttırılmasında; 3) öğrenci popülasyonu arasındaki farklı sonuçları değerlendirme ve bunlara etki etmede ve 4) uyarlanabilir öğrenmenin gelişimi ve tanıtılmasında önemli katkılarda bulunduğunu belirterek özetlemektedirler. Rapor birçok imkânı tanısa da aynı zamanda “etik ve veri gizliliği sorunları, “aşırı analiz” ve sonuçların genelleştirilememesi, modellerin yanlış sınıflandırılması ve çelişkili bulgular” gibi tehditleri de vurgulamaktadır (s. 16). İncelemelerinde, öğrenme analitiğindeki etik kaygıları ele almak için politika düzeyinde bir teklifin kurumsal bir örneği Açık Üniversite (İngiltere) dir. 2014 yılında, AÜ, toplanan ve analiz edilen verilerin niteliğini ve kapsamını sınırlayan “öğrenme analitiği için öğrenci verilerinin etik kullanımı politikası” nı ve toplanan öğrenme analitiği için kullanılmayacak verilerin açık bir spesifikasyonunu yayınlamıştır. Politika aşağıdaki sekiz prensibi içerir (s. 6):

1. Öğrenme analitiği, lisans düzeyinde çalışmaya açık giriş gibi temel düzenleme ilkeleri ile uyumlu olması gereken etik bir uygulamadır.

2. AÜ, mümkün olduğunda öğrencilerin yararına, öğrenci verilerinden anlam çıkarmak ve bunları kullanmak için tüm paydaşlara karşı sorumludur.

3. Öğrenciler tamamen gözle görülebilir veriler veya bu verileri yorumlamamızla tanımlanmamalıdır. [Dahası, bu ilke normlara uyan öğrencilere karşı uyarı verir ve genel kalıplara uymayan bireyleri kabul eder. Bu ilke ayrıca, çalışanların analizin güvenilirliğini ciddi şekilde etkileyebilecek tüm veri kümesine erişemeyebileceğini de açıkça ortaya koymaktadır.]

4. Öğrenme analitiklerinin kullanımına ilişkin amaç ve sınırlar iyi tanımlanmış ve görünür olmalıdır.

5. Üniversite veri toplama konusunda şeffaftır ve öğrencilere düzenli aralıklarla kendi verilerini güncelleme fırsatı sunar.

6. Öğrenciler öğrenme analitiğinin uygulanmasında etkin özne olarak kullanılmalıdır (ör. Açık rıza, kişiselleştirilmiş öğrenme yolları, müdahaleler).

7. Verilerin analizine dayanan modelleme ve müdahaleler sağlam ve önyargısız olmalıdır.

8. AÜ içindeki öğrenme analitiklerini benimsemek, değerlerin ve faydaların (kurum kültürü) geniş kabulünü ve kurum genelinde uygun becerilerin geliştirilmesini gerektirir.

Bu politika ve ilkeleri öğrenci verilerinin toplanmasında, analiz edilmesinde ve kullanılmasındaki etik etkilere ilk kurumsal tepkilerden biri olarak, keşfedilmemiş bölgeleri haritalamaya çalışmıştır. Özel ilgi alanı, “öğrencinin, verisinin bir kısmının veya tamamının öğrenme analitiği için kullanılabileceği ve rıza gösterdiği amaçların bilincinde olduğu sürece yapılan “açık rıza ”tanımıdır. Bilgilendirilmiş onay, bir modül veya yeterlilik için rezervasyon veya kayıt sırasında uygulanır ”(Açık Üniversite, 2014, s. 3). Politika, verilerin toplanmasını, analiz edilmesini ve kullanılmamasını tercih eden öğrencilerin olasılığını ele almamaktadır (Engelfriet, Manderveld ve Jeunink, 2015; Sclater, 2015; ayrıca bk. Shacklock, 2016).

Avustralya bağlamında analitik uygulamalarının öğrenilmesine genel bir bakışta, Dawson, Gašević ve Rogers (2016) “çalışmalar boyunca etiğe verilen göreceli sessizliğin önemli olduğunu” (s. 3) ve bunun “ sektörün bu konuları dikkate alması gereken ciddiyet” (s. 33), olduğunu belirtmiştir. Kurumlar olgunlaştıkça, etik kaygıların daha da belirginleşmekte olduğu savunulsa da rapora göre yükseköğrenim sektörünün daha önce böyle bir sohbete hazır olmadığı muhtemeldir (s. 33)

Ayrıca Avustralya bağlamında, Galce ve McKinney (2015) “disiplinin kurumlar, pratisyenler ve teknoloji satıcıları ile göreceli olgunlaşmamışlığı” bağlamında, “neyin işe yaradığını” ve uygulamaların sınırlarını bulmayı ve kötüye kullanma potansiyelini bulma ihtiyacına dikkat çekmektedir (s. 588). Üniversitenin a) öğrenme ve öğretme ile doğrudan ilgili olmayan b) öğrencilerin üniversitenin böyle bir veri koleksiyonu oluşturmasını beklemediği veri kaynaklarını barındıran bir öğrenme analitiği kullanmayacağına dair taahhüdü önemlidir (s. 590). Öğrenci verileri, yalnızca söz konusu verilerin toplandığı orijinal amaç bağlamında kullanılacak olup aşağıdaki şartlar altında kullanımı devam edebilir:

Açık şekilde bilgilendirilmiş onay ölçüme konu olanlardan sağlanır. Bilgilendirilmiş onay şu anlama gelir: (a) hangi verilerin toplandığı veya toplanabileceği, neden ve nasıl toplandığı, nasıl depolandığı ve nasıl kullanıldığı hakkında açık ve doğru bilgiler verilir ve (b) açıklanan uygulamaya / uygulamalara serbestçe izin verilir (s.590).

Yukarıdaki ilkeler, öğretme ve öğrenmeyi geliştirmek ve öğrencilere “öğrenmeleri üzerinde daha fazla kontrol ve sorumluluk sağlamak” için toplanan verilerin nasıl kullanılması gerektiğine ilişkin olarak kalan iki ilkeyle birlikte okunmalıdır (s. 591). Tam bir tartışma için, bk. Galce ve McKinney (2015).

Drachsler ve Greller (2016) etik, mahremiyet ve ilgili yasal çerçevelere genel bir bakış sağlar ve veri toplayıcı ile veri nesnesi arasındaki asimetrik güç ilişkisi ışığında gerçek kullanım olasılığı, mülkiyet sorunları, anonimlik ve veri güvenliği, gizlilik ve veri kimliğinin yanı sıra şeffaflık ve güven unsurları hakkında da bilgi verir. Öğrenme analitiklerinin “veri toplama ve işleme politikalarına bağlı korkuların üstesinden gelmek için” kabul edilebilir ve uyumlu bir şekilde ilerlemesini sağlamak amacıyla bir kontrol listesi (DELICATE ©) sunarlar (s. 96).

Sclater (2015), üst düzey yönetim, analiz komitesi, veri bilimcileri, eğitim araştırmacıları, BT ve öğrenciler gibi bir dizi paydaşın öğrenme analitiğinden nasıl etkilendiği ve ona ilişkin nasıl sorumluluk aldığına dair genel bir bakış ile öğrenme analitiğinde etik, yasal ve lojistik konulara dair bir (taslak) taksonomi önerir. Taslak, başka şeylerin yanı sıra, rıza; kimlik; kapsam dışı bırakmanın olası etkileri; kurum ve öğrenciler arasındaki asimetrik ilişki; (sınırlar) öğrenci verilerinin izin verilen kullanımları; şeffaflık; kullanım dâhil (ve hariç) veriler ve diğerleri arasında öğrenci özerkliğini kapsar. Etik kaygıların tam listesi için Sclater (2015)’a bakınız.

Hollanda’daki yükseköğrenim bağlamında Engelfriet vd. (2015), Kişisel Bilgilerin Korunması Kanununun, öğrenme analitiği üzerindeki etkilerini göz önüne almaktadır. Bunlar, izin ihtiyacını (ve rızanın alınmasından doğacak sorumluluğu) ve bir hizmet sağlayıcı ile alıcı arasında, hizmetin sağlanması için ihtiyaç duyulan herhangi bir kişisel bilgiyi kullanabileceği konusunda yapılan onay anlaşmasının sonuçlarını içerir. Yasa, temel bilgiler ile “kullanışlı” bilgiler arasında ayrım yapar. Engelfriet vd. (2015) öğrenme analitiklerinin yeni ortaya çıkan bir uygulama olarak görüldüğü göz önüne alındığında, güvenli bir şekilde “kullanışlı” bilgi toplanması olarak kabul edilebileceği ve belki de kurum ve öğrenciler arasındaki fikir birliği anlaşmasından muaf tutulabileceği yönünde muhalefetli bir görüş benimsemektedir. Yazarlar bu dört ilkenin öğrenme analitiğini yönlendirmesi gerektiğini öne sürmektedirler:

• Kişisel bilgiler, yalnızca temin edilen bağlamda ve amaçlarda kullanılabilir

• Bu tür verilerin daha sonra kullanılması, orijinal bağlam ve amaç ile uyumlu olmalıdır

• Veriler dikkatlice toplanmalı ve analiz edilmelidir ve “sinsi” (Hollandaca “stiekeme”) analitik kullanımına izin verilmez; Bu saydamlık, öğrenci danışmanlığı ve satın alma konusundaki bir ihtiyacı vurgulamaktadır

• Veriler sadece toplanan verilerin amacı / kullanımı açıkça belirtildiği zaman toplanabilir

Engelfriet vd. (2015), verilerinin yönetimi konusundaki öğrenci haklarını aşağıdakiler de dâhil olmak üzere araştırmışlardır:

• Toplanan bilgilere kolay erişim

• Yanlış bilgileri (veya bundan kaynaklanan yorumları) düzeltme hakkı

• İlgisiz bilgileri kaldırma hakkı

Özellikle ilgi çekici olan, algoritmik karar vermek için etik sonuçların araştırılmasıdır ve yazarlar, Hollanda yasalarıyla olası çatışmaya yol açan örneklere işaret etmektedirler. Bunun anlamı, insanların algoritmik karar verme sorumluluğunu üstlenmesi ve gözetim altında tutması gerektiğidir. Algoritmalar, en fazla, üniversite veya destek personelinin dikkatini çekmek için özel davranışlara işaret edebilir. Ayrıca, öğrencilerin kişisel verilerinin analizlerine dayanarak verilen kararlara itiraz etme hakları vardır. YÖK’lerin yazılım geliştiricilere taşeronluk yaptığı durumlarda, nihai sorumluluk ve gözetim kurumda güvende kalır ve delege edilemez (bk. Engelfriet vd., 2015).

GELECEKTEKİ BAZI HUSUSLAR

Öğrenci verileri ile teknolojideki ilerlemeler ve analiz metotları arasındaki kesişmelerdeki karmaşıklık ve pratiklikleri anlamamızdaki mevcut ve gelecekteki boşlukları haritalandırmak bu bölümün kapsamı dışında kalmaktadır. Bununla birlikte, gelecekteki değerlendirmeler için bazı önerilerde bulunmak istiyoruz.

Etkili, uygun, uygun maliyetli öğrenme deneyimleri sağlamak ve öğrencilerin başarılı olmalarını desteklemek için yükseköğretim kurumlarının görev süreleri göz önüne alındığında, kurumların öğrenci bilgilerini toplama ve kullanma hakkına sahip olduğu konusunda geniş bir anlaşma vardır. Bununla birlikte, öğrencilerin izinlerinin toplanmasından, analiz edilmesinden ve verilerinin kullanılmamasını tercih etmelerine izin vermede onay konusunda mutabık bir pozisyon bulunmamaktadır. Onay ile ilgili öğrencilerin durumları tamamen mantıklı ya da akılcı olmayan konulardan etkilenebilir. Faydaların, maliyetlerin ve risklerin sıklıkla örtülü olarak hesaplanması, diğerlerinin yanı sıra, önceki deneyimler, ihtiyaç ve algılanan faydalar gibi bir dizi faktöre bağlı olacaktır (bakınız, örneğin, O’Brien’daki Daniel Pink, 2010).

Son zamanlarda çekilmenin bir örneği, öğrencileri devlet tarafından zorunlu hale getirilmiş standart testler almayı reddetmeye teşvik eden ABD’deki Ulusal Adil ve Açık Test Merkezi tarafından gösterilmiştir. 2014-2015 öğretim yılında (FairTest, nd) yaklaşık 650.000 öğrenci, ABD Eğitim Bakanlığı tarafından finanse edilmeme tehdidine cevaben çekilmiştir (Strauss, 2016a).

Öğrencilerin kaygıları, ayrılma hakları ve yükseköğretimin öğrenci verilerini bireysel bir düzeyde müdahalelerde bulunmak için kullanma yetkisinin olmasının sonuçları arasındaki olası çatışmaları araştırmak için daha fazla araştırmaya ihtiyaç vardır. Bu konunun merkezinde “kim yararlanır?” sorusu bulunmaktadır. (bk. Watters, 2016). Öğrenci verilerinin toplanması, analizi ve kullanımıyla ilgili etik kuralların (gerek öğrenme analitiğinde gerek resmî değerlendirmelerde olsun), tartışmalı iddiaları ve kazanılmış ilgi alanlarını da tanıması gerekir.

Daha geniş bir çevrimiçi araştırma bağlamında, Vitak, Shilton ve Ashktorab (2016), çevrimiçi bağlamlardaki etik araştırma uygulamaları ile ilgili olarak, yeniden kimlik tanımlaması yapılması konusunda gittikçe artarak devam eden endişeler gibi çeşitli zorluklara ki; “araştırmacılar hala çevrimiçi veri kümeleri kullanımıyla araştırma etikleri arasında dengeyi bulmakta zorlanmaktadır” işaret etmektedir (s. 1). İlginçtir ki, bulguları da birçok araştırmacının Belmont ilkelerinin ötesine geçtiğini (çıktıların, araştırmaların neden olduğu olası zararlardan daha ağır basmasını sağlamanın önemini vurgulayarak) göstermektedir. Bu ilkeler: “(1) katılımcılarla şeffaflık, (2) iş arkadaşları ile etik konular hakkında müzakere etmek (3) sonuçların paylaşımında dikkatli olmaktır (böl.66).

Yapay zekâ (YZ), makine öğrenmesi ve büyük verilerle ilgili iyimserliği dengeleme konusundaki endişe gittikçe artmaktadır. Örneğin, ABD Başkanlığı Yönetim Ofisi, faydaları vurgulayan (Munoz, Smith ve Patil, 2016) ancak aynı zamanda büyük verilerin kullanımında doğabilecek potansiyel zararlarla ilgili endişeleri de ele alan bir rapor yayınladı. Rapor, eğer “bu teknolojiler [algoritmik sistemler] dikkatli bir şekilde uygulanmazlarsa, zararlı ayrımcılığı sürdürebileceklerini, kötüleştirebileceklerini veya maskeleyebileceklerini” kabul eder (s. 5). Algoritmik ayrımcılığın azaltılması, sağlam ve şeffaf algoritmaların geliştirilmesi ve kullanılmasının teşvik edilmesi, algoritmik denetim, veri bilimindeki “akıcılığın” iyileştirilmesi ve veri kullanımında uygulama kodlarını belirlemek hususunda devlet ve özel sektörün rolleri ve araştırmalara yatırım konusunda bazı önerilerde bulunmaktadır.

Benzer şekilde, Birleşik Krallık Hükumeti kısa bir süre önce “yasaların dışında kalan etik konularla ilgili” rehberlik sağlayan bir “Veri bilimi etik çerçevesi” (Kabine Ofisi, 2016) yayınlamıştır (s. 3). Bu çerçeve, kişisel verilerin toplanmasının, analiz edilmesinin ve kullanılmasının faydalarının niteliği; izinsiz girişin kapsamı ve niteliği; verilerin kalitesi ve toplanan verilerle ilgili kararların otomasyonu; istenmeyen sonuçların riski; veri nesnelerinin toplama ve analiz için mutabık kalıp kalmadığı; gözetimin niteliği ve kapsamı ve toplanan verilerin güvenliği gibi konuları içerir. Çerçeve ayrıca veri bilimcilere projenin yararlarının gizlilik ve olumsuz sonuçlara karşın risklerin ne kadar fazla olduğu, riskleri en aza indirmek ve doğru yorumlamayı sağlamak için atılan adımlar ve veri nesnelerinin / kamuoyunun projeye ilişkin görüşlerinin ne ölçüde dikkate alındığı gibi “zorlu meselelere” (s.6) açıklık getirmelerini gerektiren bir “Gizlilik Etki Değerlendirmesi” önermektedir (bk. Kabine Ofisi, 2016).

Yükseköğrenimdeki algoritmik dönüşüm ile veri ve sinir bilim arasındaki sınırların bulanıklaşması bağlamında, efsane, karmaşıklık ve yöntemler aracılığıyla yol alırken öğrenme analitiklerinin etik çıkarımlarını göz önüne almak için kritik bir yaklaşıma ihtiyacımız vardır (Ziewitz, 2016). Örneğin, Williamson (2016a) “eğitsel veri bilimini, çocukların bedensel, duygusal ve gömülü yaşamlarının değerlendirilmesi ve yönetimine odaklanan “biyopolitik bir strateji” olarak görmektedir (s. 401, vurgu). Bu nedenle, “çocuklar hakkında bilgi sistemleri üretmek ve onları müdahalenin konusu ve nesnesi olarak tanımlamak için meşru yetkiye sahip” eğitsel veri bilim adamlarının temelini ve kapsamını göz önünde bulundurmalıyız (Williamson, 2016a, s. 401). Gelecekte öğrenme analitiği, temelde algoritmalar ve makine öğrenmesine dayalı olacak ve yönlendirilecektir; bu nedenle algoritmaların “sosyal dünyayı, bilgiyi ve bilgi ile karşı karşıya gelenlerin görüşlerini nasıl güçlendirdiğini, sürdürdüğünü ve hatta yeniden şekillendirdiğini” göz önünde bulundurmalıyız (Williamson, 2016b, s. 4). Güvenilirlik, şeffaflık ve düzenleyici çerçeveler, etik öğrenme analitiğini sağlayan çerçevelerde temel unsurlar olacaktır (bk. Prinsloo, 2016; Taneja, 2016).

Bu bölüm, öğrenci verilerinin toplanması, analizi ve kullanımıyla ilgili etik sonuçları göz önünde bulundurmadaki ilerlemenin haritasını çıkarırken, güvenilirliği ve şeffaflığı sağlamak için kurumsal süreçleri daha fazla dikkate almadan zarar verme potansiyelinin ele alınmayacağı açıktır. Willis, Slade ve Prinsloo’nun (2016) belirttiği gibi, öğrenme analitiği genellikle kurumsal inceleme kurulları (KİK) tarafından sağlanan süreçlerin ve gözetimin dışında kalmaktadır. Bu aşamada öğrenme analitiğinin etik etkilerinin kim tarafından ve nasıl sağlanacağı net değildir.

SONUÇLAR

2011 yılında öğrenme analitiğinin ortaya çıkmasından bu yana, alan ilerlemekle kalmayıp aynı zamanda öğrenci verilerinin toplanmasında, analiz edilmesinde ve kullanılmasındaki etik sonuçların korkuları ve gerçekleri göz önüne alındığında giderek daha fazla ilgi görmeye başlamıştır. Bu bölümde, alandaki daha geniş gelişmelerin yanı sıra kendi düşüncemizin nasıl geliştiğine de genel bir bakış sunuyoruz. Teknolojik gelişmeler ve yaygın gözetim konusundaki endişelerin artması ve yüksek eğitimin geleceğinin dijital, dağıtılmış ve veri odaklı olacağı konusunda artan bir fikir birliğine karşı, bu bölüm öğrenme analitiğinin etik anlamını çevreleyen söylemlerin ne kadar ileri geldiğini ve gelecekte dikkate alınması gereken noktaları göstermektedir.

Tartışılan öğrenme analitiklerindeki etik sonuçların çerçevelerinin, uygulama kodlarının ve kavramsal haritalamaların her biri ekonomik ve etik yollarla öğretmenin ve öğrenmenin etkinliğini ve uygunluğunu arttırmak için öğrenci veri proxylerini kullanma yolunda nasıl ilerleyebileceğimizi daha zengin bir anlayışla sunar. Bu anlayışın pratik uygulaması büyük ölçüde tamamlanmamış olsa da tamamıyla yerindedir.

TEŞEKKÜR BÖLÜMÜ

Editör ekibinden ve özellikle bu bölümün gözden geçirenlerden gelen yorumlara, önemli girdilere ve verdikleri desteğe teşekkürümüzü arz ederiz.

KAYNAKÇA

Cabinet Office. (2016, 19 May). Data science ethical framework. https://www.gov.uk/government/uploads/ system/uploads/attachment_data/file/524298/Data_science_ethics_framework_v1.0_for_publication__1_.pdf

Campbell, J. P., DeBlois, P. B., & Oblinger, D. G. (2007, July/August) Academic analytics: A new tool, a new era. EDUCAUSE Review. http://net.educause.edu/ir/library/pdf/erm0742.pdf

Couldry, N. (2016, September 23). The price of connection: “Surveillance capitalism.” [Web log post]. https:// theconversation.com/the-price-of-connection-surveillance-capitalism-64124

Dawson, S., Gašević, D., & Rogers, T. (2016). Student retention and learning analytics: A snapshot of Australian practices and a framework for advancement. Australian Government. http://he-analytics.com/wp-content/uploads/SP13_3249_Dawson_Report_2016-3.pdf

Drachsler, H., & Greller, W. (2012). The pulse of learning analytics understandings and expectations from the stakeholders. Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK’12), 29 April–2 May 2012, Vancouver, BC, Canada (pp. 120–129). New York: ACM.

Drachsler, H., & Greller, W. (2016, April). Privacy and analytics: It’s a DELICATE issue — a checklist for trusted learning analytics. Proceedings of the 6th International Conference on Learning Analytics and Knowledge (LAK’16), 25–29 April 2016, Edinburgh, UK (pp. 89–98). New York: ACM.

Engelfriet, A., Manderveld, J., & Jeunink, E. (2015). Learning analytics onder de Wet bescherming persoonsgegevens. SURFnet. https://www.surf.nl/binaries/content/assets/surf/nl/kennisbank/2015/surf_learning-analytics-onder-de-wet-wpb.pdf

FairTest. (n.d.). Just say no to the test. http://www.fairtest.org/get-involved/opting-out

Gašević, D., Dawson, S., & Jovanović, J. (2016). Ethics and privacy as enablers of learning analytics. Journal of Learning Analytics, 3(1), 1–4. http://dx.doi.org/10.18608/jla.2016.31.1

Munoz, C., Smith, M., & Patil, D. J. (2016). Big data: A report on algorithmic systems, opportunity, and civil rights. Executive Office of the President, USA. https://www.whitehouse.gov/sites/default/files/microsites/ostp/2016_0504_data_discrimination.pdf

NMC (New Media Consortium). (2011). The NMC Horizon Report. http://www.educause.edu/Resources/2011HorizonReport/223122

NMC (New Media Consortium). (2016). The NMC Horizon Report. http://www.nmc.org/publication/ nmc-horizon-report-2016-higher-education-edition/

O’Brien, A. (2010, September 29). Predictably irrational: A conversation with best-selling author Dan Ariely. [Web log post]. http://www.learningfirst.org/predictably-irrational-conversation-best-selling-author-dan-ariely

Open University. (2014). Policy on ethical use of student data for learning analytics. http://www.open.ac.uk/students/charter/sites/www.open.ac.uk.students.charter/files/files/ecms/web-content/ethical-use-of-student-data-policy.pdf

Prinsloo, P. (2016, September 22). Fleeing from Frankenstein and meeting Kafka on the way: Algorithmic decision-making in higher education. Presentation at NUI, Galway. http://www.slideshare.net/prinsp/feeling-from-frankenstein-and-meeting-kafka-on-the-way-algorithmic-decisionmaking-in-higher-education

Prinsloo, P., Slade, S., & Galpin, F. (2012) Learning analytics: Challenges, paradoxes and opportunities for mega open distance learning institutions. Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK’12), 29 April–2 May 2012, Vancouver, BC, Canada (pp. 130–133). New York: ACM.

Prinsloo, P., & Slade, S. (2013). An evaluation of policy frameworks for addressing ethical considerations in learning analytics. Proceedings of the 3rd International Conference on Learning Analytics and Knowledge (LAK’13), 8–12 April 2013, Leuven, Belgium (pp. 240–244). New York: ACM.

Prinsloo, P., & Slade, S. (2014a). Educational triage in higher online education: Walking a moral tightrope. International Review of Research in Open Distributed Learning (IRRODL), 14(4), 306–331. http://www.irrodl.org/ index.php / irrodl / article / view / 1881

Prinsloo, P., & Slade, S. (2014b). Student privacy and institutional accountability in an age of surveillance. In M. E. Menon, D. G. Terkla, & P. Gibbs (Eds.), Using data to improve higher education: Research, policy and practice (pp. 197–214). Global Perspectives on Higher Education (29). Rotterdam: Sense Publishers.

Prinsloo, P., & Slade, S. (2015). Student privacy self-management: Implications for learning analytics. Proceedings of the 5th International Conference on Learning Analytics and Knowledge (LAK’15), 16–20 March 2015, Poughkeepsie, NY, USA (pp. 83–92). New York: ACM.

Prinsloo, P., & Slade, S. (2016a). Student vulnerability, agency, and learning analytics: An exploration. Journal of Learning Analytics, 3(1), 159–182.

Prinsloo, P., & Slade, S. (2016b). Here be dragons: Mapping student responsibility in learning analytics. In M. Anderson & C. Gavan (Eds.), Developing effective educational experiences through learning analytics (pp. 170–188). Hershey, PA: IGI Global.

Ruggiero, D. (2016, May 18). What metrics don’t tell us about the way students learn. The Conversation. http:// theconversation.com/what-metrics-dont-tell-us-about-the-way-students-learn-59271

Sclater, N. (2015, March 3). Effective learning analytics. A taxonomy of ethical, legal and logistical issues in learning analytics v1.0. JISC. https://analytics.jiscinvolve.org/wp/2015/03/03/a-taxonomy-of-ethical-legal-and-logistical-issues-of-learning-analytics-v1-0/

Sclater, N., Peasgood, A., & Mullan, J. (2016). Learning analytics in higher education. A review of UK and international practice. JISC. https://www.jisc.ac.uk/reports/learning-analytics-in-higher-education

Shacklock, X. (2016). From bricks to clicks: The potential of data and analytics in higher education. Higher Education Commission. http://www.policyconnect.org.uk/hec/sites/site_hec/files/report/419/fieldreportdownload/frombrickstoclicks-hecreportforweb.pdf

Siemens, G. (2016, April 28). Reflecting on learning analytics and SoLAR. [Web log post]. http://www.elearnspace.org/blog/2016/04/28/reflecting-on-learning-analytics-and-solar/

Siemens, G., & Baker, R. (2012, April). Learning analytics and educational data mining: Towards communication and collaboration. Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK’12), 29 April–2 May 2012, Vancouver, BC, Canada (pp. 252–254). New York: ACM.

Slade, S., & Galpin, F. (2012) Learning analytics and higher education: Ethical perspectives (workshop). Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK’12), 29 April–2 May 2012, Vancouver, BC, Canada (pp. 16–17). New York: ACM.

Slade, S., & Prinsloo, P. (2013). Learning analytics: Ethical issues and dilemmas. American Behavioral Scientist, 57(1), 1509–1528.

Slade, S., & Prinsloo, P. (2014). Student perspectives on the use of their data: Between intrusion, surveillance and care. Proceedings of the European Distance and E-Learning Network 2014 Research Workshop (EDEN 2014), 27–28 October 2014, Oxford, UK (pp. 291–300).

Smith, G.J. (2016). Surveillance, data and embodiment: On the work of being watched. Body & Society, 1–32. doi:10.1177/1357034X15623622

Strauss, V. (2016a, January 28). U.S. Education Department threatens to sanction states over test opt-outs. The Washington Post. https://www.washingtonpost.com/news/answer-sheet/wp/2016/01/28/u-s-education-department-threatens-to-sanction-states-over-test-opt-outs/

Strauss, V. (2016b, May 9). “Big data” was supposed to fix education. It didn’t. It’s time for “small data.” The Washington Post. https://www.washingtonpost.com/news/answer-sheet/wp/2016/05/09/big-data-was-supposed-to-fix-education-it-didnt-its-time-for-small-data/

Taneja, H. (2016, September 8). The need for algorithmic accountability. TechCrunch. https://techcrunch.com/2016/09/08/the-need-for-algorithmic-accountability/

van Barneveld, A., Arnold, K., & Campbell, J. (2012). Analytics in higher education: Establishing a common language. EDUCAUSE Learning Initiative, 1, 1–11.

Vitak, J., Shilton, K., & Ashktorab, Z. (2016). Beyond the Belmont principles: Ethical challenges, practices, and beliefs in the online data research community. Proceedings of the 19th ACM Conference on Computer Supported Cooperative Work & Social Computing (CSCW’16), 27 February–2 March 2016, San Francisco, CA, USA. New York: ACM. https://terpconnect.umd.edu/~kshilton/pdf/VitaketalCSCWpreprint.pdf

Watters, A. (2016, May 7). Identity, power, and education’s algorithms. [Web log post]. http://hackeducation.com/2016/05/07/identity-power-algorithms

Welsh, S., & McKinney, S. (2015). Clearing the fog: A learning analytics code of practice. In T. Reiners et al. (Eds.), Globally connected, digitally enabled. Proceedings of the 32nd Annual Conference of the Australasian Society for Computers in Learning in Tertiary Education (ASCILITE 2015), 29 November–2 December 2015, Perth, Western Australia (pp. 588–592). http://research.moodle.net/80/

Williamson, B. (2016a). Coding the biodigital child: The biopolitics and pedagogic strategies of educational data science. Pedagogy, Culture & Society, 24(3), 401–416. doi:10.1080/14681366.2016.1175499

Williamson, B. (2016b). Computing brains: Learning algorithms and neurocomputation in the smart city. Information, Communication & Society, 20(1), 81–99. doi:10.1080/1369118X.2016.1181194

Willis, J., Slade, S., & Prinsloo, P. (2016). Ethical oversight of student data in learning analytics: A typology derived from a cross-continental, cross-institutional perspective. Educational Technology Research and Development. doi:10.1007/s11423-016-9463-4

Zhang, S. (2016, May 20). Scientists are just as confused about the ethics of big data research as you. Wired. http://www.wired.com/2016/05/scientists-just-confused-ethics-big-data-research/

Ziewitz, M. (2016). Governing algorithms: Myth, mess, and methods. Science, Technology & Human Values, 41(1), 3–16.