Bölüm 1 Kuram ve Öğrenme Analitiği

Simon Knight, Simon Buckingham Shum

Bağlantısal Zekâ Merkezi, Teknoloji Üniversitesi Sydney, Avustralya

DOI: 10.18608/hla17.001

ÖZ

Teori ile analitik arasındaki ilişkinin anlaşılmasında karşılaşılan engel, “tıklamalardan yapılara” sistematik olarak nasıl geçileceğini anlamaktır. Öğrenme analitiği, algoritmik olarak istila edilmiş bir topluma doğru değişimin canlı bir örneğidir ve eğitim üzerindeki daha geniş etkilerinin dikkatli bir şekilde ele alınması gerekir. Bu bölümde, tasarım yoluyla -veya tesadüfen- seçilmiş bir öğrenme analitiği aracının kullanımının her zaman epistemolojik varsayımlar ve pedagojik uygulamalara dayanan değerlendirme sistemleriyle uyumlu olduğunu iddia ediyoruz. Dolayısıyla temel olarak, belirli bir öğrenme analitiği aracını uygulamaya geçirmenin, belirli türdeki öğrenenleri yetiştirmek için tasarlanmış belirli bir eğitim görüşüne olan bağlılığı ifade ettiğini iddia etmekteyiz. Öğrenme analitiği tekniklerinin geliştirilmesinde bazı temel teşvikleri, amacı ortaya koymak için temel soruları ve öğrenme analitiğine yerleştirilmiş varsayımları ana hatlarıyla özetliyoruz. Teknolojilerin tasarlanmasında ve uygulamaya konulmasında örtük veya aleni duruşların analizi olan “talep analizi” kullanılmasının, bu kilit soruları ele almak için üretken insan merkezli bir yöntem olduğunu öneriyoruz ve bu provokasyonlara uygulanan yöntemin bazı örneklerini sunuyoruz.

Anahtar Kelimeler: Teori, değerlendirme sistemi, talep analizi¹

Wired dergisinde yayınlanan ve popüler hale gelen makalede, içinde bulunduğumuz petabyte ölçekli veri ve analitik çağda, Anderson (2008) teori, model ve bilimsel yöntemin ölümünü öngörmüştür. Artık dünyanın nasıl çalıştığına dair teoriler oluşturmamız gerekmiyor çünkü biz onları kavradıkça veriler, yaptığımız değişikliklerin ve incelemelerin etkilerini doğrudan ve neredeyse gerçek zamanlı olarak gösterecektir. Bu yüksek profilli makale ve diğerleriyle birlikte ulaştığı uç sonuç (bk. ör. Mayer-Schonberger ve Cukier, 2013) şaşırtıcı bir şekilde eleştirilmemiştir (Boyd ve Crawford, 2011; Pietsch, 2014). Eğitim araştırmacıları “büyük veri” yaklaşımlarının öğrenme analitiği biçiminde uygulanmasıyla ilgilenen topluluklardır. Bu noktada kritik soru, teorinin bu yeni paradigmadaki araştırmayı nasıl şekillendirebileceği ya da nasıl şekillendirmesi gerektiği üzerine sorulur. Aynı şekilde, ticaretteki yeni araçların neye dikkat ettiği ve neyi görmezden geldiği veya önemini azalttığı teorisini nasıl geliştirdiği / kısıtladığı konusunda eleştirel bir görüşe ihtiyaç vardır. Anderson’a ait olan açılış amacımıza dönersek, Wise ve Shaffer tarafından tam tersi bir sonuç çıkarılmıştır (2015, s.6):

Veri noktalarının sayısı büyük olduğunda bir şeyin her zaman önemli olacağı anlamlı bir bulgu sayılır mı? [..] Özetle, büyük veri ile çalışırken teori, sonuçları yorumlamada ve anlamlı, harekete geçirilebilir sonuçları tanımlamada daha önemlidir.

Bu nedenle Veri jeolojisi (Shaffer, 2011; Arastoopour vd., 2014) ve Veri Arkeolojisini (Wise, 2014) temel kavramsal ilişkilere ve durumsal bağlama katılırken yeni veri yığınlarını nasıl ele alacağımızı düşünmek için Veri Madenciliğinden daha uygun metaforlar olarak sunmaktayız.

Veri yoğunluklu yöntemler, genetik, astronomi ve yüksek enerji fiziğini içeren, aşina olduğumuz “büyük bilim” örnekleri ile bilimsel sorgulama (Hey, Tansley ve Tolle, 2009) üzerinde dönüştürücü bir etkiye sahiptir ve sahip olmaya devam edecektir. BRCA2 geni, Kızıl Cüce yıldızları ve Higgs bozunu bilgi işlemsel olarak modellenme ya da sonuçlarla kimin ne yaptığı konusunda güçlü görüşlere sahip değildirler. Bununla birlikte, insanlar potansiyel olarak önemli sonuçlar doğuran davranışlarının gözlem altında olduğunu fark ettiklerinde, etkinlikleri gizlemek ya da sistemi deforme etmek amacıyla davranışlarını uyarlamayı ya da çarpıtmayı seçebilirler. Bu tür araçları kullanarak öğrenmeyi incelemeyi amaçlayan öğrenme analitiği araştırmacıları, belirli şekillerde büyüten, çarpıtan ve istemeden izlenen sistemi değiştirebilecek belirli bir “öğrenme” merceği (bakış açısı) setini kabul ettiklerini bilmelidirler. Araştırmacılar, kabaca yoğun verili bilim olan toplumdaki büyük-veri çevresinde meydana gelen kritik söylemlerin yanı sıra tartışmaların başlangıç aşamasında olduğu eğitim ile ilgili ortaya çıkan kritik söylem konusunda da uyanık olmalıdırlar.

Şimdi eğiticilere ve öğrenenlere dönelim. Öğrenme analitiği potansiyelinin tartışmaya açık bir şekilde, bu şekilde olduğu gibi veri yoğunluklu eğitim araştırmalarına imkân verici olması çok daha önemlidir. Yeni olasılık, araştırmacılar tarafından uzun süredir çalışılan öğrenme sistemini oluşturan paydaşların eğitimciler ve öğrenenler tarafından -ilk kez kendi süreçlerini ve şu ana kadar sistemin dışındaki araştırmacıları koruyacak şekilde- yapılan ilerlemeleri görebilmeleridir. Veri toplama, analiz etme, yorumlama ve hatta müdahale (uyarlamalı yazılım söz konusu olduğunda) artık araştırmacının korumasına bırakılmamakta; gömülü sosyoteknik eğitim altyapısına geçmektedir. Bu nedenle ilgi, eğitimciler ve öğrenenler için sonuçları iyileştirebilecek zamanında içgörü kazanabilme becerisi kazanmalarına dönmektedir.

Böylece, analitik döngüdeki insanlarla, sistem geri dönüşlü/yansıtıcı hale gelir (insanlar gözlem eylemine ve açık geri bildirim döngülerine cevaben değişir) ve yeni etik ikilemlerle karşı karşıya kalırız (Pardo ve Siemens, 2014; Prinsloo ve Slade, 2015). Tasarımın zorluğu kapalı modelleme, belirleyici sistemlerden “kötü problemler” (Rittel 1984) ve karmaşık uyarlanabilir sistemler alanına sürüklenir (Deakin Crick, 2016; Macfadyen, Dawson, Pardo ve Gašević, 2014). Açıklığa kavuşturmayı umduğumuz gibi, veri izlerinden sağlam bir “öğrenme” ölçüsü almaya çalışan biri için bu tür bir yansıma, öğrenenin eyleme geçebilirliği ve yaratıcılığın ne kadar önemli olduğuna, amaçlananın ne kadar sabit olduğuna bağlı olarak, bir külfet veya nimettir. Öğrenme çıktıları, analitik geri bildirim döngülerinin, öğrenen biliş / etkileşimini şekillendirmeye yönelik müdahaleler olarak tasarlanıp tasarlanmadığıdır.

Görüşümü hem bir araştırma alanı hem de profesyonel bir uygulama olarak eğitimin, diğer alanların tecrübesine benzer veri yoğunluklu bir devrimin eşiğinde olmasının muhtemel olduğudur. Siyasi ve ticari çıkarların alanı olan eğitim, “etki kanıtı” için politika zorunlulukları ve analitik gösterge panoları ile birlikte gelen yazılım ürünleri tarafından yönlendirilir. Bu tür araçlar genellikle eğitim uygulayıcıları ve araştırmacılar tarafından şüphe ile karşılansa da yenilenmeyi hızlandırmak ve kanıta dayalı karar vermeyi geliştirmek için analitik motorların sunduğu yeni beygir gücünün nasıl kullanılacağını öğrenebilirsek, bu fırsatlar memnuniyetle karşılanacaktır. Sistemli eğitim değişimleri elbette zordur ancak analitik araçlar, eğitimcilerin uzun zamandır üzerinde tartıştıkları fakat kullanışlı olmadığını not düştükleri, yoğun öğrenme süreç türlerini kanıtlamak için yeni yollar sunabilir mi? Analitik ile yapılmak istenen tam olarak bu bölümün özünü oluşturmaktadır.

Analitik tabanlı mercekler (bakış açıları) tasarlarken; sınıflandırma düzenleri, makine öğrenmesi, öneri algoritmaları ve görselleştirmeler bilgi işlemsel takip isteğimize aracılık ederken “öğrenme” tanımımızı çarpıtma riskine karşı gözlerimizi açmalı ve eğitimciler, öğrenenler, politika belirleyiciler ve araştırmacılar arasındaki ilişkilerde tehlikede olanı ayıklamalıyız. Teori ile analitik arasındaki ilişkinin anlaşılmasında karşılaşılan engel, “tıklamalardan yapılara” sistematik olarak nasıl geçileceğini anlamaktır.

Öğrenme analitikleri, algoritmik olarak yayılmış bir toplumu olan daha büyük kaymanın somutlaşmış halidir. Öğrenme analitiği teorisi ilişkisine yerleştirdiğimiz çerçeve, bu nedenle, sosyoteknik altyapıların toplumda nasıl bilgi işlemsel zekâ sağladığı konusundaki kritik söylemle meşgul olmak için normalde “eğitim teorisi” olarak kabul edilen hususların ötesine genişletilmelidir.

Bölümün geri kalanı, tasarlayarak ya da tesadüfen bir öğrenme analitiği aracının kullanımının, her zaman epistemolojik varsayımlara ve pedagojik uygulamalara dayanan değerlendirme sistemleriyle uyumlu olduğunu tartışmaktadır. Kaldı ki, açıklayacağımız gibi, uzun bir tasarım düşüncesi tarihi, beşerî tasarımların kaçınılmaz olarak örtülü değerleri ve talepleri içerdiğini göstermektedir. Dolayısıyla temel olarak, belirli bir öğrenme analitiği aracını uygulamaya geçirmenin, belirli türdeki öğrenenleri yetiştirmek için tasarlanmış belirli bir eğitim görüşüne olan bağlılığı ifade ettiğini iddia etmekteyiz.

KURAMDAN UYGULAMAYA

Daha önceki bir makalede (Knight, Buckingham Shum ve Littleton, 2014), Şekil 1.1’de gösterildiği gibi, öğrenme analitiği tekniklerinin geliştirilmesinde teori ve uygulamanın unsurları arasındaki ilişkinin üçlü bir tasvirini ortaya koymuştuk (tasvir edilen ilişkilerle ilgili daha detaylı tartışmaya ulaşmak için bu makaleyi okumanızı öneririz). Amacımız pedagojik ve değerlendirme uygulamalarımızı ve politikalarımızı ve bunların altında yatan epistemolojik çıkarımlar ve varsayımlar yoluyla edindiğimiz, teorik olarak temel aldığımız duruşlar arasındaki gerilimleri ve karşılıklı ilişkileri göstermekti.

Bir üçgenin kullanımı şu gerilimleri vurgulamaktadır: değerlendirme, “bilginin” ne olduğunu anlamamızdaki itici güç olabilir; pedagoji hakkındaki varsayımlar (ör. bir tür halk psikolojisi; Olson ve Bruner, 1996) kimi nasıl değerlendirdiğimizi etkiler; değer biçici değerlendirme isteğinin pedagojik olarak güdüleyici olan biçimlendirici geri bildirimi geçersiz kıldığı durumlarda değerlendirme ve pedagoji gerilim içindedir ve kişinin epistemolojik görüşü (bilginin doğasına ilişkin) ve değerlendirme ya da pedagoji uygulamaları arasında bir uyum olması, üçü arasındaki ilişkilerin zorlu olabileceği anlamına gelebilir ancak her koşulda bunu gerektirmez. (Davis ve Williams, 2002). Tabii ki, başka görselleştirmeler de düşünülebilir ve bu sezgisel bilgilerin geliştirildiği teorik ve pratik amaçlar dikkate alınmalıdır. İki örnek vermek gerekirse, şu betimlemenin 1) değerlendirme ve pedagojinin epistemolojinin temeli üzerine (aşamalı bir yapıda) inşa edildiği ve 2) teorik konumun daha büyük bir tamamlayıcılığını ima ettiği daha fazla örtüşme ile bir Venn şeması yapısında hizaya getirildiği versiyonlarını düşünelim.

Şekil 1.1. Epistemoloji-Pedagoji-Değerlendirme (EPD) üçlüsü (Knight vd., 2014, s. 25).

Yeni bir değerlendirme aracı olarak öğrenme analitiği, mevcut eğitim uygulamalarını desteklemek için ya da onlara meydan okumak ve eğitimi yeniden şekillendirmek ve teorik–konumlandırma gözeterek hedeflediğimiz eğitim sistemlerinin türünü anlamakta önemli bir potansiyele sahiptir. Örneğin; öğrenme analitikleri şu potansiyele sahip olabilirler: 1) eğitimin teknokratik bir sisteme dönüştürülmesi yoluyla öğrenenleri (ve eğitimcileri) marjinalleştirmek; 2) “öğrenme” olarak konuştuklarımızı, analitik için yaratabileceklerimizle sınırlandırmak ve 3) öğrenenlerin zararına faaliyetlerde bulunmanın alternatif yollarını (bilgi işlemsel açısından izlemek zor olabileceği için) dışarıda tutmak. Algoritmalar öğrenme sürecinin bazı kilit unsurlarını hem görmezden gelebilir hem de maskeleyebilir. Analitiklerin eğitimcileri ve öğrenenleri ne derece faydalı bir şekilde destekleyebileceği önemli bir sorudur. Bunlar, öğrenme analitiklerinin yükselmesi ve hem üniversite öncesi hem de üniversite seviyelerinde (ör. KAÇD’lere artan ilgi) kitlesel çevrimiçi eğitime olan ilginin artması gibi önemli konulardır.

EPD PROVOKASYONLARI

Bölümün geri kalanı önceki çalışmayı genişleterek, öğrenme analitiği yaklaşımları ve araçlarını geliştirenlere uygulanabilir rehberlik sağlamak amacıyla yaklaşımımızın uygulamasını göstermeyi amaçlamaktadır. Bunu yapmak için, epistemoloji, pedagoji ve değerlendirme üçlemesine odaklanan bir dizi provokasyon geliştirdik.

Bu provokasyonları, bir öğrenme analitiği aracı tarafından yapılan örtük “taleplerin” nasıl çözülebileceğini göstermek için kullanacağız. Bu yaklaşım, aracın tasarımının farklı düzeylerini (veri modeli, öğrenen deneyimi ve öğrenme analitiği görselleştirmesi dâhil) yansıtmaya çağırmaktadır.

Bilgisayar destekli öğrenme- bireyselleştirilmiş veya işbirlikli- çok çeşitli öğrenme bağlamlarını kapsar. Bu tür araçlar, öğrenme hakkında örtük talepler olan, akranlarla ve kaynaklarla zengin öğrenen etkileşiminin birçok biçimini destekler. Bununla birlikte, bilgi işlemsel analitiklerin -ve hatta yapıların- ortaya çıkması tasarımcıların kaydedilen, analiz edilen ve bazı paydaş gruplarına görünür kılınan bazı davranışlara diğer davranışlardan daha çok değer vermelerini sağlar. Örtük iddia, bunların özellikle önemli davranışlar olduğudur. Neye değer verirsek onu ölçeriz.

Öğrenme analitiğinin geliştirilmesinde göz önünde bulundurulması gereken bir “5N1K” soru seti sunuyoruz. Her ne kadar sorular birbiriyle örtüşse de bu soruları birden fazla şekilde ifade etmek mümkündür. Amaç, bunları sorulacak tek soru olarak tanımlamak olmadığı gibi, üçlünün her bir elementinde sadece belirli soruların uygulanması gerektiği de değildir. Provokasyonların açıklamalarında açıkça belirtildiği gibi, üçlünün her bir yüzeyi içinde, birden fazla teorik soru sorulabilir ve sorulmalıdır. Daha doğrusu, okuyuculara kendi analitiklerini geliştirmede sezgisel rehberlik sağlamayı umuyoruz.

Epistemoloji- Neyi Ölçüyoruz?

Bu soruyu, ölçüm nesnesinin (değerlendirilmekte olan bilgi) kavramsal bir göstergesi ile belirli görevler içindeki etkinliği ve çıktıları ölçmek için kullanılan yöntem ve önlemlerin pratik bir göstergesi arasındaki bağlantının değerlendirilmesi amacıyla yöneltiyoruz. Neyi ölçmeye çalışıyoruz? sorusunu sormak öğrenme tasarımımızı, öğrencilerimizin öğrenmesini istediğimiz beceri ve gerçekleri ve öğrenciler için “bilmenin” ne anlama geldiğini düşünmemizi teşvik eder. Bu bir epistemoloji meselesidir; yapıların doğası, neden bilgi olarak “saydıkları”, bir bilgi iddiası için gerekli olan kanıtlayıcı standart ve tür ile ilgilidir.

Bu bilgi daha geniş kapsamlı bir öneri niteliğinde olabilir (bazen olguların hatırlanması olarak nitelendirilen “teknik bilgi” olarak tanımlanabilir), daha geniş bir beceri ve özellik kümesi (bazen “nasıl yapılır bilgisi” olarak nitelendirilir, örneğin bir kompozisyon yazma yeteneği) veya belirli şekillerde hareket etme eğilimleri (ör. son zamanlarda epistemolojideki epistemik erdemler olarak tartışılanlar gibi). Delil niteliğindeki normlar ve türler, bilginin göstergesi olan destekleri içerir; örneğin, bilginin belirli bağlamlarda uygun şekilde hatırlanabilecek bölünmez önermeler bağlamında kavramsallaştırılıp tanımlanamayacağı, bir bilginin onu bir bağlamda dağıtma yeteneğine sahip olup olmadığı, bazılarını bilgi olarak öne süren gerekçelendirme ve teminat türleri (ve bunların altında yatan beceriler) vb. Bunlar -örtük veya açık- olarak ölçümümüzün hedefleridir.

Epistemoloji- Nasıl Ölçüyoruz?

Analiz nesnesinin epistemolojik konumu ile ilgili kavramsal sorgulamaya istinaden diğer bir soru da -araştırmacılar ve eğitimciler olarak- bu bilgiye erişimimizdir. Bu araştırma ve değerlendirme yöntemlerimizin epistemolojik temelini oluşturan bir sorgudur. Dijital araştırma yöntemlerine artan ilgi ile nicel ve nitel araştırma yöntemleri hakkındaki çeşitli epistemolojik kaygılar üzerine zengin bir literatür bulunmaktadır. Ek olarak değerlendirme felsefesinde, bilgi kuramıyla ilgili kaygıları değerlendirme yöntemlerinde araştırmak üzerine odaklanmış bir literatür vardır (Davis, 1999).

Bu alan yazının merkezinde, yaklaşımların öznelliği ve yöntemlerin içgörü kazandırmalarıyla ile ilgili sorunlar yer alır. Bu soru, analitik yöntemlerin belirli bilgi kuramlarını belirtme yollarıyla ilgili düşünceleri davet etmektedir. Bunun yalnızca değerlendirme yöntemlerimizin güvenilirliği ile ilgili bir soru olmadığı fakat yaklaşımların dışarıdan bilinir bir dünyayla (ve o dünyanın doğasıyla) konuşma yeteneğiyle ilgili olduğu akıldan çıkarılmamalıdır.

Pedagoji- Bu Bilgi Bizim İçin Neden Önemli?

Öğrenme bağlamlarında analitik yaklaşımların gelişimi, sadece kolayca ölçülen değerden ziyade ölçmek için neye değer verdiğimizi hangi bilgilere odaklanıp odaklanılmayacağına ilişkin kararlar vermeyi içerir. (Wells ve Claxton, 2002). Bu elbette, bilginin doğasının kavramsal niteliğinin göstergesine ek olarak gerçekleşir. Bu kararlar kısmen, toplumdaki önemli (veya güçlü) bilgi türleriyle (ör. Young ve Muller, 2015) ve istihdam edilebilirlik (veya mesleki ve liberal eğitsel hedefler arasındaki denge) ile ilgili tartışmalar da dâhil olmak üzere bilgi temelli öğretim programının rolü ve 21. yüzyıl becerileri hakkındaki tartışmaları da kapsar. Bu soru bu analitik konu neden eğitimciler ve öğrenenler için önemlidir? sorusunu sorar.

Bu soruyu cevaplamak, kısmen, analitiğin içinde oturduğu öğrenme teorisinin türünü; analitiğin belirli becerilere (belki de istihdam edilebilirlik becerileri) katkısı ile ilgili araçsal hedefleri geliştirmeyi veya üniversiteye uyumunu (ör. raporlama ihtiyaçları) hedefler. Ayrıca, belirli öğrenci gruplarının desteği gibi pedagojik amaçlarla da ilgili olabilir.

Pedagoji- Değerlendirme / Analitik Kimin İçindir?

Analitik araçların geliştirilmesinde (ve genişletecek olursak- değerlendirilmesinde), aracın hedefinin kim olduğunu, öğretmenleri, velileri, öğrenci veya yöneticileri öğrenmenin bir yönünü anlamada destekleyip desteklemediğini dikkate almalıyız. Analitik, bir makro (hükûmet, kurumsal), mezo (okul, sınıf) veya mikro (bireysel, öğrenci veya etkinlik) düzeyde bir fikir vermek için mi tasarlanmıştır (Buckingham Shum, 2012) ve bu seviyeler arasında tüm paydaşlar tarafından anlaşılabilecek içgörüler var mıdır (Knight, Buckingham Shum ve Littleton, 2013)?

Bu soru, bir sistemin çoklu seviyelerinde ve bireysel analitik yaklaşımlarda (gösterge panoları gibi çeşitli biçimlerdeki çıktıları da dâhil olmak üzere) 1) öğrencilere, bireysel öğrenmelerini geliştirmelerinde; 2) eğitimcilere, kendi uygulamalarını geliştirmede ve her öğrencinin bireysel ihtiyaçlarına yönelik desteklerini hedeflemede ve 3) yöneticilere, toplulukların nasıl geliştiğini ve örgütsel ihtiyaçlarını anlamada farkındalık sağlar. Crick’in bu el kitabında iddia ettiği gibi, özel kişisel verilerden paylaşılan örgütsel verilere kadar, öğrenme sistemindeki farklı seviyeler için karmaşık bir analitik sistem anlayışı, çeşitli seviyelerde yorumlanmayı gerektiren farklı rasyonelliği ve otoriteleri ima eder (Deakin Crick, 2017).

Bu soru, (açıkça veya örtük olarak) belirli grupları hedef alan analitiklerin geliştirilmesindeki etik sonuçlarla paralel bir kaygı uyandırmaktadır. Bu kaygı iki düzeydedir. İlk olarak, belirli teknoloji veya katılım biçimlerini gerektiren analitikler, öğrenci toplulukları² arasında yeni bölünmeler yaratabilirler veya mevcut bölünmeleri sağlamlaştırabilirler. İkincisi, öğrenci verilerinin kurumlar tarafından, özellikle belirli bir onayın verilmediği durumlarda ve söz konusu öğrencinin doğrudan öğrenme kazancına yönlendirilmediği durumlarda kullanımı konusunda etik bir kaygı vardır. Bu ikinci konu, öğrenci verilerinin büyük ölçüde kurumsal maliyetlere veya belirli öğrencilere verilen destek seviyesine indirgenip kullanılabileceği durumlarda oldukça önemlidir.

Değerlendirme — Değerlendirme Nerede Gerçekleşmektedir?

Her ne kadar aşikâr olsa da değerlendirmenin her zaman fiziksel bir konumda, belirli görev taleplerine cevap olarak, sosyo-kültürel bir bağlamda, belirli bir araç seti ile yapıldığını dikkate alıyoruz. 300 kişinin aynı anda sessiz bir salonda girdiği bireysel bir kâğıt kalem sınavı ile KAÇD’de bir istatistik sorununu ve ilişki danışmanlığında çatışma çözme durumunu ele alan gözetim altında acil durum tepki simülasyonunu karşılaştırın. Her bağlam için yalnızca değerlendirmenin anlamlı olup olmadığını değil, aynı zamanda anlamlı bilgi işlemsel analitiğin değer katmak için ne ölçüde tasarlanabildiğini sormalıyız.

Kaldı ki, değerlendirmenin bazen istenmeyen şekillerde belirli tepki türlerini saptırma yollarını da göz önünde bulundurmalıyız. Örneğin belirli öğrenci grupları veya bilgi türleri, çok dar bir başarı tanımına sahip olan değerlendirme bağlamlarının tasarımı, tüm öğrencilerin göstermediği davranış ihtiyaçları, sosyoekonomik araçları haksız yere kullanan teknolojilerin kullanımı veya değerlendirmeyi, bir uzmanlığın orijinal olarak gösterilebildiği uygulamalı bağlamdan ayırma yoluyla diğerlerine göre ayrıcalıklı olabilir.

Değerlendirmelerde, belirli sistemlerin elde edilen verileri nasıl şekillendirdiğini de göz önünde bulundurmalıyız – bunun yukarıda belirtilen epistemolojik kaygıdan ziyade yöntemlerin güvenilirliği ve geçerliliği ile ilgili uygulamaya yönelik bir durum olduğunu unutmayınız. Örneğin teknolojiler insanların birbirleriyle ve çevrelerindeki dünyayla etkileşimlerini ve dolayısıyla ölçtükleri etkinlikleri şekillendiren ve aracılık eden araçlardır. Bu hem spesifik teknolojiler hem de değerlendirmelerde kullanılan görev tasarımı için geçerlidir; örneğin, “otantik” değerlendirmelerin kullanılması, çeşitli türlerde daha geleneksel kalem ve kâğıt değerlendirmelerinden farklı olası cevaplar sunar.

Değerlendirme – Değerlendirme ve Geri bildirim Ne Zaman Gerçekleşmektedir?

Göz önünde bulundurulacak nihai husus, değerlendirme ve geri bildirim döngüsünün ne zaman gerçekleştiğini soran geçici öğrenme analitiği bağlamı ile ilgilidirBu provokasyon, öğrenme analitiğinin biçimlendirici ya da değer biçici niteliğini derhal ele almayı amaçlar; belirli bir teknolojinin gerçek zamanlı veya olay sonrası geri bildirim sağlayıp sağlamadığı ve bu geri bildirimin mevcut davranış için bir köprü mü yoksa bir model niteliğinde mi olduğu, gelecekteki davranış ve öğrenmeyi mi hedeflediği veya önceki çalışmalarla (tekrar ele alınamayabilir) ilgili yalnızca bir geri bildirim mekanizması olarak mı amaçlandığı gibi sorulara cevap arar.

Daha önceki yazımızda, bio-geri bildirim metaforları ve tanısal öğrenme analitiği arasında bir ayrım yapmıştık. Buradaki amaç, sırasıyla biçimlendirici ve değer biçici değerlendirme arasında bir ayrım yapmaktı. Bununla birlikte, analoji tükenirken gerçek zamanlı geri bildirim sağlayan kurs sistemleri kendi özünde özetleyici olabilir ve bazı son noktalara yönelik “izleme” rolü üstlenebilir. Ek olarak tabiri caizse tanı, ima edilen kesinliğe sahip olmamakla birlikte, “hasta” (öğrenci) veya “doktor” (eğitimci) tarafından harekete geçirilebilecek olan, neyin yanlış gittiğine dair bir içgörü sağlar. Bunun yerine, odak noktası, analitik aracın, öğrencinin bu sonuca yönelik öğrenme ve izlemeye ilişkin özet bir anlık bakış açısına hedeflenip hedeflenmediğine veya bunun yerine zaman içinde gelişme ve iyileştirmeyi hedeflemesine odaklanmalıdır.

SONUÇ

Provokasyonlar yoluyla, analitik yaklaşımların ve yapıların öğrenme konusundaki belirli perspektiflere katılma yöntemlerine dikkat çektik: EPD üçlüsü ve onlardan alınan provokasyonlar için dolaylı olarak talepte bulunurlar.

Araçlar birçok şekilde kullanılabilir ve kullanım bağlamlarından izole edilmemelidir. Etkileşimsel ilişkiler, güzellik gibi, bir dereceye kadar “bakanın gözünde” olur. Bu provokasyonları, tasarımcılar, eğitimciler, araştırmacılar ve öğrenciler için, şu anda analitik araçlardan nasıl faydalanabileceklerini, gelecekte nasıl olabileceğini ya da gerçekten yeni bağlamlar için yeni araçlar tasarlarken nasıl kullanılacağını düşünmede pragmatik bir araç olarak sunuyoruz. Bir öğrenme analitiği aracının belirli bir bağlamda ele alınması yoluyla yapılan EPD taleplerini yansıtmak için bu provokasyonları göz önüne almanın verimli olacağını düşünüyoruz.

KAYNAKÇA

Anderson, C. (2008, 23 June). The end of theory: The data deluge makes the scientific method obsolete. Wired Magazine. http://archive.wired.com/science/discoveries/magazine/16-07/pb_theory

Arastoopour, G., Buckingham Shum, S., Collier, W., Kirschner, P., Knight, S. K., Shaffer, D. W., & Wise, A. F. (2014). Analytics for learning and becoming in practice. In J. L. Polman et al. (Eds.), Learning and Becoming in Practice: Proceedings of the International Conference of the Learning Sciences (ICLS’14), 23–27 June 2014, Boulder, CO, USA (Vol. 3, pp. 1680–1683). Boulder, CO: International Society of the Learning Sciences

Boyd, Danah, & Crawford, K. (2011, September). Six provocations for big data. Presented at A Decade in Internet Time: Symposium on the Dynamics of the Internet and Society. http://ssrn.com/abstract=1926431

Buckingham Shum, S. (2012). Learning analytics policy brief. UNESCO. http://iite.unesco.org/pics/publications/en/files/3214711.pdf

Davis, A. (1999). The limits of educational assessment. Wiley.

Davis, A., & Williams, K. (2002). Epistemology and curriculum. In N. Blake, P. Smeyers, & R. Smith (Eds.), Blackwell guide to the philosophy of education. Blackwell Reference Online.

Deakin Crick, R. (2017). Learning analytics: Layers, loops, and processes in a virtual learning infrastructure. In C. Lang, G. Siemens, A. Wise, & D. Gašević (Eds.), Handbook on Learning Analytics (this volume).

Hey, T., Tansley, S., & Tolle, K. (Eds.). (2009). The fourth paradigm: Data-intensive scientific discovery. Redmond, WA: Microsoft Research. http://research.microsoft.com/en-us/collaboration/fourthparadigm/

Knight, S., Buckingham Shum, S., & Littleton, K. (2013). Collaborative sensemaking in learning analytics. CSCW and Education Workshop (2013): Viewing education as a site of work practice, co-located with the 16th ACM Conference on Computer Support Cooperative Work and Social Computing (CSCW 2013), 23 February 2013, San Antonio, Texas, USA. http://oro.open.ac.uk/36582/

Knight, S., Buckingham Shum, S., & Littleton, K. (2014). Epistemology, assessment, pedagogy: Where learning meets analytics in the middle space. Journal of Learning Analytics, 1(2). http://epress.lib.uts.edu.au/journals/index.php/JLA/article/view/3538

Macfadyen, L. P., Dawson, S., Pardo, A., & Gašević, D. (2014). Embracing big data in complex educational systems: The learning analytics imperative and the policy challenge. Research & Practice in Assessment, 9, 17–28.

Mayer-Schönberger, V., & Cukier, K. (2013). Big data: A revolution that will transform how we live work and think. London: John Murray Publisher.

Olson, D. R., & Bruner, J. S. (1996). Folk psychology and folk pedagogy. In D. R. Olson & N. Torrance (Eds.), The Handbook of Education and Human Development (pp. 9–27). Hoboken, NJ: Wiley-Blackwell.

Pardo, A., & Siemens, G. (2014). Ethical and privacy principles for learning analytics. British Journal of Educational Technology, 45(3), 438–450. http://doi.org/10.1111/bjet.12152

Pietsch, W. (2014). Aspects of theory-ladenness in data-intensive science. Paper presented at the 24th Biennial Meeting of the Philosophy of Science Association (PSA 2014), 6–9 November 2014, Chicago, IL. http://philsci-archive.pitt.edu/10777/

Prinsloo, P., & Slade, S. (2015). Student privacy self-management: Implications for learning analytics. Proceedings of the 5th International Conference on Learning Analytics and Knowledge (LAK ʼ15), 16–20 March, Poughkeepsie, NY, USA (pp. 83–92). New York: ACM.

Rittel, H. (1984). Second generation design methods. In N. Cross (Ed.), Developments in design methodology (pp. 317–327). Chichester, UK: John Wiley & Sons.

Shaffer, D. W. (2011, December). Epistemic network assessment. Presentation at the National Academy of Education Summit, Washington, DC.

Wells, G., & Claxton, G. (2002). Learning for life in the 21st century: Sociocultural perspectives on the future of education. Hoboken, NJ: Wiley-Blackwell.

Wise, A. F. (2014). Data archeology: A theory informed approach to analyzing data traces of social interaction in large scale learning environments. Proceedings of the Workshop on Modeling Large Scale Social Interaction in Massively Open Online Courses at the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP 2014), 25 October 2014, Doha, Qatar (pp. 1–2). Association for Computational Linguistics. https://www.aclweb.org/anthology/W/W14/W14-4100.pdf

Wise, A. F., & Shaffer, D. W. (2015). Why theory matters more than ever in the age of big data. Journal of Learning Analytics, 2(2), 5–13.

Young, M., & Muller, J. (2015). Curriculum and the specialization of knowledge: Studies in the sociology of education. London: Routledge.