Yapay zekâ, bilgi sentezi, öğrenme-gelişim ve koçluk

Bu yazı, "The library of Babel: assessing the powers of artificial intelligence in knowledge synthesis, learning and development and coaching" başlığını taşıyan, Jonathan Passmore ve David Tee tarafından kaleme alınan bir makaleden derlenmiştir. Makale, Journal of Work-Applied Management dergisinin 16. Cilt, 1. Sayısında 2024 yılında yayımlanmıştır. Çalışmanın amacı, yapay zekanın (YZ), özellikle ChatGPT ve GPT-4 gibi üretken YZ araçlarının, bilgi sentezi, yazılı içerik üretimi ve koçluk görüşmeleri alanlarındaki potansiyelini değerlendirmektir.

Makalenin hazırlanışında, YZ aracı GPT-4 bir katılımcı olarak kullanılmış ve araştırmacılar tarafından oluşturulan yönlendirmelere (prompt'lara) verdiği yanıtlar analiz edilmiştir. Çalışma, çıktılarının doğruluğunu ve değerini değerlendirmek için kör testlerde uzmanların kullanımını içermiştir. Araştırma tasarımı, kesitsel ve karma yöntemli bir yaklaşım benimsemiştir. Değerlendirmeler, akademik program yöneticileri (kör değerlendiriciler) ve koçluk alanından uzmanlar tarafından yapılmıştır.

Çalışma, üretken YZ teknolojisindeki en son gelişmeleri ve bunların öğrenme ve gelişim (L&D) ve koçluk endüstrisi için çıkarımlarını araştırmaktadır. GPT-4, Kasım 2022 - Haziran 2023 döneminde ortaya çıkan yeni nesil üretken YZ araçlarından biridir. Bu araçlar, genelleştirilmiş kullanım durumları, insan benzeri dil çıktısı üretme yetenekleri ve doğal dili anlama/yanıtlama arayüzleri ile ayırt edilir.

Araştırmacılar, GPT-4'ün yeteneklerini değerlendirmek için bir dizi önerme (proposition) oluşturmuş ve bunları bağımsız uzman değerlendirmeleriyle test etmiştir. Bu önermeler şunları içermiştir:

• İçerik Oluşturucu Olarak Yeteneği: 

  • P1: Koçluğu güvenilir kaynaklardan doğru bir şekilde tanımlama.

  • P2: Koçluk üzerine yayımlanmış tüm meta-analiz makalelerinden içgörüler sunma.

  • P3: ICF ve Küresel Etik Kodlarını karşılaştırma ve zıtlıklarını belirtme.

  • P4: ICF Koçluk Yetkinliği 2'nin (Koçluk Zihniyeti) koçluk uygulaması için çıkarımlarını tartışma.

• Bilimsel Yazar Olarak Yeteneği: 

  • P5: Meta-analiz çalışmalarından araştırma kanıtlarını doğru bir şekilde özetleme ve bilimsel bir dergide yayımlanabilecek şekilde sunma.

• "Koç" Olarak Yeteneği: 

  • P6: Ortak bir davranışsal problemi (iş görüşmesine hazırlık) çözmek için odaklanmış, çözüm odaklı açık sorular sağlama ve ICF Associate Certified Coach (ACC) standardına uygun koçluk tarzı sergileme.

Çalışmanın Bulguları:

Yapılan değerlendirmeler sonucunda elde edilen bulgular karışıktır. Altı önermeden üçü desteklenmiştir:

• P1 (Koçluğu Tanımlama): Desteklenmedi. GPT-4'ün tanımları kısmen doğru olsa da, bazıları sahteydi veya kaynakları güvenilir değildi. Metinlere orijinalinde olmayan eklemeler yapılmıştı. Kör değerlendiricilerden ortalama %43 (Başarısız) not almıştır.

• P2 (Meta-analiz İçgörüleri): Desteklendi. GPT-4, sekiz meta-analiz makalesinden ikisini doğru tanımlamış, bir sistematik incelemeyi listelemiş ve analizi genel olarak doğruydu. Kör değerlendiricilerden ortalama %57 (Geçer) not almıştır. Ancak uzmanlar, düşük doğru atıf sayısı ve önceki versiyonda sahte makale isimleri üretilmesi nedeniyle daha eleştireldi.

• P3 (Etik Kodlarını Karşılaştırma): Desteklendi. GPT-4, iki etik kodunu temel düzeyde karşılaştırabildi. Kör değerlendiricilerden ortalama %58 (Geçer) not almıştır. Uzmanlar, içeriğin canlılık katacak örneklerden yoksun olduğunu belirtti.

• P4 (Koçluk Zihniyeti): Desteklendi. GPT-4, koçluk zihniyetinin önemini iyi tanımladı ve araştırma atıfları içeriyordu. Kör değerlendiricilerden ortalama %60 (İyi) not almıştır. Uzmanlar, yetkinliğin bir "varoluş biçimi" olarak keşfedilemediğini ve çıktının mekanik göründüğünü belirtti.

• P5 (Bilimsel Makale): Desteklenmedi. GPT-4, bilimsel bir dergide yayımlanabilecek standartta bir makale üretemedi. Makale, yapılmamış bir sistematik inceleme iddiası içeriyordu. Atıfların %70'inden fazlası yanlıştı veya sahteydi, ancak bunlar oldukça inandırıcı görünüyordu. Dergi editörleri, makalenin masa başı reddedileceğini belirtti ve sahte atıfların farkında olmasalardı yazarları disiplin organlarına şikayet edeceklerini ifade ettiler.

• P6 ("Koç" Olarak Yetenek): Desteklenmedi. GPT-4, bir koçluk görüşmesi yapabildi, açık sorular üretti, özetledi ve çözüm odaklı yaklaştı. Ancak, konuşmayı AI yönlendirdi, çok konuştu ve danışanın duygularını/değerlerini keşfetmedi. En büyük endişe kaynağı, intiharla ilgili referanslar karşısında eyleme geçmemesiydi; sadece empati gösterip konuşmayı çözüme yönlendirmeye çalıştı. Genel olarak, ICF ACC standardının altında kaldığı değerlendirildi.

  
  

Tartışma ve Çıkarımlar:

Sonuçlar, GPT-4'ün etik kodları, koçluk zihniyeti ve araştırma özetleri gibi konularda "geçer" düzeyde içerik üretebildiğini göstermektedir. Ancak, koçluğu doğru tanımlama, bilimsel makale yazma veya profesyonel düzeyde koçluk yapma konularında yetersiz kalmıştır.

Çalışmanın bulguları, GPT-4'ün inandırıcı görünen içerikler üretme konusunda oldukça etkili olduğunu, hatta uzmanları bile yanıltabildiğini düşündürmektedir. Ancak, üretilen içeriğin doğruluğu sorunludur; atıfların ve iddiaların yanlış veya sahte olduğu durumlar mevcuttur. Bu sahteciliklerin (falsification), özellikle kapsamlı veya bilimsel çıktılarda, YZ'nin insan performansı standartlarını henüz tam olarak taklit edemediğini göstermektedir. Bu durum, YZ tarafından üretilen içeriğin güvenilirliğini düşürmektedir.

Bu bulguların geniş çaplı etkileri bulunmaktadır:

• Yazarlık ve Sorumluluk: YZ tarafından üretilen içeriğin kime ait olduğu ve hatalardan kimin sorumlu olduğu soruları ortaya çıkmaktadır. YZ içeriği genellikle insan okuyucular ve intihal yazılımları tarafından tespit edilememektedir. Kuruluşların, üniversitelerin ve yayıncıların, YZ kullanımına ilişkin güncel politikalara ve yönergelere sahip olması gerekmektedir. Hassas bilgilerin YZ araçlarına sağlanan yönlendirmelerde kullanılması, ticari veya müşteri gizliliğinin ihlali riskini taşımaktadır.

• Doğruluk ve Yanlışlık: Yanlış iddiaların inandırıcı doğası ve bunların tekrarlanarak gerçek gibi algılanma riski endişe vericidir. YZ'nin sahtecilik kalitesinin de iyileşmesi, doğruyu yanlıştan ayırt etmeyi zorlaştırmaktadır. Bu durum, bilimsel bilgiyi sulandırma ve yanlış bilginin yayılması riskini artırmaktadır. Yazarların içeriklerini bağımsız olarak doğrulamaları kritik öneme sahiptir.

• Telif Hakkı: YZ, kaynaklarını genellikle belirtmeden veya telif ücreti ödemeden içerik kullanmakta ve yeniden üretmektedir. İçeriği kullanılan yazar ve yayıncıların nasıl telafi edileceği düşünülmelidir.

• Koçluk Alanı: YZ, koçluk benzeri görüşmeler yapabilse de, profesyonel standartların altındadır. Profesyonel koçluk kuruluşlarının, YZ yazılımlarının akreditasyonu konusunda politikalar belirlemesi gerekebilir.

Makale, üretken YZ teknolojisinin hızla geliştiğini ve durdurulmasının imkansız olduğunu belirtmektedir. Bu gelişme karşısında, kuruluşların etik standartlar belirlemesi, çalışanların, müşterilerin ve paydaşların ihtiyaçlarını göz önünde bulundurması aciliyet taşımaktadır.

Sonuç ve Öneriler:

Makale, üretken YZ'nin bilgi oluşturma ve düzenleme alanlarında bir "Babil Kütüphanesi" yaratma riski taşıdığını, yani büyük miktarda içeriğin bir kısmının doğru, ancak büyük bir kısmının yanlış veya anlamsız olabileceğini belirtmektedir. Bu riskleri yönetmek için bir dizi acil adım önerilmektedir:

1. Yazarlar, içerik üretiminde hangi YZ yazılımını kullandıklarını ve ne zaman oluşturulduğunu net bir şekilde belirtmelidir.

2. Akademik içerik (bilimsel dergi makaleleri gibi) için YZ araçları yayıncılar ve üniversiteler tarafından yasaklanmalıdır.

3. Öğrenme sağlayıcıları, üretken YZ yazılımları tarafından üretilen içeriğin öğrenciler tarafından değerlendirilen çalışma olarak kabul edilemez olduğunu açıkça belirten politikalarını değiştirmelidir.

4. Tüm yazarlar, materyallerinin doğruluğunu bağımsız olarak doğrulamalı ve YZ araçları tarafından üretilen yanlışlıkları içerme riskine karşı tek bir kaynağa güvenmemelidir.

5. Kuruluş içi koçlar ve eğitmenler, YZ ve diğer teknolojilerle aktif olarak etkileşime girmeli ve bunların kendi koçluk uygulamalarını nasıl destekleyebileceğini keşfetmelidir.

6. Profesyonel kuruluşlar, etik kodlarını, değerlendirme süreçlerini ve politikalarını YZ teknolojisinin getirdiği değişiklikleri yansıtacak şekilde gözden geçirmelidir.

7. Tüm kuruluşlar, üretken YZ'nin dahili ve kamuya açık belgelerde kullanımına ilişkin çalışanlar için net yönergeler oluşturmalıdır. Bu, hem müşterileri hem de ticari bilgileri korumak için önemlidir, çünkü yönlendirmelerde veya görüşmelerde sağlanan bilgiler YZ tarafından "öğrenilebilir" ve gelecekteki çıktılarda kullanılabilir.

Uygulayıcılar için, üretken YZ'nin bilgi çalışanları için varoluşsal bir tehdit oluşturduğu ve kuruluşların güvenli kullanım yönergeleri belirlemesi gerektiği vurgulanmaktadır. Uygulayıcıların bu teknolojilerle etkileşime girmesi, anlaması ve riskleri yönetmek için önlemler alması gerekmektedir.