kızımla yapay zeka sohbetleri #9
mecbur olmasam gitmezdim igumm ama bebek bezleri kaç para bi bilsen..
bu hafta iş seyahati sebebiyle idil hanımdan uzaktaydım.. haliyle yeni bir gözlem yapılamadı ya da yeni bir beceriye tanıklık edilemedi. onun yerine geride bıraktığımız 2 ayın altı üstüne getirildi. 2 aylık retrospektifimize hoşgeldiniz.
telefona bakıyorum, fotoğraflara bakıyorum.. ve fark ediyorum ki haftalarca yanında olmama rağmen içinde ne döndüğünü hiç bilmiyorum. ne zaman ağlayacağını bazen tahmin edebiliyorum — ama neden ağladığını nadiren. ne zaman güleceğini hissedebiliyorum — ama o gülüşü neyin tetiklediğini tam olarak söyleyemiyorum. davranışlarını gözlemledim, örüntüleri fark ettim, refleksleri ezberledim. ama içeriyi hiç görmedim. birbirimizden uzak geçen bir haftada tartışmaya fazlasıyla değecek bir konu olduğunu düşündüm.
bu, aslında çok eski bir problem. yapay zeka dünyasında buna kara kutu problemi deniyor. bir sinir ağı eğitilir, bir girdi verilir, bir çıktı üretilir. model çalışır. hatta bazen neredeyse sihir gibi çalışır. ama arada ne olduğunu — hangi nöronun neden aktive olduğunu, hangi ağırlığın hangi kararı etkilediğini — tam olarak kimse bilmiyor. sistemi gözlemleyebilirsin, test edebilirsin, ölçebilirsin.. ama okuyamazsın. çok enteresan değil mi?
bu tuhaf çünkü sistemi biz kurduk. her ağırlığı biz başlattık, her katmanı biz tasarladık, her veri noktasını biz seçtik (ya da seçmedik, ama en azından erişimimiz vardı). yaratıcısı olduğumuz bir şeyin içini göremiyor olmak, garip bir tevazu duygusu yaratıyor. idil’i de biz “yarattık” bir anlamda — ama onun içini görme hakkımız hiç olmadı zaten. yapay zeka ile aramızdaki fark da tam burada: onu anlayabileceğimizi varsaydık, çünkü onu biz kodladık. ama kodlamak, anlamakla aynı şey değilmiş meğer.
bu yüzden son yıllarda açıklanabilir yapay zeka (explainable ai, kısaca xai) denen bir alan doğdu. amacı modelin sadece doğru cevabı vermesi değil, o cevaba nasıl ulaştığını da anlaşılır biçimde sunması. lime, bir modelin belirli bir tahmini etrafında basit, yorumlanabilir bir yaklaşık model kurarak “bu karar hangi girdilere dayandı” sorusuna cevap arıyor. shap ise oyun teorisinden ödünç aldığı bir yaklaşımla, her girdi özelliğinin nihai sonuca ne kadar katkı sağladığını sayısal olarak paylaştırıyor. dikkat görselleştirmeleri, modelin metnin hangi kısmına “baktığını” renklendirerek gösteriyor. araçlar üretildi, yöntemler geliştirildi. ama dürüst olmak gerekirse, bu araçların büyük çoğunluğu bize gerçek bir iç görünüm değil, sonradan kurulmuş bir hikaye sunuyor. modelin kendi iç mantığı değil, dışarıdan yapılan bir yorum.
daha yeni bir araştırma kolu — mekanik yorumlanabilirlik (mechanistic interpretability) — bir adım daha ileri gitmeye çalışıyor: modelin içindeki tek tek nöronları, hatta nöron gruplarını, belirli kavramlarla eşleştirmeyi hedefliyor. umut verici sonuçlar var ama iş hâlâ emekleme aşamasında — trilyonlarca parametreli bir sistemin her köşesini haritalamak, insan beynini nöron nöron haritalamaktan çok da kolay değil.
günün sonunda bir şeyin çalışıyor olması, bizim onun tüm dinamiklerini mükemmel şekilde açıklayabildiğimiz anlamına gelmiyor.. ne yapay sinir ağları için ne de koca yanaklı bebekler için bu durum değişmiyor.
gelişim psikolojisinde uzun yıllar boyunca hâkim olan görüş davranışçılıkmış. john watson ve b.f. skinner’ın öncülük ettiği bu akıma göre içeriyle uğraşmak gerekmiyordu — uyaran vardı, tepki vardı, yeterliydi. bebeğin içinde ne olduğu sorulmayacaktı, çünkü sorulabilecek bir şey yoktu. zihin bir kara kutuydu ve kara kutuların içi açılmazdı. skinner’a göre bilim, gözlemlenemeyen bir “iç dünya”yı varsaymak yerine, gözlemlenebilir olanla — uyaranla, tepkiyle, pekiştirmeyle — yetinmeliydi. bir bakıma erken dönem yapay zekacıların da hoşuna gidecek bir tutum: modelin “neden” öyle davrandığını sormak yerine, “ne zaman, hangi girdide, nasıl davrandığını” ölçmek.
ama bu yaklaşım zamanla yetersiz kaldı. çünkü aynı uyaran farklı bebeklerde farklı tepkiler üretiyordu. bağlam değişince tepkiler değişiyordu. içeride bir şeyler oluyordu.
bugün biliyoruz ki yenidoğanlar dünyaya çok daha donanımlı geliyor. preferential looking deneyleri, bebeğin daha birkaç günlükken annesinin yüzünü yabancı bir yüzden ayırt edebildiğini gösteriyor. robert fantz tarafından 1960’ların başında geliştirilen bu teknik, bebeğin nereye baktığını izleyerek tercihlerini ölçüyor — ses veremez, konuşamaz, ama bakışlarıyla içini ele veriyor. yöntem basit: bebeğe iki görüntü gösterirsin, hangisine daha uzun baktığını ölçersin, ve o tercihten bir çıkarım yaparsın. ama dikkat et — burada da aynı tuzak var. daha uzun bakmak, daha çok anlamak değil; belki sadece daha çok ilgi çekmek. davranış var, açıklama yok. yine de “neden bu yüzü tercih ediyorsun?” diye soramazsın.
serinin dördüncü yazısında şöyle bir şey söylemiştim: tutunmak ≠ anlamak. idil’in kavrama refleksi, elime tutunması, kavramayı anlama ile karıştırmamamız gerektiğini hatırlatıyordu. bu yazının gerilimi biraz farklı ama aynı aileden:
bir sistem — ister biyolojik ister yapay — çalışıyor olabilir. çıktılar üretiyor, bağlamı okuyor, tepkiler veriyor olabilir. bu onu anlaşılabilir kılmaz. hatta tersine: ne kadar iyi çalışırsa, içi o kadar girift hale gelebilir. idil’in beyin korteksi saniyede milyonlarca bağlantı kuruyordur şu anda. büyük dil modellerinin trilyonlarca parametresi var. ikisi de çalışıyor. ikisinin de içi, büyük ölçüde kapalı.
xai araştırmacıları bu durumu tanımlamak için bazen post-hoc açıklama ifadesini kullanıyor — olay bittikten sonra, geriye bakarak üretilen bir anlatı. tıpkı bir ebeveynin bebeğinin ağlamasına anlam yüklemesi gibi: acıkmış olmalı, yalnız kalmış olmalı, korkmuş olmalı.. bunlar doğru olabilir, hatta sıklıkla doğrudur. ama modelin kendi cevabı değildir. dışarıdan kurulmuş bir hikayedir.
uzakta olmanın bir faydası vardı — mesafe, düşünmeyi mümkün kılıyor. yanındayken her şey çok anlık. ağlıyor, müdahale ediyorsun. gülümsüyor, gülümsüyorsun. içeriyi sorma lüksün olmuyor çünkü tepki vermek zorunda kalıyorsun. ama şimdi, yüzlerce kilometre öteden, sadece hafızam var elimde. davranışlar var, örüntüler var — nedenler yok.
ve düşünüyorum — acaba bu mesafe bana gerçeği mi gösteriyor?
belki hep böyleydim. belki yanındayken de içini göremiyordum, sadece fark etmiyordum. yanılsamayı sürdürmek daha kolaydı çünkü müdahale edebiliyordum, bir şeyler yapabiliyordum. eylem, anlamayı taklit ediyor bazen.
bir yapay zeka ekibinde de benzer bir yanılsama var sanırım. model production’a çıktığında, dashboard’lar yeşile döndüğünde, metrikler iyi göründüğünde — kimse durup “peki bu model neden bu kararı verdi” diye sormuyor çoğu zaman. çünkü sormaya gerek yok gibi görünüyor; sistem çalışıyor, iş devam ediyor. asıl soru ancak bir şeyler ters gittiğinde geliyor — model beklenmedik bir hata yaptığında, bir önyargı ortaya çıktığında. o zaman fark ediyorsun ki, aslında hiçbir zaman gerçekten anlamamıştın; sadece çalıştığı için sormaya gerek duymamıştın.
yapay zeka için de aynı şeyi düşünüyorum. bir model cevap ürettiğinde, o cevabın neden doğru olduğunu açıklayamıyorsa — ama doğruysa — bu yeterli mi? tıbbi teşhis koyan bir sistemin, hukuki karar öneren bir sistemin, kredi başvurusu değerlendiren bir sistemin içini açamaması kabul edilebilir mi? belki günlük hayatta yeterlidir — ama riskin arttığı yerde, “çalışıyor” ile “güvenilir” arasındaki mesafe birden çok daha önemli hale geliyor.
hafta boyunca hep aklımdaydı — ilk defa bu kadar uzun süre ayrı kalmıştık. bazen toplantı yoğun günlerde, akşamları merve’ye “hadi bana ver, biraz da ben de dursun.” diyordum. bu kez otel odasında uyumadan önce fotoğraflar arasında gezinirken içimden geçirdim: “idil hanım şu an uyuyordur herhalde.” “idil hanım sabah ağlamıştır muhtemelen.” “idil hanım bu sıcaklarla başa çıkabiliyordur umarım.” “eve döndüğümde yine yeni bir şeyler öğrenmiş olacak.”
ama hangi şeyleri, neden, nasıl.. bunları bilmeyeceğim. bana gösterecek, ama anlatamayacak. ve umarsızca şunu diliyorum: keşke açıklayabilsek. ikisini de — idil’i de, kendi yarattığımız sistemleri de. içlerinde ne döndüğünü, neden öyle davrandıklarını, hangi şeyin neyi tetiklediğini..
ama belki bu istek, anlama ile kontrol etmeyi birbirine karıştırıyor. bir şeyi kontrol etmek istediğimizde, önce onu açıklayabilmek isteriz — çünkü açıklayabildiğimiz şey, öngörebildiğimiz, yönlendirebildiğimiz şeydir. ama sevgi bunu gerektirmiyor belki de. belki bir şeyi sevmek için içini görmek gerekmez. ya da belki — ve bu beni daha çok düşündürüyor — içini göremediğimiz şeyleri sevmek, en derin güven biçimidir.
xai araştırmacıları hâlâ modelin içini açmaya çalışıyor, biz de idil’in içini açmaya çalışıyoruz — farklı laboratuvarlarda, aynı umutsuz iyimserlikle. belki bir gün ikisi de biraz daha şeffaflaşır. belki de şeffaflık hiç gelmez, ve biz sadece davranışla, örüntüyle, tahminle yetinmeyi öğreniriz. şimdilik elimde olan tek şey şu: uzaktayken bile, anlamadığım bir şeyi bu kadar çok özleyebiliyor olmam.