teknoloji ekibi kampı, bigroom hazırlıkları, değerler günü ve şirketin otuzuncu yıl kutlamaları.. on gündür evden uzaktaydım. geçen haftanın zaten ancak yarısını idil’le geçirebilmiştim, bu hafta ise hiç görüşemedik. dönüşte kapıdan girip çantayı bıraktığımda beni karşılayan şey bir gülümseme değil, bir çabaydı: idil yerde, kollarının ve dizlerinin üzerinde, bir yere gitmeye çalışıyordu.
gidiyordu gitmesine de.. sadece yanlış yöne.
önündeki oyuncağa uzandıkça ondan uzaklaşıyordu. kolları itiyor, bedeni geriye kayıyor, bazen yana dönüyor, sonra yeniden deniyordu. hareket vardı, niyet vardı, emek vardı.. yön yoktu. on gün önce adeta yerinde duran bir bebek bırakmıştım, şimdi karşımda hareket eden ama ilerlemeyen bir bebek vardı. ve itiraf edeyim, ilk tepkim gülmek oldu. ikincisi ise o tanıdık soru: bu bir ilerleme mi, yoksa bir çıkmaz mı?
birkaç hafta önce, ilk deniz kıyısında onu emeklemenin eşiğinde gördüğümüzde (#18) mesele keşfin genişliğiydi — sınırsız olanın amaçsız olmadığını konuşmuştuk. bu kez sınır da belli, amaç da. oyuncak orada, idil de onu istiyor. eksik olan başka bir şey: yön.
meğer bu ara durak son derece yaygınmış. bebeklerin kolları bacaklarından önce güçleniyor, itme gücü öndeyken bedeni taşıyacak itki henüz arkada toplanmıyor. sonuç: her güçlü hamle bebeği hedefinden biraz daha uzağa itiyor.
bu durumu en iyi anlatan isim, esther thelen. indiana üniversitesi’nde çalışan bu gelişim psikoloğu, 1980’lerde kabul gören bir yaklaşıma itiraz etti. yenidoğanlardaki adım refleksi birkaç ay içinde kayboluyordu ve bunun sinir sisteminin olgunlaşmasıyla açıklandığı düşünülüyordu. thelen başka bir şey fark etti: bu dönemde bebeklerin bacakları, kas gücüne kıyasla çok hızlı ağırlaşıyordu. bacakları suya daldırılıp hafifletilen bebeklerde adım hareketi geri geliyordu. refleks kaybolmamıştı. beden değişmişti.
thelen’e göre motor gelişim, önceden yazılmış bir programın sırayla açılması değil. beden, kaslar, yerçekimi, zemin ve niyet aynı anda birbirine ayarlanıyor, davranış bu etkileşimin içinden kendiliğinden doğuyor. bebek, bu koşullar altında en kararlı durumlara — thelen’in deyişiyle çekerlere — düşüyor. yani idil’in geri gitmesi bir hata değil. şu anki bedeninin bulabildiği en kolay denge.
bir sistemin en kolay bulduğu dengeyle, asıl varmak istediği yer her zaman aynı değil. dışarıdan bakınca ikisi de hareket gibi görünüyor. aradaki farkı görmek için neyin nereye doğru aktığına bakmak gerekiyor.
bir sinir ağını eğitirken tam olarak bunu izliyoruz. eğitimi, gözü kapalı bir dağcının karanlık bir arazide en alçak noktayı araması gibi düşünebiliriz. gradyan inişi her adımda sadece ayağının altındaki eğime bakar ve o eğim boyunca aşağı iner. arazinin kendisine kayıp yüzeyi diyoruz. hao li ve arkadaşlarının visualizing the loss landscape of neural netsçalışması, bu yüzeylerin ne kadar girintili çıkıntılı olabileceğini ilk kez bu kadar görünür kıldı. uzun yıllar boyunca en büyük korku yerel minimumdu: model küçük bir çukura düşer, etrafındaki her yön yokuş yukarı görünür, ve asıl vadiye hiç ulaşamaz.
ama hikaye burada ilginçleşiyor. yann dauphin ve arkadaşları identifying and attacking the saddle point problem in high-dimensional non-convex optimization makalesinde şunu gösterdi: milyonlarca boyutlu bir yüzeyde takılmanın asıl sebebi çoğu zaman gerçek bir çukur değil, bir eyer noktası. bir yönden bakınca dip, başka bir yönden bakınca zirve. eğim neredeyse sıfır olduğu için model durmuş gibi görünür. oysa çıkış orada, açık duruyor — sadece henüz o yönde bir adım atılmamış. momentum ya da biraz gürültü, çoğu zaman o adımı attırmaya yetiyor.
idil’in şu anki hali bana bir çukurdan çok bir eyer noktasını hatırlatıyor. ileri doğru bir yön var, bacaklar henüz o yöne katılmadı sadece.
bir yazılım geliştirme ya da yapay zeka ekibinde de benzer bir yanılsamayı sık görmek mümkün. sprint’ler kapanıyor, testler koşuyor, yeni model sürümleri çıkıyor, dashboard’da her şey hareket halinde. ama hareketi ölçen metrikler ilerlemeyi ölçmüyor. openai’ın 2016’da paylaştığı meşhur örnekte, bir tekne yarışı oyununda eğitilen ajan yarışı bitirmek yerine aynı küçük koyda dönüp durarak puan toplamayı öğrenmişti. ödül hareketi ödüllendirdiğinde, sistem hareket etmeyi öğreniyor. çıktı üretmekle sonuç üretmek arasındaki o bildik mesafe.
aradaki fark şu sanırım: eyer noktasındaki bir model yanlış yere bakmıyor, sadece doğru yönde henüz yeterince güç toplamamış. ödülü kandıran bir ajan ise yanlış bir sinyale mükemmel biçimde uyum sağlamış. idil’in her geri kayışında gözü hâlâ oyuncakta. sinyal hâlâ ileriyi gösteriyor.
bütün bunları düşünürken asıl beni rahatsız eden şeyin idil’in yönü olmadığını fark ettim. benim göremediklerimdi.. on gün boyunca elimde sadece iki anlık görüntü vardı: gitmeden önceki idil ve döndüğümdeki idil. aradaki eğitim eğrisini görmedim. hangi gün ilk kez dizlerinin üzerine kalktığını, kaç kez yüzüstü düştüğünü, geriye ilk kaydığında şaşırıp şaşırmadığını bilmiyorum. bir checkpoint’e bakıyorum ve ondan bütün bir süreci okumaya çalışıyorum.
yine uzakta geçen bir haftada yazdığım dokuzuncu yazıda (#9) bir şeylerin çalışmasının, bir şeyleri açıklamak anlamına gelmediğini söylemiştim; bir sistemi gözlemleyebilirsin ama içini okuyamazsın. bu kez eksik olan içerisi değil, zaman. tek bir kareye bakıp onun bir çukur mu yoksa bir eyer noktası mı olduğunu pat diye söyleyemezsin. bunun için yüzeyin üzerinde yürüyen biri olman gerekir.
şimdi yerde, ondan birkaç adım ötede oturuyorum. oyuncağı biraz daha yakına koymak geliyor içimden, ya da elimi ayaklarının arkasına koyup ona itecek bir yer vermek. belki yarın, belki gelecek hafta, bacakları o yöne katılacak ve idil bir anda ileri gidecek. o anı görmeyi çok istiyorum.
evden uzak geçen on günün sonunda, kendimi odysseus gibi hissettim.. yolculuğun ardından 3-5 yıl yaşlanmış gibiyim. o yüzden kendime zor sorular sormadan, bu haftayı böyle kapatıyorum.