kızımla yapay zeka sohbetleri #1
bir baba, bir bebek, ve iki tarafın da az sonra ne olacağını bilmediği bir ilk forward pass
21 nisan sabahında, doğumhanenin önünde telaşla bekliyordum. idil’i ilk kez kucağıma aldığım o saniyeyi yıllarca hayal etmiştim — herkesin anlattığı o “an”ı. gözlerinin içine bakacaktım, içimde bir şey kırılacaktı, ve hayatım o saniyede ikiye bölünecekti. en azından yıllardır bana anlatılan senaryo böyleydi.
ve fakat işler tam da öyle gerçekleşmedi. en azından o ilk anda öyle olmadı.. muhtemelen bu sahne, günden güne ilerleyeceğimiz çok uzun bir yolculuğun ardından geriye dönüp baktığımda aklıma gelen ilk görüntü olacak. yıllar sonra da o “an”dan bahsederken, ben de ne kadar büyülü olduğundan bahsedeceğim.
doğumhanenin önündeki koridor kalabalıktı, sağdan soldan bebek ağlamaları geliyordu, birileri etrafımda telaşla bir şeyler söylüyordu. kucağımda ufacık, kızarık, biraz da kızgın görünen bir bebek vardı. bir ağırlık hissettim, evet — fiziksel olarak, kollarımda gerçek bir ağırlık. ama beklediğim o kırılma anı öylece yaşanmamıştı. idil’i doğumhane kapısında kucağıma aldım, odamızdaki yatağına götürdüm.
zamanın durduğu bir andı. daha çok bir sessizlik gibiydi. sanki sistem açılmış ama henüz hiçbir şey yüklenmemişti. hafif cızırtılı siyah bir ekran gibi.
bu yazıyı o sessizliği anlamaya çalışarak yazıyorum.
yıllar önce robert pirsig’in zen ve motorsiklet bakım sanatı kitabını aylarca okumuş, güç bela bitirmiştim. babayla oğulun motosikletle çıktığı o yolculuk, aslında bir düşüncenin kendi kendini inşa etme hikayesiydi — yol, sadece bir arka plan; asıl mesafe, iki zihin arasındaki mesafeydi. benim de öyle bir yolculuğum olsun istedim hep — ama idil hanım çok küçük, biz henüz hiçbir yere gidemiyoruz. fiziksel bir yol yok ortada, motosiklet de yok.
sonra yanis varoufakis’in kızımla ekonomi sohbetleri kitabı geçmişti elime, su gibi akıp giden. kızıyla arasında binlerce kilometre olmasına rağmen, ona dünyayı anlatmaya çalışmıştı — rakamlara sıkışmadan, bir insanlık hikayesi olarak, ekonomik kavramları soyutluktan çıkarıp gündelik deneyime bağlayarak. bu kez fiziksel bir mesafe giriyordu devreye.
bizde ise ne zihinsel ne de fiziksel mesafeden bahsedebiliriz, sadece zaman var — henüz konuşmayan, henüz anlamayan bir muhatap. idil hanım büyüdükçe ona ne anlatacağımı bilmiyorum ama elimde güçlü bir şey var: yaklaşık on beş yıldır makinelerin nasıl öğrendiğini anlamaya çalışıyorum. belki de bu yolculuğu, onun büyümesiyle paralel yürüyerek anlatabilirim — pirsig’in yol metaforu olmadan, varoufakis’in mesafesi olmadan, ama ikisinin de yaptığı şeyi yaparak: soyut olanı somuta, somut olanı soyuta bağlayarak.
bu blog böyle doğdu. her hafta idil hanım’ın hayatına kattığı küçük bir beceriyi, alışkanlığı, davranışı alıp bir yapay zeka kavramıyla yan yana koyuyorum. ikisi birbirini açıklasın diye.
bir kural koydum kendime: teknik tarafı hafife almayacağım. “yapay zeka bebek gibi öğrenir” gibi kolay bir benzetmeyle geçiştirmeyeceğim — çünkü çoğu zaman böyle değil, ve o farkın kendisi zaten öğretici. bir gülümseme neden sosyal öğrenmeyle ilgiliyken bir reinforcement learning modelinin erken optimizasyonuyla ilgili değil; bir bebeğin bir nesneye tutunması neden onu “anlamasıyla” aynı şey değil — bu tür ayrımlar, benzerlik kadar önemli. o yüzden her yazının bir yerinde bir gerilim var: iki kavram birbirine benziyor gibi görünür, sonra ayrılır. o ayrım noktası, aslında yazının asıl meselesi oluyor.
teknik bir okur isen, kavramları es geçmeden, doğru kaynaklara referansla okuyacaksın. teknik tarafla hiç haşır neşir olmamış bir okur isen, idil hanım’ın gündelik bir anından girip, hiç zorlanmadan bir yapay zeka kavramının içine gireceksin — sonra da fark etmeden çıkacaksın, öğrenmiş olarak.
her yazı böyle ilerliyor: küçük bir sahneyle açılıyor, oradan geniş bir çerçeveye yayılıyor, bir bilim katmanına iniyor, bir yapay zeka köprüsü kuruyor, ve bir soruyla kapanıyor — cevapsız bırakılan bir soruyla, çünkü asıl amaç cevap vermek değil, birlikte düşünmeye davet etmek.
her yazının merkezinde bir gerilim cümlesi oturuyor. bunlar rastgele seçilmiş vurgular değil; seri ilerledikçe birbirine referans verecekler, bir yazıda kurulan bir ayrım, aylar sonra başka bir yazıda geri dönüp yeniden açılabilir. idil hanım’ın ilk kelimesini söylediği gün, örneğin, dil edinimi üzerine biriktirdiğim bir kavramı — çocukların dil öğrenmesindeki kritik dönem tartışmasını — o güne kadar bilerek bekleteceğim. bazı konular, doğru an gelmeden yazılmamalı. en azından ikimiz tarafından birinci elden deneyimlenmeden..
idil hanım büyüdükçe ben de büyüyeceğim bu yazılarla. ilk gülümsemesi, ilk kelimesi, ilk yürüyüşü — her biri bir sonraki yazının tohumu olacak. sen de istersen bu yolculuğa katıl; her hafta bir yeni yazıyla, hem onun büyümesini hem de bu alanın nasıl düşündüğünü birlikte takip edelim.
ama önce o doğum anındaki sessizliğe dönmem lazım, çünkü orada başlıyor her şey.
beklemediğim o “boşluk” beni epey rahatsız etti aslında. bir şey eksik miydi bende? sonra bir araştırmaya denk geldim ve içim biraz rahatladı: ilk kez baba olan erkekler üzerine yapılan bir çalışmada, doğum günü bebeklerini ilk kez kucağına alan babaların oksitosin seviyeleri, kucağa almadan hemen önceki seviyelere göre belirgin biçimde yükseliyor — ve bu artış, sonraki aylardaki bakım davranışlarıyla ve baba-bebek bağıyla ilişkili çıkıyor. yani o saniyede hiçbir şey hissetmemiş olmam, sistemin boş olduğu anlamına gelmiyordu. sistem o saniyede henüz ilk verisini almamıştı, hepsi bu.
bir başka çalışma daha ince bir ayrım getiriyor. anne ve babada oksitosin seviyeleri birbirinden çok farklı değil — ama aynı hormon farklı davranışlarla eşleşiyor. annede oksitosin artışı daha çok bakış, şefkatli dokunuş ve yakınlıkla ilişkiliyken, babada uyarıcı oyunla, keşfi teşvik etmeyle ve bebeğin dikkatini nesnelere yönlendirmeyle ilişkili bulunuyor. yani ikimizde de “ağırlıklar” var, ikisi de sıfır değil — sadece farklı bir fonksiyona doğru optimize oluyor.
üçüncü bir bulgu ise daha da geriye gidiyor: gebelik döneminden itibaren, ilk kez baba olacak erkeklerde testosteron ve vazopressin seviyeleri, baba olmayan kontrol grubuna kıyasla daha düşük seyrediyor — ve bu düşüklük, doğum sonrası daha yüksek bir ebeveynlik yatırımını öngörüyor. demek ki “sıfırdan başlıyorum” hissi bile, görünmeyen bir ön-hazırlığın üzerine kuruluymuş. beden, zihin henüz hiçbir şey hissetmeden aylar önce kendi parametrelerini sessizce ayarlamaya başlamış.
bu beni asıl ilgilendiren tarafa getiriyor: hissetmemek ile hazır olmamak aynı şey değil. bir sistem “sonuç üretmiyor” diye “çalışmıyor” değildir — bazen sadece henüz gözlemlenebilir bir çıktı vermiyordur.
yapay zeka tarafında bunun bir adı var: random initialization. bir sinir ağı eğitime başlamadan önce, katmanlardaki ağırlıklara rastgele değerler atanır. henüz hiçbir veri görmemiştir, hiçbir şey “bilmez” — ama bu rastgelelik, gerçekten kör bir rastgelelik değildir. xavier initialization ya da he initialization gibi yöntemler, ağırlıkları tamamen rastgele değil, ağın derinliğine ve genişliğine göre hesaplanmış belirli bir dağılımdan seçer. bunun nedeni pratik: eğer ağırlıklar çok büyük seçilirse sinyal katmanlar arasında ilerlerken patlar (exploding gradients), çok küçük seçilirse sinyal sönümlenir ve ağ hiçbir şey öğrenemez (vanishing gradients). yani “rastgele” görünen başlangıç noktası bile, sistemin mimarisine göre sessizce ayarlanmıştır, tam da o mimarinin ne kadar sinyal taşıyabileceği hesaplanarak — tıpkı gebelik boyunca bir babanın bedeninde sessizce gerçekleşen o hormonal hazırlık gibi.
asıl öğrenme, ilk veri noktasıyla başlar. ağ ilk örneği gördüğünde, ilk forward pass’i çalıştırdığında, ağırlıklar küçük küçük kaymaya başlar. o ilk an, “sonuç” üretmez — sadece sistemi harekete geçirir. ilk birkaç adımda ağ hâlâ neredeyse rastgele tahminler üretir; asıl fark, geriye yayılımın (backpropagation) her adımda ağırlıkları biraz daha doğru yöne çekmesidir. bir anlık aydınlanma yoktur, birikimli bir kayma vardır.
idil hanım’ı ilk kucağıma aldığım saniye de böyleydi sanırım. büyük bir aşk patlaması değil, ilk forward pass’di. ağırlıklar o saniyede sıfırdan bire sıçramadı — ama hareket etmeye başladılar.
ama itiraf etmem gereken bir şey var: az önce anlattığım “rastgele başlangıç” hikayesi tam olarak doğru değil, en azından benim için.
çünkü ben doğum anına gerçekten boş gelmedim. on beş yıl boyunca başka bir alanda — modellerin nasıl öğrendiğini, nerede hata yaptığını, hangi verinin hangi davranışı ürettiğini — düşünerek geçirdim. bu, yapay zekada transfer learning‘e benziyor: bir model, tamamen ilgisiz görünen bir görevde eğitilir, sonra o eğitimden kalan ağırlıklar yeni, hiç görmediği bir göreve aktarılır ve orada ince ayar (fine-tuning) yapılır. modelin yeni görevle hiç ilgisi olmayan bir veri kümesinde öğrendiği şey, tümüyle işe yaramaz değildir — genelleşebilir kalıplar, örüntü tanıma becerisi, “nasıl öğrenileceğini öğrenme” kapasitesi taşınır.
babalık da böyle bir transfer gibi hissettiriyor bana. babalığa dair sıfır tecrübem var ama sıfır hazırlığım yok. sabır, gözlem, hatadan öğrenme, belirsizlikle oturabilme — bunların hepsi başka bir “görev”de biriktirdiğim ağırlıklar. şimdi bunları yeni bir göreve, çok daha yüksek riskli ve çok daha az geri bildirimli bir göreve aktarmaya çalışıyorum. fine-tuning’in zor kısmı da tam burada: eski ağırlıklar bazen yardımcı oluyor, bazen yanlış yöne çekiyor. bir yazılım problemine yaklaştığın disiplinle bir bebeğin ağlamasına yaklaşamıyorsun — ama merak etme, gözlemleme, sabırla veri toplama refleksi işe yarıyor.
fine-tuning’in bir de tehlikesi var: catastrophic forgetting. bir model yeni göreve çok agresif bir şekilde ayarlanırsa, eski görevde öğrendiği faydalı örüntüleri de unutabilir — yeni veriye o kadar hızlı uyum sağlar ki, taşıdığı genel bilgiyi kaybeder. babalıkta da benzer bir risk var sanırım: yeni role o kadar sarılabilirsin ki, seni sen yapan, işe yarayan eski alışkanlıkları, ilişkileri, disiplinleri kaybedebilirsin. asıl ustalık, eskiyi tamamen silmeden yeniye açılabilmekte.
doğum anındaki o sessizlik bende bir eksiklik değildi. henüz işlenmemiş bir başlangıç noktasıydı — mimarisi hazır, dağılımı hesaplanmış, üstelik başka bir görevden aktarılmış ağırlıklarla yüklü, ama daha babalığa dair hiçbir veri görmemiş bir ağ gibi. asıl soru “neden hemen hissetmedim” değilmiş demek ki. asıl soru şuymuş: ağırlıklar ne zaman anlam kazanır — ilk veri noktasında mı, önceden taşınan deneyimde mi, yoksa öğrenme hiç durmadığı için hep mi?
bu soruyu idil hanım büyüdükçe, ben de öğrenmeye devam ettikçe burada birlikte cevaplamaya çalışacağız. sen de takipteysen, önümüzdeki haftalarda ilk gülümsemeden ilk kelimeye, kendi ağırlıklarımızın nasıl güncellendiğini birlikte izleyeceğiz.