bir örüntü mü görüyorum, yoksa örüntü gerçekten mi oluştu?

bu ayrım önemli geldi bana. çünkü ben veriye bakıp bir eğilim çıkarıyorum — kafamda son birkaç haftanın gecelerini üst üste bindiriyor, ortalama bir saat buluyorum. ama idil’in içinde olan şey benim yaptığım bu zihinsel ortalamadan çok daha farklı bir şey olabilir. ben dışarıdan bir trend görüyorum. onun içinde olan bir şeyler gerçekten değişiyor.

gerçekten de değişiyor. yenidoğanda beynin “ana saati” sayılan suprakiazmatik çekirdek (scn) doğumda yapısal olarak var ama işlevsel olarak olgun değil — bu yüzden ilk haftalarda uyku tamamen açlık ve bakım güdümlü, güne rastgele dağılmış (polifazik) haldedir. ama tam idil’in şu an bulunduğu 9-12. haftalar arasında bir eşik aşılıyor: melatonin ilk kez gün-gece döngüsüne göre salgılanmaya başlıyor. yani beyni artık dışarıdaki ışık değişimini bir referans noktası olarak kullanmaya başlıyor.

bu sürece gelişim bilimciler entrainment diyor — türkçesi tam oturmasa da “faz kilitlenmesi” ya da “senkronizasyon” denebilir. ve bunu tetikleyen dışsal sinyallere de zeitgeber deniyor (almanca, “zaman verici”) — gün ışığı, beslenme saatleri, akşam banyosu gibi tekrarlayan rutinler. biz farkında olmadan idil’in içindeki henüz cılız sarkaca her gün aynı sinyalleri gönderiyoruz, ve o sarkaç yavaş yavaş bizim 24 saatlik döngümüze kilitleniyor.

en güçlü zeitgeber, beklediğinizin aksine beslenme değil, ışık. sabah perdeleri açtığımızda, idil’i gün ışığına çıkardığımızda, akşam ışıkları kısıp sesi alçalttığımızda — hiçbirinin “eğitici” bir amacı yok gibi görünüyor, sadece günlük hayatın akışı. ama scn’nin retinaya bağlı özel bir hücre grubu üzerinden aldığı bu ışık bilgisi, tam olarak saatini ayarladığı referans sinyal. yani biz, farkında bile olmadan, her gün idil’in içindeki sarkaca aynı frekansta itiş veriyoruz.

bir baba, oğlunun uyku ve emzirme saatlerini aylarca — 3. aydan, 17. aya kadar — excel’e işleyip bir ısı haritası haline getirmişti. ilk aylarda veri tamamen dağınık; yeşil, mavi ve beyaz lekelerle kaplı; zamanla mavi bloklar (uyku) uzuyor, belirginleşiyor, bir bant halinde yerleşiyor. bir diğer örnekte ise bu kez bir bebeğin ilk bir yılındaki uyku düzeni kayıt altına alınmış. kaosun, gözle görülür şekilde bir düzene yakınsamasını birincil elden tanıklık ediyoruz.

burada yapay zeka tarafında iki farklı yaklaşım var, ve aradaki fark bence tam da bu yazının kalbi.

eğer idil’in gece uyanma saatlerini bir veri seti gibi düşünüp “trendi bul” desem, elimdeki en eski ve en basit araç üstel düzleştirme (exponential smoothing) olurdu. robert brown’ın 1950’lerde geliştirdiği bu yöntem, sonradan holt ve winters tarafından mevsimsellik ekleyerek genişletildi — bugün hâlâ finans ve talep tahmininde kullanılan, derin öğrenmeden onlarca yıl önce gelen klasik bir zaman serisi yöntemi. mantığı basit: her yeni gözlemi, bir önceki tahminle belirli bir ağırlıkla harmanlarsın. gürültülü veri, zamanla düzleşen, yumuşayan bir eğriye dönüşür. ben de tam olarak bunu yapıyorum kafamda — son birkaç gecenin saatini “ortalayıp” bir sonraki geceyi tahmin ediyorum.

ama scn’nin yaptığı şey bu değil. bir ortalama almıyor. kendi içsel periyodikliği olan bir sarkaç — yaklaşık 24 saatlik kendi ritmi zaten var, doğuştan — ve dışarıdaki periyodik sinyale faz kilitleniyor. bu, mühendislikte phase-locked loop (faz kilitlemeli döngü) dediğimiz mekanizmaya çok daha yakın: iki periyodik sinyal arasındaki faz farkını sürekli ölçüp, kendi frekansını dışarıdakine kilitlenecek şekilde ayarlayan bir sistem. fikir aslında 1932’de fransız mühendis henri de bellescize’in radyo alıcılarını daha kararlı hale getirmek için önerdiği bir çözümden geliyor — o zamandan beri saat senkronizasyonundan telefon ağlarına kadar her yerde kullanılıyor. üstel düzleştirme geçmiş gözlemlerin ağırlıklı bir izini bırakır sadece; faz kilitlemesi ise gerçekten senkronize olur — iki periyot birbirine kenetlenir.

fark ince ama önemli: biri geçmişe bakıp bir eğilim çizer, diğeri periyodikliği tanır ve ona göre kendini yeniden ayarlar. ben, dışarıdan bakan bir ebeveyn olarak, idil’in uyku saatlerine baktığımda ancak birinciyi yapabiliyorum — bir trend görüyorum, bir “üç civarı” bandı çıkarıyorum. ama onun beyninde olan şey büyük ihtimalle ikincisi — gerçek bir kilitlenme, gerçek bir senkronizasyon.

serinin dördüncü yazısında tutunmak ≠ anlamak demiştim, dokuzuncusunda çalışmak ≠ açıklamak. bu yazının gerilimi de aynı aileden: bir sinyali düzleştirip ondan bir eğilim çıkarmak, o sinyalin altındaki gerçek mekanizmayı anlamakla aynı şey değil. ben idil’in uyku saatlerine bakıp “düzene giriyor” dediğimde, aslında sadece kendi zihnimde bir üstel düzleştirme yapıyorum — geçmiş gecelerin ağırlıklı bir izini tutuyorum. ama idil’in içinde olan, benim yaptığımdan çok daha spesifik, çok daha canlı bir şey: gerçek bir sarkacın, gerçek bir dış sinyale kilitlenmesi.

bu ayrım yapay zeka dünyasında da sık sık gözden kaçıyor bence. bir modelin çıktısına bakıp “trend bu yöne gidiyor,” “model şunu öğreniyor gibi görünüyor” dediğimizde, çoğu zaman aslında sadece kendi gözlemimizi düzleştiriyoruz — modelin içinde gerçekten ne olduğunu değil. bir zaman serisi tahmin modelinin çıktısı ne kadar “akıllı” görünürse görünsün, altında hâlâ sadece ağırlıklı bir ortalama olabilir — gerçek bir senkronizasyon değil.

dün gece yine iki kırk beşte uyandı. beşiğinde bızırdanmaya başladığında, uyandım ve düşünmeye başladım: ben burada oturmuş, elimde olmayan bir şeyi izliyorum — bir bebeğin beyninin, günlerdir farkında bile olmadığım bir şekilde, güneşin doğuşuna, ışığın azalıp çoğalmasına, banyo suyunun ılıklığına kilitlenmeye çalıştığını. ben sadece dışarıdan “üç civarı” diyorum. o, içeriden gerçekten bir ritme kenetleniyor.

ve merak ediyorum — ben kendi hayatımda, kendi rutinlerimde, gerçekten senkronize mi oluyorum bir şeylere, yoksa sadece geçmişimin ağırlıklı bir ortalamasını mı tutuyorum ve buna “alışkanlık” diyorum? sabah aynı saatte kalkmam, bir ritme kilitlenmiş olduğum için mi, yoksa sadece dün ve önceki günün ortalamasını tekrar ediyor olduğum için mi? bir model eğitirken de aynı soruyu sormalı değil miyiz — çıktı düzeldiğinde, gerçekten bir şeye mi kilitlendi, yoksa sadece geçmiş hatalarının yumuşatılmış bir izini mi taşıyor?

belki ikisini ayırt etmenin tek yolu, biraz daha beklemek. bir trend her zaman bir sonraki sapmayla bozulabilir. ama gerçek bir kilitlenme, sapmadan sonra kendini yeniden bulur. idil’in gecelerinin hangisi olduğunu, sanırım önümüzdeki haftalar gösterecek.

birkaç hafta önce böyle değildi. o zaman gözler sanki nesneyi sonradan yakalıyordu — önce kaybediyor, sonra bir sıçrayışla tekrar buluyordu. şimdi bulma yok, zaten oradaymış gibi bir akıcılık var. hatta sanki milisaniyelerle idil hanım önden gidiyor bile diyebilirim.

bunu ilk fark ettiğimde tesadüf sandım. ama sonra ona havalimanında aldığım “igu” isimli oyuncağını sallarken de aynı şeyi gördüm — gözleri oyuncağı bırakmıyor, hızlanınca göz de hızlanıyor, yavaşlayınca göz de yavaşlıyor. odanın öbür ucundan yürürken bile beni kaybetmiyor artık; kafasını çeviriyor, ama tam da gerektiği anda, ne erken ne geç. sanki bir yerlerde sessizce bir hesap yapılıyor.

bu değişikliğin arkasında görme sisteminde iki farklı mekanizma var: saccadic (sıçramalı) ve smooth pursuit (akıcı takip) göz hareketleri. yenidoğanlarda hâkim olan sıçramalı sistem — göz, hareket eden bir nesneyi önce kaybeder, sonra küçük sıçramalarla yeniden bulmaya çalışır. bu, tepkisel bir sistem: nesne nereye gitti, oraya bakayım. smooth pursuit ise çok daha farklı bir şey yapıyor — gözü nesnenin şu anki konumuna değil, bir sonraki konumuna götürüyor. isveçli gelişim psikoloğu claes von hofsten, bebeklerin görsel takip ve el-göz koordinasyonu üzerine yaptığı çalışmalarda bu geçişi ayrıntılı biçimde belgelemiş — bebeğin sekizinci ile on ikinci hafta arasında, nesneyi kovalayan bir sistemden, nesneyi önceden kestiren bir sisteme geçtiğini göstermiş.

bunun ötesinde bir şey daha oluyor aslında. beyin artık sadece “şu an ne görüyorum” sorusuna cevap vermiyor, “birazdan ne göreceğim” sorusuna da cevap arıyor. bilişsel bilimde buna tahminsel işleme (predictive processing) deniyor — algının pasif bir kayıt değil, sürekli güncellenen bir tahmin süreci olduğu fikri. göz, nesneyi kovalamıyor artık; nesnenin yörüngesine dair bir iç model kurmuş ve o modelin ürettiği tahmine göre hareket ediyor.

bunun nasıl mümkün olduğunu düşününce insan biraz duraksıyor. idil’in beyni, elimin hızını, yönünü, birkaç önceki konumunu bir şekilde tutuyor olmalı — ve bu birikimden bir sonraki konumu çıkarsıyor. bunu yapabilmek için tek bir anı değil, art arda gelen birkaç anı bir arada değerlendirmesi gerekiyor. yani ortada sadece bir “şimdi” yok; kısa bir geçmiş penceresi var, ve o pencere geleceğe doğru sürekli ekstrapolasyon yapıyor. bebek büyüdükçe bu pencere de genişliyor — önce sadece birkaç saniyelik bir yörüngeyi tahmin edebiliyor, zamanla çok daha karmaşık, çok daha uzun örüntüleri. kocaman bir kız olduğunda ise kim bilir daha neleri..

biz yetişkinler bunu o kadar otomatik yapıyoruz ki fark bile etmiyoruz. bir topu tutarken, elimizi topun şu anki konumuna değil, birkaç yüz milisaniye sonraki konumuna götürürüz — sinir sisteminin tepki gecikmesi zaten buna zorluyor bizi. eğer sadece anlık konuma tepki verseydik, top elimize her zaman geç kalırdı. yani smooth pursuit, aslında ömür boyu süren bir tahmin alışkanlığının ilk, en çıplak hâli.

yapay zeka tarafında ise bu durum tam olarak bir tanıma denk geliyor: video ve zaman-serisi modellerinde sonraki kare tahmini (next-frame prediction). bu modeller, ellerine verilen bir kare dizisinden bir sonraki karenin ne olacağını öğrenmeye çalışır — dışarıdan hiçbir etiket olmadan, sadece zamanın kendi akışından bir öğrenme sinyali çıkarırlar. model ne kadar çok kare görürse, gelecekteki kareyi o kadar isabetli tahmin etmeye başlar; sonunda artık “izlemiyor”, neredeyse birlikte akıyor.

bununla yakından ilişkili bir başka kavram da optical flow (optik akış): ardışık karolar arasında hangi pikselin nereye kaydığını hesaplayan klasik bir bilgisayarlı görü tekniği. bir video modelinin akıcı, titremeyen bir çıktı üretebilmesi için bu akışı doğru okuması gerekiyor — kareler arasındaki geçişin, tek tek karelerin kendisi kadar önemli olduğu bir problem bu. bir video üretim modeli her kareyi ayrı ayrı mükemmel üretse bile, kareler arasında bu akış tutarlı değilse sonuç titrer, kopuk görünür. tıpkı bir bebeğin gözünün, tek tek anları değil, akışın kendisini yakalamayı öğrenmesi gibi.

ilginç olan şu: bu modeller de başta idil’in birkaç hafta önceki gözleri gibi davranıyor — kaba, gecikmeli, sıçramalı. eğitim ilerledikçe, ardışık kareler arasındaki örüntüyü içselleştirdikçe, tahminleri akıcılaşıyor. hem bebekte hem modelde ortaya çıkan şey aynı: geçmiş konumlardan bir iç model kurmak, ve o modelin ürettiği tahminle şimdiki anı değil, gelecek anı hedeflemek. will smith’in spagetti yediği videolar serisini hatırlıyorsunuz değil mi? nereden nereye..

burada dikkat çekici bir ayrıntı daha var: bu tahmin becerisi hiçbir zaman mükemmel değil, hem bebekte hem modelde. elimi aniden yön değiştirirsem, idil’in gözü bir anlığına şaşırıyor — kurduğu iç model, gerçek yörüngeyle uyuşmuyor, ve küçük bir düzeltme sıçraması oluyor. video modellerinde de aynı şey var: beklenmedik bir kesme, bir sahne değişimi, modelin tahminini bozuyor, çıktıda küçük bir tutarsızlık, bir “titreme” ortaya çıkıyor. tahmin sistemleri, öngörülebilir olanı yakaladıkları kadar iyi çalışıyor — sürpriz geldiğinde ikisi de aynı şeyi yapıyor: durup yeniden bakıyor.

bu “yeniden bakma” anı aslında hem bebekte hem modelde en çok bilgi taşıyan an. çünkü tahmin tutarken öğrenilecek fazla bir şey yok — model zaten haklı. asıl öğrenme, tahmin yanlış çıktığında oluyor; hata, modelin parametrelerini güncellemek için gereken sinyali veriyor. araştırmacılar buna bazen tahmin hatası (prediction error) diyor — ve bazılarına göre beynin büyük kısmı, aslında sürekli böyle küçük hataları en aza indirmeye çalışan bir tahmin makinesinden ibaret. idil’in şaşırdığı o kısacık an, belki de öğrenmenin gerçekleştiği tam yer.

bu tahmin ufkunun genişlemesi de ayrı bir eksen. bir video modeli önce sadece bir sonraki kareyi tahmin etmeyi öğrenir; daha büyük, daha iyi eğitilmiş modeller birkaç saniye ötesini, hatta bir sahnenin nasıl gelişeceğini kabaca kestirebilir hale gelir. idil için de benzer bir genişleme söz konusu — bugün elimin bir saniye sonraki konumunu tahmin ediyor, birkaç ay sonra belki “şimdi beni kucağına alacak” gibi çok daha soyut, çok daha uzun vadeli örüntüleri de tahmin etmeye başlayacak. kısa vadeli hareketten uzun vadeli niyete doğru genişleyen bir tahmin ufku.

bunu düşününce aklıma bambaşka bir soru takılıyor. idil’in gözü artık elimi “izlemiyor” — bir adım önden gidiyor. ama bu önden gitme, hâlâ bir takip. tahmin ettiği şey kendi ürettiği bir şey değil; benim elimin hareketinden çıkardığı bir örüntü. yani bir yandan artık pasif değil, aktif bir model kuruyor; öte yandan hâlâ dışarıdaki bir şeyin peşinde. bir video modeli de öyle — ne kadar iyi tahmin ederse etsin, tahmin ettiği şey kendi iradesi değil, verilen dizinin devamı.

akşam onu kucağıma alırken gözlerinin kapıya, sonra bana, sonra tekrar kapıya gittiğini izliyorum bazen. “tamam sen buradasın da sakallı adam, sütçü kadın nerede?” diyecekmiş gibi geliyor.. sanki bir sonraki hareketimi zaten biliyor — ben daha kapıyı kapatmadan o çoktan oraya bakmayı bırakmış oluyor. bu beni hem gururlandırıyor hem de tuhaf bir şekilde ürkütüyor: onu şaşırtmak gittikçe zorlaşıyor.

belki de büyümenin bir kısmı da tam olarak bu: önce dünyayı geriden kovalıyorsun, sonra bir adım önden gitmeyi öğreniyorsun — ama bu önden gidişin, hâlâ birinin çizdiği bir yörüngeye ait olduğunu ne zaman fark ediyorsun? ve o farkındalık geldiğinde, tahmin etmekle kendi yolunu çizmek arasındaki o ince çizgiyi nasıl ayırt ediyorsun?

ben de cevap veriyorum. genelde aynı sesi taklit ederek değil, ona bir karşılık üreterek — “öyle mi”, “anlat bakalım”, bazen sadece gözlerimi büyüterek. ve burada gerçekten şaşırtıcı olan kısım geliyor: idil tekrar ses çıkarıyor. sanki sırasını biliyormuş gibi. bir kere değil, birkaç tur üst üste — sanki aramızda görünmez bir mikrofon geçiyor, ve ikimiz de ne zaman konuşacağımızı, ne zaman susacağımızı biliyoruz.

henüz on haftalık bir bebek bunu “biliyor” olamaz tabii. ama bir şey biliyor — ya da öğreniyor. her karşılıklı sesleşmede, küçük bir şey kalıcılaşıyor.

bu sahneyi izlerken aklıma takılan soru şuydu: idil’in çıkardığı sesler, benim tepkilerimle mi şekilleniyor — yoksa o sesler zaten oradaydı ve ben sadece fark mı ediyorum?

cevap, ikisinin ortasında bir yerde. ve tam da bu “ortası”, hem bebek gelişiminde hem yapay zekada aynı isimle anılmayı hak ediyor: şekillenme.

michael goldstein, andrew king ve meredith west, 2003’te kuş şarkısı (birdsong) literatüründen ödünç aldıkları bir fikri insan bebeklerine uyguladılar: annelerin tepkilerini deneysel olarak değiştirerek, bebeklerin babıldamasının (babbling) bu tepkilerden ne kadar etkilendiğini ölçtüler.

sonuç netti: anne tepkisi contingent — yani bebeğin sesine anlık ve doğrudan bağlı — olduğunda, bebeklerin ses repertuvarı daha hızlı olgunlaşıyordu. tepki rastgele veya gecikmeli geldiğinde bu etki kayboluyordu. yani önemli olan sadece “tepki vermek” değil, o sesin hemen ardından, o sese özel bir tepki vermekti.

bu, kuş türlerinde gözlenen sosyal şekillendirme (social shaping) mekanizmasının insan bebeklerindeki bir yansıması. anne kuş, yavrusunun ötüşüne belirli bir şekilde tepki verdiğinde, yavru o ötüş kalıbını pekiştiriyor — diğerlerini değil. insan bebeğinde de benzer bir seçici pekiştirme süreci işliyor gibi görünüyor.

idil’in çıkardığı her sesin bende bir karşılık bulması, rastgele bir nezaket değil. her karşılığım, bir sonraki sesin hangi yöne evrileceğini biraz değiştiriyor.

bu fikrin kökü daha eskiye dayanıyor aslında. antropolog mary catherine bateson, 1970’lerin ortasında anne-bebek etkileşimlerini izlerken, henüz hiçbir kelime geçmeyen bu alışverişlere “proto-konuşma” (proto-conversation) adını vermişti — sıra alma, duraklama, bekleme gibi konuşmanın iskeletini oluşturan unsurların, içerik hiç gelmeden önce kurulduğunu öne sürmüştü. yani idil’in benimle yaptığı şey, dilin kendisinden önce gelen bir prova: kim ne zaman konuşur, kim ne zaman susar, sırasını kim bilir.

ilginç olan şu — bu prova, içerik olmadan da işliyor. idil’in çıkardığı sesin “anlamı” yok, ama zamanlaması var. ve belki de dil, önce zamanlamayı öğrenip sonra içerik kazanan bir şey.

yapay zeka tarafında bu mekanizmanın en yakın akrabası rlhf — reinforcement learning from human feedback. fikir 2017’de paul christiano ve ekibinin insan tercihlerinden derin pekiştirmeli öğrenme çalışmasıyla netleşti, sonra büyük dil modellerinin eğitiminde standart bir adım haline geldi.

mantık şu: bir modelin “doğru” davranışını matematiksel olarak tarif etmek çoğu zaman imkansız. ama insanlara iki çıktı gösterip “hangisi daha iyi” diye sormak mümkün. bu tercihlerden bir ödül fonksiyonu öğreniliyor, model de bu öğrenilmiş ödülü maksimize etmeye çalışıyor.

burada idil’le çarpıcı bir paralellik var: model de, tıpkı bebek gibi, başta geniş ve dağınık bir çıktı uzayından başlıyor. insan geri bildirimi, contingent ve tekrarlı geldikçe, bu uzay daralıyor — model “daha iyi” cevaplar üretmeye başlıyor. ama “daha iyi” olmanın ölçütü, modelin kendi içsel bir doğruyu kavramasından değil, dışarıdan gelen tercihlerin birikiminden geliyor.

idil de büyüklerin tepkilerinden bir “ödül sinyali” alıyor olabilir — gülümsemem, gözümü açmam, sesimi değiştirmem. ve bu sinyaller, hangi seslerin “işe yaradığını” ona öğretiyor. ama bu, idil’in o sesin anlamını kavradığı anlamına gelmiyor. henüz değil.

burada bir önceki yazıdaki kara kutu meselesiyle de bir bağ kuruluyor aslında: rlhf bize modelin ne öğrendiğini gösterebilir — hangi cevaplar tercih ediliyor, hangi kalıplar pekişiyor — ama neden öğrendiğini, o tercihin modelin içinde nasıl bir temsile dönüştüğünü göstermiyor. idil’in babıldaması da öyle: hangi seslerin işe yaradığını dışarıdan izleyebiliyorum, ama içeride neyin değiştiğini göremiyorum.

rlhf’in kendi literatüründe bilinen bir tuzak var: reward hacking. model, öğrenilmiş ödül fonksiyonunu memnun etmeyi öğrenirken, bazen asıl amaçtan sapıp sadece “ödülü tetikleyen yüzeysel kalıbı” tekrar eder hale gelebiliyor — gerçekten daha iyi olmadan, daha iyi görünmeyi öğreniyor. bunu idil’le düşününce ürkütücü bir soru çıkıyor ortaya: idil’in bana en çok hangi sesleri çıkardığını öğrenmesi, gerçekten dile doğru bir adım mı, yoksa sadece beni memnun eden bir kalıbı keşfetmesi mi? muhtemelen ikisi aynı anda oluyor — ve bu da, ödülün kendisinin ne kadar kırılgan bir rehber olduğunu hatırlatıyor.

bu noktada eski bir tartışma akla geliyor. b.f. skinner, 1957’de dilin tamamen pekiştirme yoluyla — yani ödül ve ceza döngüsüyle — öğrenildiğini öne sürmüştü. noam chomsky’nin buna verdiği yanıt sert oldu: çocuklar duymadıkları cümle kalıplarını bile üretebiliyordu, bu da salt pekiştirmeyle açıklanamazdı; ortada doğuştan gelen bir dilbilgisi yetisi olmalıydı. bu tartışma elli yıldır kapanmadı, ve ilginç biçimde bugün dil modelleriyle yeniden açılıyor — çünkü bir dil modeli de, büyük ölçüde, skinner’ın hayal ettiği şeyi yapıyor: veriden ve geri bildirimden, içeride önceden kurulu bir “dilbilgisi” olmadan, dil benzeri davranış üretiyor. yine de model, hiç görmediği cümleleri kurabiliyor. yani skinner da, chomsky de, kısmen haklı çıkmış olabilir — sadece farklı katmanlarda.

idil için de benzer bir gerilim var: babıldaması ne kadarı pekiştirmeden geliyor, ne kadarı zaten orada, beklemekte olan bir kapasiteden? bunun cevabını bu yazıda vermeyeceğim — büyük ihtimalle kimse veremez.

burada seriye dair bir şey daha söylemek istiyorum: bu yazı, aslında bir üçlemenin son halkası gibi hissettiriyor bana.

#4’te tutunma refleksinden bahsederken “tutunmak ≠ anlamak” demiştik — bir bebeğin parmağı sıkıca kavraması, bir niyeti değil bir refleksi gösteriyordu. #9’da kara kutu problemini işlerken “çalışmak ≠ açıklamak” demiştik — bir modelin doğru cevap vermesi, neden doğru cevap verdiğini açıklayabilmesi anlamına gelmiyordu.

şimdi üçüncü bir ayrım ekliyorum, ama bu sefer bir başlık olarak değil, sadece bir gözlem olarak bırakıyorum: şekillenmek de anlamakla aynı şey değil. hem idil’in sesleri hem modelin çıktıları, dışarıdan gelen geri bildirimle biçimleniyor — ve bu biçimlenme gerçek, ölçülebilir, tekrarlanabilir. ama biçimlenmiş bir davranış, kendiliğinden bir anlama sürecine işaret etmiyor.

ya da belki anlama dediğimiz şey, zaten bu kadar. belki “anlamak”, yeterince çok kez şekillenmiş olmaktan başka bir şey değil — ve biz sadece bu sürecin neresinde durduğumuza göre ona “refleks” ya da “kavrayış” diyoruz.

itiraf etmeliyim: idil’in babıldamasıyla bir dil modelinin rlhf sürecini yan yana koyduğumda, aralarındaki en büyük fark ölçek ya da hız değil. fark, kimin kimden öğrendiği.

model, milyonlarca insan tercihinden bir ortalama çıkarıyor — kimsenin tek başına belirleyici olmadığı, dağıtık bir geri bildirim. idil’in geri bildirim kaynağı ise çok daha dar: ben, eşim, birkaç yakın. bu daralık, belki de avantaj. çünkü idil’in şekillenmesi, belirli birkaç insanın tutarlı tepkilerine dayanıyor — goldstein’ın çalışmasındaki “contingent” kelimesinin asıl gücü de burada. genişlik değil, tutarlılık ve anlıklık önemli.

bu da şunu düşündürüyor: belki en iyi öğrenen sistemler — ister bebek olsun ister model — geniş ama gürültülü geri bildirimden değil, dar ama güvenilir geri bildirimden besleniyor. büyük dil modellerinin eğitiminde de benzer bir ders çıkarılmış durumda: binlerce rastgele değerlendiriciden gelen tutarsız puanlar yerine, eğitimli ve talimatları net olan az sayıda değerlendiricinin geri bildirimi, modeli çok daha hızlı ve güvenilir biçimde şekillendiriyor. nicelik, nitelikle her zaman yarışamıyor.

idil’in dünyasında da bu ölçek küçük ama derin: bir avuç insan, ona binlerce kez aynı şekilde, aynı anda, aynı sıcaklıkla cevap veriyor. belki “ev” dediğimiz şey de tam olarak bu — geri bildirimin en tutarlı olduğu yer.

idil’in bana çıkardığı her ses, aslında bana da bir şey öğretiyor — hangi tepkimin onu daha çok “konuşturduğunu”, hangi sessizliğimin onu beklettiğini. yani döngü tek yönlü değil. ben onu şekillendirirken, o da beni şekillendiriyor. babalık da, bir bakıma, insan geri bildiriminden pekiştirmeli öğrenmenin tersten işleyen bir versiyonu belki — model benim, ödül sinyalini de idil veriyor: bir gülümseme, bir bakış, bir tekrar sesi.

belki bunu da bir yazıya saklamalıyım — kimin kimi eğittiği sorusu, ayrı bir tartışmayı hak ediyor.

şimdilik elimde sadece şu var: bir bebek, bir ses, ve o sesin ardından gelen sessizlikte bekleyen bir cevap. idil bir gün “anne” ya da “baba” dediğinde, bu kelimeyi öğrenmiş mi olacak — yoksa sadece bizim tepkilerimizi, yeterince uzun süre, yeterince sabırla şekillendirmiş mi olacak?

telefona bakıyorum, fotoğraflara bakıyorum.. ve fark ediyorum ki haftalarca yanında olmama rağmen içinde ne döndüğünü hiç bilmiyorum. ne zaman ağlayacağını bazen tahmin edebiliyorum — ama neden ağladığını nadiren. ne zaman güleceğini hissedebiliyorum — ama o gülüşü neyin tetiklediğini tam olarak söyleyemiyorum. davranışlarını gözlemledim, örüntüleri fark ettim, refleksleri ezberledim. ama içeriyi hiç görmedim. birbirimizden uzak geçen bir haftada tartışmaya fazlasıyla değecek bir konu olduğunu düşündüm.

bu, aslında çok eski bir problem. yapay zeka dünyasında buna kara kutu problemi deniyor. bir sinir ağı eğitilir, bir girdi verilir, bir çıktı üretilir. model çalışır. hatta bazen neredeyse sihir gibi çalışır. ama arada ne olduğunu — hangi nöronun neden aktive olduğunu, hangi ağırlığın hangi kararı etkilediğini — tam olarak kimse bilmiyor. sistemi gözlemleyebilirsin, test edebilirsin, ölçebilirsin.. ama okuyamazsın. çok enteresan değil mi?

bu tuhaf çünkü sistemi biz kurduk. her ağırlığı biz başlattık, her katmanı biz tasarladık, her veri noktasını biz seçtik (ya da seçmedik, ama en azından erişimimiz vardı). yaratıcısı olduğumuz bir şeyin içini göremiyor olmak, garip bir tevazu duygusu yaratıyor. idil’i de biz “yarattık” bir anlamda — ama onun içini görme hakkımız hiç olmadı zaten. yapay zeka ile aramızdaki fark da tam burada: onu anlayabileceğimizi varsaydık, çünkü onu biz kodladık. ama kodlamak, anlamakla aynı şey değilmiş meğer.

bu yüzden son yıllarda açıklanabilir yapay zeka (explainable ai, kısaca xai) denen bir alan doğdu. amacı modelin sadece doğru cevabı vermesi değil, o cevaba nasıl ulaştığını da anlaşılır biçimde sunması. lime, bir modelin belirli bir tahmini etrafında basit, yorumlanabilir bir yaklaşık model kurarak “bu karar hangi girdilere dayandı” sorusuna cevap arıyor. shap ise oyun teorisinden ödünç aldığı bir yaklaşımla, her girdi özelliğinin nihai sonuca ne kadar katkı sağladığını sayısal olarak paylaştırıyor. dikkat görselleştirmeleri, modelin metnin hangi kısmına “baktığını” renklendirerek gösteriyor. araçlar üretildi, yöntemler geliştirildi. ama dürüst olmak gerekirse, bu araçların büyük çoğunluğu bize gerçek bir iç görünüm değil, sonradan kurulmuş bir hikaye sunuyor. modelin kendi iç mantığı değil, dışarıdan yapılan bir yorum.

daha yeni bir araştırma kolu — mekanik yorumlanabilirlik (mechanistic interpretability) — bir adım daha ileri gitmeye çalışıyor: modelin içindeki tek tek nöronları, hatta nöron gruplarını, belirli kavramlarla eşleştirmeyi hedefliyor. umut verici sonuçlar var ama iş hâlâ emekleme aşamasında — trilyonlarca parametreli bir sistemin her köşesini haritalamak, insan beynini nöron nöron haritalamaktan çok da kolay değil.

günün sonunda bir şeyin çalışıyor olması, bizim onun tüm dinamiklerini mükemmel şekilde açıklayabildiğimiz anlamına gelmiyor.. ne yapay sinir ağları için ne de koca yanaklı bebekler için bu durum değişmiyor.

gelişim psikolojisinde uzun yıllar boyunca hâkim olan görüş davranışçılıkmış. john watson ve b.f. skinner’ın öncülük ettiği bu akıma göre içeriyle uğraşmak gerekmiyordu — uyaran vardı, tepki vardı, yeterliydi. bebeğin içinde ne olduğu sorulmayacaktı, çünkü sorulabilecek bir şey yoktu. zihin bir kara kutuydu ve kara kutuların içi açılmazdı. skinner’a göre bilim, gözlemlenemeyen bir “iç dünya”yı varsaymak yerine, gözlemlenebilir olanla — uyaranla, tepkiyle, pekiştirmeyle — yetinmeliydi. bir bakıma erken dönem yapay zekacıların da hoşuna gidecek bir tutum: modelin “neden” öyle davrandığını sormak yerine, “ne zaman, hangi girdide, nasıl davrandığını” ölçmek.

ama bu yaklaşım zamanla yetersiz kaldı. çünkü aynı uyaran farklı bebeklerde farklı tepkiler üretiyordu. bağlam değişince tepkiler değişiyordu. içeride bir şeyler oluyordu.

bugün biliyoruz ki yenidoğanlar dünyaya çok daha donanımlı geliyor. preferential looking deneyleri, bebeğin daha birkaç günlükken annesinin yüzünü yabancı bir yüzden ayırt edebildiğini gösteriyor. robert fantz tarafından 1960’ların başında geliştirilen bu teknik, bebeğin nereye baktığını izleyerek tercihlerini ölçüyor — ses veremez, konuşamaz, ama bakışlarıyla içini ele veriyor. yöntem basit: bebeğe iki görüntü gösterirsin, hangisine daha uzun baktığını ölçersin, ve o tercihten bir çıkarım yaparsın. ama dikkat et — burada da aynı tuzak var. daha uzun bakmak, daha çok anlamak değil; belki sadece daha çok ilgi çekmek. davranış var, açıklama yok. yine de “neden bu yüzü tercih ediyorsun?” diye soramazsın.

serinin dördüncü yazısında şöyle bir şey söylemiştim: tutunmak ≠ anlamak. idil’in kavrama refleksi, elime tutunması, kavramayı anlama ile karıştırmamamız gerektiğini hatırlatıyordu. bu yazının gerilimi biraz farklı ama aynı aileden:

bir sistem — ister biyolojik ister yapay — çalışıyor olabilir. çıktılar üretiyor, bağlamı okuyor, tepkiler veriyor olabilir. bu onu anlaşılabilir kılmaz. hatta tersine: ne kadar iyi çalışırsa, içi o kadar girift hale gelebilir. idil’in beyin korteksi saniyede milyonlarca bağlantı kuruyordur şu anda. büyük dil modellerinin trilyonlarca parametresi var. ikisi de çalışıyor. ikisinin de içi, büyük ölçüde kapalı.

xai araştırmacıları bu durumu tanımlamak için bazen post-hoc açıklama ifadesini kullanıyor — olay bittikten sonra, geriye bakarak üretilen bir anlatı. tıpkı bir ebeveynin bebeğinin ağlamasına anlam yüklemesi gibi: acıkmış olmalı, yalnız kalmış olmalı, korkmuş olmalı.. bunlar doğru olabilir, hatta sıklıkla doğrudur. ama modelin kendi cevabı değildir. dışarıdan kurulmuş bir hikayedir.

uzakta olmanın bir faydası vardı — mesafe, düşünmeyi mümkün kılıyor. yanındayken her şey çok anlık. ağlıyor, müdahale ediyorsun. gülümsüyor, gülümsüyorsun. içeriyi sorma lüksün olmuyor çünkü tepki vermek zorunda kalıyorsun. ama şimdi, yüzlerce kilometre öteden, sadece hafızam var elimde. davranışlar var, örüntüler var — nedenler yok.

ve düşünüyorum — acaba bu mesafe bana gerçeği mi gösteriyor?

belki hep böyleydim. belki yanındayken de içini göremiyordum, sadece fark etmiyordum. yanılsamayı sürdürmek daha kolaydı çünkü müdahale edebiliyordum, bir şeyler yapabiliyordum. eylem, anlamayı taklit ediyor bazen.

bir yapay zeka ekibinde de benzer bir yanılsama var sanırım. model production’a çıktığında, dashboard’lar yeşile döndüğünde, metrikler iyi göründüğünde — kimse durup “peki bu model neden bu kararı verdi” diye sormuyor çoğu zaman. çünkü sormaya gerek yok gibi görünüyor; sistem çalışıyor, iş devam ediyor. asıl soru ancak bir şeyler ters gittiğinde geliyor — model beklenmedik bir hata yaptığında, bir önyargı ortaya çıktığında. o zaman fark ediyorsun ki, aslında hiçbir zaman gerçekten anlamamıştın; sadece çalıştığı için sormaya gerek duymamıştın.

yapay zeka için de aynı şeyi düşünüyorum. bir model cevap ürettiğinde, o cevabın neden doğru olduğunu açıklayamıyorsa — ama doğruysa — bu yeterli mi? tıbbi teşhis koyan bir sistemin, hukuki karar öneren bir sistemin, kredi başvurusu değerlendiren bir sistemin içini açamaması kabul edilebilir mi? belki günlük hayatta yeterlidir — ama riskin arttığı yerde, “çalışıyor” ile “güvenilir” arasındaki mesafe birden çok daha önemli hale geliyor.

hafta boyunca hep aklımdaydı — ilk defa bu kadar uzun süre ayrı kalmıştık. bazen toplantı yoğun günlerde, akşamları merve’ye “hadi bana ver, biraz da ben de dursun.” diyordum. bu kez otel odasında uyumadan önce fotoğraflar arasında gezinirken içimden geçirdim: “idil hanım şu an uyuyordur herhalde.” “idil hanım sabah ağlamıştır muhtemelen.” “idil hanım bu sıcaklarla başa çıkabiliyordur umarım.” “eve döndüğümde yine yeni bir şeyler öğrenmiş olacak.”

ama hangi şeyleri, neden, nasıl.. bunları bilmeyeceğim. bana gösterecek, ama anlatamayacak. ve umarsızca şunu diliyorum: keşke açıklayabilsek. ikisini de — idil’i de, kendi yarattığımız sistemleri de. içlerinde ne döndüğünü, neden öyle davrandıklarını, hangi şeyin neyi tetiklediğini..

ama belki bu istek, anlama ile kontrol etmeyi birbirine karıştırıyor. bir şeyi kontrol etmek istediğimizde, önce onu açıklayabilmek isteriz — çünkü açıklayabildiğimiz şey, öngörebildiğimiz, yönlendirebildiğimiz şeydir. ama sevgi bunu gerektirmiyor belki de. belki bir şeyi sevmek için içini görmek gerekmez. ya da belki — ve bu beni daha çok düşündürüyor — içini göremediğimiz şeyleri sevmek, en derin güven biçimidir.

xai araştırmacıları hâlâ modelin içini açmaya çalışıyor, biz de idil’in içini açmaya çalışıyoruz — farklı laboratuvarlarda, aynı umutsuz iyimserlikle. belki bir gün ikisi de biraz daha şeffaflaşır. belki de şeffaflık hiç gelmez, ve biz sadece davranışla, örüntüyle, tahminle yetinmeyi öğreniriz. şimdilik elimde olan tek şey şu: uzaktayken bile, anlamadığım bir şeyi bu kadar çok özleyebiliyor olmam.

şimdi sekizinci haftadayız ve gülümseme artık bir sürpriz değil, bir rutin. her sabah yüzüme bakıyor, bir şey oluyor içinde, ve o dişsiz damağını göstere göstere gülümsüyor. bu haftanın kendine has bir tatminkarlığı var — artık tahmin etmiyorum, biliyorum. sabah kalktığımda, o gülümsemenin gelip gelmeyeceğini değil, ne zaman geleceğini merak ediyorum. ama bu haftanın asıl gözlemi gülümsemenin kendisi değil, gülümsemenin etrafında olan şey.

idil’in gülümsemesi sosyal bir davet aslında. evrim bunu öyle tasarlamış — bebek bu sinyalle bakım ağını genişletiyor, anne babadan büyükanne büyükbabaya, oradan komşuya, akrabaya. “ben buradayım, sen de yaklaş” diyor.. ve bizimkiler de yaklaşıyorlar.

idil gülümsemeye başladığından beri etrafındaki dünya değişti.. ziyaretler uzuyor. gezdiği kucak sayısı artıyor. eline ayağına dokunan, onları yiyecekmiş gibi yapanların sayısı artıyor. ve tabi ki idil için endişelenenlerin sayısı da artıyor. herkesin bir fikri var: “yüz üstü yatırın, boynu güçlensin.” “çok kucakta taşımayın, alışır.” “müzik açın, beyin gelişir.” “ekrana maruz bırakmayın.” “doğal ışık şart.”

sevgiyle söyleniyor bunların hepsi. iyilik niyetiyle.

biyolog ve insan gelişimi araştırmacısı urie bronfenbrenner, çocuğu bir vakum içinde değil katmanlı bir ekosistem içinde ele alır. aile çekirdeği en içteki halka — mikrosistem. büyükanne, komşu, pediatrist bir sonraki halka. kültürel normlar, toplumsal beklentiler daha dışta.. her halkanın bebeğe bir baskısı var, her biri farklı bir şeyi optimize etmeye çalışıyor. bronfenbrenner’a göre bu katmanlar birbirini etkiler — ama her katmanın aynı anda, aynı yoğunlukta müdahale etmesi sistemin kendi iç dengesini bozabilir.

bunu okuduğumda aklıma hemen bir yazılım ekibinin organizasyon şeması geldi, itiraf edeyim. çekirdek ekip, paydaşlar, yönetim, müşteri — her katman kendi önceliğini dayatıyor, ve her biri ayrı ayrı haklı. sorun katmanların varlığı değil, hepsinin aynı anda, aynı ses tonuyla konuşmaya kalkması.

bugünkü derdimiz de tam olarak bu aslında — idil’in gülümsemesiyle birlikte bütün halkaların aynı anda harekete geçmesi.

bunun bir adı da var aslında, daha klinik bir adı: aşırı uyarılma. over-stimulation. yeni doğan sinir sistemi belirli bir uyaran eşiğine kadar düzenli çalışır — ses, dokunuş, ışık, hareket. eşik aşıldığında bebek bunu kendi başına regüle edemez. sonuç genellikle huzursuz bir ağlama, bozulan uyku, zor yatışan bir gece olur. herkes ayrı ayrı “biraz” geldi ama toplamda idil’in sistemi bir günde haftalarca alacağı kadar girdi işlemek zorunda kaldı.

burada ironik olan şu: aşırı uyarılma genellikle sevgiden doğar. kimse kötü niyetle gelmiyor. ama sistemin kapasitesi, gelenlerin niyetinden bağımsız bir şey.

hiç kuşkusuz yapay zeka projelerinde de böyle anlar olur.

bir model eğitilirken — özellikle ilk birkaç iterasyonda — sistem henüz ne yaptığını öğreniyordur. veri akar, ağırlıklar güncellenir, hatalar geriye yayılır. bu sürecin kendi ritmi vardır. test setlerinde model neler yapmış diye incelemeye başlar başlamaz, ekipteki herkes bir şey fark eder: “model şunu yapıyor, şunu yapmamalı.” “learning rate’i düşürelim.” “bu feature’ı çıkaralım.” “şu threshold’u değiştirelim.” hepsi haklı gözlemler. hepsi iyi niyetli.

buna yazılım dünyasında premature optimization deniyor — sistem neye ihtiyacı olduğunu henüz ortaya koymadan yapılan erken optimizasyon. donald knuth’un bu konudaki ünlü uyarısı, erken optimizasyonun çoğu yazılım hatasının kökeninde yattığı yönünde. çoğu zaman bağlamından koparılarak alıntılanır bu söz, ama özü şu: bir sistemi tam anlamadan müdahale etmek, çözdüğünden fazla sorun yaratır.

daha derinine inince, asıl mesele şu: çok sayıda iyi niyetli müdahale birbirini iptal eder. birisi learning rate’i düşürürken diğeri batch size’ı artırır. birisi veriyi temizlerken diğeri yeni veri ekler. sistem bir yöne çekilirken başka bir yöne itilir.. ve model ne öğreneceğini bilemez hale gelir. optimizasyon değil bu — kocaman bir gürültü.

andrej karpathy — söz konusu yapay zeka olduğunda kendisi şahsi peygamberim — son dönemde autoresearch adlı bir proje yayınladı. fikir basit ama çarpıcı: model eğitiminde insanın kendisini döngünün dışına çıkarması. karpathy, kendi varlığının darboğaz haline geldiğini fark etmiş — her deneyi o kontrol ettiğinde, yorgunluk, dikkat dağılması, context-switching araya giriyor. bunun yerine bir ai agent’ı döngüye koyuyor: agent kendi başına deney tasarlıyor, çalıştırıyor, sonucu değerlendiriyor, işe yarayanı tutuyor, yaramayanı atıyor. sabırla, yorulmadan, gece boyunca.

burada kritik olan şey çoklukla ilgili değil — tam tersi. tek bir tutarlı, sabırlı mekanizma var ve insan müdahalesi azaldıkça sistem daha iyi optimize oluyor. karpathy’nin agent’ı tam da bizim bebek gelişiminde karşımıza çıkan “too many cooks” probleminin çözümü gibi duruyor: bir aşçı, ama yorulmayan, dikkati dağılmayan, her seferinde aynı titizlikle yemek yapan bir aşçı.

idil’in dünyasında böyle bir mekanizma yok. onun “autoresearch”ü kendi sinir sistemi — ve bu sistemin dışarıdan yardımı yok, gece boyunca onun yerine deney yapan bir agent yok. üstüne bir de etrafında, her biri “ben optimize edeyim” diyen insanlarla dolu. karpathy bir tek agent’a güvenip kendini geri çekiyor; idil’in etrafındaki insanlar ise tam tersini yapıyor — her biri içeri giriyor, hiçbiri çekilmiyor.

sizi sovyet psikolog abimiz vygotsky’ye geri götürmek istiyorum — kavrama refleksi yazısında ondan bahsetmiştik, idil’in elimi tuttuğu o anda. vygotsky, öğrenmenin sosyal bir eylem olduğunu söylüyordu: bir çocuk, kendi başına ulaşabileceği seviyenin ötesine ancak bir yetişkinle birlikte çıkabilir. buna “yakınsak gelişim alanı” demişti — şu an bildiğin ile biraz zorlanırsan bilebileceğin arasındaki o dar boşluk. o yazıda bu boşluğun yalnız geçilemeyeceğinden, bir elin uzanması gerektiğinden bahsetmiştim.

ama o elin nasıl uzandığı da önemliymiş, şimdi fark ediyorum. tek bir el, doğru zamanda uzanırsa boşluk geçilir. on el birden uzanırsa, boşluğun kendisi kaybolur.

scaffolding — iskele — deniyor buna. bir bina inşa edilirken kurulan geçici destekler gibi. bina yükseldikçe iskele de değişir. ama iskeleyi sökmeden bina tamamlanmaz. ve iskeleyi kuran kişi sayısı arttıkça, hangi desteğin gerçekten gerekli olduğunu ayırt etmek zorlaşır.

idil için de aynı şey geçerli. etrafındakilerin ilgisi bir iskele. doğru zamanda, doğru yoğunlukta olursa gelişimi destekler. ama herkes aynı anda farklı bir iskele kurmaya kalkarsa — bina altında ezilir.

yapay zeka modelinde de öğrenme süreci kendi yakınsak gelişim alanını bulmalı. hangi parametrenin ne zaman dokunulacağına sabırla bakılmalı. müdahale değil, gözlem. optimizasyon değil, takip.

bir yapay zeka projesi de ilk anlamlı çıktısını ürettiğinde idil’in gülümsemesine benzer bir şey yaşar. model bir şeyler yapıyor, sonuçlar görünür hale geliyor.. ve herkes bir fikir geliştiriyor. product manager uat’den bir şeylerle dönüyor, testçiler bazı caselerde modeli fail ettiriyor, kıdemli mühendis mimariyi sorguluyor, yönetici metriği değiştirmek istiyor. bir anda geri bildirimlerin ardı arkası kesilmiyor.

gülümseme gibi: davet işe yaradı, ama arkasından kocaman bir kalabalık da geldi.

mutfakta aşçı çok olunca çorbanın tadının kaçacağını sezgisel olarak biliriz. ama bir ekip toplantısında, herkesin niyeti iyiyken, bu sezgiyi unutmak çok daha kolay.

sekizinci haftanın en büyük dersi bu oldu benim için. idil her geçen gün biraz daha kendisi oluyor — ama bu “olma” süreci ancak ona yetecek kadar alan bırakıldığında işliyor. çok fazla uyaran, çok fazla düzeltme, çok fazla iyi niyet.. ve nihayetinde aşırı uyarılmış, huysuz bir sistem. herkesler giderken, gecenin köründe uykusuzluğun üzerine bir de çilek niyetine gelen ağlama krizleri.

bir yapay zeka modeli eğitirken de en zor beceri bu: elleri cebine koymak. gözlemlemek. beklemek. sistemin kendi sinyalini bulmasına izin vermek. karpathy bunu otomatikleştirerek çözdü — kendini çekti, sabırlı bir mekanizmayı işin başına koydu. ama idil için böyle bir vekil yok. orada duran, gözlemleyen, ne zaman çekileceğine karar veren tek şey — biz.

belki de bütün yazının özeti şu ayrımda: ilgi göstermek ile müdahale etmek aynı şey değil. ilgi, sistemin yanında durup onu izlemektir — gerektiğinde elini uzatmak, ama elini sürekli uzatılmış tutmamak. müdahale ise sistemin kendi ritmine güvenmemekten doğar — “ben daha iyi bilirim” düşüncesinden.

neyse.. bugün şöyle bir baktığımızda ben de merve de şunun farkındayız — idil’e gösterilen sevginin hiçbiri kötü niyetli değil, ama sevgi ile sabır aynı anda gelmiyor her zaman.

peki ya bir toplulukta bunu nasıl başarırsın? herkes iyilik istiyorken, herkes katkı sunmak istiyorken — kimin ne zaman geri adım atacağını kim belirler? bazen kucağında hüngür hüngür ağlamaktan şişen bebeği devralıp, sana 3-5 dakika dinlenme fırsatı sunan anneanne ya da babaanneye hayır diyebilir misin?

bu tartışma sanki kuyruklu yıldızları gözlemlemek gibiydi.. çünkü idil hanım evet gülümsüyordu ama gelişigüzeldi. bazen oluyordu, bazen olmuyordu. koşulları aynı tutsak bile, bazen birlikte “uuu” diyorduk ama bir sonrakinde sessiz kalmayı tercih ediyordu. bunlar belki de bir takım refleksler ya da kasılmalardı. hatta belki de biz öyle görmek istediğimiz için öyle görüyorduk — ebeveynlik, biraz da yorum yapma sanatı sonuçta. bir kaşın hafifçe kalkması bile bize koca bir anlam ifade edebiliyor, çünkü öyle olmasını istiyoruz.

yedinci haftaya geldiğimizde artık şüphe kalmadı. idil hanım gülümsüyor — tekrar tekrar. yüzüme bakıyor, bir şey oluyor içinde, ve gülümsüyor. kasları farklı çalışıyor, gözleri de bu tatlışlılık tablosunun bir parçası oluveriyor. bu bir refleks değil — bu bir tanıma. ve sanırım annesine daha çok gülümsüyor (gururlu kaybediş).

ama beni en çok düşündüren şey gülümsemenin kendisi değil. ne oldu da, idil hanım o beşinci & altıncı haftalardaki tek seferlik, gelip geçen, belki-vardı-belki-yoktu anından yedinci haftadaki bu tekrar eden, kararlı, kalıcılaşan hale geçti.

arada ne oldu? idil hanım versiyon güncellemesi mi aldı?

2016 yılının mart ayında, seul’de, dünya go şampiyonu lee sedol bir makineye karşı oturdu. alphago’ydu bu makine — deepmind’ın geliştirdiği, milyonlarca go oyunu üzerinde eğitilmiş bir yapay zeka. ikinci maçın 37. hamlesi geldiğinde yorumcular ekranda dondu. go uzmanları birbirlerine baktı. lee sedol 15 dakika masadan kalktı.

o hamle hiçbir insan oyuncunun yapacağı bir hamle değildi. yüzyıllık go sezgisinin dışında, neredeyse “yanlış” görünen bir taş. ama birkaç hamle sonra hamlenin neden doğru olduğu anlaşıldı. sonradan “move 37” olarak tarihe geçti — güzel ve açıklanamaz bulunan bir hamle.

alphago o hamleyi planlamadı. milyonlarca oyunun içinden damıtılan, ama hiç açıkça öğretilmeyen bir sezginin yüzeye çıkışıydı bu. birikim görünmezdi; ortaya çıkış ani ve sürpriz oldu.

yapay zeka araştırmacıları bu örüntüye bir isim verdi: emergent capabilities — ortaya çıkan yetenekler. jason wei ve ekibinin 2022 tarihli çalışması bunu sistematik olarak belgeledi. büyük dil modellerini eğitirken bazı yetenekler doğrusal gelişmiyor — bir eşiğin altında tamamen yok, eşiğin üstünde birdenbire beliriyor. matematiksel akıl yürütme, çok adımlı analoji, kod yazma — bunların hiçbiri yavaş yavaş iyileşmedi; bir gün yoktu, ertesi gün vardı.

bu durum araştırmacıları rahatsız etti çünkü makine öğrenmesinin temel sezgisine aykırı. eğitim ver, hatayı ölç, ağırlıkları ayarla, tekrarla. lineer bir süreç. peki lineer bir süreçten nasıl doğrusal olmayan bir sıçrama çıkıyor?

bunu anlamak için önce neyin emergent olmadığını görmek gerekiyor. bir bilim kurgu filminde bir karakterin, dövüş sanatını saniyeler içinde doğrudan beynine yüklettiği o meşhur sahneyi hatırlarsınız belki — “i know kung fu” der, ve öylece bilir.

gerçek olan şu: bir müzisyen yıllarca akor öğrenir, teori çalışır, egzersiz yapar. sonra bir gün doğaçlama yapabildiğini fark eder. kimseden öğrenemez bunu; hiçbir ders kitabında “doğaçlama” başlığı altında öğretilen bir şey değil bu. bileşenlerin toplamından fazlası ortaya çıktı — birdenbire, ama boşluktan değil. alphago’nun 37. hamlesi de tam olarak buydu.

grafiğe bakınca aklına ilk gelen şey bir step fonksiyonu — belirli bir eşiğe kadar sıfır, eşikten sonra birdenbire bir değer. düz bir çizgi, sonra dikey bir duvar. jason wei ve ekibinin çalışmasındaki performans grafikleri neredeyse bunu gösteriyor.

diğer taraftan da rylan schaeffer ve ekibinin yaptığı çalışmalar bu konuda enteresan durumlar olduğunu ispat ediyor. 2023’te yayınladıkları çalışmalarında, bu yeteneklerin bir kısmı farklı metriklerle ölçüldüğünde hiç de ani görünmüyor. aslında yavaş yavaş birikiyorlar ancak biz fark edemiyoruz. haliyle bunu birazcık görselleştirecek olursak, elimizde keskin bir step fonksiyonu yerine çok daha smooth bir sigmoid var.. o birden birelik, yerini birikime bırakıyor. belki de idil’in geçmiş haftalardaki ilk gülümsemesi de tam olarak buydu: sigmoid’in ortalarında, bizim algı eşiğimizin henüz altında.

peter huttenlocher isimli chicago üniversitesi’ndeki nörolog hocamız, bebek beyninin ilk aylarını yıllar boyunca inceleyerek, bugün hepimizin aklına ilk gelen şeyi doğrulamaya çalışmış — beyin nöron ekliyor, sinaps üretiyor, bağlantı kuruyor.

sonuç tam tersi çıkmış: aşırı üretim var evet ama ardından da budama var. bebekler dünyaya geldiğinde sinaps sayıları yetişkinlerin sinaps sayılarından çok daha fazla oluyormuş. ilk aylarda beyinlerimiz, kullanılmayan bu bağlantıları sistematik olarak kesiyormuş.

bu bulgu ilk okuduğumda içimi tuhaf bir şekilde rahatlattı, itiraf edeyim. çünkü yapay zeka tarafında da benzer bir sezgi var: bir modeli büyütmek her zaman daha fazla katman, daha fazla parametre eklemek anlamına gelmiyor; bazen en iyi sonuç, gereksiz olanı ayıklamaktan geçiyor. idil’in beyni de tam bunu yapıyormuş — önce cömertçe bağlantı kurup, sonra acımasızca eleyerek.

birikim gizli. dışarıdan hiçbir şey görünmüyor. idil hanımın bu hafta yüzümüze fırlattığı o gülümsemeleri, bu haftanın değil — altı haftanın ürünü. her ses, her yüz, her dokunuş bir yerlerde işlendi; bir şeyler kesildi, bir şeyler kaldı. ortaya çıkış günün birinde oldu, hazırlık çok daha önce başlamıştı.

peki bugüne kadarki tek seferlik, belirsiz, kaybolup giden o anlar ne oldu? belki bir sinyal sızdı — sistem henüz hazır değilken. bu hafta ise aynı yetenek stabilize oldu: tekrar ediyor, kalıcılaşıyor, güvenilir hale geliyor.

yapay zeka tarihinde benzer bir dönüm noktası var. erken sinir ağları lineer aktivasyon fonksiyonlarıyla çalışıyordu — ne kadar katman eklersen ekle, sonuç yine lineerdi. derinlik anlamsızlaşıyordu. sonra nonlineer aktivasyonlar geldi, relu ile birlikte derin ağlar gerçekten derinleşebildi ve 2012’de alexnet imagenet’i alt üst etti. tek bir nöron ateşleme eşiği olan küçük bir step — ya geçer ya geçmez. ama milyarlarca nöron, derinlik boyunca bileşimlenince ortaya çıkan davranış artık hiçbir tek nöronun özelliği değil. huttenlocher’ın budaması da bunu yapıyor aslında: ağı seyrelterek değil, gereksiz lineerliği keserek sistemi daha verimli bir nonlineerliğe taşıyor. hatta bazı yapay sinir ağı mimarilerinde bu budama için özel nöronlar var — lstm’lerdeki unutma kapısı (forget gate) gibi.

henk van de rijt ve frans plooij, bebek gelişimini bir döngü olarak tanımlamışlardı ve bunu önceki yazılarımın birinde ele almıştık: sakin dönemler ve “leap” denen sıçrama anları. wonder weeks adını verdikleri bu çerçevede yedinci hafta küçük ama belirgin bir dönüm noktası. bebeğin duyusal sistemi niteliksel olarak farklı bir düzeye geçiyor — artık daha fazlasını görmüyor, farklı görüyor.

bu ayrım küçük gibi görünüyor ama değil. daha fazlasını görmek bant genişliği meselesi. farklı görmek temsil meselesi. idil artık yüzleri daha net algılamıyor; yüzleri yüz olarak sınıflandırmaya başlıyor. bu ise beraberinde başka özelliklerin altyapısını oluşturuyor — tanıdık ile yabancıyı ayırıyor, ifadeyi okuyor, tepki üretiyor.

yapay zeka tarafında da tam bu ayrımı görüyoruz aslında: bir modelin daha fazla token işlemesi ile bir görevi niteliksel olarak farklı bir yaklaşımla çözmeye başlaması aynı şey değil. birincisi ölçek, ikincisi kategori değişimi. emergent capabilities araştırmasının asıl iddiası da bu — bazı yetenekler sadece “daha iyi” değil, “başka türlü” ortaya çıkıyor.

emergent capabilities tartışmasının en zor yanı şu: sıçrama dediğimiz şeyler gerçek mi, yoksa bizim ölçüm araçlarımızın gözünde mi? alphago’nun 37. hamlesi de bu soruyu taşıyor aslında. o hamle modelin içinde hep mi vardı — bir ağırlık kombinasyonu olarak, bir olasılık olarak — ve sadece o pozisyon onu yüzeye mi çıkardı? yoksa gerçekten, o anda, yeni bir şey mi doğdu?

belki de bu ikisi arasında bir fark olmayabilir. bir yeteneğin “içeride hep var olması” ile “belirli bir anda ortaya çıkması” aslında aynı olgunun iki farklı tarifi olabilir — biri sistemin iç durumunu, diğeri dışarıdan gözlemlenen anı tarif ediyor. idil’in gülümsemesi de öyle: kaslar, sinirler, o tanıma kapasitesi muhtemelen haftalardır oradaydı. yedinci haftada olan şey, o kapasitenin ilk kez güvenilir biçimde tetiklenmesiydi belki de — yaratılış değil, eşiği aşma.

idil bugüne kadar birkaç kez gülümsemişken, artık yedinci haftada gülümsemesi kalıcı hale geldi ve umarım yüzünden de hiç eksilmeyecek. bize de bu hikayeden, şu an acaba hangi sigmoidlerin başlarında ya da ortalarında olduğumuz sorusu kaldı.

birlikte cevap bulmaya devam öyleyse, görüşmek üzere!

bu bir ritüeldi. anneanne ve babaanne “kırkı çıkmadan dışarı çıkmaz” demişti, biz de çıkarmadık. sonuçta bu hafta itibariyle ilk kez kapı dışına taşıdık. pazar yeri seçmek de tesadüf değildi — kalabalık, gürültülü, kokulu.. hayatın tam ortası. ilk çıkış için belki alışılmadık bir yer ama ritüel olarak doğruydu: sadece sokağa değil, dünyaya adım atıyordu.

idil hiçbir şeyin farkında değildi tabii. uyuyordu büyük ölçüde. ama biz farkındaydık — ve bu belki o an için yeterliydi.

türk kültüründe kırk sayısı ciddi bir ağırlık taşır.

kırkından önce bebek dışarı çıkmaz. yas kırk gün tutulur. kahvenin kırk yıl hatrı vardır. “kırk katır mı, kırk satır mı” sorusu imkânsız bir seçimi anlatır. halk masallarında kırk haramiler vardır, kırk kapı vardır, kırk gün kırk gece süren düğünler vardır. islam kültüründen de şüphesiz kırk üzerinden bir anlatı kurulmaya çalışılmış.

sayı nereden gelirse gelsin, “kırk” hep aynı şeyi işaret ediyor — bir eşiği, bir olgunlaşmayı, bir geçişi.

bu tesadüf değil. belki de insan zihninin bir yerde bir sınır çizme ihtiyacından doğuyor: burada bitti, şimdi yeni bir şey başlıyor. sınırın tam olarak nerede olduğu değil, sınırın kendisi önemli. belirsizliği taşınamaz hale geldiğinde, kültür bir sayı seçiyor ve o sayıya anlam yüklüyor.

ilginç olan şu: kırk sayısının kendisinde biyolojik ya da matematiksel özel bir şey yok. otuz beş de olabilirdi, kırk beş de. ama bir kere seçildikten sonra, o sayı bir gerçekliğe dönüşüyor — insanlar ona göre plan yapıyor, ona göre bekliyor, ona göre rahatlıyor. sayının kendisi değil, üzerine kurulan anlaşma önemli hale geliyor.

douglas adams, otostopçunun galaksi rehberi‘nde yaşamın, evrenin ve her şeyin cevabının 42 olduğunu anlatır — cevabı hesaplayan bilgisayar yedi buçuk milyon yıl düşünür, ama kimse artık sorunun ne olduğunu hatırlamaz. türkler galiba adams’tan iki sayı önde gitmiş. cevap 42 değil, 40’mış.

peki neden kırk?

biyoloji bir ipucu veriyor. doğumun ardından yaklaşık altı hafta boyunca yenidoğanın bağışıklık sistemi henüz anne karnından getirdiği antikorlarla çalışır — buna pasif bağışıklık deniyormuş. bu koruma geçici olup, etkisi zamanla azalır. bebeğin kendi bağışıklık sistemi devreye girene kadar dış dünya gerçekten daha büyük bir risktir. enfeksiyon kapısı daha geniştir, yabancı mikroplara karşı savunma daha kırılgandır.

kırkın çıkması, modern tıptan önce gelen bir sezginin dondurulmuş halidir belki de — klinik deney değil ama milyonlarca ailenin nesiller boyu ürettiği ve aktardığı bir bilgi. gözlemden doğmuş, ritüele dönüşmüş, sonra ritüel olarak yaşamaya devam etmiş. bilimsel dergide yayınlanmamış ama test edilmiş — kalabalık ve uzun bir örneklemle.

toplumun “bu bebek artık dünyaya tutunabilir” dediği an.

ama bu beni asıl soruya götürüyor — tutunabilmek ne demek? ve kim, ne zaman hazır sayılır?

neuroscience bu soruya “kritik dönem” kavramıyla yaklaşıyor.

david hubel ve torsten wiesel — görme biçimleri yazısından da hatırlayabileceğiniz ikili — yaptıkları deneylerle şunu gösterdiler: yenidoğan kedi yavrularının bir gözü doğumdan hemen sonra kapatılırsa, o göze karşılık gelen beyin bölgesi kalıcı olarak zayıflar. görsel sistem sadece girdi almakla kalmıyor, o girdinin zamanında gelmesine ihtiyaç duyuyor. kritik dönem bir penceredir. pencere açıkken gelen deneyimler sistemin temelini oluşturur; pencere kapandığında bazı şeyler artık aynı biçimde öğrenilemez.

bu insanlar için de geçerli. dil edinimi bunun en çok bilinen örneği — erken çocuklukta yeterince duyulmayan bir dil için beyin o esnekliği kaybeder, daha doğrusu farklı bir esneklik haline gelir. değiştirilemez mi? hayır. ama daha zordur ve artık başka bir süreçtir.

kırk belki tam bu yüzden var: kritik dönemin ilk evresinde bir nefes almak, sistemin biraz daha dayanıklı hale gelmesini beklemek, sonra dünyaya bırakmak. bebek dışarıya tam olarak “hazır” çıkmıyor — ama artık daha dayanıklı. ve belki bu yeterli.

ve haydi biraz da yapay zeka diyelim.

büyük dil modellerinin eğitimi birbirini izleyen üç aşamada düşünülür.

ilki pre-training. modelin internetin büyük bir bölümünü, kitapları, makaleleri, kodları, akademik yayınları tüketerek genel bir dünya temsili oluşturduğu uzun ve pahalı süreç. bu aşamada model gerçek dünyayla doğrudan konuşmuyor. kontrollü bir ortamda, kurallı bir veri akışıyla besleniyor. çok büyük, çok gürültülü ama aynı zamanda temizlenmiş, filtrelenmiş bir veri havuzu. bir tür kırkına kadar korunma hali — dış gürültüden yalıtılmış değil, ama dünyanın ham gerçekliğiyle de henüz temas yok.

ikincisi fine-tuning (ince ayar). modelin belirli bir görev, belirli bir ton, belirli bir kullanıcı grubu için uyarlandığı aşama. pre-training genel bir temel oluşturur, fine-tuning onu şekillendirir. pazara ilk kez çıkmak gibi biraz — ortam değişiyor, beklentiler netleşiyor, sistemin ne için var olduğu daha somut hale geliyor.

üçüncüsü ise asıl ilginç olan: rlhf — reinforcement learning from human feedback, insan geri bildiriminden pekiştirmeli öğrenme. model cevaplar üretir, insanlar bu cevapları değerlendirir — hangisi daha iyi, hangisi daha yardımcı, hangisi daha doğru — ve model bu değerlendirmelere göre kendini günceller. sistem artık sadece veriyle değil, insanın yargısıyla da şekilleniyor.

2017’de yayınlanan ve bu yöntemi sistematik biçimde tanımlayan çalışma bugün neredeyse tüm büyük dil modellerinin eğitim sürecinin ayrılmaz parçası haline geldi. bu konuya ilerleyen bir yazıda çok daha derinlemesine gireceğim; şimdilik pazar benzetmesi için yalnızca üçüncü aşamanın var olduğunu bilmemiz yeterli.

ama hubel ve wiesel’e döneyim, çünkü kritik dönem burada da iş yapıyor — ve bu sefer farklı bir pencereden.

bir modelin pre-training verisi, onun “kritik dönemi” sayılabilir mi? o dönemde gördükleri, artık modelin dünya temsili haline gelir. bu temsili sonradan fine-tuning ile değiştirebilirsiniz, rlhf ile törpüleyebilirsiniz — ama bazı şeyler pre-training’de o kadar derin kodlanır ki, sonraki aşamalar bunların üstünden tam olarak geçemez. araştırmacılar buna inductive bias diyor: modelin veriyi yorumlama biçimine önceden gömülü olan eğilimler, başlangıçta oluşan kalıplar. bir bakıma, kritik dönemde şekillenen alışkanlıklar.

hubel ve wiesel’in kedileri gibi.. bir sisteme kritik dönemde ne gösterirsen, o sistemin dünyayı nasıl yorumlayacağını kısmen belirliyorsun. bunu ne kadar fine-tune edersen et, ne kadar insan geri bildirimi eklersen ekle — bazı şeyler pre-training’den geliyor ve orada kalıyor.

bu yüzden büyük dil modellerinin eğitiminde pre-training verisi giderek daha titiz bir mesele haline geldi. hangi diller, hangi dönemler, hangi bakış açıları, hangi önyargılar.. ne öğrettiğin kadar ne zaman ve nasıl öğrettiğin de önemli. kritik dönemin penceresi kapanmadan önce içeri ne giriyor?

ama burada bir fark var ve bunu atlamak istemiyorum.

rlhf’te insan geri bildirimi modeli şekillendiriyor, doğru. ama idil pazarda ne hissettiyse — ışığı, sesi, kalabalığı, soğuğu, tanımadığı yüzleri — onu da bir anlamda “şekillendiriyor.” fark şu: idil bu geri bildirimi kendi sinir sistemiyle, kendi bedeniyle işliyor. bir şeyi seviyor, bir şeyden rahatsız oluyor, bir şeye şaşırıyor — ve bu tepkiler onun. kimse idil hanıma “buna güzelmiş gibi tepki ver” demiyor.

rlhf’te ise tercihler dışarıdan geliyor. model bir şeyi beğenmiyor değil; insanlar beğeniyor ya da beğenmiyor ve model buna göre parametrelerini güncelliyor. sistemin “hissettiği” bir şey var mı, yoksa sadece istatistiksel bir uyum mu gerçekleşiyor?

bu soruyu da sırf spekülasyonlara bayıldığım ve tavşan deliğinden aşağıya yuvarlanmak için erken olduğunu düşündüğümden, şimdilik açık bırakıyorum.

pazar dönüşünde sokağa girdiğimizde idil uyandı ve etrafına baktı. gözleri henüz net görmüyor — bunu üçüncü yazıda konuşmuştuk — ama ışık değişimini hissediyordu. içeriden dışarıya. kapalıdan açığa. kontrollü bir ortamdan, gürültülü, öngörülemez, kokulu gerçek dünyaya.

kim, ne zaman hazır sayılır diye sormuştum.

biz karar verdik. kırk gün saydık, bir sabah “tamam, bugün” dedik. o karar onun değildi. büyük dil modelleri de üretim ortamına kendi isteğiyle çıkmıyor. bir ekip karar veriyor, değerlendirmeler yapılıyor, bir eşik belirleniyor. “yeterince iyi” olduğuna onlar karar veriyor.

türkler buna kırk demiş. adams 42 demiş. geliştiriciler / mühendisler buna “production-ready” diyor.

hepsi aynı soruyu soruyor: ne zaman yeterince hazır?

ve hiçbiri tam olarak cevap veremiyor — çünkü “hazır” denen şey, temas kurulduktan sonra anlaşılıyor. bir modelin değerlendirme setlerinde kaç puan aldığını önceden biliriz; ama gerçek kullanıcılarla, gerçek sorularla, gerçek bağlamlarla karşılaştığında nasıl davranacağını tam olarak kestiremeyiz. idil pazarda ne hissetti bilmiyorum. ama döndüğünde bir şey değişmişti — ya onda, ya da benim ona bakışımda.

peki model, üretim ortamına çıktıktan sonra gerçekten değişiyor mu?

ya da sadece biz mi farklı bakıyoruz?

sadece ağlıyordu. saatlerce onu kucağımda salladım, şarkı söyledim, odada volta attım. bir süre sonra duruyordu bu bilinmez ağlama ve ben de yapılan en mantıklı çıkarımı yaptım: 90lar - 2000ler türkçe rock! bu ağlama krizleri yaşanırken, hoparlörden çok da yüksek olmayan bir sesle bangır bangır yavuz çetin, peyk, kesmeşeker, pilli bebek ve daha niceleri çalıyordu. sonuçta babasını sakinleştiriyordu, idil hanım’ı niye sakinleştirmesindi ki?

ama benim bu müthiş çıkarımım 2 gün sonra kendisini yanlışladı ve bir kenara attı. çünkü tüm karışık playlistlere rağmen ağlama yeniden başlıyordu ve bu kez türkçe rockla da geçmiyordu.. sanki idil’in içinde bir şeyler kaynıyordu, ama ne olduğunu dışarıdan görmek mümkün değildi.

bu dönem birkaç gün sürdü. yorgunluktan değil, çaresizlikten bitkin düştük annesiyle birlikte. sonra enteresan bir şey oldu.. bayram nedeniyle köye geldik. etrafta dış ses namına yalnızca rüzgar hışırtısı, cırcır böceği cızırtısı ve bilimum köy sesleri.. bununla birlikte idil’in de benim de ne kadar zorlarsak zorlayalım gözümüzün detayları seçemeyeceği kadar uzaklara bakabileceği bir coğrafyadaydık. her tarafımızda ağaçlar var. çeşit çeşit.. insan gözünün en rahat seçebileceği ve kendisinin en huzurlu hissettiği ~700nm dalga boylarında yüzlerce binlerce yeşilimsi doku.

ikimizin de içini kaplayan bir huzur ve nedensiz ağlayışlara pastoral bir veda. sanki takvimde “durduk yere ağla” olarak işaretlenmiş günler geride kalmış gibiydi.

her ne kadar biz kendimizi aşırı özel hissetsek de, bir kez daha başımıza gelen şey yalnızca bizim başımıza gelmiyormuş. hatta oldukça yaygın ve her bebekte gözlemlenen bir fenomenmiş.

hetty van de rijt ve frans plooij, hollandalı araştırmacı bir çift, yıllarca bebekleri gözlemledikten sonra tuhaf bir örüntü fark etti: bebekler büyük bir gelişim sıçraması yapmadan hemen önce çöküyor. daha çok ağlıyorlar, daha az uyuyorlar, daha huzursuzlar.. anneye / babaya, tutunabildikleri her yere daha çok yapışıyorlar. dışarıdan bakan biri için sistem bozulmuş gibi görünüyor ama içeride, tam o sırada, sinir sistemi yeniden yapılanıyordu.

van de rijt ve plooij buna “wonder weeks” adını verdi — mucize haftalar. the wonder weeks adlı kitapları, bu sıçramaların ne zaman geleceğini, nasıl hissettireceğini ve ardından ne kazanılacağını haritalıyor. bebeğin görmek, duymak, dokunmak, anlamlandırmak için kullandığı zihinsel kategoriler bir anda yetersiz kalıyor. sistem eskiyi terk etmek zorunda, yeniyi ise henüz kuramamış.

neyse, özetle bebeklerimiz bu krizleri atlatmadan sıçrama gelmiyor. adeta güzel giden günler bir anda mevsimin kışa dönmesiyle birlikte, çok da estetik olmayan bir biçimde yağmuruyla çamuruyla soğuğuyla idil hanım’ı esir etmiş gibiymiş. ve idil hanım’a söz, “yine baharlar gelecekmiş”.

yapay zeka tarihinde “kış” denen dönemler var.

birincisi 1970’lerin ortasında başladı. o zamana kadar yapay zeka araştırmaları büyük vaatlerle ilerliyordu — makinelerin birkaç on yıl içinde insan zekasına ulaşacağı söyleniyordu. sonra bir duvar geldi. mevcut yaklaşımlar — sembolik akıl yürütme, kural tabanlı sistemler — gerçek dünyanın karmaşıklığıyla başa çıkamıyordu. araştırma bütçeleri ve yatırımlar kesildi, ilgi azaldı, laboratuvarlar kapandı. ikinci kış ise 1980’lerin sonunda geldi, benzer nedenlerle.

dışarıdan bakıldığında alan durmuştu. ama içeride ne oluyordu?

o “kış” dönemlerinde, görünürlüğü azalmış küçük araştırma grupları sessiz sedasız çalışmaya devam etti. backpropagation algoritması 1986’da yayınlandı — en derin kışın tam ortasında. hopfield ağları, erken sinir ağı mimarileri, istatistiksel öğrenmeye doğru kayan bir bakış açısı.. bunların hiçbiri o an için “büyük haber” değildi. ama her biri, sonraki baharın tohumuydu.

kış demek, öylesine boşluk demek değildi. bir nevi alt yapılanmaydı.

tohumların filizlenmesi için üç şeyin bir araya gelmesi gerekiyordu. bunlar ayrı ayrı zaten mevcuttu — ama yan yana gelmedikçe hiçbirinin tek başına gücü yoktu.

ilki veri. 2000’lerin ortasından itibaren internet büyük bir veri birikimi yaratmaya başladı. milyarlarca web sayfası, fotoğraf, video, metin. insanlığın ürettiği bilginin ve deneyimin dijital izi. bu kadar ham malzeme daha önce hiç yoktu. ama yalnız başına yetmiyordu — bir de onu işleyecek yöntemler ve güç gerekiyordu.

ikincisi ise gpu’lar. grafik işlemci kartları, aslında oyun sektörü için tasarlanmıştı. ekranda milyonlarca pikseli eş zamanlı hesaplamak için optimize edilmişlerdi — bu, derin öğrenmenin ihtiyaç duyduğu paralel işlemle neredeyse birebir örtüşüyordu. 2009 yılında andrew ng ve ekibinin large-scale deep unsupervised learning using graphics processors başlıklı çalışması bu fırsatı ilk kez net biçimde ortaya koydu. eğitim süreleri düştü, modeller büyüdü, denemeler hızlandı.

ve son olarak da, mimari. 2012’de, imagenet görüntü sınıflandırma yarışmasında alexnet adlı derin sinir ağı, ikinci sıradakini %17 farkla geride bıraktı. bu sadece bir yarışma sonucu değildi — bir paradigma kırılmasıydı. görme üzerine odaklanan yazıda da bahsetmiştik. o güne kadar “sinir ağları işe yaramıyor” diyenlere somut, ölçülü, tekrarlanabilir bir cevaptı. ardından resnet, bert, transformer mimarisi geldi. her biri bir öncekinin tavanını kırdı.

veri, hesaplama gücü, mimari. bu üçü aynı anda olgunlaşmıştı. kışın altında birikmekte olan kar suyu, bir noktada barajı aştı ve türbinleri olağanca hızıyla döndürmeye başladı.

idil’in beşinci haftasında olan şeyle bu dönem arasında yapısal bir benzerlik var.

her ikisinde de dışarıdan bakan biri için sistem zorlanmış gibi görünüyordu. her ikisinde de içeride sessiz bir yeniden yapılanma yaşanıyordu. ve her ikisinde de kriz olmadan sıçrama yoktu — bu zorunlu bir koşuldu, istenmeyen bir yan etki değil.

bebek gelişiminde buna “regresyon penceresi” deniyormuş. yapay zeka tarihinde “duraksama dönemi.” ama her ikisi de aslında aynı şeyi tanımlıyor: sistemin mevcut kapasitesinin tavanına ulaştığı, bir sonraki düzeye geçmek için eski yapıyı bırakmak zorunda kaldığı o geçiş evresi. eski yöntemler artık dünyayı açıklamaya yetmiyor — yeni yöntemler henüz kurulmamış. tam ortası: kış.

sorun şu: bu evre içinden yaşanırken bitmek bilmiyor gibi hissettiriyor. o gece saatlerinde ağlayan idil’i tutarken, bunun bir sürecin parçası olduğunu bilmek bile yeterince rahatlatmıyor. 1980’lerin sonunda ödenek başvuruları reddedilen araştırmacılar için de öyle olmuştur büyük ihtimalle.. yıllar sonra dönüp bakıldığında anlam kazanan şeyler, içinden geçilirken genellikle anlamsız hissettiriyor.

bazen bir şeyleri anlamak için yeterince uzaklaşmak (zamansal ya da mekansal) ve öyle bakmak gerekiyor — tıpkı çocukluğumda milli bayramlarda stadyumdaki tribün koreografilerini izlerken fark ettiğim gibi: elindeki tek bir flamayı sallayan öğrenci için o sadece kırmızı ya da beyaz bir kağıttı; uzaktan bakan biri içinse ortaya koca bir görsel çıkıyordu.

yeniden dönelim wonder weeks’e. van de rijt ve plooij’un teorisinde ilginç bir ayrıntı daha var. ve aslında tam da az önce üstüne parmağımızı bastığımız konuda.

bebeğin yaşadığı her kriz eşit büyüklükte değil. bazı wonder week’ler küçük — birkaç günlük huzursuzluk, ardından küçük bir sıçrama. ama bazıları daha büyük ve daha derin. sinir sisteminin köklü biçimde yeniden yapılandığı, bebeğin dünyayı algılama biçiminin temelden değiştiği türden. bu büyük krizlerin ardından kazanılan beceriler de o kadar köklü oluyor.

2010’ların başından ortasına uzanan o dönem — big data, gpu’lar, derin öğrenme — yapay zekanın tarihindeki en büyük wonder week’ti belki de. onlarca yıllık kışın ardından gelen, tek bir sıçramayla değil birbirine kenetlenen üç unsurun aynı anda olgunlaşmasıyla gelen bir dönüşüm. dışarıdan “aniden” göründü. içeriden ise uzun bir birikimin kaçınılmaz sonucuydu.

idil’in beşinci haftası da bana biraz öyle hissettirdi. tüm ağlamalara rağmen, nispeten kolay atlattığımızı düşündüğüm bir krizdi bu. aniden çöktü, aniden geçti, aniden bir şeyler değişti. ama “aniden” kelimesi yanıltıcı olabilir — içeride günlerce, haftalarca biriken ve bir anda yüzeye çıkan bir şey yaşadık. küçük ya da büyük.. dönüştürücü mü? sonuna kadar!

şu an yapay zeka alanında yeni bir kış mı var, yoksa başka bir şey mi oluyor — bu soruyu sormak giderek daha anlamlı hale geliyor. büyük dil modellerinin yarattığı coşku bir platoya mı ulaştı? mevcut mimari yaklaşımlar tavanlarına mı geliyor? bazıları bunu söylüyor. bazıları “hayır, hâlâ ivme var” diyor. ben bilmiyorum — ve dürüstçe, kimsenin tam bilmediğini düşünüyorum. kışın ortasında olduğunu anlayabilmek için çoğunlukla ilkbaharı beklemek gerekiyor.

ama idil’den öğrendiğim şu: ağlamak bitmişliğin değil, dönüşümün işaretidir. bir sistemin sessizleştiğini ya da zorlandığını görmek, onun çöktüğü anlamına gelmiyor — bazen tam tersi, yeniden kurulduğu anlamına geliyor.

o beşinci haftayı köyün tüm dinlendiriciliği ile üzerimizden attık diyebiliriz. kriz geçmişti ve arkasında yeni bir şey bırakmıştı: öyle rastgele olmayan, suratından hemen silinmeyen, şişko yanakların ortasından bana doğru fırlatılan kocaman bir gülümseme.

şimdi ise gerek iş hayatlarımızda, gerekse özel hayatlarımızın ortasına oturan kocaman bir soru var elimde: bir sistemin sessizleştiğini ya da zorlandığını gördüğümüzde, buna ne kadar tahammül edebiliyoruz? bitmekte olan bir şeyi mi izliyoruz, yoksa henüz adını koyamadığımız bir şeyin başlangıcını mı? bu noktada destek mi olmalıyız, yoksa sınır koşullarını hatırlatıp dönüşümü zorlamalı mıyız?

bunu ilk kez bir felsefe kitabında okumadım, hatta bunu bir yerden de alıntılamıyorum. bunu tamamıyla idil’den öğrendim.

son zamanlarda yeni açılan becerimiz: kavramak!

idil artık kucağımda dururken kolumu, emerken annesinin saçını ya da öylesine keyif yatışı yapıyorsa yanındaki ilk eşyayı tutmak, kavramak istiyor. ve bunlar gelişi güzel değil.. parmağımı sanki bir alet kullanırcasına, bizim çatalı / bıçağı tutuşumuz gibi kavramaya başladı.

dört haftalık bir bebek, eline ne gelirse kavrıyormuş meğerse. buna da palmar grasp (avuç içine dokunan her şeyi refleks olarak sıkıştırma eylemi) deniyormuş. doğumla birlikte gelen, sorulmadan yüklenen bir beceri. idil annesinin saçını kavrarken saçın ne olduğunu bilmiyor, benim kolumu tutarken kol kavramına dair hiçbir şey yok içinde.. sadece tutuyor. sıkıca.. ama kavradığı şeyin ne olduğundan habersiz.

bugün gözüm kapalı birçok nesneyi sadece dokunarak tanıyabilirim ya da ayrıştırabilirim. bir nevi, gözümün görmediği bir şeyi de tanımlayabilirim. ama bilin bakalım idil hanım şu an neyi yapamıyor — evet, evet.. o an göremediği şey onun için yok hükmünde. varlığın altını çizmek için de tüm dokularını oyuna sokuyor. bu aralar da dokunma duyumuz en ön planda gibi duruyor.

parmağımı avucuna koyduğumda, bir gün öyle bir sıktı ki.. aklımda yavaş yavaş bir şeyler şekillenmeye başladı: kavramak ile anlamak arasında ne kadar büyük bir mesafe var..

jean piaget bu mesafeyi ömrü boyunca incelemiş. isviçreli psikolog abimiz çocukların nasıl düşündüğünü anlamak için onlarca yıl boyunca hem kendi çocuklarını hem de binlerce başka çocuğu gözlemlemiş — ve vardığı sonuç şuymuş: bir bebeğin ilk birkaç ayı, saf motor reflekslerden ibarettir. kavramak, emmek, bakmak.

bunlar öyle zekayla falan alakalı şeyler değil, dümdüz biyolojik şeyler. piaget bunlara “birincil dairesel tepkiler” diyor ve bebeğin bir hareketi yaptığını, bu hareketin bir duyuma yol açtığını, duyumun da bebeği aynı hareketi tekrar yapmaya ittiğini söylüyor. bu böyle kendi içinde bir döngü oluşturuyor ama döngünün içinde henüz bir anlam bulunmuyor. bebek tuttuğu şeyin ne olduğunu değil, tutmanın kendisini öğreniyor.

anlam, ancak bebek bir nesnenin yokluğunu fark etmeye başladığında ortaya çıkmaya başlar. buna “nesne kalıcılığı” deniyor — görmediğim şey hâlâ var mı? elindeki oyuncak örtünün altına kaybolduğunda onu aramaya başlamak, basit bir kavramadan çok daha büyük bir sıçramayı gerektirir: zihnin, görünmez olanı temsil edebilmesini.

idil henüz bu soruyu sormuyor. ama umuyorum ki yakında soracak ve artık o ardı arkası uzunca zaman kesilmeyecek soru yağmuru başlayacak. bunun için gizliden gün sayıyorum. hiç sıkılmadan hepsini yanıtlamak istiyorum. fizik mühendisliği eğitimim boyunca, richard feynman‘ı tanıdığım ve onun bakış açısını hem fizik bağlamında hem de yaşantı bağlamında kendime destur edindiğim için çok şanslı hissediyorum. ilerleyen haftalar, aylar ve yıllarda; feynman’a çokça temas edeceğimize adım gibi eminim. ama şimdilik çok spoiler vermeden, idil hanımın sorularına vereceğim cevaplardaki yaklaşımımı kabaca özetleyen bir anısını paylaşayım: feynman, babasının ona bir kuşun adını dünyanın tüm dillerinde öğretebileceğini ama işin sonunda kuş hakkında hiçbir şey bilmeyeceğini, sadece “farklı yerlerdeki insanların kuşa ne dediğini” bileceğini anlatır. asıl önemli olan, kuşa bakıp ne yaptığını görmekmiş.

bir şeyin adını bilmekle bir şeyi bilmek arasındaki farkı, feynman çok erken öğrenmiş. ben de idil’e bunu öğretmek istiyorum — belki de önce kendime.

neyse.. nerede kalmıştık? bizim idil hanım göremediği şeyleri yok olmuş hatta hiç var olmamış sayıyordu. bu konsepti anlamak için gerçekten bir ömür verilebilir. ben de bu postun bağlamını yaratmaya çalışırken john bowlby‘e ve onun bağlanma teorisine denk geldim. benim kavramak ve anlamak arasındaki mesafeyi başka bir açıdan, başka aletlerle ölçümlemeye kalkmış enteresan birisi.

ingiliz psikiyatrist bowlby, savaş yetimlerini ve annesiz büyüyen çocukları yıllarca izlemiş, tıpkı piaget gibi. sonrasında da şöyle bir çıkarım yapmış: bebekler, anne ya da bakıcıya tutunurlar — hem fiziksel olarak hem de duygusal olarak. bu tutunma, biyolojik bir zorunluluktur; yakınlık güvenliktir, güvenlik hayatta kalmaktır. ama bowlby’yi asıl meşgul eden şey, bu tutunmanın zamanla nasıl içselleştirildiği ve bir anlama dönüştüğüymüş. çünkü gözlemleri sonucunda fark ettiği şey, bebeklerin bakıcılarını artık zihinsel olarak taşımaya başladığıymış. yani bebekler artık sadece tutunmakla kalmayıp, tutunduğunu hatırlar ve bu hatıra, dünyayla kurduğu tüm ilişkinin çekirdeği olur.

özetle diyebiliriz ki; tutunmak, burada bir başlangıçtır. anlam, tekrarlardan ya da hatıralardan çıkar. çok fazla bebek konuştuk, hani kardeşim bu yazının yapay zekası diyenlere çok geç kalmadan hemen yanıtımızı verelim.

2017 yılında google’dan bir ekip “attention is all you need” başlıklı bir makale yayımladı. bugün neredeyse her büyük dil modelinin temeli olan transformer mimarisini ortaya koyan bu çalışma, alanı kökten değiştirdi. bir önceki yazıyı hatırlayacak olursanız cnn’ler — convolutional neural network — için devrim demiştim. bu da devrimin ağa babası gibi bir şey. günümüzde, özellikle potansiyel meslektaşlarımızın nereden başlayalım sorusuna verdiğim yanıtların en başında bu makale geliyor. “ai engineering”, “agentic ai”, “prompt engineering” vb. ne varsa kaynağı bu makaledir. başlığındaki iddiaya bir kez daha dönüp bakınca — dikkat, her şeydir.

Attention Is All You Need o bildiğiniz reinforcement learning’in skor fonksiyonları bir kenara, öz-dikkat mekanizması bir kenara..

attention mekanizması kabaca şöyle çalışıyor: bir yapay zeka modeli bir cümleyi okurken her kelimeye eşit ağırlık vermez — tıpkı bizim okurken bazı kelimelerin üzerinde daha uzun durduğumuz gibi. “ocak başında bekliyoruz.” cümlesinde model, ocak kelimesinin ne anlama geldiğine karar verirken; eğer cümlenin devamında “kar” veya “takvim” varsa zaman dilimine, eğer “kebap” veya “köz” varsa mekana yüksek dikkat atar. bizim attention mekanizması da bu örnekte olduğu gibi cümleye bakar, bağlamı tarar, ağırlıkları ayarlar ve anlamı — ya da anlam gibi görüneni — inşa eder. buna attention skoru deniyor: modelin, neye ne kadar tutunduğunun sayısal karşılığı.

az önce biricik kızım idil hanıma salladık ama modeli niye boş geçiyoruz. ona da sallayalım. bizim idil hanım bilmiyordu.. peki model şunu biliyor mu, tutunduğunun ne olduğunu?

transformer mimarisinde bir de “multi-head attention” denen bir yapı var — modelin aynı cümleye aynı anda farklı sorular sorması gibi düşünülebilir. bir kafa sözdizimsel ilişkilere bakarken diğeri anlam benzerliklerine, bir diğeri cümlenin genel bağlamına odaklanır. paralel kanallar, eş zamanlı kavrayış..

bu yapının biyolojik karşılığı tam da idil’in şu anki halidir: bir anda hem sesi hem sıcağı hem kokuyu hem de dokunuşu işliyor. tek bir öne çıkan sinyal değil, birbirine ağırlıklı olarak bağlı bir duyusal orkestra. idil hanımın beyni de bu orkestranın şefi!

ama model ve idil arasında küçük bir fark var. modeli makine yapan, idil’i insan yapan o anlamlı fark.. idil’in paralel kanallarının ucunda birikim var. her dokunuş, her ses, her yüz silinmiyor — bowlby’nin dediği gibi, bir iç temsile dönüşüyor. yani o her dokunuş, minnoş minnoş hatıralara dönüşüyor. modelin kanallarının ucunda ise ağırlık güncellemesi var. biri hafızaya dönüşüyor. diğeri parametreye.

sovyet psikolog lev vygotsky, öğrenmenin temelde sosyal bir eylem olduğunu söylüyor. bir çocuk, kendi başına ulaşabileceği seviyenin ötesine ancak bir yetişkinle birlikte çıkabilir. buna “yakınsak gelişim alanı” deniyormuş — şu an bildiğin ile biraz zorlanırsan bilebileceğin arasındaki o dar boşluk. bu boşluk, yalnız geçilemez; bir elin uzanması gerekir.

idil şu an benim elimden tutuyor. bu tutunma bir gün kavramaya dönüşecek. kavramak bir gün anlamaya. anlama bir gün sorgulamaya. ama bu zincirin her halkası bir öncekinin üzerine kurulacak — boşlukta değil, ilişkinin içinde.

transformer ise yalnız öğreniyor. metinden, tokenlardan, istatistiksel örüntülerden.. bağlamı var, ama ilişkisi yok.. neye tutunduğunu biliyor — en azından matematiksel anlamda. neden tutunduğunu bilmiyor. bu farkın nerede anlam kazandığı hala net değil benim için..

bir modelin “neyi kavradığını” test edebiliyoruz — karşılaştırma testleri var, değerlendirme setleri var, modeli yanıltmak için tasarlanmış özel örnekler var. ama bir modelin kavramanın ötesine geçip geçmediğini, yani gerçekten anlamaya ulaşıp ulaşmadığını test etmek için elimizde güvenilir bir araç yok. çünkü anlamak için önce neyin anlaşılacağını tanımlamamız gerekiyor. bu da hâlâ tartışmalı..

idil’in durumu aslında o kadar farklı değil. piaget’nin testleri, bowlby’nin gözlemleri, vygotsky’nin deneyleri — bunların hepsi bebeğin davranışını ölçüyor. içerideki anlama, dolaylı yoldan çıkarılıyor. belki de anlamanın kendisi, her zaman böyle çalışıyor: dışarıdan gözlemlenmiş, içeriden varsayılmış.

uzunca lafların ardından beni esir eden soruyla yavaş yavaş bu postu tamamlayabiliriz: anlam, tutunmanın içinde mi doğuyor, yoksa tutunmanın bıraktığı izde mi?

idil her kavrayışında bir şeyler biriktiriyor — hangi dokunuşun güvenli olduğunu, hangi sesin rahatlatıcı olduğunu, hangi tutunmanın bırakılmaması gerektiğini. bu birikim bir gün anlama dönüşecek. belki zaten dönüşmeye başlamıştır bile. çünkü bu aralar ufak ufak gülümsemelere de tanıklık etmeye başladım.

model ise her token’a tutunuyor, her cümleyi işliyor, her bağlamda ağırlıklarını yeniden ayarlıyor. ve sonunda doğru kelimeyi üretiyor. en azından çoğu zaman doğru kelimeyi..

bu satırları tamamlarken parmağım hala idil’in avucunda. parmağı kavrıyor.. sıkıca. ben de parmağımla onun elini kavrıyorum sanırım, en azından matematiksel ve babasal olarak.

ikimiz de ne kavradığımızı tam bilmiyoruz henüz.

yenidoğanlar doğduklarında göremez, demek tam doğru değil gibi.. görmesine görüyorlar ama ne gördükleri, bizim gördüğümüzden çok farklı. görme mesafesi yaklaşık 20-30 santimetre. yüksek kontrastlara ve sert kenarlara tepki veriyorlar. gri tonlar, flu geçişler henüz hiçbir anlam taşımıyor. retina fiziksel olarak gelişimini tamamlamamış.

2010lu yılların başlangıcında toronto’da bir grup araştırmacı, imagenet yarışmasında rakiplerini ezdi geçti. alexnet! hata oranı bir anda yaklaşık %10 düştü — önceki yöntemler %26 civarında seyrederken, alexnet %15’e indi. yapay zeka tarihinde “öncesi” ve “sonrası” olarak ayrılan o kırılma noktası da büyük ölçüde bu modelle ve bu yarışmayla başladı. ama asıl ilginç olan mimarinin kendisiydi: convolutional neural network. CNN.

ImageNet Classification with Deep Convolutional Neural Networks makalesinin yazarları arasında, ilya sutskever ve geoffrey hinton var. boşu boşuna devrim demiyorum.

cnn’ler görüntüyü olduğu gibi almaz. önce kenarları öğrenir. sonra dokuları. sonra parçaları. sonra nesneleri. katmanlar halinde, her biri bir öncekinin üzerine inşa edilen bir hiyerarşi. ilk katmanda ağırlıkları görselleştirirsen, çoğunlukla dikey, yatay, çapraz çizgiler görürsünüz. ham kenarlara olan primitif, saf bir hassasiyet.. gelmek istediğim noktayı anladığınızı düşünüyorum. idil de tam olarak buradan başlıyor.

biraz da ilim & irfan ve insan beynine yolculuk yapma zamanı geldi gibi.. hadi tavşan deliğinden aşağıya yuvarlanalım.

hubel ve wiesel, 1959’da bir kedinin görsel korteksine elektrot yerleştirdiklerinde beklenmedik bir şeyle karşılaştılar. nöronlar rastgele ateşlemiyordu. belirli yönlere sahip kenar ve çizgilere seçici olarak yanıt veriyorlardı. bir nöron yalnızca 45 derece eğimli çizgilere tepki veriyordu. komşusu ise yalnızca yataylara.

Receptive fields of single neurones in the cat’s striate cortex

bu keşif, görmenin pasif bir kayıt değil, aktif bir inşa süreci olduğunu gösterdi. beyin, dünyayı olduğu gibi almıyor. onu parçalıyor, filtreden geçiriyor, yeniden birleştiriyor.

hubel ve wiesel bu çalışma için 1981’de nobel ödülü aldılar. yann lecun ve ekibi ise 1989’da bu biyolojik mimariyi bilgisayara taşıdı — “biomimetic” denen şeyi tam anlamıyla yaptılar: doğanın çözdüğü problemi, doğanın çözüm yapısını kopyalayarak yeniden çözdüler. ve 2012’de alexnet, bu fikrin ne kadar doğru olduğunu kanıtladı.

idil’in beynindeki v1 bölgesi — primer görsel korteks — şu an tam bu mantıkla çalışıyormuş. retina gangliyon hücreleri, tüm görüntüyü değil, küçük bir bölgeyi işliyor ve merkez-çevre yapısıyla: ortaya ışık vurunca heyecanlanıyor, çevreye vurunca baskılanıyor. ya da tam tersi.. ilk haftalarda v1, yüksek frekanslı sinyallere neredeyse hiç yanıt vermiyor, bir nevi tembellik hali. düşük frekans, yüksek kontrast: görüntü — gri tonlar, ince geçişler: gürültü

cnn mimarilerinin ilk katmanları da tam bu seçiciliği gösteriyor aslında. her pikseli eşit işlemek yerine, konvolüsyon filtresi küçük bir pencere gibi görüntü üzerinde kayıyor ve her adımda yalnızca lokal bir yapıya bakıyor.

görme biyolojisi ve cnn mimarisi arasındaki bu benzerlik tesadüf değil nitekim. lecun’un 1989 tarihli “backpropagation applied to handwritten zip code recognition” makalesi, bu yapıyı açıkça biyolojiden ödünç aldığını söylüyor. 2012 sonrasında gelen deep learning devrimi ise bu mimarinin ne kadar verimli bir başlangıç noktası olduğunu defalarca kanıtladı.

Backpropagation applied to handwritten zip code recognition mnist veri setinin de doğuşudur bu makale bir yerde.

2015’te microsoft’un resnet’i “residual connections” fikriyle 152 katmana ulaştı ve bu mimariler, yüzey özelliklerinin çok ötesine geçmeye başladı: derin katmanlar artık yalnızca kenar değil, nesne parçalarını, yüz ifadelerini, sahne bağlamını işliyordu. aynı sene biz de, ebedi dostlarım azmi ve onur ile katıldığımız bu yarışmada kimler kimlerle dövüşüp on dokuzuncu olmuştuk. yine de fikrimiz “the most innovative entry” olarak değer görmüştü. o sene gri pasaportlarımız yetişse ve şili’deki konferansa katılabilsek, kim bilir neler neler değişirdi.

bebek görme gelişimi de benzer bir katmanlı olgunlaşma izliyormuş. üçüncü ayda yüzleri ayırt etmeye başlıyor, dördüncü ayda renk ayrımı netleşiyor. altıncı ayda iki göz arasındaki fark işlenmeye başlıyor ve derinlik algısı kuruluyor. ilk yılın sonunda görme sistemi büyük ölçüde yerli yerine oturmuş oluyor. her aşama, bir öncekinin üzerine inşa ediliyor. backpropagation yok ama deneyim var, tekrar var, pekiştirme var. buralar gerçekten öyle mi işleyecek, takipçisi olacağız efenim hiç şüpheniz olmasın.

cnn’lerin o dönem yapay zeka dünyasını sarsan başarısı, aslında alçakgönüllü bir ders de içeriyordu, almasını bilene tabi. sıfırdan başlamak zorunda değilsin. doğru yapı, doğru veri, doğru tekrar.. gerisi bir şekilde gelir.

hatta işi bir tık daha öteye de götürebiliriz. transfer learning denen bir yaklaşım var. imagenet üzerinde eğitilmiş bir modeli alıp bambaşka bir göreve uyarlıyorsunuz. çünkü o ilk katmanlar — kenarlar, dokular, basit geometriler — neredeyse evrensel. hangi görev olursa olsun, bu temel özellikler işe yarıyor.

2014’te zeiler ve fergus’un “visualizing and understanding convolutional networks” makalesi bunu çarpıcı biçimde gösterdi: farklı veri setlerinde, farklı görevlerde eğitilmiş CNN’lerin ilk katmanları birbirine neredeyse aynıydı. evrensel bir görsel alfabe.

Visualizing and understanding convolutional networks

idil de sıfırdan başlamıyor. milyonlarca yıllık evrimsel optimizasyon, ona kenarları nasıl bulacağını bir şekilde aktarmış. bu “pretrained weights” ile dünyaya geliyor. ben de şimdi, o ilk filtrelerin ne üzerine inşa edileceğini düşünüyorum. hangi yüzler, hangi sesler, hangi ışıklar — bunlar onun ilk eğitim verisi.

peki ya ben ne yapabilirim, tam olarak?

cnn eğitiminde en kritik kararlardan biri, ilk katmanlara ne kadar müdahale ettiğindir. aşırı özelleştirirsen, genelleme gider. çok serbest bırakırsan, hiçbir şey öğrenmez. en iyi sonuçları veren yaklaşım genellikle şu: temel katmanları dondur, üst katmanları ince ayar yap. bildiğin fine-tuning..

ilk yazıda babalığı bir fine-tuning süreci olarak tanımlamıştım — on beş yıllık deneyimin ağırlıklarının yeni bir göreve aktarıldığını söylemiştim, ve bunun hem yardımcı olabileceğini hem de yanlış yöne çekebileceğini. o zaman soyut bir benzetmeydi. burada, cnn’lerin diliyle, bunun tam olarak ne anlama geldiğini görüyorum: ilk filtreleri — merak, güven, bağlanma — dokunmadan bırakmak. üst katmanlara, yani dünyayla ilgili spesifik şeylere, yavaş yavaş şekil vermek. ve her aşamada en önemli soruyu sormak: idil şu an hangi katmandadır? ona ne gösteriyorum?

bunun pratikte ne demek olduğunu hâlâ tam çözebilmiş değilim. ama en azından artık yanlış soruyu sormadığımı biliyorum. soru “idil’e ne öğretmeliyim” değil — soru “idil’in ağının şu an hangi katmanında olduğumu ve o katmana ne kadar müdahale etmem gerektiğini nasıl anlarım.” bir modelin ne zaman donuk kalması, ne zaman güncellenmesi gerektiğini bilmek, mühendislikte bile hâlâ kısmen sanat sayılır — deneyimle, deneme yanılmayla öğrenilen bir şey. babalıkta da öyle olacak sanırım.

bugün gözlerini yüzüme kilitleyip baktığında, muhtemelen henüz “baba” kavramını işlemiyordu. yüksek kontrastlı, hareketli bir yüzey görüyordu. ama o yüzey tekrar ettikçe, güvenli bir şeyle eşleşmeye başlayacak. ve bir gün, çok daha derin bir katmanda, bu tekrara anlam yüklenecek. (içim kıpır kıpır oluyor O_O)

hubel ve wiesel’in kedisi bunu 1959’da göstermişti: beyin, dünyayı pasif kaydetmiyor, aktif olarak inşa ediyor. john berger de aynı şeyi, farklı bir dilden söylemişti: bakmak, seçmektir — göz neye bakacağını seçer, ve o seçim, göreni de tanımlar. idil bugün yüzüme baktığında, muhtemelen henüz beni “görmüyordu” — yüksek kontrastlı, hareketli bir yüzeye bakıyordu. görmek, o yüzeyin bir anlam kazanmasıyla başlayacak; bakmak çoktan başladı bile.

aradaki fark bana hiç de küçük gelmiyor. bakmak, bir girdi almaktır — pasif, mekanik, retinanın işi. görmek ise bir yorumdur, bir seçimdir, bir inşadır. cnn’lerin ilk katmanı da tam olarak “bakıyor” — kenar, doku, kontrast. üst katmanları ise “görüyor” — yüz, nesne, bağlam. idil’in bugünkü bakışı, henüz o üst katmanlara ulaşmamış bir sinyal. ama sinyal orada, ve bir gün karşılığını bulacak.

belki de asıl soru şu: idil ne zaman sadece bakmayı bırakıp görmeye başlayacak — ve ben bunu nasıl anlayacağım, o an geldiğinde?

sonuçta, ilk yazıda dediğim gibi, ben de bu işte fine-tuning halindeyim — ama bugün öğrendiğim şey şu: bazen en önemli katman, hiç dokunmadığın o ilk filtrelerde saklı.

aynı hareket, aynı renkler, neredeyse aynı ses. tek fark, birinin bana bağlı olması, diğerinin olmaması.

bu küçük gözlem, aslında idil daha doğmadan bile kafamda dönen bir soruyu netleştirdi: idil’e sunduğumuz şey ne kadar “veri”, ne kadar “gürültü”?

yaklaşık 15 yıldır yapay zeka alanında çalışıyorum — modellerle, verilerle, sistemlerle. bu tuhaf, uykusuz günlerde mesleki refleksim durmadan devreye giriyor. idil’in etrafına astığımız her oyuncak, açtığımız her müzik, okuduğumuz her kitap, aslında bir veri toplama kararı gibi görünmeye başladı bana. hangi veriyi topluyoruz, hangi kalitede, hangi yoğunlukta?

etiketlediğimiz binlerce veri noktası, eğittiğimiz yüzlerce model, çözmeye çalıştığımız onlarca problem — hepsi günün sonunda tek bir soruya yanıt vermek içindi: bir sistem nasıl öğrenir? bu soruya verilen cevaplar yıllar içinde değişti, araçlar değişti, ama esas yaklaşım büyük ölçüde aynı kaldı: iyi öğrenen sistemler genellikle iyi genelleme yapar; genelleme yaparsa, daha önce hiç görmediği durumlarla başa çıkabilir.

model eğitiminde ilk gereksinim hiç şüphesiz verinin kalitesi. büyük veri, bol veri, kocaman veri her zaman iyi veri anlamına gelmiyor. gürültülü, kendini tekrarlayan, bir tarafı kayıran verilerle eğitilen modeller belirli eşik değerlerde takılıp kalıyor — ne kadar veri eklersen ekle, performans platoya oturuyor.

bebekler için de benzer bir şey geçerli olmalı diye düşündüm önce. uyaran bolluğu, uyaran kalitesi değildir — dedim kendi kendime, biraz da kendimi ikna etmek için.

sonra araştırmalara baktım ve tahminimden daha ilginç bir tablo çıktı karşıma.

yenidoğan araştırmalarında öne çıkan kavramlardan biri contingent responsiveness — yani bir uyaranın bebeğin kendi eylemine veya ilgisine tepki olarak gelmesi. bir çalışmada bebeklerin dikkatinin, görüntünün en çok bilgi taşıyan bölgelerine esnek biçimde yöneldiği, göz hareketleriyle etkileşimli (gaze-contingent) bir düzenekte gösterilmiş; bebekler pasif biçimde izlemiyor, bakışlarını değişen koşullara göre aktif olarak ayarlıyorlar. yani bebek, kendisine gelen sinyalin kendi eylemiyle ilişkili olup olmadığını fark edebiliyor — sanki kendi reward sinyalini arıyor gibi. bu, denetimli öğrenmedeki sabit etiketten çok, pekiştirmeli öğrenmedeki ödül fonksiyonuna benziyor: bebek edilgen bir alıcı değil, ortamı kendi eylemleriyle test eden bir ajan.

bir başka derleme ise daha net bir ayrım yapıyor: beşik dönenceleri gibi pasif, tekrarlayan uyaranların dil gelişimini hızlandırdığına dair hiçbir kanıt yok; dil gelişimini asıl süründüren şey, bakıcının bebeğin ipuçlarına verdiği contingent — anlık, karşılıklı — tepkiler. dönencenin pillerini değiştirmesek de, sonuç değişmiyor. bir dönencenin “gerekli” olmaması bir şey, “faydalı” olmaması başka bir şey — asıl fark, doğru zamanda, doğru gelişim penceresinde gelen uyaranın beyinde ölçülebilir bir etki bırakması.

bu da tam idil’in dönenceye bakmayışını açıklıyor aslında. dönence, kaliteli ya da niteliksiz olmaktan öte, konudan bağımsız (irrelevant) bir sinyal üretiyor artık — idil’in ne yaptığından bağımsız, sabit bir döngü. benim sesim ya da dokunuşum ise onun bakışına, hareketine cevap veriyor. istatistiksel dille söylersek: biri idil’in davranışıyla ilintili, diğeri değil.

pekiştirmeli öğrenme (reinforcement learning) tarafında bunun bir karşılığı var: bir ajan, ortamı keşfederken (exploration) rastgele hareketler dener, hangi eylemin hangi ödülü getirdiğini öğrenir; zamanla bildiği en iyi stratejiyi kullanmaya (exploitation) kayar. ama bu geçiş, ortamdan gelen sinyal tutarlı ve eyleme bağlıysa anlamlı olur. eğer ödül, ajanın ne yaptığından bağımsız rastgele geliyorsa, ajan hiçbir zaman öğrenemez — çünkü öğrenecek bir örüntü yoktur, sadece gürültü vardır.

idil’i izlerken bunu gözümde canlandırıyorum: o da küçük bir keşif döngüsünde. bir sesi tekrar duymak için ağlıyor, bir yüzü görmek için başını çeviriyor, bir dokunuşu tekrar hissetmek için kıpırdanıyor. her seferinde ortamın ona nasıl cevap verdiğini test ediyor. eğer cevap tutarlıysa — ağladığında biri geliyorsa, başını çevirdiğinde bir yüz oradaysa — bu, öğrenilebilir bir örüntü. eğer cevap rastgeleyse, ne kadar sık tekrarlanırsa tekrarlansın, öğrenilecek bir şey yok demektir.

burada işler benim beklediğimden daha ilginç bir yere gidiyor, çünkü “gürültülü veri her zaman kötüdür” önermesi de tam doğru değil. az veriyle büyük problemleri çözmeye çalıştığımız projelerde, genelleme kapasitesini arttırmak için bilerek hatalı etiketlenmiş veri eklerdik — ve mucizevi şekilde işe yarardı, yeter ki ölçek yeterince büyük olsun.

The Unreasonable Effectiveness of Noisy Data for Fine-Grained Recognition

yani gürültü, belli bir hacimde ve belli bir bağlamda modeli daha kırılgan değil, daha dayanıklı hale getirebiliyor — tıpkı hayatın çoğu iyi planlanmış şeyin, biraz belirsizlik ve hatayla yoğrulduğunda beklenenden daha başarılı çıkması gibi. idil’in dünyası da tamamen steril, tamamen “temiz” olmak zorunda değil belki — ufak tutarsızlıklar, beklenmedik sesler, planlanmamış anlar da onun genelleme kapasitesine katkı sağlıyor olabilir.

bunu kendi üzerimde de test ediyorum aslında. mükemmel, öngörülebilir, hiç sapmayan bir rutin kurmaya çalışsam — her ağlamaya aynı saniyede aynı tepkiyi versem, her gün birebir aynı sesle, aynı tonla konuşsam — belki idil için daha “temiz” bir sinyal üretirdim. ama muhtemelen daha kırılgan bir model de yetiştirirdim: sadece o tek örüntüyü tanıyan, ondan sapan her şeyi anlamlandıramayan bir sistem. benim tutarsızlıklarım, yorgunluğum, bazen geç kalan tepkilerim — bunlar da bir tür gürültü, ama belki de idil’in gerçek dünyayla, gerçek insanlarla başa çıkmasını sağlayacak gürültü.

asıl mesele verinin hacmi ya da temizlik de değil, neyin hangi bağlamda işe yaradığını bilmek. bu da beni ikinci bir kavrama getiriyor: bir modelin ne öğrendiği kadar, ne öğrenmediğini bilmek de önemli. confusion matrix, tam olarak bunun için var — modelin nerede, hangi sınıfı hangi sınıfla karıştırdığını gösteren bir harita. iyi eğitilen bir model doğru cevabı ezberlemez, doğru cevabı nerede arayacağını öğrenir; hatalarının haritasını çıkarmak, doğrularının listesini çıkarmaktan çoğu zaman daha öğreticidir.

bunun bir de tehlikeli yüzü var: halüsinasyon. bir model, elinde yeterli veya güvenilir sinyal olmadığında, “bilmiyorum” demek yerine kendinden emin bir şekilde yanlış bir cevap üretebiliyor — çünkü çoğu model, belirsizliği ifade etmek üzere değil, her koşulda bir çıktı üretmek üzere eğitiliyor. confusion matrix’in gösteremediği asıl şey de bu: bir modelin ne zaman “bilmiyorum” demesi gerektiğini bilip bilmediği.

idil için de benzer bir soru var kafamda. bir bebek, eline yetersiz ya da tutarsız sinyal geldiğinde, kendi küçük dünyasında bir tür “halüsinasyon” üretiyor olabilir mi — yanlış bir örüntüyü, sanki gerçekmiş gibi içselleştirebilir mi? bunun kesin bir cevabını henüz bilmiyorum, ama soru kendini sormaya değer buluyor. belki de erken çocukluktaki bazı korkular ya da beklenmedik tepkiler, tam olarak bu: eksik veriyle kurulmuş, aşırı genelleştirilmiş bir örüntü. bir köpeğin sesinden korkan bir bebeğin, aslında “her ani ve yüksek ses tehlikelidir” gibi çok geniş bir kuralı, çok az örnekten çıkarmış olması gibi.

idil’in etrafındaki dünya ona zengin mi görünüyor, yoksa sadece kalabalık mı — bunu hâlâ bilmiyorum. ama artık en azından hangi soruyu sormam gerektiğini biliyorum: bu uyaran, idil’in yaptığı bir şeye mi cevap veriyor, yoksa idil ne yaparsa yapsın aynı mı kalıyor?

konuşmalar, sorular, sessizlik anları, müzik, kitaplar, yürüyüşler — hepsinin ortak bir özelliği olmalı, ve sanırım bu özellik hacim değil, cevap verme kapasitesi. şu kontrastı yüksek aynalı kitaplar bile, idil’in bakışına göre sayfa çevrilirse anlam kazanıyor; kendi başına dönen bir dönenceden farklı olarak. bir kitap rafı dolusu oyuncak, tek başına hiçbir şey öğretmiyor — ama aynı oyuncaklardan biri, idil’in uzattığı elin, çevirdiği başın karşılığı olarak devreye girdiğinde, birden bir veri noktasına dönüşüyor.

bu beni biraz rahatlatıyor açıkçası, çünkü “en pahalı, en gelişmiş, en çok uyaran içeren” ürünleri araştırmaktan kendimi alıkoyuyor. asıl mesele ürünün karmaşıklığı değil, benim ya da merve’nin o ürünle idil’in eylemine ne kadar cevap verdiğimiz. en basit bir ahşap kaşık bile, doğru anda, doğru tepkiyle sunulduğunda en “akıllı” oyuncaktan daha zengin bir sinyal taşıyabilir.

her şeyi aşırı optimize etmeye çalışan bir ebeveyn olmak gibi bir niyetim yok. sadece doğru soruları sorup, olan biteni anlamak istiyorum. idil’e her şeyin cevabını vermek istemiyorum — soruların nasıl sorulduğunu göstermek istiyorum. bu, teoride güzel bir cümle. pratikte ne anlama geldiğini henüz bilmiyorum.

idil’in dünyasını zenginleştirmek, ona daha fazla şey sunmak değilmiş demek ki — ona sunduğumuz şeylerin, onun kendi hareketine, bakışına, sesine ne kadar cevap verdiğini arttırmakmış. bir modelin performansını arttırmak için veri hacmini değil, verinin sinyal taşıma kapasitesini arttırdığımız gibi. ve tıpkı o noisy-data makalesinin gösterdiği gibi, mükemmel temizlik de tek başına bir amaç değil — belirsizliğin, hatanın, plansız anın da kendine göre bir katkısı olabiliyor, yeter ki temel sinyal sağlam olsun.

peki idil büyüdükçe, onun için hangi “gürültü” aslında gizli bir sinyal taşıyor olacak — ve ben bunu nasıl ayırt edeceğim?

belki de bu sorunun cevabı, hiçbir zaman tek bir formülde durmayacak. bir modelin doğru veri dağılımını bulması nasıl sürekli bir süreçse, idil’in dünyasındaki sinyali gürültüden ayırmak da tek seferlik bir karar değil, haftalar ve aylar boyunca yeniden kalibre edeceğim bir şey olacak sanırım.

ve fakat işler tam da öyle gerçekleşmedi. en azından o ilk anda öyle olmadı.. muhtemelen bu sahne, günden güne ilerleyeceğimiz çok uzun bir yolculuğun ardından geriye dönüp baktığımda aklıma gelen ilk görüntü olacak. yıllar sonra da o “an”dan bahsederken, ben de ne kadar büyülü olduğundan bahsedeceğim.

doğumhanenin önündeki koridor kalabalıktı, sağdan soldan bebek ağlamaları geliyordu, birileri etrafımda telaşla bir şeyler söylüyordu. kucağımda ufacık, kızarık, biraz da kızgın görünen bir bebek vardı. bir ağırlık hissettim, evet — fiziksel olarak, kollarımda gerçek bir ağırlık. ama beklediğim o kırılma anı öylece yaşanmamıştı. idil’i doğumhane kapısında kucağıma aldım, odamızdaki yatağına götürdüm.

zamanın durduğu bir andı. daha çok bir sessizlik gibiydi. sanki sistem açılmış ama henüz hiçbir şey yüklenmemişti. hafif cızırtılı siyah bir ekran gibi.

bu yazıyı o sessizliği anlamaya çalışarak yazıyorum.

yıllar önce robert pirsig’in zen ve motorsiklet bakım sanatı kitabını aylarca okumuş, güç bela bitirmiştim. babayla oğulun motosikletle çıktığı o yolculuk, aslında bir düşüncenin kendi kendini inşa etme hikayesiydi — yol, sadece bir arka plan; asıl mesafe, iki zihin arasındaki mesafeydi. benim de öyle bir yolculuğum olsun istedim hep — ama idil hanım çok küçük, biz henüz hiçbir yere gidemiyoruz. fiziksel bir yol yok ortada, motosiklet de yok.

sonra yanis varoufakis’in kızımla ekonomi sohbetleri kitabı geçmişti elime, su gibi akıp giden. kızıyla arasında binlerce kilometre olmasına rağmen, ona dünyayı anlatmaya çalışmıştı — rakamlara sıkışmadan, bir insanlık hikayesi olarak, ekonomik kavramları soyutluktan çıkarıp gündelik deneyime bağlayarak. bu kez fiziksel bir mesafe giriyordu devreye.

bizde ise ne zihinsel ne de fiziksel mesafeden bahsedebiliriz, sadece zaman var — henüz konuşmayan, henüz anlamayan bir muhatap. idil hanım büyüdükçe ona ne anlatacağımı bilmiyorum ama elimde güçlü bir şey var: yaklaşık on beş yıldır makinelerin nasıl öğrendiğini anlamaya çalışıyorum. belki de bu yolculuğu, onun büyümesiyle paralel yürüyerek anlatabilirim — pirsig’in yol metaforu olmadan, varoufakis’in mesafesi olmadan, ama ikisinin de yaptığı şeyi yaparak: soyut olanı somuta, somut olanı soyuta bağlayarak.

bu blog böyle doğdu. her hafta idil hanım’ın hayatına kattığı küçük bir beceriyi, alışkanlığı, davranışı alıp bir yapay zeka kavramıyla yan yana koyuyorum. ikisi birbirini açıklasın diye.

bir kural koydum kendime: teknik tarafı hafife almayacağım. “yapay zeka bebek gibi öğrenir” gibi kolay bir benzetmeyle geçiştirmeyeceğim — çünkü çoğu zaman böyle değil, ve o farkın kendisi zaten öğretici. bir gülümseme neden sosyal öğrenmeyle ilgiliyken bir reinforcement learning modelinin erken optimizasyonuyla ilgili değil; bir bebeğin bir nesneye tutunması neden onu “anlamasıyla” aynı şey değil — bu tür ayrımlar, benzerlik kadar önemli. o yüzden her yazının bir yerinde bir gerilim var: iki kavram birbirine benziyor gibi görünür, sonra ayrılır. o ayrım noktası, aslında yazının asıl meselesi oluyor.

teknik bir okur isen, kavramları es geçmeden, doğru kaynaklara referansla okuyacaksın. teknik tarafla hiç haşır neşir olmamış bir okur isen, idil hanım’ın gündelik bir anından girip, hiç zorlanmadan bir yapay zeka kavramının içine gireceksin — sonra da fark etmeden çıkacaksın, öğrenmiş olarak.

her yazı böyle ilerliyor: küçük bir sahneyle açılıyor, oradan geniş bir çerçeveye yayılıyor, bir bilim katmanına iniyor, bir yapay zeka köprüsü kuruyor, ve bir soruyla kapanıyor — cevapsız bırakılan bir soruyla, çünkü asıl amaç cevap vermek değil, birlikte düşünmeye davet etmek.

her yazının merkezinde bir gerilim cümlesi oturuyor. bunlar rastgele seçilmiş vurgular değil; seri ilerledikçe birbirine referans verecekler, bir yazıda kurulan bir ayrım, aylar sonra başka bir yazıda geri dönüp yeniden açılabilir. idil hanım’ın ilk kelimesini söylediği gün, örneğin, dil edinimi üzerine biriktirdiğim bir kavramı — çocukların dil öğrenmesindeki kritik dönem tartışmasını — o güne kadar bilerek bekleteceğim. bazı konular, doğru an gelmeden yazılmamalı. en azından ikimiz tarafından birinci elden deneyimlenmeden..

idil hanım büyüdükçe ben de büyüyeceğim bu yazılarla. ilk gülümsemesi, ilk kelimesi, ilk yürüyüşü — her biri bir sonraki yazının tohumu olacak. sen de istersen bu yolculuğa katıl; her hafta bir yeni yazıyla, hem onun büyümesini hem de bu alanın nasıl düşündüğünü birlikte takip edelim.

ama önce o doğum anındaki sessizliğe dönmem lazım, çünkü orada başlıyor her şey.

beklemediğim o “boşluk” beni epey rahatsız etti aslında. bir şey eksik miydi bende? sonra bir araştırmaya denk geldim ve içim biraz rahatladı: ilk kez baba olan erkekler üzerine yapılan bir çalışmada, doğum günü bebeklerini ilk kez kucağına alan babaların oksitosin seviyeleri, kucağa almadan hemen önceki seviyelere göre belirgin biçimde yükseliyor — ve bu artış, sonraki aylardaki bakım davranışlarıyla ve baba-bebek bağıyla ilişkili çıkıyor. yani o saniyede hiçbir şey hissetmemiş olmam, sistemin boş olduğu anlamına gelmiyordu. sistem o saniyede henüz ilk verisini almamıştı, hepsi bu.

bir başka çalışma daha ince bir ayrım getiriyor. anne ve babada oksitosin seviyeleri birbirinden çok farklı değil — ama aynı hormon farklı davranışlarla eşleşiyor. annede oksitosin artışı daha çok bakış, şefkatli dokunuş ve yakınlıkla ilişkiliyken, babada uyarıcı oyunla, keşfi teşvik etmeyle ve bebeğin dikkatini nesnelere yönlendirmeyle ilişkili bulunuyor. yani ikimizde de “ağırlıklar” var, ikisi de sıfır değil — sadece farklı bir fonksiyona doğru optimize oluyor.

üçüncü bir bulgu ise daha da geriye gidiyor: gebelik döneminden itibaren, ilk kez baba olacak erkeklerde testosteron ve vazopressin seviyeleri, baba olmayan kontrol grubuna kıyasla daha düşük seyrediyor — ve bu düşüklük, doğum sonrası daha yüksek bir ebeveynlik yatırımını öngörüyor. demek ki “sıfırdan başlıyorum” hissi bile, görünmeyen bir ön-hazırlığın üzerine kuruluymuş. beden, zihin henüz hiçbir şey hissetmeden aylar önce kendi parametrelerini sessizce ayarlamaya başlamış.

bu beni asıl ilgilendiren tarafa getiriyor: hissetmemek ile hazır olmamak aynı şey değil. bir sistem “sonuç üretmiyor” diye “çalışmıyor” değildir — bazen sadece henüz gözlemlenebilir bir çıktı vermiyordur.

yapay zeka tarafında bunun bir adı var: random initialization. bir sinir ağı eğitime başlamadan önce, katmanlardaki ağırlıklara rastgele değerler atanır. henüz hiçbir veri görmemiştir, hiçbir şey “bilmez” — ama bu rastgelelik, gerçekten kör bir rastgelelik değildir. xavier initialization ya da he initialization gibi yöntemler, ağırlıkları tamamen rastgele değil, ağın derinliğine ve genişliğine göre hesaplanmış belirli bir dağılımdan seçer. bunun nedeni pratik: eğer ağırlıklar çok büyük seçilirse sinyal katmanlar arasında ilerlerken patlar (exploding gradients), çok küçük seçilirse sinyal sönümlenir ve ağ hiçbir şey öğrenemez (vanishing gradients). yani “rastgele” görünen başlangıç noktası bile, sistemin mimarisine göre sessizce ayarlanmıştır, tam da o mimarinin ne kadar sinyal taşıyabileceği hesaplanarak — tıpkı gebelik boyunca bir babanın bedeninde sessizce gerçekleşen o hormonal hazırlık gibi.

asıl öğrenme, ilk veri noktasıyla başlar. ağ ilk örneği gördüğünde, ilk forward pass’i çalıştırdığında, ağırlıklar küçük küçük kaymaya başlar. o ilk an, “sonuç” üretmez — sadece sistemi harekete geçirir. ilk birkaç adımda ağ hâlâ neredeyse rastgele tahminler üretir; asıl fark, geriye yayılımın (backpropagation) her adımda ağırlıkları biraz daha doğru yöne çekmesidir. bir anlık aydınlanma yoktur, birikimli bir kayma vardır.

idil hanım’ı ilk kucağıma aldığım saniye de böyleydi sanırım. büyük bir aşk patlaması değil, ilk forward pass’di. ağırlıklar o saniyede sıfırdan bire sıçramadı — ama hareket etmeye başladılar.

ama itiraf etmem gereken bir şey var: az önce anlattığım “rastgele başlangıç” hikayesi tam olarak doğru değil, en azından benim için.

çünkü ben doğum anına gerçekten boş gelmedim. on beş yıl boyunca başka bir alanda — modellerin nasıl öğrendiğini, nerede hata yaptığını, hangi verinin hangi davranışı ürettiğini — düşünerek geçirdim. bu, yapay zekada transfer learning‘e benziyor: bir model, tamamen ilgisiz görünen bir görevde eğitilir, sonra o eğitimden kalan ağırlıklar yeni, hiç görmediği bir göreve aktarılır ve orada ince ayar (fine-tuning) yapılır. modelin yeni görevle hiç ilgisi olmayan bir veri kümesinde öğrendiği şey, tümüyle işe yaramaz değildir — genelleşebilir kalıplar, örüntü tanıma becerisi, “nasıl öğrenileceğini öğrenme” kapasitesi taşınır.

babalık da böyle bir transfer gibi hissettiriyor bana. babalığa dair sıfır tecrübem var ama sıfır hazırlığım yok. sabır, gözlem, hatadan öğrenme, belirsizlikle oturabilme — bunların hepsi başka bir “görev”de biriktirdiğim ağırlıklar. şimdi bunları yeni bir göreve, çok daha yüksek riskli ve çok daha az geri bildirimli bir göreve aktarmaya çalışıyorum. fine-tuning’in zor kısmı da tam burada: eski ağırlıklar bazen yardımcı oluyor, bazen yanlış yöne çekiyor. bir yazılım problemine yaklaştığın disiplinle bir bebeğin ağlamasına yaklaşamıyorsun — ama merak etme, gözlemleme, sabırla veri toplama refleksi işe yarıyor.

fine-tuning’in bir de tehlikesi var: catastrophic forgetting. bir model yeni göreve çok agresif bir şekilde ayarlanırsa, eski görevde öğrendiği faydalı örüntüleri de unutabilir — yeni veriye o kadar hızlı uyum sağlar ki, taşıdığı genel bilgiyi kaybeder. babalıkta da benzer bir risk var sanırım: yeni role o kadar sarılabilirsin ki, seni sen yapan, işe yarayan eski alışkanlıkları, ilişkileri, disiplinleri kaybedebilirsin. asıl ustalık, eskiyi tamamen silmeden yeniye açılabilmekte.

doğum anındaki o sessizlik bende bir eksiklik değildi. henüz işlenmemiş bir başlangıç noktasıydı — mimarisi hazır, dağılımı hesaplanmış, üstelik başka bir görevden aktarılmış ağırlıklarla yüklü, ama daha babalığa dair hiçbir veri görmemiş bir ağ gibi. asıl soru “neden hemen hissetmedim” değilmiş demek ki. asıl soru şuymuş: ağırlıklar ne zaman anlam kazanır — ilk veri noktasında mı, önceden taşınan deneyimde mi, yoksa öğrenme hiç durmadığı için hep mi?

bu soruyu idil hanım büyüdükçe, ben de öğrenmeye devam ettikçe burada birlikte cevaplamaya çalışacağız. sen de takipteysen, önümüzdeki haftalarda ilk gülümsemeden ilk kelimeye, kendi ağırlıklarımızın nasıl güncellendiğini birlikte izleyeceğiz.