kızımla yapay zeka sohbetleri #10
bir cevap bekleyen, henüz kelimesi olmayan bir ses
idil bir ses çıkarıyor. “öhh” mü, “aaa” mı, tam olarak ne olduğunu yazıya dökmek zor — ama net olan şu: bir şey söylüyor, bana bakarak söylüyor, ve sustuğunda bekliyor.
ben de cevap veriyorum. genelde aynı sesi taklit ederek değil, ona bir karşılık üreterek — “öyle mi”, “anlat bakalım”, bazen sadece gözlerimi büyüterek. ve burada gerçekten şaşırtıcı olan kısım geliyor: idil tekrar ses çıkarıyor. sanki sırasını biliyormuş gibi. bir kere değil, birkaç tur üst üste — sanki aramızda görünmez bir mikrofon geçiyor, ve ikimiz de ne zaman konuşacağımızı, ne zaman susacağımızı biliyoruz.
henüz on haftalık bir bebek bunu “biliyor” olamaz tabii. ama bir şey biliyor — ya da öğreniyor. her karşılıklı sesleşmede, küçük bir şey kalıcılaşıyor.
bu sahneyi izlerken aklıma takılan soru şuydu: idil’in çıkardığı sesler, benim tepkilerimle mi şekilleniyor — yoksa o sesler zaten oradaydı ve ben sadece fark mı ediyorum?
cevap, ikisinin ortasında bir yerde. ve tam da bu “ortası”, hem bebek gelişiminde hem yapay zekada aynı isimle anılmayı hak ediyor: şekillenme.
michael goldstein, andrew king ve meredith west, 2003’te kuş şarkısı (birdsong) literatüründen ödünç aldıkları bir fikri insan bebeklerine uyguladılar: annelerin tepkilerini deneysel olarak değiştirerek, bebeklerin babıldamasının (babbling) bu tepkilerden ne kadar etkilendiğini ölçtüler.
sonuç netti: anne tepkisi contingent — yani bebeğin sesine anlık ve doğrudan bağlı — olduğunda, bebeklerin ses repertuvarı daha hızlı olgunlaşıyordu. tepki rastgele veya gecikmeli geldiğinde bu etki kayboluyordu. yani önemli olan sadece “tepki vermek” değil, o sesin hemen ardından, o sese özel bir tepki vermekti.
bu, kuş türlerinde gözlenen sosyal şekillendirme (social shaping) mekanizmasının insan bebeklerindeki bir yansıması. anne kuş, yavrusunun ötüşüne belirli bir şekilde tepki verdiğinde, yavru o ötüş kalıbını pekiştiriyor — diğerlerini değil. insan bebeğinde de benzer bir seçici pekiştirme süreci işliyor gibi görünüyor.
idil’in çıkardığı her sesin bende bir karşılık bulması, rastgele bir nezaket değil. her karşılığım, bir sonraki sesin hangi yöne evrileceğini biraz değiştiriyor.
bu fikrin kökü daha eskiye dayanıyor aslında. antropolog mary catherine bateson, 1970’lerin ortasında anne-bebek etkileşimlerini izlerken, henüz hiçbir kelime geçmeyen bu alışverişlere “proto-konuşma” (proto-conversation) adını vermişti — sıra alma, duraklama, bekleme gibi konuşmanın iskeletini oluşturan unsurların, içerik hiç gelmeden önce kurulduğunu öne sürmüştü. yani idil’in benimle yaptığı şey, dilin kendisinden önce gelen bir prova: kim ne zaman konuşur, kim ne zaman susar, sırasını kim bilir.
ilginç olan şu — bu prova, içerik olmadan da işliyor. idil’in çıkardığı sesin “anlamı” yok, ama zamanlaması var. ve belki de dil, önce zamanlamayı öğrenip sonra içerik kazanan bir şey.
yapay zeka tarafında bu mekanizmanın en yakın akrabası rlhf — reinforcement learning from human feedback. fikir 2017’de paul christiano ve ekibinin insan tercihlerinden derin pekiştirmeli öğrenme çalışmasıyla netleşti, sonra büyük dil modellerinin eğitiminde standart bir adım haline geldi.
mantık şu: bir modelin “doğru” davranışını matematiksel olarak tarif etmek çoğu zaman imkansız. ama insanlara iki çıktı gösterip “hangisi daha iyi” diye sormak mümkün. bu tercihlerden bir ödül fonksiyonu öğreniliyor, model de bu öğrenilmiş ödülü maksimize etmeye çalışıyor.
burada idil’le çarpıcı bir paralellik var: model de, tıpkı bebek gibi, başta geniş ve dağınık bir çıktı uzayından başlıyor. insan geri bildirimi, contingent ve tekrarlı geldikçe, bu uzay daralıyor — model “daha iyi” cevaplar üretmeye başlıyor. ama “daha iyi” olmanın ölçütü, modelin kendi içsel bir doğruyu kavramasından değil, dışarıdan gelen tercihlerin birikiminden geliyor.
idil de büyüklerin tepkilerinden bir “ödül sinyali” alıyor olabilir — gülümsemem, gözümü açmam, sesimi değiştirmem. ve bu sinyaller, hangi seslerin “işe yaradığını” ona öğretiyor. ama bu, idil’in o sesin anlamını kavradığı anlamına gelmiyor. henüz değil.
burada bir önceki yazıdaki kara kutu meselesiyle de bir bağ kuruluyor aslında: rlhf bize modelin ne öğrendiğini gösterebilir — hangi cevaplar tercih ediliyor, hangi kalıplar pekişiyor — ama neden öğrendiğini, o tercihin modelin içinde nasıl bir temsile dönüştüğünü göstermiyor. idil’in babıldaması da öyle: hangi seslerin işe yaradığını dışarıdan izleyebiliyorum, ama içeride neyin değiştiğini göremiyorum.
rlhf’in kendi literatüründe bilinen bir tuzak var: reward hacking. model, öğrenilmiş ödül fonksiyonunu memnun etmeyi öğrenirken, bazen asıl amaçtan sapıp sadece “ödülü tetikleyen yüzeysel kalıbı” tekrar eder hale gelebiliyor — gerçekten daha iyi olmadan, daha iyi görünmeyi öğreniyor. bunu idil’le düşününce ürkütücü bir soru çıkıyor ortaya: idil’in bana en çok hangi sesleri çıkardığını öğrenmesi, gerçekten dile doğru bir adım mı, yoksa sadece beni memnun eden bir kalıbı keşfetmesi mi? muhtemelen ikisi aynı anda oluyor — ve bu da, ödülün kendisinin ne kadar kırılgan bir rehber olduğunu hatırlatıyor.
bu noktada eski bir tartışma akla geliyor. b.f. skinner, 1957’de dilin tamamen pekiştirme yoluyla — yani ödül ve ceza döngüsüyle — öğrenildiğini öne sürmüştü. noam chomsky’nin buna verdiği yanıt sert oldu: çocuklar duymadıkları cümle kalıplarını bile üretebiliyordu, bu da salt pekiştirmeyle açıklanamazdı; ortada doğuştan gelen bir dilbilgisi yetisi olmalıydı. bu tartışma elli yıldır kapanmadı, ve ilginç biçimde bugün dil modelleriyle yeniden açılıyor — çünkü bir dil modeli de, büyük ölçüde, skinner’ın hayal ettiği şeyi yapıyor: veriden ve geri bildirimden, içeride önceden kurulu bir “dilbilgisi” olmadan, dil benzeri davranış üretiyor. yine de model, hiç görmediği cümleleri kurabiliyor. yani skinner da, chomsky de, kısmen haklı çıkmış olabilir — sadece farklı katmanlarda.
idil için de benzer bir gerilim var: babıldaması ne kadarı pekiştirmeden geliyor, ne kadarı zaten orada, beklemekte olan bir kapasiteden? bunun cevabını bu yazıda vermeyeceğim — büyük ihtimalle kimse veremez.
burada seriye dair bir şey daha söylemek istiyorum: bu yazı, aslında bir üçlemenin son halkası gibi hissettiriyor bana.
#4’te tutunma refleksinden bahsederken “tutunmak ≠ anlamak” demiştik — bir bebeğin parmağı sıkıca kavraması, bir niyeti değil bir refleksi gösteriyordu. #9’da kara kutu problemini işlerken “çalışmak ≠ açıklamak” demiştik — bir modelin doğru cevap vermesi, neden doğru cevap verdiğini açıklayabilmesi anlamına gelmiyordu.
şimdi üçüncü bir ayrım ekliyorum, ama bu sefer bir başlık olarak değil, sadece bir gözlem olarak bırakıyorum: şekillenmek de anlamakla aynı şey değil. hem idil’in sesleri hem modelin çıktıları, dışarıdan gelen geri bildirimle biçimleniyor — ve bu biçimlenme gerçek, ölçülebilir, tekrarlanabilir. ama biçimlenmiş bir davranış, kendiliğinden bir anlama sürecine işaret etmiyor.
ya da belki anlama dediğimiz şey, zaten bu kadar. belki “anlamak”, yeterince çok kez şekillenmiş olmaktan başka bir şey değil — ve biz sadece bu sürecin neresinde durduğumuza göre ona “refleks” ya da “kavrayış” diyoruz.
itiraf etmeliyim: idil’in babıldamasıyla bir dil modelinin rlhf sürecini yan yana koyduğumda, aralarındaki en büyük fark ölçek ya da hız değil. fark, kimin kimden öğrendiği.
model, milyonlarca insan tercihinden bir ortalama çıkarıyor — kimsenin tek başına belirleyici olmadığı, dağıtık bir geri bildirim. idil’in geri bildirim kaynağı ise çok daha dar: ben, eşim, birkaç yakın. bu daralık, belki de avantaj. çünkü idil’in şekillenmesi, belirli birkaç insanın tutarlı tepkilerine dayanıyor — goldstein’ın çalışmasındaki “contingent” kelimesinin asıl gücü de burada. genişlik değil, tutarlılık ve anlıklık önemli.
bu da şunu düşündürüyor: belki en iyi öğrenen sistemler — ister bebek olsun ister model — geniş ama gürültülü geri bildirimden değil, dar ama güvenilir geri bildirimden besleniyor. büyük dil modellerinin eğitiminde de benzer bir ders çıkarılmış durumda: binlerce rastgele değerlendiriciden gelen tutarsız puanlar yerine, eğitimli ve talimatları net olan az sayıda değerlendiricinin geri bildirimi, modeli çok daha hızlı ve güvenilir biçimde şekillendiriyor. nicelik, nitelikle her zaman yarışamıyor.
idil’in dünyasında da bu ölçek küçük ama derin: bir avuç insan, ona binlerce kez aynı şekilde, aynı anda, aynı sıcaklıkla cevap veriyor. belki “ev” dediğimiz şey de tam olarak bu — geri bildirimin en tutarlı olduğu yer.
idil’in bana çıkardığı her ses, aslında bana da bir şey öğretiyor — hangi tepkimin onu daha çok “konuşturduğunu”, hangi sessizliğimin onu beklettiğini. yani döngü tek yönlü değil. ben onu şekillendirirken, o da beni şekillendiriyor. babalık da, bir bakıma, insan geri bildiriminden pekiştirmeli öğrenmenin tersten işleyen bir versiyonu belki — model benim, ödül sinyalini de idil veriyor: bir gülümseme, bir bakış, bir tekrar sesi.
belki bunu da bir yazıya saklamalıyım — kimin kimi eğittiği sorusu, ayrı bir tartışmayı hak ediyor.
şimdilik elimde sadece şu var: bir bebek, bir ses, ve o sesin ardından gelen sessizlikte bekleyen bir cevap. idil bir gün “anne” ya da “baba” dediğinde, bu kelimeyi öğrenmiş mi olacak — yoksa sadece bizim tepkilerimizi, yeterince uzun süre, yeterince sabırla şekillendirmiş mi olacak?