kızımla yapay zeka sohbetleri #5
idil hanım'ın kırkı çıktı! bebe tahliyeee!
bu hafta itibariyle kırkımız çıktı ve dün ilk kez bebek arabasıyla birlikte trafiğe çıktık. rotamız, reşatbey semt pazarı!
bu bir ritüeldi. anneanne ve babaanne “kırkı çıkmadan dışarı çıkmaz” demişti, biz de çıkarmadık. sonuçta bu hafta itibariyle ilk kez kapı dışına taşıdık. pazar yeri seçmek de tesadüf değildi — kalabalık, gürültülü, kokulu.. hayatın tam ortası. ilk çıkış için belki alışılmadık bir yer ama ritüel olarak doğruydu: sadece sokağa değil, dünyaya adım atıyordu.
idil hiçbir şeyin farkında değildi tabii. uyuyordu büyük ölçüde. ama biz farkındaydık — ve bu belki o an için yeterliydi.
türk kültüründe kırk sayısı ciddi bir ağırlık taşır.
kırkından önce bebek dışarı çıkmaz. yas kırk gün tutulur. kahvenin kırk yıl hatrı vardır. “kırk katır mı, kırk satır mı” sorusu imkânsız bir seçimi anlatır. halk masallarında kırk haramiler vardır, kırk kapı vardır, kırk gün kırk gece süren düğünler vardır. islam kültüründen de şüphesiz kırk üzerinden bir anlatı kurulmaya çalışılmış.
sayı nereden gelirse gelsin, “kırk” hep aynı şeyi işaret ediyor — bir eşiği, bir olgunlaşmayı, bir geçişi.
bu tesadüf değil. belki de insan zihninin bir yerde bir sınır çizme ihtiyacından doğuyor: burada bitti, şimdi yeni bir şey başlıyor. sınırın tam olarak nerede olduğu değil, sınırın kendisi önemli. belirsizliği taşınamaz hale geldiğinde, kültür bir sayı seçiyor ve o sayıya anlam yüklüyor.
douglas adams, otostopçunun galaksi rehberi‘nde “yaşamın, evrenin ve her şeyin cevabı”nın 42 olduğunu söyler. cevabı hesaplayan deep thought adlı bilgisayar, yedi buçuk milyon yıl düşündükten sonra bu sonuca varır — ama kimse sorunun ne olduğunu hatırlamamaktadır — cevaptan önce soruyu bilmek gerekir; bu da başka bir yazının konusu olur muhtemelen. türkler galiba adams’tan iki sayı önde gitmiş. cevap 42 değil, 40’mış. keşke adams aramızdan ayrılmamış olsaydı da, onunla şöyle bi oturup 40 ile 42’yi dövüştürmek isterdim.
peki neden kırk?
biyoloji bir ipucu veriyor. doğumun ardından yaklaşık altı hafta boyunca yenidoğanın bağışıklık sistemi henüz anne karnından getirdiği antikorlarla çalışır — buna pasif bağışıklık deniyormuş. bu koruma geçici olup, etkisi zamanla azalır. bebeğin kendi bağışıklık sistemi devreye girene kadar dış dünya gerçekten daha büyük bir risktir. enfeksiyon kapısı daha geniştir, yabancı mikroplara karşı savunma daha kırılgandır.
kırkın çıkması, modern tıptan önce gelen bir sezginin dondurulmuş halidir belki de — klinik deney değil ama milyonlarca ailenin nesiller boyu ürettiği ve aktardığı bir bilgi. gözlemden doğmuş, ritüele dönüşmüş, sonra ritüel olarak yaşamaya devam etmiş. bilimsel dergide yayınlanmamış ama test edilmiş — kalabalık ve uzun bir örneklemle.
toplumun “bu bebek artık dünyaya tutunabilir” dediği an.
ama bu beni asıl soruya götürüyor — tutunabilmek ne demek? ve kim, ne zaman hazır sayılır?
neuroscience bu soruya “kritik dönem” kavramıyla yaklaşıyor.
david hubel ve torsten wiesel — görme biçimleri yazısından da hatırlayabileceğiniz ikili — yaptıkları deneylerle şunu gösterdiler: yenidoğan kedi yavrularının bir gözü doğumdan hemen sonra kapatılırsa, o göze karşılık gelen beyin bölgesi kalıcı olarak zayıflar. görsel sistem sadece girdi almakla kalmıyor, o girdinin zamanında gelmesine ihtiyaç duyuyor. kritik dönem bir penceredir. pencere açıkken gelen deneyimler sistemin temelini oluşturur; pencere kapandığında bazı şeyler artık aynı biçimde öğrenilemez.
bu insanlar için de geçerli. dil edinimi bunun en çok bilinen örneği — erken çocuklukta yeterince duyulmayan bir dil için beyin o esnekliği kaybeder, daha doğrusu farklı bir esneklik haline gelir. değiştirilemez mi? hayır. ama daha zordur ve artık başka bir süreçtir.
kırk belki tam bu yüzden var: kritik dönemin ilk evresinde bir nefes almak, sistemin biraz daha dayanıklı hale gelmesini beklemek, sonra dünyaya bırakmak. bebek dışarıya tam olarak “hazır” çıkmıyor — ama artık daha dayanıklı. ve belki bu yeterli.
ve haydi biraz da yapay zeka diyelim.
büyük dil modellerinin eğitimi birbirini izleyen üç aşamada düşünülür.
ilki pre-training. modelin internetin büyük bir bölümünü, kitapları, makaleleri, kodları, akademik yayınları tüketerek genel bir dünya temsili oluşturduğu uzun ve pahalı süreç. bu aşamada model gerçek dünyayla doğrudan konuşmuyor. kontrollü bir ortamda, kurallı bir veri akışıyla besleniyor. çok büyük, çok gürültülü ama aynı zamanda temizlenmiş, filtrelenmiş bir veri havuzu. bir tür kırkına kadar korunma hali — dış gürültüden yalıtılmış değil, ama dünyanın ham gerçekliğiyle de henüz temas yok.
ikincisi fine-tuning (ince ayar). modelin belirli bir görev, belirli bir ton, belirli bir kullanıcı grubu için uyarlandığı aşama. pre-training genel bir temel oluşturur, fine-tuning onu şekillendirir. pazara ilk kez çıkmak gibi biraz — ortam değişiyor, beklentiler netleşiyor, sistemin ne için var olduğu daha somut hale geliyor.
üçüncüsü ise asıl ilginç olan: rlhf — reinforcement learning from human feedback, insan geri bildiriminden pekiştirmeli öğrenme. model cevaplar üretir, insanlar bu cevapları değerlendirir — hangisi daha iyi, hangisi daha yardımcı, hangisi daha doğru — ve model bu değerlendirmelere göre kendini günceller. sistem artık sadece veriyle değil, insanın yargısıyla da şekilleniyor. 2017’de yayınlanan ve bu yöntemi sistematik biçimde tanımlayan çalışma bugün neredeyse tüm büyük dil modellerinin eğitim sürecinin ayrılmaz parçası haline geldi.
pazar benzetmesi burada güçleniyor: ilk adım kırkın çıkması, ama asıl şekillenme orada başlıyor — çevrenin tepkisiyle, işe yarayan ve yaramayan şeyleri öğrenerek, geri bildirimle.
ama hubel ve wiesel’e döneyim, çünkü kritik dönem burada da iş yapıyor — ve bu sefer farklı bir pencereden.
bir modelin pre-training verisi, onun “kritik dönemi” sayılabilir mi? o dönemde gördükleri, artık modelin dünya temsili haline gelir. bu temsili sonradan fine-tuning ile değiştirebilirsiniz, rlhf ile törpüleyebilirsiniz — ama bazı şeyler pre-training’de o kadar derin kodlanır ki, sonraki aşamalar bunların üstünden tam olarak geçemez. araştırmacılar buna inductive bias diyor: modelin veriyi yorumlama biçimine önceden gömülü olan eğilimler, başlangıçta oluşan kalıplar. bir bakıma, kritik dönemde şekillenen alışkanlıklar.
hubel ve wiesel’in kedileri gibi.. bir sisteme kritik dönemde ne gösterirsen, o sistemin dünyayı nasıl yorumlayacağını kısmen belirliyorsun. bunu ne kadar fine-tune edersen et, ne kadar insan geri bildirimi eklersen ekle — bazı şeyler pre-training’den geliyor ve orada kalıyor.
bu yüzden büyük dil modellerinin eğitiminde pre-training verisi giderek daha titiz bir mesele haline geldi. hangi diller, hangi dönemler, hangi bakış açıları, hangi önyargılar.. ne öğrettiğin kadar ne zaman ve nasıl öğrettiğin de önemli. kritik dönemin penceresi kapanmadan önce içeri ne giriyor?
ama burada bir fark var ve bunu atlamak istemiyorum.
rlhf’te insan geri bildirimi modeli şekillendiriyor, doğru. ama idil pazarda ne hissettiyse — ışığı, sesi, kalabalığı, soğuğu, tanımadığı yüzleri — onu da bir anlamda “şekillendiriyor.” fark şu: idil bu geri bildirimi kendi sinir sistemiyle, kendi bedeniyle işliyor. bir şeyi seviyor, bir şeyden rahatsız oluyor, bir şeye şaşırıyor — ve bu tepkiler onun. kimse idil hanıma “buna güzelmiş gibi tepki ver” demiyor.
rlhf’te ise tercihler dışarıdan geliyor. model bir şeyi beğenmiyor değil; insanlar beğeniyor ya da beğenmiyor ve model buna göre parametrelerini güncelliyor. sistemin “hissettiği” bir şey var mı, yoksa sadece istatistiksel bir uyum mu gerçekleşiyor?
bu soruyu da sırf spekülasyonlara bayıldığım ve tavşan deliğinden aşağıya yuvarlanmak için erken olduğunu düşündüğümden, şimdilik açık bırakıyorum.
pazar dönüşünde idil uyandı ve etrafına baktı. gözleri henüz net görmüyor — bunu ikinci yazıda konuşmuştuk — ama ışık değişimini hissediyordu. içeriden dışarıya. kapalıdan açığa. kontrollü bir ortamdan, gürültülü, öngörülemez, kokulu gerçek dünyaya.
kim, ne zaman hazır sayılır diye sormuştum.
biz karar verdik. kırk gün saydık, bir sabah “tamam, bugün” dedik. o karar onun değildi. büyük dil modelleri de üretim ortamına kendi isteğiyle çıkmıyor. bir ekip karar veriyor, değerlendirmeler yapılıyor, bir eşik belirleniyor. “yeterince iyi” olduğuna onlar karar veriyor.
türkler buna kırk demiş. adams 42 demiş. geliştiriciler / mühendisler buna “production-ready” diyor.
hepsi aynı soruyu soruyor: ne zaman yeterince hazır?
ve hiçbiri tam olarak cevap veremiyor — çünkü “hazır” denen şey, temas kurulduktan sonra anlaşılıyor. idil pazarda ne hissetti bilmiyorum. ama döndüğünde bir şey değişmişti — ya onda, ya da benim ona bakışımda.
peki model, üretim ortamına çıktıktan sonra gerçekten değişiyor mu?
ya da sadece biz mi farklı bakıyoruz?