kızımla yapay zeka sohbetleri #3
dokunuyoruz, öyleyse varız. algı kapılarını açıyoruz, the doors sen de burada mısın kardeşim?
bir şeyi kavramak (dokunmak / tutmak), onu anlamak demek değildir.
bunu ilk kez bir felsefe kitabında okumadım, hatta bunu bir yerden de alıntılamıyorum. bunu tamamıyla idil’den öğrendim.
son zamanlarda yeni açılan becerimiz: kavramak!
idil artık kucağımda dururken kolumu, emerken annesinin saçını ya da öylesine keyif yatışı yapıyorsa yanındaki ilk eşyayı tutmak, kavramak istiyor. ve bunlar gelişi güzel değil.. parmağımı sanki bir alet kullanırcasına, bizim çatalı / bıçağı tutuşumuz gibi kavramaya başladı.
dört haftalık bir bebek, eline ne gelirse kavrıyormuş meğerse. buna da palmar grasp (avuç içine dokunan her şeyi refleks olarak sıkıştırma eylemi) deniyormuş. doğumla birlikte gelen, sorulmadan yüklenen bir beceri. idil annesinin saçını kavrarken saçın ne olduğunu bilmiyor, benim kolumu tutarken kol kavramına dair hiçbir şey yok içinde.. sadece tutuyor. sıkıca.. ama kavradığı şeyin ne olduğundan habersiz.
bugün gözüm kapalı birçok nesneyi sadece dokunarak tanıyabilirim ya da ayrıştırabilirim. bir nevi, gözümün görmediği bir şeyi de tanımlayabilirim. ama bilin bakalım idil hanım şu an neyi yapamıyor — evet, evet.. o an göremediği şey onun için yok hükmünde. varlığın altını çizmek için de tüm dokularını oyuna sokuyor. bu aralar da dokunma duyumuz en ön planda gibi duruyor.
parmağımı avucuna koyduğumda, bir gün öyle bir sıktı ki.. aklımda yavaş yavaş bir şeyler şekillenmeye başladı: kavramak ile anlamak arasında ne kadar büyük bir mesafe var..
jean piaget bu mesafeyi ömrü boyunca incelemiş. isviçreli psikolog abimiz çocukların nasıl düşündüğünü anlamak için onlarca yıl boyunca hem kendi çocuklarını ve hem debinlerce başka çocuğu gözlemlemiş — ve vardığı sonuç şuymuş: bir bebeğin ilk birkaç ayı, saf motor reflekslerden ibarettir. kavramak, emmek, bakmak.
bunlar öyle zekayla falan alakalı şeyler değil, dümdüz biyolojik şeyler. piaget bunlara “birincil dairesel tepkiler” diyor ve “bebek bir hareketi yapar, bu hareket bir duyuma yol açar, duyum bebeği aynı hareketi tekrar yapmaya iter.” şeklinde tezini ortaya atıyor. bu böyle kendi içinde bir döngü oluşturuyor ama döngünün içinde henüz bir anlam bulunmuyor. bebek tuttuğu şeyin ne olduğunu değil, tutmanın kendisini öğreniyor.
anlam, ancak bebek bir nesnenin yokluğunu fark etmeye başladığında ortaya çıkmaya başlar. buna “nesne kalıcılığı” deniyor — görmediğim şey hâlâ var mı? elindeki oyuncak örtünün altına kaybolduğunda onu aramaya başlamak, basit bir kavramadan çok daha büyük bir sıçramayı gerektirir: zihnin, görünmez olanı temsil edebilmesini.
idil henüz bu soruyu sormuyor. ama umuyorum ki yakında soracak ve artık o ardı arkası uzunca zaman kesilmeyecek soru yağmuru başlayacak. bunun için gizliden gün sayıyorum. hiç sıkılmadan hepsini yanıtlamak istiyorum. fizik mühendisliği eğitimim boyunca, richard feynman’ı tanıdığım ve onun bakış açısını hem fizik bağlamında hem de yaşantı bağlamında kendime destur edindiğim için çok şanslı hissediyorum. ilerleyen haftalar, aylar ve yıllarda; feynman’a çokça temas edeceğimize adım gibi eminim. ama şimdilik çok da spoiler vermeden, idil hanımın sorularına vereceğim cevaplardaki yaklaşımım kabaca aşağıdaki alıntı gibidir deyip, ilerlemekle yetineyim.
bir sonraki pazartesi, babaların hepsi işe döndüğünde, biz çocuklar bir tarlada oynuyorduk. çocuklardan biriyle şöyle bir diyalogumuz oldu:
- şu kuşu görüyor musun? bunun cinsi ne?”
+ hiçbir fikrim yok.
- bu kahverengi boğazlı ardıç kuşudur. baban sana hiçbir şey öğretmiyor!ama tam tersiydi. babam bana bunu çoktan öğretmişti:
- şu kuşu görüyor musun?
- bu bir spencer ötleğeni. (babamın gerçek adını bilmediğini biliyordum.)
- italyancası chutto lapittida, portekizcesi bom da peida, çincesi chung-long-tah ve japoncası da katano tekeda. bu kuşun adını dünyanın tüm dillerinde bilebilirsin, ama işin bittiğinde kuş hakkında kesinlikle hiçbir şey bilmeyeceksin. sadece farklı yerlerdeki insanları ve kuşa ne dediklerini bileceksin.
- öyleyse hadi kuşa bakalım ve ne yaptığını görelim. önemli olan bu.bir şeyin adını bilmekle bir şeyi bilmek arasındaki farkı çok erken öğrendim.
richard feynman
neyse.. nerede kalmıştık? bizim idil hanım göremedi şeyleri yok olmuş hatta hiç varolmamış sayıyordu. bu konsepti anlamak için gerçekten bir ömür verilebilir. ben de bu postun bağlamını yaratmaya çalışırken john bowlby’e ve onun bağlanma teorisine denk geldim. benim kavramak ve anlamak arasındaki mesafeyi başka bir açıdan, başka aletlerle ölçümlemeye kalkmış enteresan birisi.
ingiliz psikiyatrist bowlby, savaş yetimlerini ve annesiz büyüyen çocukları yıllarca izlemiş, tıpkı piaget gibi. sonrasında da şöyle bir çıkarım yapmış: bebekler, anne ya da bakıcıya tutunurlar — hem fiziksel olarak hem de duygusal olarak. bu tutunma, biyolojik bir zorunluluktur; yakınlık güvenliktir, güvenlik hayatta kalmaktır. ama bowlby’yi asıl meşgul eden şey, bu tutunmanın zamanla nasıl içselleştirildiği ve bir anlama dönüştüğüymüş. çünkü gözlemleri sonucunda fark ettiği şey bebeklerin, bakıcılarını artık zihinsel olarak taşımaya başladığıymış. yani bebekler artık sadece tutunmakla kalmayıp, tutunduğunu hatırlar ve bu hatıra, dünyayla kurduğu tüm ilişkinin çekirdeği olur.
özetle diyebiliriz ki; tutunmak, burada bir başlangıçtır. anlam, tekrarlardan ya da hatıralardan çıkar. çok fazla bebek konuştuk, hani kardeşim bu yazının yapay zekası diyenlere çok geç kalmadan hemen yanıtımızı verelim.
2017 yılında google’dan bir ekip “attention is all you need” başlıklı bir makale yayımladı. bugün neredeyse her büyük dil modelinin temeli olan transformer mimarisini ortaya koyan bu çalışma, alanı kökten değiştirdi. bir önceki yazıyı hatırlayacak olursanız cnnler — convolutional neural network için devrim demiştim. bu da devrimini ağa babası gibi bir şey. günümüzde, özellikle potansiyel meslektaşlarımızın nereden başlayalım sorusuna verdiğim yanıtların en başında bu makale geliyor. “ai engineering”, “agentic ai”, “prompt engineering” vb. ne varsa kaynağı bu makaledir. birazdan bu makaleyi anlamak bağlamında biraz tartışacağız ama başlığındaki iddiaya bir kez daha dönüp bir baksanıza — dikkat, her şeydir.
Attention Is All You Need
o bildiğiniz reinforcement learning’in skor fonksiyonları bir kenara, öz-kardeşler pide salonu gibi öz-dikkat mekanizması bir kenara..
attention mekanizması kabaca şöyle çalışıyor: bir yapay zeka modeli bir cümleyi okurken her kelimeye eşit ağırlık vermez — tıpkı bizim okurken bazı kelimelerin üzerinde daha uzun durduğumuz gibi. “ocak başında bekliyoruz.” cümlesinde model, ocak kelimesinin ne anlama geldiğine karar verirken; eğer cümlenin devamında “kar” veya “takvim” varsa zaman dilimine yüksek, eğer “kebap” veya “köz” varsa mekana yüksek dikkat atar — yazının adana’da yazıldığı daha nasıl belli edilirdi bilmiyorum. bizim attention mekanizması da bu örnekte olduğu gibi cümleye bakar, bağlamı tarar, ağırlıkları ayarlar ve anlamı — ya da anlam gibi görüneni — inşa eder. buna attention skoru deniyor: modelin, neye ne kadar tutunduğunun sayısal karşılığı.
az önce biricik kızım idil hanıma salladık ama modeli niye boş geçiyoruz. ona da sallayalım. bizim idil hanım bilmiyordu.. peki model şunu biliyor mu, tutunduğunun ne olduğunu?
transformer mimarisinde bir de “multi-head attention” denen bir yapı var — modelin aynı cümleye aynı anda farklı sorular sorması gibi düşünülebilir. bir kafa sözdizimsel ilişkilere bakarken diğeri anlam benzerliklerine, bir diğeri cümlenin genel bağlamına odaklanır. paralel kanallar, eş zamanlı kavrayış..
bu yapının biyolojik karşılığı tam da idil’in şu anki halidir: bir anda hem sesi hem sıcağı hem kokuyu hem de dokunuşu işliyor. tek bir öne çıkan sinyal değil, birbirine ağırlıklı olarak bağlı bir duyusal orkestra. idil hanımın beyni de bu orkestranın şefi!
ama model ve idil arasında küçük bir fark var. modeli makine yapan, idil’i insan yapay o anlamlı fark.. idil’in paralel kanallarının ucunda birikim var. her dokunuş, her ses, her yüz silinmiyor — bowlby’nin dediği gibi, bir iç temsile dönüşüyor. yani o her dokunuş, minnoş minnoş hatıralara dönüşüyor. modelin kanallarının ucunda ise ağırlık güncellemesi var. biri hafızaya dönüşüyor. diğeri parametreye.
sovyet psikolog lev vygotsky, öğrenmenin temelde sosyal bir eylem olduğunu söylüyor. bir çocuk, kendi başına ulaşabileceği seviyenin ötesine ancak bir yetişkinle birlikte çıkabilir. buna “yakınsak gelişim alanı” deniyormuş — şu an bildiğin ile biraz zorlanırsan bilebileceğin arasındaki o dar boşluk. bu boşluk, yalnız geçilemez; bir elin uzanması gerekir.
idil şu an benim elimden tutuyor. bu tutunma bir gün kavramaya dönüşecek. kavramak bir gün anlamaya. anlama bir gün sorgulamaya. ama bu zincirin her halkası bir öncekinin üzerine kurulacak — boşlukta değil, ilişkinin içinde.
transformer ise yalnız öğreniyor. metinden, tokenlardan, istatistiksel örüntülerden.. bağlamı var, ama ilişkisi yok.. neye tutunduğunu biliyor — en azından matematiksel anlamda. neden tutunduğunu bilmiyor. bu farkın nerede anlam kazandığı hala net değil benim için..
bir modelin “neyi kavradığını” test edebiliyoruz — karşılaştırma testleri var, değerlendirme setleri var, modeli yanıltmak için tasarlanmış özel örnekler var. ama bir modelin kavramanın ötesine geçip geçmediğini, yani gerçekten anlamaya ulaşıp ulaşmadığını test etmek için elimizde güvenilir bir araç yok. çünkü anlamak için önce neyin anlaşılacağını tanımlamamız gerekiyor. bu da hâlâ tartışmalı..
idil’in durumu aslında o kadar farklı değil. piaget’nin testleri, bowlby’nin gözlemleri, vygotsky’nin deneyleri — bunların hepsi bebeğin davranışını ölçüyor. içerideki anlama, dolaylı yoldan çıkarılıyor. belki de anlamanın kendisi, her zaman böyle çalışıyor: dışarıdan gözlemlenmiş, içeriden varsayılmış. öğrenme üzerine konuşabilecek, eserleri okunabilecek onlarca insan var. ben kendi atıp / tutmalarımı burada kesebilirim sanırım. bir yerden sonra ben de bir şeyleri gözlemleyip, içten içe varsayımlarımla bir yerlere varmaya çalışıyorum sonuçta.
uzunca lafların ardından beni esir eden soruyla yavaş yavaş bu postu tamamlayabiliriz: anlam, tutunmanın içinde mi doğuyor, yoksa tutunmanın bıraktığı izde mi?
idil her kavrayışında bir şeyler biriktiriyor — hangi dokunuşun güvenli olduğunu, hangi sesin rahatlatıcı olduğunu, hangi tutunmanın bırakılmaması gerektiğini. bu birikim bir gün anlama dönüşecek. belki zaten dönüşmeye başlamıştır bile. çünkü bu aralar ufak ufak gülümsemelere de tanıklık etmeye başladım.
model ise her token’a tutunuyor, her cümleyi işliyor, her bağlamda ağırlıklarını yeniden ayarlıyor. ve sonunda doğru kelimeyi üretiyor. en azından çoğu zaman doğru kelimeyi..
bu satırları tamamlarken parmağım hala idil’in avucunda. parmağı kavrıyor.. sıkıca. ben de parmağımla onun elini kavrıyorum sanırım, en azından matematiksel ve babasal olarak.
ikimiz de ne kavradığımızı tam bilmiyoruz henüz.
okuyuca notlar:
seriye gösterdiğiniz ilgi için bir kez daha teşekkürler. çenemin düşük olduğunu biliyordum ama klavyeden dökülenlere bu kadar ilgi ve alakayı beklemiyordum doğrusu.. geri bildimler doğrultusunda, görseller için artık yalnızca gemini’den destek almaya başladım, bütünselliği koruyoruz böylece. teknik dili, mümkün olduğunca herkese hitap edecek şekle çevirmenin yollarını arıyorum. yazıların bazı yerleri yapay zekalı gibi geliyorsa, bilin ki sebebi budur. igu’m beni şaşırtmazsa bir sonraki yazıyı production’a hazır model ve bebeklerin kırkının çıkması üzerine yazacağım. biz büyümeye devam ediyoruz, görüşmek üzere!