idil hanım son zamanlarda tuttuğu her şeyi ağzına götürme derdine düştü. ama gerçekten her şeyi.. elini, elimi, oyuncağını, ana kucağının kemerini, örtüsünü. her şeyi. birkaç gündür de tuhaf bir huysuzluk var üzerinde. dün alt dudağını aşağı çektiğimde diş etinin altında beyazımsı, sert bir kabartı gördüm. henüz daha çıkmamış ama orada.. evet, onlar geliyor. sanki biraz erken ama tüm belirtiler birer birer bize onların geldiğini söylüyor.
evet.. onlar. süt dişleri! idil dünyaya gelmeden önce de orada olan, aylardır bugünlerin gelmesin bekleyen süt dişler.
diş tomurcukları anne karnında, gebeliğin daha ilk haftalarında oluşmaya başlıyor. mineralleşme doğumdan aylar önce ilerliyor. yani idil doğduğunda ağzında yirmi tane dişin taslağı çoktan hazırdı — sadece görünmüyorlardı. bu hafta olan şey bir başlangıç değil; aylardır süren sessiz bir işin, bir eşiği geçmesi.
bu dişler sayesinde ve oturma gibi birkaç özelliğin eklenmesiyle idil artık ek gıdaya falan geçecek. dünya nimetlerinden faydalanmaya başlayacak. biz artık çok anlamasak da bebekler için oldukça önemli bir kilometre taşı. ama beni asıl düşündüren bu değil. beni düşündüren şu — bu dişler, dökülmek üzere yapılmış.
yirmi süt dişinin tamamı gidecek. hiçbiri kalıcı değil. ve daha da ilginci, gidiş biçimleri de planlı: alttan yükselen kalıcı diş, süt dişinin kökünü aşağıdan eritiyor. süt dişi dışarıdan bir darbeyle düşmüyor, kendi halefi tarafından içeriden sökülüyor. bir gün sallanmaya başlıyor, çünkü altındaki yapı onu çoktan çözmeye başlamış.
peki madem gidecekler, neden varlar? — çocuk diş hekimliğinde bunun çok net bir cevabı var: süt dişleri, kalıcı dişler için yer tutuyor. çiğnemeye, konuşmaya, çene kemiğinin doğru gelişmesine katkıları elbette var. ama en kritik işlevlerinden biri, altlarında bekleyen dişin çıkacağı boşluğu korumak. bir süt dişi vaktinden önce kaybedilirse komşu dişler o boşluğa doğru kayıyor, ve yıllar sonra çıkacak olan kalıcı diş kendine yer bulamıyor — çapraşıklık, gömülü kalma, yanlış konumda sürme. o kadar ki, erken kaybedilen bir süt dişinin yerine hekimler “yer tutucu” denen küçük bir aparat yerleştiriyor. sırf boşluğu boş tutsun diye.
yani süt dişinin görevlerinden biri, kendisinin yerine geçecek şeye yer ayırmak. geçici olması, gereksiz olduğu anlamına gelmiyor — tam tersine, geçiciliği işin bir parçası. hatta en önemli parçası.
bir ayrıntı daha var, ve bu ayrıntı bebeğin geri kalanıyla tuhaf bir tezat oluşturuyor. idil’in bedeninde şu an neredeyse her şey esnek: kemikleri şekil alıyor, sinir bağlantıları kuruluyor ve budanıyor, kasları yeniden düzenleniyor. bunlardan her hafta bahsediyoruz.. ama diş minesi öyle değil. mine bir kez oluştuktan sonra onu üreten hücreler ortadan kalkıyor, ve mine kendini bir daha asla onaramıyor. bedenin en sert dokusu, aynı zamanda en az affeden dokusu. her şeyin değişebildiği bir bedende, değişemeyen tek bir parça.
yapay zekada bu fikrin çok güzel karşılıkları var, ve itiraf etmeliyim ki bunları yıllarca sırf “işe yaradığı için” kullandım; ne anlama geldiklerini düşünmedim.
en net örneği bilgi damıtma (knowledge distillation). geoffrey hinton, oriol vinyals ve jeff dean’in 2015’te yayımladığı distilling the knowledge in a neural network çalışmasında anlatılan fikir şu: önce büyük, ağır, hantal bir model eğitiyorsun. sonra bu büyük modeli bir öğretmen olarak kullanıp, çok daha küçük bir öğrenciyi onun çıktılarını taklit etmeye yönlendiriyorsun. öğrenci eğitildikten sonra öğretmen modele artık ihtiyaç kalmıyor — sisteme koyulan, canlıya alınan, çalıştırılan şey küçük modeldir. öğretmen modeller işleri bittiğinde kenara fırlatılır.
ama öğretmen olmasaydı, öğrenci o noktaya gelemezdi. büyük modelin bütün varlık sebebi, kendisi olmadan var olamayacak daha küçük bir şeyi mümkün kılmaktı.
benzer bir şey mimarilerin içinde de var. 2014’te googlenet ile birlikte yaygınlaşan yardımcı sınıflandırıcılar (auxiliary classifiers), derin bir ağın ortasına eklenen ek çıkış kollarıydı: eğitim sırasında gradyanın ağın derinliklerine ulaşmasına yardım ediyorlardı. eğitim bittiğinde bu kollar tamamen sökülüyordu. nihai modelde izleri yoktu. ama o kollar olmasaydı, model o haline hiç gelemeyecekti.
2015 yılında ekip olarak yaptığımız hiyerarşik googlenet çalışmasında, bu kolları alıp bir hiyerarşiye emanet etmiştik — ontolojilerin babası, wordnet’e. sonuçlar da enteresan bir iyileşme gerçekleşirken, diğer taraftan da bu yardımcı sınıflandırıcıları da kalıcı hale getirmeyi ummuştuk. fikir yenilikçi olmasına yenilikçiydi ancak başarım açısından bakınca dramatik bir etki yaratmamıştı. geçici olan geçici kalmalıydı sanki..
öğrenme oranı oynamaları, müfredat aşamaları, eğitim sırasında kullanılıp sonra kapatılan düzenlileştirme terimleri.. hepsi aynı aileden. bir sistemi kurarken, o sistemin nihai halinde bulunmayacak şeylere ihtiyaç duyuyoruz. iskele, binanın parçası değil — ama binanın var olma koşulu.
burada dikkatli olmak lazım, çünkü kolaylıkla bir yanlış anlamaya alan açabiliriz — geçici olan her şeyin kıymetli olduğunu söylemek fazla rahatlatıcı olurdu. öyle değil. eğitim sırasında eklediğimiz her yardımcı yapı işe yaramıyor; çoğu sadece maliyet. bir süt dişi de her zaman düzgün iş görmüyor, çürüyor, erken düşüyor, arkasındakini zorda bırakıyor.
fark, yapının kendisinden sonrasına ne bıraktığında. öğretmen model, öğrencinin ağırlıklarında iz bırakıyor. süt dişi, çene kemiğinde bir boşluk bırakıyor. ikisi de ortadan kalkıyor ama etkileri kalıyor. iskele söküldüğünde geriye bina kalıyorsa, iskele boşuna kurulmamıştır. sökülünce geriye bir şey kalmıyorsa, o zaten iskele değildi.
bir şeyin ne kadar sürdüğü ile ne kadar önemli olduğu arasında sandığımız kadar sıkı bir bağ yok. bu yazının derdi biraz da bu aslında — her ne kadar dişlere de değinsek, hiyerarşik googlenet’e de.
birkaç haftaya idil’in ağzından çıkacak olan diş, birkaç yıl sonra bir gece sallanacak. belki bir elmayı ısırırken, belki de uykusundayken düşecek. muhtemelen bir kutuya koyacağız, ya da yastığın altına — diş perileri gelip alsın diye.. ve o an gelene kadar bu diş, kendisinden sonra gelecek olana yer tutmuş olacak.
tuhaf bir şey bu — daha çıkmadan sonunu biliyor olmak. ilk dişini bekliyorum, ve aynı anda onun bir gün düşeceğini de biliyorum. sanki bir şeyin başlangıcını ve sonunu aynı anda görüyorum.
işin ister istemez bir de dramatik bir boyutu var — hüğğ. ben de idil’in hayatında bazı şeyler için bir yer tutucuyum belli ki. onun bugünkü dünyasında oldukça büyük bir yer kaplıyorum. mesafeleri benimle ölçüyor, sesleri benim sesimle karşılaştırıyor, korktuğunda bana bakıyor. ama bu kalıcı bir konum değil. bir gün başkaları gelecek — arkadaşlar, öğretmenler, sevdiği insanlar, kendi çocukları. ve benim şu an doldurduğum alanın bir kısmı onlara geçecek — acı ama gerçek.
öğretmen model, öğrenciyi eğitir ve kenara çekilir. yardımcı kol, gradyanı taşır ve sökülür. süt dişi, boşluğu korur ve düşer. hiçbiri başarısızlık değil — hepsi tasarımın parçası.
peki, herhangi bir baba bunu bilerek durabilir mi orada? bir gün bırakacağım bir yeri, şimdi tam olarak doldurmak — bu ikisi aynı anda mümkün mü?