Büyük Dil Modellerinin Ateşi Çıkarsa

Büyük dil modellerinin ateşi çıkmaz. Çıkarsa da doktora değil, matematiğe götürmek gerekir. Çünkü ortada grip değil, sadece softmax’ın terlemesi var. 

Yapay zekâ tartışmalarında yeni moda bu günlerde “temprature”. Yani sıcaklık.  Sıcaklığı artırırsak, LLM modelleri yaratıcı yapabilir miyiz? sorusu tartışılıyor. Yani basitçe: makinenin ateşi çıkınca şiir yazıyor, düşünce muhasebeciye dönüşüyor gibi.

Ama işin aslı tamamen üniversitede gördüğümüz istatistik dersinin özü. Temperature, modelin ruh hali değil; olasılık musluğu.

Matematiğin içine girersek: Dil modelleri aslında her kelimeye bir “puan” veriyor. Bu puanlar softmax denilen formüle giriyor ve olasılığa dönüşüyor. İşte sihir sandığımız şey de burada.

Formülün ufak sırrı şu:

Burada T dediğimiz “temperature.” Yani termostat düğmesi.

• T=0’a yakın: Hep en yüksek puanlı kelime seçiliyor. Örneğin “Ben kırmızı seviyorum” → “elma.” Nokta.
• T=1: Modelin orijinal dağılımı korunuyor. Elma baskın ama bazen “şarap” da çıkabilir.
• T>1: Olasılıklar düzleşiyor. “Elma”yla “soğan” arasındaki fark azalıyor. Ve işte burada modele “yaratıcı oldu” diyoruz.

Ama dikkat edersek buraya kadar ortada ne ilham var ne de hayal gücü. sadece zarın yüzlerini eşitleyen bir matematik gerçekleşiyor.

Kahve makinesi analojisi ile devam edelim. Normalde size espresso veriyor. Temperature’ı artırınca makine bir gün “mercimek çorbası” ikram ediyor. Evet beklenmeyen bir sürpriz, ama menüye yeni yemek katmamıştır. Ama ondan sonra gelecek aksiyonları farklı tetikleyecektir.

Aynı şey futbolda düşünürsek. Normalde Messi’ye pas veren model, temperature yüksek olunca kaleciye top atıyor. İlginçtir ama Guardiola’nın defterinde yoktur. Yeni bir şey yaratmış oluyoruz bu durumda!

Peki bunun bir faydası yok mu?

Var: “serendipity”.

Girişimcilikte bazen en büyük sıçramalar, planlamadığınız karşılaşmalardan doğar. Yanlış oteldeki kahvaltıda yatırımcıyla tanışırsınız, yanlış etkinlikte ortak bulursunuz. İşte temperature’ın yaptığı çeşitlilik de buna benziyor: Model size hep “elma” demek yerine bir gün “soğan” diyebiliyor. Bu ilk bakışta saçma gelebilir ama bazen bu tesadüfler yeni fikirlerin fitilini ateşler.

Özellikle AI agent ekosisteminde bu önemli. Bir asistanın “alışılmış” yanıtları yerine beklenmedik seçenekler üretmesi, diğer ajanları tetikleyip zincirleme bir yaratıcılık simülasyonu yaratabilir. Yani tek başına yaratıcı olmasa da, çeşitliliği artırarak başka yaratıcı süreçlerin kapısını aralayabilir.

Ama burada da ölçüyü bilmek lazım. Çünkü “serendipity”nin tadı kararında güzeldir. Aksi halde konferansta yanlış salona gireyim derken otelin mutfağında bulaşıkhaneye düşebiliriz.

“Temperature yükselince model yaratıcı oluyor” lafı, şu anda tost makinesine “gurme” demekten farksız. Ama biraz şans, biraz tesadüf (serendipity) için faydalı olabilir. Yaratıcılığın tohumu yine insanda; modelin payına düşense ihtimallerle bizi hafifçe iteklemek.

Kısacası, büyük dil modellerinin ateşi çıkmaz. Çıkarsa da doktora değil, matematiğe götürmek gerekir. Çünkü ortada grip değil, sadece softmax’ın terlemesi var. 

#chatgpt ile ironileştirdim.