Transformer Nedir? Dikkat Mekanizmasını Deneyerek Öğren

Bir dil modeline “Türkiye’nin başkenti…” yazdığınızda ekranda “Ankara” belirir. Peki aradaki boşlukta ne olur? Kelimeler bir sözlükten mi çekilir, cümle ezberden mi tamamlanır, yoksa her defasında yeni bir hesap mı yapılır?

Transformer, bu hesabı kurmanın bir yoludur: metni sayısal parçalara dönüştürür, parçalar arasındaki ilişkileri işler ve bağlama uygun bir çıktı üretir. Bu yazıda mekanizmayı adım adım açacağız. Üç küçük deneyde sayıları kendiniz değiştirebilir, en alttaki videoda bütün akışı izleyebilirsiniz.

Bu sayfanın küçük anlaşması: Deneylerdeki parçalar, vektörler ve puanlar öğretim için seçildi. Tarayıcıda gerçek bir dil modeli çalışmıyor. Hesaplar gerçek; modelden ölçülmüş veri oldukları iddiası yok.

01 / Önce kelimeler değil, tokenlar

Bilgisayar metni doğrudan bizim gibi okumaz. Bir tokenizer, metni token denen parçalara ayırır; her parçayı sözlükteki bir kimlikle eşler. Token bazen bir kelime, bazen bir kelimenin parçası, bazen de noktalama işaretidir. “Bir token eşittir bir kelime” kuralı yoktur.

Türkçe, “kitaplarımdan” gibi bir sözcüğe birden fazla ek sığdırabilir. Bu nedenle alt kelime parçaları kullanışlıdır. Ancak tokenizer bir dil bilgisi öğretmeni gibi ek çözümlemesi yapmak zorunda değildir: parçalama biçimi kullanılan algoritmaya ve öğrenilen sözlüğe bağlıdır. Hugging Face’in tokenizer anlatımı, kelime, karakter ve alt kelime yaklaşımlarını karşılaştırır.

Aşağıda önce örneği seçin, sonra bir parçaya dokunun. Aynı metnin önce ayrık kimliklere, ardından sayısal vektörlere dönüştüğünü göreceksiniz.

02 / Bir kimlik, bir vektöre nasıl dönüşür?

Token kimliği, sözlükteki satır numarası gibidir. Kimliği 42 olan bir token, kimliği 21 olanın “iki katı anlamlı” değildir. Model bu kimliği, öğrenilmiş bir embedding tablosundan bir vektör seçmek için kullanır.

Vektörü, birçok özelliği aynı anda taşıyan bir sayı listesi olarak düşünün. Deneyde okunabilir olması için üç sayı gösterdik. Gerçekte boyut sayısı mimariye göre çok daha büyük olabilir; ayrıca her boyuta “hayvanlık”, “duygu” veya “şehir” gibi kesin bir etiket vermek genellikle mümkün değildir.

Başlangıçtaki token vektörü ile katmanlar boyunca güncellenen bağlamsal vektörü ayırmak da önemlidir. “Yüz” kelimesini “yüz lira”, “gülen yüz” ve “denizde yüz” içinde düşünün. Yazım aynı olsa da çevresindeki metin değiştikçe modelin işlediği temsil değişir.