Transformer mimarisi yayımlandı

12 Haziran 2017 · Google Brain / Google Research · arXiv

Sekiz araştırmacının hazırladığı bildiri, metni baştan sona sırayla okumak yerine "dikkat" (attention) mekanizmasını merkeze alan Transformer mimarisini tanıttı. Bugün sınıfta kullanılan modellerin büyük bölümü bu mimarinin türevleridir. Model, istemdeki her kelimeyi diğer kelimelerle ilişkilendirip ağırlıklandırdığı için, istemde seçtiğiniz rol ve kısıt sözcükleri çıktıyı doğrudan etkiler.