Inception, diffusion tabanlı yeni dil modeli Mercury 3’ü duyurdu. Şirket, modelin saniyede 1.000’in üzerinde token üretebildiğini ve önceki Mercury 1’den 40 kattan fazla büyük olmasına rağmen bu hızı koruduğunu belirtiyor. Performans iddiasının bağımsız testlerle doğrulanması bekleniyor.
Metni paralel biçimde oluşturuyor
Geleneksel büyük dil modelleri yanıtlarını çoğunlukla token adı verilen metin parçalarını sırayla üreterek oluşturuyor. Mercury 3’ün de kullandığı diffusion yaklaşımında ise metnin birden fazla bölümü paralel şekilde hazırlanıp aşamalı olarak iyileştirilebiliyor. Bu yöntem, özellikle uzun yanıtların üretiminde hız sağlayabiliyor.
Inception, Mercury 3 ile bu yaklaşımın daha büyük ve yetenekli modellerde de verimli biçimde uygulanabileceğini göstermeyi amaçlıyor. Şirketin paylaştığı verilere göre model, Mercury 1’den 40 kattan fazla büyük olmasına karşın saniyede 1.000 tokenın üzerinde üretim yapabiliyor. Bu performans iddiasının ne ölçüde geçerli olduğu ise yapılacak bağımsız testlerle değerlendirilebilecek.
Bağlam penceresi 1 milyon token
Mercury 3, 1 milyon tokenlık bağlam penceresi sunuyor. Bu, Inception’ın önceki modeli Mercury 2.5’in 260 bin tokenlık kapasitesine kıyasla önemli bir artış anlamına geliyor.
Inception, modeli yanıt süresinin kullanıcı deneyimini doğrudan etkilediği alanlarda kullanmayı hedefliyor. Şirketin sıraladığı kullanım alanları arasında etkileşimli eğitim uygulamaları, canlı çeviri araçları, yazma asistanları ve otomatik yazılım ajanları bulunuyor. Inception, Mercury 3’ün bazı müşteriler tarafından gerçek iş akışlarında test edildiğini de aktarıyor.
