Jack Dorsey’nin yönettiği Block, insan konuşmalarından metin verisi veya önceden eğitilmiş bir sistem kullanmadan geliştirildiğini belirttiği Dessa yapay zeka modelini tanıttı. Ses girdisini doğrudan işleyip sesli yanıt üreten sistem, gerçek zamanlı ve doğal diyalog kurmayı hedefliyor.
Dessa metne dönüştürme adımını atlıyor
Yaygın sesli yapay zeka sistemlerinde kullanıcının konuşması önce metne çevriliyor, bu metin işlenerek yanıt oluşturuluyor ve yanıt yeniden sese dönüştürülüyor. Bu aşamalar sırasında konuşmanın tonu, duygusal ayrıntıları ve ritmi kaybolabiliyor.
Block’un Dessa modeli ise ses girdisini doğrudan alıp ses çıktısı oluşturacak şekilde tasarlandı. Şirket, modelin eğitiminde metin verisi ya da önceden eğitilmiş herhangi bir model kullanılmadığını vurguluyor. Yaklaşımın, dilin yalnızca dinlenerek öğrenilmesine dayandığı belirtiliyor.
Modelin konuşmadaki tonlama ve ritim değişikliklerini ses üzerinden analiz etmesi amaçlanıyor. Block’un yapay zeka ekibinden Ragavan Thurair, Dessa’yı tamamen konuşma verisiyle eğitilmiş gerçekçi bir diyalog modeli olarak tanımladı ve sistemin tüketici GPU’larında çalışabilen, çift yönlü bir ses modeli olduğunu söyledi.
Çift yönlü çalışma ve canlı diyalog
Dessa’nın öne çıkan özelliklerinden biri, “full-duplex” olarak adlandırılan çalışma biçimi. Model, kullanıcının konuşmasını bitirmesini beklemeden dinleyip aynı anda yanıt verebiliyor. Söz kesildiğinde tepki vermesi, konuşma sırasında kısa geri bildirimler sunması ve diyaloğun temposuna uyum sağlaması hedefleniyor.
Block’un yayımladığı gösterimlerde model sesli tahmin oyunları oynuyor, filmler üzerine sohbet ediyor ve OpenAI’ın GPT-Live-1 ses modeliyle konuşuyor. Bazı örnekler doğal bir etkileşim izlenimi verse de Dessa zaman zaman karşısındaki kişiyi yanlış tanıyabiliyor ya da konudan uzaklaşabiliyor. Gösterimler, sistemin henüz kusursuz olmadığını da ortaya koyuyor.
Donanım ve erişim planı
Block’a göre Dessa, M4 Max işlemcili MacBook Pro’da veya daha güçlü donanımlarda yerel olarak çalışabiliyor. Şirket, modelin çıkarım işlemlerini gerçek zamanlıdan daha hızlı gerçekleştirebildiğini de belirtiyor.
Modelin boyutu, bağımsız performans testleri ve farklı donanımlardaki gecikme değerleri henüz açıklanmadı. Araştırma ön izlemesi aşamasındaki Dessa’nın önce küçük bir yapay zeka güvenliği araştırmacısı grubuna açılması planlanıyor. Kısıtlı erişimin amacı, modelin güvenliğini ve performansını daha ayrıntılı incelemek.
