Jack Dorsey’nin şirketi Block, metin verisi veya başka bir önceden eğitilmiş model kullanılmadan geliştirildiğini belirttiği Dessa adlı sesli yapay zekâ modelini tanıttı. Sistem, konuşmayı metne çevirmek yerine ses girdisini doğrudan işleyip sesli yanıt üretiyor.
Konuşmayı metne çevirmeden işliyor
Birçok sesli yapay zekâ, kullanıcının söylediklerini önce yazıya dönüştürüyor, metni işleyerek yanıt hazırlıyor ve ardından bu yanıtı sese çeviriyor. Bu aşamalar sırasında konuşmanın tonu, duygusal ayrıntıları ve doğal akışı gibi unsurlar kaybolabiliyor.
Block’un geliştirdiği Dessa ise doğrudan sesle çalışıyor: modele ses veriliyor ve karşılığında yine ses çıktısı alınıyor. Şirket, eğitim sürecinde metin verilerinden ve önceden eğitilmiş modellerden yararlanılmadığını söylüyor. Bu yaklaşım, dili yalnızca dinleyerek öğrenme fikrine dayanıyor.
Dessa dinlerken konuşabiliyor
Modelin dikkat çeken özelliklerinden biri, “full-duplex” çalışma biçimi. Dessa, kullanıcının sözünü tamamlamasını beklemeden dinleyip yanıt verebiliyor. Kullanıcı araya girdiğinde tepki vermesi, diyalog sırasında kısa geri bildirimler sunması ve konuşmanın temposuna uyum sağlaması hedefleniyor.
Block’un paylaştığı demolar arasında sesli tahmin oyunları, filmler üzerine sohbetler ve OpenAI’ın GPT-Live-1 ses modeliyle yapılan bir konuşma yer alıyor. Bazı örneklerde etkileşim doğal görünse de Dessa zaman zaman karşısındaki kişiyi yanlış tanıyabiliyor veya sohbetin konusundan uzaklaşabiliyor. Gösterimler, modelin henüz her durumda kusursuz bir deneyim sunmadığını da ortaya koyuyor.
M4 Max işlemcili MacBook Pro’da çalışabiliyor
Block’un verdiği bilgiye göre Dessa, M4 Max işlemcili MacBook Pro’da ve daha güçlü donanımlarda yerel olarak çalışabiliyor. Şirket, modelin çıkarım işlemlerini gerçek zamanlıdan daha hızlı tamamlayabildiğini belirtiyor. Ancak modelin boyutu, bağımsız performans testleri ve farklı donanımlardaki gecikme değerleri henüz açıklanmadı.
Dessa şu anda araştırma ön izlemesi aşamasında. Block, modeli ilk etapta küçük bir yapay zekâ güvenliği araştırmacısı grubunun kullanımına açmayı planlıyor.
