Metne ihtiyaç duymadan konuşmayı öğreniyor
Günümüzdeki birçok sesli yapay zeka sistemi, kullanıcının konuşmasını önce metne dönüştürüyor, ardından bu metni işleyerek bir yanıt oluşturuyor ve son olarak yanıtı yeniden sese çeviriyor. Bu süreçte konuşmanın tonu, duygusal nüansları ve doğal ritmi gibi ayrıntılar kaybolabiliyor.
Block tarafından geliştirilen Dessa ise doğrudan ses girdisiyle çalışıp ses çıktısı üreten bir mimariye sahip. Şirket, modelin eğitiminde herhangi bir metin verisi veya önceden eğitilmiş model kullanılmadığını belirtiyor. Böylece Dessa'nın, insanların dili yalnızca dinleyerek öğrenmesine benzer bir yaklaşımla geliştirildiği ifade ediliyor.
Aynı anda dinleyip konuşabiliyor
Dessa'nın öne çıkan özelliklerinden biri, full-duplex olarak adlandırılan çalışma biçimi. Bu teknoloji sayesinde model, kullanıcı konuşmasını bitirene kadar beklemek yerine aynı anda dinleyip konuşabiliyor. Kullanıcı sözünü kestiğinde tepki verebilmesi, konuşma sırasında kısa geri bildirimler sunabilmesi ve karşılıklı diyaloğun ritmine uyum sağlaması hedefleniyor.
Block'un yayımladığı örneklerde Dessa, sesli tahmin oyunları oynuyor, filmler hakkında sohbet ediyor ve OpenAI'ın GPT-Live-1 ses modeliyle konuşuyor. Bazı demolar oldukça doğal bir etkileşim izlenimi verirken model zaman zaman konuştuğu kişiyi yanlış tanıyabiliyor veya konudan uzaklaşabiliyor. Dolayısıyla gösterimler, sistemin henüz kusursuz bir konuşma deneyimi sunmadığını da ortaya koyuyor.
twitterwidget{float:none !important;margin:0 auto !important;}
MacBook Pro üzerinde çalışabiliyor
Block'un açıklamasına göre Dessa, M4 Max işlemcili MacBook Pro veya daha güçlü donanımlarda yerel olarak çalışabiliyor. Şirket, modelin çıkarım işlemlerini gerçek zamanlıdan daha hızlı gerçekleştirebildiğini de belirtiyor. Bununla birlikte modelin boyutu, bağımsız performans testleri ve farklı donanımlardaki gecikme değerleri henüz açıklanmış değil.
Dessa şimdilik araştırma ön izlemesi aşamasında bulunuyor. Block, modeli öncelikle küçük bir yapay zeka güvenliği araştırmacısı grubunun erişimine sunmayı planlıyor.
