Nvidia, telefonlar, küçük cihazlar ve robotlar için geliştirdiği açık yapay zeka modeli Nemotron 3.5 Bolt E4B’yi yayımladı. Yaklaşık 4 GB bellek hedefiyle tasarlanan model, internet bağlantısı olmadan sohbet edebiliyor ve uygulama araçlarını kullanarak çok adımlı görevleri yerine getirebiliyor.
4 GB bellek hedefi ve daha az token kullanımı
Nemotron 3.5 Bolt E4B, hızlı yanıt veren ve sınırlı kaynak kullanan asistanlar geliştirmek isteyenlere yönelik hazırlandı. Google’ın Gemma 4 E4B modelini temel alan sistem, Nvidia’nın ek eğitim sürecinden geçti. Böylece doğal dilde sohbetin yanı sıra birden fazla aşama içeren görevleri de gerçekleştirebiliyor.
Modelin hedeflenen senaryolarda yaklaşık 4 GB bellek alanına sığması amaçlanıyor. Böylece cihaz belleğinin tamamı modele ayrılmadan uygulamalar ve aynı işlem hattındaki diğer modeller için de alan kalabiliyor. Nvidia’nın aktardığı karşılaştırmalarda, önceki Nano 4B’ye göre temel sohbet ve araç kullanımı testlerinde ortalama kalite yaklaşık yüzde 40 artıyor. Diğer karşılaştırılan açık modellerle kıyaslandığında ise ortalama puanların yaklaşık yüzde 10 daha yüksek olduğu belirtiliyor.
Nvidia’nın değerlendirmelerine göre model, akıl yürütme gerektiren bazı karşılaştırmalarda diğer modellere kıyasla yüzde 80’e kadar daha az token üretebiliyor. Daha az çıktı, hesaplama yükü ve maliyeti azaltmanın yanı sıra yanıt süresini de kısaltabiliyor.
Telefonlardan robotlara yerel kullanım
Nvidia, modeli bulut hizmetlerine bağımlılığı azaltarak yapay zeka işlevlerini doğrudan cihazlarda çalıştırmak üzere konumlandırıyor. Bilgisayar, mobil cihaz, ev sistemi ve araç içi asistanların yanı sıra oyun karakterleri, robotik sistemler ve endüstriyel otomasyon da kullanım alanları arasında yer alıyor.
Model; Nvidia GeForce RTX, Jetson, RTX Spark ve DGX Spark platformlarında çalışabiliyor. Yerel kullanım, internet olmayan ortamlarda da yapay zeka özelliklerine erişim sağlarken verilerin harici sunuculara gönderilmesi ihtiyacını azaltabiliyor.
Nvidia’nın gösteriminde insansı robot Reachy Mini, 8 GB belleğe sahip Jetson Orin Nano üzerinde Nemotron 3.5 Bolt E4B ile çalışıyor. Model, robotun animasyon kütüphanesindeki komut dosyalarını çağırarak hareket etmesini ve kullanıcılarla sesli iletişim kurmasını sağlıyor. Görsel çevre algılama görevleri için Cosmos 3 Edge kullanılıyor; robot bu sayede çevresinden gelen görüntüleri yorumlayıp uygun eylemleri gerçekleştirebiliyor ve konuşarak yanıt verebiliyor.
Başka bir örnekte model, Minecraft’taki demirci tüccar karakterini yönetiyor. Ödemenin doğru yapıldığını kontrol eden karakter, araçları çağırıp üretim tariflerini inceliyor; malzemeleri topladıktan sonra eşyayı üreterek kullanıcıya teslim ediyor. Bu gösterim, modelin araçlarla birden fazla aşamadan oluşan işleri tamamlayabildiğini ortaya koyuyor.
64 bin token bağlam penceresi ve 35 dil desteği
Nemotron 3.5 Bolt E4B, konuşma sırasında uygulama API’lerini çağırarak görevleri yerine getirebiliyor. Birden fazla konuşma turuna yayılan işlemlerde araç kullanımını destekleyen sistem için eş zamansız araç çağrılarına yönelik entegrasyon yönergeleri de sunuluyor.
Konuşma modu, kısa ve sesli iletişime uygun yanıtları teşvik ederek daha doğal bir diyalog akışı oluşturmayı amaçlıyor. Karmaşık taleplerde akıl yürütme açılabiliyor; daha hızlı yanıt gereken durumlarda kapatılabiliyor. Geliştiriciler, gecikme hedeflerine ulaşmak için akıl yürütme sürecini sınırlandırabiliyor.
Modelin 64 bin tokenlık bağlam penceresi; konuşma geçmişinin yanında talimatların, araç tanımlarının, erişilen bilgilerin ve uygulama durumunun birlikte tutulmasına imkân veriyor. Nvidia, modelin 35 dili desteklediğini bildiriyor. Temel aldığı sistemin eğitiminde ise 140’tan fazla dilden yararlanılmış.
Geliştiriciler modele farklı platformlardan erişebiliyor
Nvidia, Nemotron 3.5 Bolt E4B’yi Hugging Face, Ollama, LM Studio, Unsloth, Canonical, Jetson AI Lab ve NVIDIA In-Game Inferencing SDK üzerinden kullanıma açtı.
Şirket, modelle birlikte uygulama entegrasyonu ve istem hazırlama yönergelerini, model kartını, dağıtım örneklerini ve eğitim tariflerini de paylaşıyor. Geliştiriciler bu kaynakları kullanarak modeli donanım ve uygulama ihtiyaçlarına göre yapılandırabiliyor.
