Xiaomi'nin yeni yapay zekâsı 1 trilyondan fazla parametreye sahip
MiMo-V2.6-Pro'nun en dikkat çekici özelliklerinden biri modelin büyüklüğü. Model, toplam 1,02 trilyon parametreye sahip. Ancak Mixture of Experts (MoE) mimarisi kullandığı için her işlem sırasında bu parametrelerin tamamı aktif hâle gelmiyor. Çıkarım sırasında yaklaşık 42 milyar parametre kullanılıyor. Bu yaklaşım, çok büyük bir modelin kapasitesinden yararlanırken her işlemde tüm parametreleri çalıştırmanın getireceği hesaplama maliyetini azaltıyor.
Model; metin, görüntü, ses ve video girdilerini işleyebiliyor ve bunları aynı sistem içerisinde değerlendirebiliyor. Modelin görsel yetenekleri için Xiaomi tarafından geliştirilen 681 milyon parametreli bir MiMo-ViT görüntü kodlayıcısı kullanılıyor. Ses tarafında ise ses verilerini modele aktarılabilecek tokenlara dönüştüren ayrı bir ses kodlayıcı sistemi bulunuyor. Böylece MiMo-V2.6, farklı veri türlerini birbirinden bağımsız modeller kullanmak yerine tek bir çok modlu mimarinin parçası olarak işleyebiliyor.
MiMo-V2.6-Pro'nun bir diğer dikkat çekici özelliği de 1 milyon tokenlık bağlam penceresi. Bu kapasite, çok uzun belgelerin, büyük yazılım projelerinin veya uzun süren AI ajanı oturumlarının tek bir bağlam içerisinde ele alınabilmesini sağlıyor
MiMo-V2.6'nın asıl farkı eğitim yönteminde
Xiaomi'nin yeni modelinde dikkat çeken bir diğer nokta ise modelin eğitim sürecinin büyük ölçüde pekiştirmeli öğrenme (RL) üzerine kurulması. Pekiştirmeli öğrenmede model yalnızca daha önce hazırlanmış örneklerden öğrenmek yerine, görevleri kendi başına gerçekleştirmeye çalışıyor ve elde ettiği sonuçlara göre ödül veya ceza alarak davranışlarını geliştiriyor. Bu yöntem özellikle AI ajanları açısından önem taşıyor. Çünkü bir kodlama ajanının yalnızca doğru cevabı üretmesi değil, uzun bir görev boyunca planlama yapması, araçları kullanması, hatalarını düzeltmesi ve gerektiğinde farklı bir çözüm yoluna geçmesi gerekiyor. Xiaomi de MiMo-V2.6'yı bu tür uzun soluklu görevler için eğittiğini belirtiyor.
MiMo-V2.6-Flash daha küçük ve daha ucuz
Xiaomi'nin Pro modelinin yanında sunduğu MiMo-V2.6-Flash ise daha düşük maliyetle benzer yetenekleri sunmayı hedefliyor. Flash modeli toplam 310 milyar parametreye sahip. Çıkarım sırasında ise yaklaşık 15 milyar parametre aktif oluyor. Pro modeli gibi bu da 1 milyon tokenlık bağlam penceresini ve metin, görüntü, ses ve video girişlerini destekliyor.
Flash'ın temel amacı, özellikle çok sayıda yapay zekâ işleminin gerçekleştirildiği uygulamalarda maliyeti düşürmek. Xiaomi'nin API fiyatlandırmasına göre MiMo-V2.6-Flash, 1 milyon giriş tokenı için 0,14 dolar, 1 milyon çıkış tokenı için ise 0,28 dolar ücretlendiriliyor. Pro modelinde bu rakamlar sırasıyla 0,435 dolar ve 0,87 dolar seviyesinde. Dolayısıyla Flash, özellikle yüksek hacimli kodlama, belge işleme ve AI ajanı uygulamalarında daha ekonomik bir alternatif olarak konumlandırılıyor.
