Pyramid-JiT (P-JiT) adı verilen 2,18 milyar parametreli model, geçtiğimiz günlerde yayınlandı. Linum, modelin açık ağırlıklarını (open weights) da araştırmacıların ve geliştiricilerin kullanımına sundu. Model, yalnızca düşük eğitim maliyetiyle değil, görüntüleri işleme biçimiyle de dikkat çekiyor.
P-JiT, Görüntüleri Sıkıştırmadan Doğrudan Piksel Uzayında İşliyor
P-JiT'nin bu kadar düşük bütçeyle geliştirilebilmiş olmasının başlıca sebebi, Stable Diffusion ve FLUX gibi yaygın görsel üretim modellerinden farklı bir mimari kullanması. Geleneksel modeller, görüntüleri doğrudan pikseller üzerinden işlemek yerine önce VAE (Variational Autoencoder) adı verilen bir sistem aracılığıyla daha küçük bir temsile, yani latent uzaya dönüştürüyor. Modelin asıl işlemleri bu sıkıştırılmış temsil üzerinde gerçekleştiriliyor. Üretilen görüntü ise son aşamada yeniden piksel verisine dönüştürülüyor. Bu yaklaşım, işlenecek veri miktarını azaltarak hesaplama maliyetlerini düşürse de ek bir kodlama ve çözme süreci gerektiriyor.
P-JiT ise bu ara temsile ihtiyaç duymadan doğrudan piksel uzayında çalışıyor. Bununla birlikte model, görüntüleri tek parça hâlinde işlemek yerine 32x32 piksellik segmentlere ayırıyor. Her bir segment, içerdiği 3.072 boyutlu RGB verisinden 1.024 boyutlu bir temsile sıkıştırılarak işleniyor. Böylece 3:1 oranında bir sıkıştırma sağlanırken görüntünün doğrudan piksel uzayında işlenmesi mümkün oluyor.
Modelin adındaki Pyramid (piramit) ifadesi de kullandığı mimariden geliyor. P-JiT, önce görüntünün düşük çözünürlüklü bir taslağını oluşturuyor, ardından bu taslağı aşamalı olarak daha yüksek çözünürlüklere taşıyor.
Burada bir diğer önemli unsur, Transformer mimarisinin dikkat (attention) mekanizması. Geleneksel Transformer modellerinde bu mekanizmanın hesaplama karmaşıklığı, giriş dizisinin uzunluğunun karesiyle, yani O(n²) ile artıyor. Dolayısıyla işlenen token sayısının azaltılması, özellikle yüksek çözünürlüklü görüntülerde eğitim ve üretim maliyetlerini ciddi ölçüde düşürebiliyor. Linum'un önceki modeli Linum v2, 512x512 çözünürlüklü görüntüleri 16x16 token azaltma yaklaşımıyla işlerken P-JiT bu oranı 32x32 seviyesine çıkarıyor. Böylece dikkat mekanizmasının işlem yaptığı bağlam penceresi dört kat küçülüyor. Linum'un açıklamasına göre bu mimari değişiklikler sayesinde P-JiT, önceki modele kıyasla benzer görüntü dağılımı kalitesine yaklaşık 11,3 kat daha az eğitim örneğiyle ulaşabiliyor.
Nvidia H100 GPU ile Eğitildi
Linum, modelin eğitiminde kullanılan donanım ve harcamaları ayrıntılı şekilde paylaştı. Buna göre ön eğitim aşamasında toplam 8.139 saat NVIDIA H100 GPU kullanıldı. Saatlik 2,50 dolarlık hesaplama maliyeti üzerinden bu aşamanın faturası 20.348 dolar oldu. Son eğitim (post-training) aşaması da eklendiğinde toplam maliyet yaklaşık 21 bin dolara ulaştı.
Eğitim sürecinde aşamalı bir öğrenme yaklaşımı benimsendi. Model önce 512x512 çözünürlüklü yaklaşık 610 milyon örnekle eğitildi. Ardından 1024x1024 çözünürlüklü 50 milyon örnek kullanılarak daha yüksek çözünürlüklü görüntüler üzerinde iyileştirildi. Böylece toplamda yaklaşık 660 milyon örnek eğitim sürecinden geçirildi. Metin tarafında ise Qwen3.5-4B modeli kullanıldı.
Tabii P-JiT, henüz her alanda kullanılabilecek olgunlukta bir model değil. Özellikle görsellerin içine yazı yerleştirme konusunda ciddi sınırlamaları bulunuyor. Bunun temel nedeni, eğitim veri setinde infografikler, PDF dosyaları, kitap sayfaları ve yoğun metin içeren görsellerin kullanılmamış olması. Bu nedenle modelden poster, infografik veya metin ağırlıklı tasarımlar üretmesi beklendiğinde başarılı sonuçlar alınamıyor. Ancak metin içermeyen görseller söz konusu olduğunda P-Jit, sadece 21 bin dolara eğitilmiş bir model için oldukça etkileyici sonuçlar ortaya koyabiliyor.
Görüntü üretiminde kullanılan hesaplama yöntemlerinin daha verimli hâle getirilmesi, video üretiminde de önemli avantajlar sağlayabilir. Çünkü video modellerinin çok daha fazla kareyi ve dolayısıyla çok daha büyük miktarda veriyi işlemesi gerekiyor. P-JiT'nin açık ağırlıklarının yayımlanması da bu açıdan önemli. Araştırmacılar ve geliştiriciler, modeli kendi sistemlerinde çalıştırıp mimarisini inceleyebilecek ve geliştirebilecek. Ayrıca Linum'un çalışması diğer küçük araştırma ekiplerine de benzer işler ortaya koymaları için ilham verecektir. Zira Linum'un da ortaya koyduğu üzere, standardın çok daha altında maliyetlere de yapay zekâ eğitmek pekâlâ mümkün.
