Yapay zekâ çağının yeni maliyet kalemi: Token

Yönetim Danışmanı BARIŞ SAZAK

Yapay zekâ devriminin başta enerji olmak üzere çipler ve nadir element­lere uzanan kapsamlı bir fiziki faturası var. Ancak bunlar daha çok bu teknolojinin gelişimini ve küresel rekabetin yönünü belir­leyen kurum ve ülkeleri ilgilen­diriyor. İşin bir de kullanıcılar açısından ortaya çıkan yeni bir maliyet kalemi var.

Küreselleşmeyle birlikte hız­lanan dijitalleşme dalgası, son 30 yılda şirketlere yazılımı bü­yük ölçüde sabit lisans bedelle­ri üzerinden satın alma alışkan­lığı kazandırdı. Yapay zekâ ise bu mantığı kökten değiştiriyor. Her komut, her yanıt, her arama adımı ve her etken (agent) işle­mi “token” adı verilen birimler üzerinden ölçülüyor ve fatura­landırılıyor. Başka bir ifadeyle, elektrik veya su gibi kullandık­ça ödeme yapılan ve tüketimin bir sayaç üzerinden takip edildi­ği bir modele geçiliyor.

Sabit lisans bütçesinden de­ğişken tüketim faturasına ge­çiş, yönetim kurullarının finans ve BT birimlerinden yapay zekâ harcamalarını daha öngörülebi­lir hale getirmelerini istemesi­ne yol açıyor. Ne var ki sorun yal­nızca teknolojiyle çözülebilecek bir mesele değil. Zira söz konu­su “sayaç”, şirketlerin çoğunda hâlâ yeterince görünür değil. Bu görünmezlik, konuyu yalnızca BT’nin değil; finans, insan kay­nakları, pazarlama, satış ve diğer tüm iş birimlerinin de doğrudan gündemine taşıyor.

Maliyetler sektörlere göre farklılık göstermekte. Teknolo­ji danışmanlığı şirketi Accentu­re’ın araştırmasına göre, küresel bir teknoloji şirketinin yıllık “to­ken” harcaması 20 milyon doları aşarken, finans ve sigortacılık gibi işlem yoğun sektörlerde faa­liyet gösteren şirketlerin ise po­liçe değerlendirme, hasar ana­lizi ve müşteri hizmetleri gibi operasyonlarda çalıştırılan ya­pay zekâ modelleri için yıllık 150 milyon dolara kadar bütçe ayır­dığı belirtiliyor.

Ölçekler farklı olsa da gidişat benzer. Büyüyen kullanım hac­mi, maliyet öngörülerini sürekli geride bırakıyor. Mevcut iş yapış biçimleri devam ettiği takdirde, küresel şirketlerin token bütçe­lerinin yıl bitmeden tükenmesi riski ortaya çıkmakta. Bazı şir­ketlerde son bir yılda maliyetle­rin on katına çıktığı görülüyor. Token maliyetleri bugün toplam yapay zekâ giderleri içinde alt­yapı ve yazılım geliştirmeden sonra üçüncü sırada yer alsa da en hızlı büyüyen ve en az görü­nür olan kalem olma özelliğini taşımakta.

Birim fiyat, kabaran fatura

Öte yandan, her teknoloji ürü­nünde olduğu gibi token birim fi­yatları da hızla düşüyor. Bundan 18 ay önce milyon token başına bir dolara mal olan bir modelin fiyatı bugün bunun oldukça al­tında. Bu durumda faturaların da küçülmesi beklenebilir. An­cak pratikte tam tersi yaşanıyor.

Bunun nedenini klasik iktisat teorisinin ötesinde, uzun süre­dir bilinen bir tüketim davranı­şında bulmak mümkün. İngil­tere üzerine 700 yıllık veriyi in­celeyen Fouquet ve Pearson’ın çalışmasına göre, enflasyona gö­re düzeltildiğinde aydınlatma­nın maliyeti 2000 yılında 1900’e kıyasla 100 kattan, 1800’e kıyas­la ise 3.000 kattan daha ucuz­du. Mum ve balina yağından gaz lambasına, oradan elektrik am­pulüne geçişle birlikte ışık üret­menin birim maliyeti sürekli ge­riledi.

Klasik iktisadi beklenti, in­sanların aynı miktarda ışığı çok daha düşük maliyetle elde ede­rek aradaki farkı tasarruf etme­si yönünde olabilirdi. Ancak bu­nun tam tersi gerçekleşti. Ucuz­layan ışık, insanların daha uzun saatler aydınlık ortamda çalış­masını, evlerini daha fazla ay­dınlatmasını, sokakları, vitrin­leri ve fabrikaları geceleri de kullanmasını teşvik etti.

Yapay zekâ token’larında da benzer bir eğilim görülüyor. Araştırmaya katılan yönetici­lerin yalnızca yüzde 5’i, fiyatlar yüzde 25 daha düşerse ortaya çı­kacak tasarrufu bütçelerinde tu­tacaklarını belirtiyor. Geri ka­lanlar ise yeni kullanım alanları açmayı, yapay zekâyı daha fazla kullanıcıya yaymayı veya daha güçlü modellere geçmeyi plan­lıyor. Sonuç olarak önümüzdeki 24 ayda token tüketiminin yüz­de 78 artması, fiyatların ise yal­nızca yüzde 19 gerilemesi bek­leniyor. Başka bir ifadeyle, ha­cimdeki artışın fiyatlardaki düşüşü rahatlıkla dengeleme­si, hatta toplam faturayı yukarı çekmesi bekleniyor.

Bütçenin kör noktaları

Finans ekiplerinin yapay zekâ bütçelerinde göremediği bazı unsurlar var. İlki, öngörüleme­yen görev maliyeti. Yapay zekâ­da tek bir talimat cümlesi, arka planda milyonlarca token tüke­ten bir etken zincirini tetikle­yebiliyor. Bu nedenle bir iş yü­künün üretime alınmadan önce yaratacağı maliyeti geleneksel yazılım harcamalarında olduğu kadar kesin biçimde tahmin et­mek mümkün değil.

İkinci kör nokta, ilk seçenek olarak en güçlü modelin tercih edilmesi. Çalışanların büyük bölümü, kullandıkları modeller arasındaki maliyet farkını doğ­rudan görmediği için basit bir arama veya özetleme işlemi için bile en pahalı modeli tercih ede­biliyor. Görevlerin çok azı ger­çekten en üst düzey model ka­biliyetlerine ihtiyaç duyuyor. Diğer bir unsur, çarpan etkisi ya­pan talepler. Zincirleme model çağrıları ve giderek genişleyen bağlam pencereleri, tek bir ta­lebin tüketimini katlayabiliyor. Bir şirketin kodlama asistanını devreye almasının ardından ma­liyetlerin beklenenin çok üzeri­ne çıkması bunun tipik bir örne­ği. Daha ucuz bir modele geçiş ve önbellekleme kullanımı ise tek başına yüzde 90 tasarruf sağla­yabiliyor.

Başka bir problem, parçalan­mış fiyatlama. Her yapay zekâ sağlayıcısının model fiyatı, bağ­lam kapasitesi, önbellekleme politikası ve kullanım eşikleri farklı. Örneğin müşteri destek hizmetleri YZ yazılımlarının yıllık faturası, belirli seviyede­ki müşteri talepleri ve çağrı li­mitlerinin aşılmasıyla birden üç dört misline sıçrayabiliryor. En kritik sorun ise hesap sorul­mayan görünürlük. Görsel içe­rik platformu Shutterstock, üre­tim amaçlı kullanılan tokenların toplam tüketimin yüzde 75'ini oluşturduğunu ve ChatGPT li­sanslarının yalnızca bir ay için­de 50'den 750'ye yükseldiğini fark ettiğinde, yapay zekâ har­camalarını bulut maliyetleriyle aynı finansal yönetim sürecine dahil etmek zorunda kaldı.

Bugün şirketlerin yaklaşık yarısı tüketimi görebiliyor an­cak kimin ne kadar harcadığı ve bu harcamanın karşılığında ne ürettiği hâlâ net değil. Tekno­loji ekipleri hangi fonksiyonun ne kadar kaynak tükettiğini or­taya koyabiliyor. Ancak bu har­camanın karşılığında gerçek bir iş değeri yaratılıp yaratılmadı­ğına karar verebilecek olan, il­gili iş biriminin yöneticisi. Do­layısıyla mesele en büyük yapay zekâ bütçesine sahip olmak de­ğil, harcamanın nereye gittiğini ve ne ürettiğini ölçebilmek. Kı­sacası “token” ekonomisi yalnız­ca bir BT ya da teknoloji mesele­si değil. Finans, teknoloji, pazar­lama, satış, İK ve iş birimlerinin birlikte yürütmesi gereken bir yönetişim meselesi.

Gelişmekte olan ülkeler için maliyet denklemi

Küresel şirketler bu konudaki mali disiplini kurarken referans noktası genellikle kendi para bi­rimleri. Türkiye'deki şirketler açısından ise denklem bir kat daha karmaşık. Çünkü token fi­yatlarının önemli bölümü dolar veya euro üzerinden belirleni­yor. Dolayısıyla küresel ölçekte­ki kullanım artışı, kur hareket­leriyle birleştiğinde Türk şir­ketlerinin TL bazındaki token faturasını çok daha hızlı büyüte­biliyor. Her işi küresel modelle­re bağlamak, şirketi yalnızca bir teknoloji sağlayıcısının yanın­da döviz bazlı bir maliyet yapısı­na da bağımlı hale getiriyor. Ge­lişmekte olan ülkelerde bu ba­ğımlılık daha kritik. Açık kaynak veya daha küçük modellerin be­lirli iş yüklerinde kullanılması, yalnızca token maliyetini azalt­makla kalmıyor. Sağlayıcı ba­ğımlılığını ve kur riskini de dü­şürebiliyor. Ancak self-hosting seçeneğinin de GPU, enerji, alt­yapı ve teknik yetkinlik maliyeti olduğu unutulmamalı.

Gelişmekte olan ülkelerde ya­pay zekâ maliyetinin bir başka boyutu da fırsat maliyeti. ABD veya Batı Avrupa'daki büyük şir­ketler için milyonlarca dolarlık bir YZ bütçesi toplam teknolo­ji harcaması içinde sınırlı kala­bilirken, aynı büyüklükteki ya­tırım, gelişmekte olan bir eko­nomide şirketin BT bütçesinin çok daha büyük bölümünü tü­ketebilir. Bu nedenle gelişmekte olan ülkelerde yanlış model se­çiminin veya verimsiz bir etken mimarisinin maliyeti yalnızca faturaya değil, başka dijital ya­tırımlardan vazgeçilmesine de yansır.

Token, yapay zekânın yeni muhasebe birimi olabilir. An­cak ekonomik değer birimi de­ğildir. Şirketlerin asıl ölçmesi gereken, belirli miktarda token karşılığında ne kadar iş çıktısı ürettikleridir. Böylece “token başına maliyet” göstergesinin yanına “token başına ekono­mik değer” göstergesi eklenebi­lir. Yapay zekâ devriminin para­doksu da bu. Token ucuzlarken yapay zekâ faturası büyüyebi­lir. Çünkü şirketler yalnızca da­ha fazla kullanıcı eklemekle kal­mıyor. Aynı zamanda daha uzun bağlamlar, daha fazla muhake­me ve zincirleme etkenlerle her iş başına daha fazla token tüke­tiyor. Bu nedenle birim maliyet düşüşü, toplam maliyet düşü­şü anlamına gelmiyor. Hol­dinglerden başlayarak çok kısa vadede şirketlerde kapsamlı organizasyonel dönüşümler ve görev tanı­mı tadilatları deneyimle­necek gibi görünmekte.