Google, sekizinci nesil TPU ailesini iki yeni modelle büyütüyor: uzun bağlam gerektiren ajan işlerine odaklanan TPU 8i Max ve gizlilik öncelikli çalışmalar için tasarlanmış TPU 8tx. Nisan ayında tanıtılan eğitim odaklı TPU 8t ve genel amaçlı çıkarım çipi TPU 8i'nin üzerine inşa edilen bu iki yeni parça, Google'ın modüler çip stratejisini bir adım öteye taşıyor.
8i Max: Tek Pakette İki Çip
TPU 8i Max, aslında iki ayrı TPU 8i çipinin tek bir paket içinde birleştirilmesiyle ortaya çıkıyor. Bu sayede teorik hesaplama gücü iki katına çıkarken, aynı rack alanına iki katı silikon sığdırılabiliyor. Google bunu watt ve metrekare başına daha fazla hesaplama gücü olarak tanımlıyor. SRAM ve HBM bant genişliği de ikiye katlanıyor; bu da çipi yaklaşık 20.2 FP4 PFLOPS, 768 MB SRAM ve 17.2 TB/s HBM bant genişliğine taşıyor.
Karşılaştırma yapmak gerekirse, Nvidia'nın Rubin R200 GPU'su çıkarım için 50 FP4 PFLOPS ve soket başına 22 TB/s HBM4 bant genişliği sunuyor; AMD'nin MI455X çipi ise 40 FP4 PFLOPS seviyesinde. Rakamlar hâlâ Nvidia ve AMD'nin lehine görünse de, aradaki fark kapanıyor.
Bellek Duvarını Aşma Çabası
Google, “bellek duvarı” dediği bant genişliği sorununun özellikle “onlarca yapay zekâ ajanının aynı kod tabanı üzerinde birlikte çalıştığı” senaryolarda kritik hale geldiğini belirtiyor. Milyon token hedefleyen büyük bağlam pencereleri, daha büyük KV önbellekleri anlamına geliyor; bu önbelleklerin bir kısmı SRAM'de tutuluyor ve her yeni token bu belleği tekrar okumak zorunda. Ekstra HBM bant genişliği tam olarak burada devreye giriyor.
Bu yaklaşım, Nvidia'nın LPX mimarisinden farklı bir yol izliyor: Nvidia çözme (decoding) için ayrı bir çip türü ve bağlam için ayrı bir depolama katmanı kullanırken, Google tek pakette daha fazla bant genişliği sunmayı seçiyor. Google'ın açık kaynaklı TPU Sync yazılımı da KV önbelleklerini çipin HBM'inden host DRAM'ına ve deneysel olarak paylaşılan depolamaya kaydırarak transfer gecikmesini “%90'dan fazla” azaltabildiğini iddia ediyor.
8tx: Güvenlik Odaklı Çıkarım
TPU 8tx ise TPU 8t ile aynı silikon üzerine kuruluyor ama farklı bir hedefe hizmet ediyor: güvenli ve gizli çıkarım ile küçük ölçekli eğitim. Donanıma gömülü izolasyon, model ağırlıkları dahil hassas verilerin işlenirken casuslanmasını önlemeyi amaçlıyor. Bu çip özellikle düzenlemeye tabi kurumlar ve devlet kurumları için tasarlanmış; bu kuruluşlar hassas verilerini kümeler arasında taşımadan modelleri kendi verileriyle ince ayar yapabiliyor.
Dikkat çeken bir değişiklik de 8tx'in host işlemcisinde yaşanıyor: TPU 8t ve 8i'nin kullandığı Arm tabanlı Axion yerine, 8tx 5. Nesil AMD EPYC işlemcilere geçiyor. Google bu değişimin nedenini açıklamıyor, ancak şirketin gizli VM yapılandırma listesinde Arm tabanlı hiçbir çip bulunmaması, bu kararın gizlilik altyapısıyla uyumlu olmak için yapıldığına işaret ediyor.
Rakamlar Var, Kanıt Henüz Yok
Google, vLLM-TorchTPU yazılım yığınının InferenceX ve AgentX testlerinde “en iyi fiyat-performans” sonuçları verdiğini savunuyor. Ancak şu ana kadar yayınlanan tek bağımsız sonuçlar, önceki nesil Ironwood TPU'suna ait. SemiAnalysis'in Eylül ayı InferenceX testlerinde Ironwood, Qwen3.5 397B modelinde Nvidia'nın B200'ünden %50.4, B300'ünden %96 daha fazla dolar başına token üretmiş. Sekizinci nesil TPU'lar için henüz hiçbir karşılaştırmalı sonuç bulunmuyor.
Google'ın kendi sayfasında 8tx ve 8i Max hâlâ “yakında” etiketiyle listeleniyor; tam teknik özellik tablosu, HBM kapasitesi, pod boyutları, kullanılabilirlik tarihi, fiyatlandırma ve müşteri bilgisi paylaşılmamış durumda. Nisan ayındaki ilk çiftten yedi ay sonra gelen bu iki yeni sistem, Google'ın özelleştirilmiş donanımı artık yıllar değil aylar içinde piyasaya sürme hedefini gösteriyor; ama bunu kanıtlaması için gereken benchmark verileri ve gerçek kullanılabilirlik tarihi henüz ortada yok.
Kaynak: tomshardware.com
Hiç yorum yok:
Yorum Gönder