Yorum Yap ChatGPT veya Stable Diffusion tarafından sentezlenen anlaşılır saçmalıklar ve sanat, hayal güçlerini yakaladı ve üretken yapay zekanın geleceğimizde oynayacağı rol konusunda hiçbir tartışmaya yol açmadı.
CNET ile gördüğümüz gibi ve Haber akışıyöneticilerin, yapay zekanın yaratıcı potansiyelinden daha az gözleri kamaşmıyor. işçileri değiştir kar ile. Ancak bu konuşmalarda genellikle gözden kaçan şeylerden biri, bu modelleri düzenli olarak yeniden eğitme ihtiyacı veya özellikle haberler gibi hızla gelişen ortamlarda eskiyerek ilgisiz kalma riskini alma ihtiyacıdır.
ChatGPT, Stable Diffusion, Dall-E-2 ve günümüzde üretken yapay zekanın çoğu, büyük veri kümeleri üzerinde eğitilir ve ardından kavramların kanıtı olarak kullanıma sunulur veya önceden eğitilmiş bir model olarak dışa aktarılır.
Bu modellerin kapsamının ne kadar yanıltıcı olabileceğine dair bir fikir verdiği için Stable Difusion’ı örnek olarak alalım. Dall-E-2 gibi Kararlı Difüzyon çok modludur. Çalışmalarınızı görsel bir temsile dönüştürmek için birlikte çalışan bir model koleksiyonundan oluşur.
Ancak Kararlı Difüzyonun öne çıktığı nokta, önceden eğitilmiş modelidir. uyabilir verileri dağıtmaya çalışırken CPU’yu aşırı hıza göndermeden yalnızca 4 GB Nvidia vRAM’e. Bu, yeterli belleğe sahip özel bir GPU’nuz olduğu sürece evde yeterince güçlü bir dizüstü bilgisayarda veya masaüstünde çalıştırabileceğiniz anlamına gelir. Modelleri evde çalıştırma yeteneği, üretken yapay zeka potansiyelinin çoğunun gözünü açtı, ancak eğlenceli olsa da, önceden eğitilmiş modellerin de sınırlı bir raf ömrü var.
Bir çocuğu dünyanın sunduğu her şeye maruz bıraktığınızı hayal edin. 18 yıl boyunca öğrenebildikleri tüm bilgileri özümserler, ancak yetişkin hayatlarının ilk gününde bir mağaraya kapatılırlar ve dünyadan tecrit edilirler. Şimdi, o kişiye sanat malzemeleri sağladığınızı ve sizden istemlerinize göre resimler çizmesini, boyamasını ve işlemesini istediğinizi hayal edin.
İlk başta görüntüler nispeten doğru olabilir, ancak her geçen gün izolasyon onları daha büyük bir dezavantaja sokar. Bilgi istemleri giderek daha fazla yabancı bölgeye girerken, sanat giderek daha az doğru hale geliyor.
Önceden eğitilmiş bir AI modeli çok farklı değildir. Eğitimini tamamladığı andan itibaren dünyaya karşı kördür. Bu nedenle üretken yapay zekanın gerçekten yararlı olabilmesi için defalarca yeniden eğitilmesi gerekecek. Ve sorun burada yatıyor: Bu yapay zeka modellerinin hepsi büyülü görünse de, onları bir kez bile eğitmek son derece pahalı bir teklif olmaya devam ediyor.
Bu, özel okulu bir pazarlık gibi gösteriyor
Eğitimin maliyetini hesaplamak zor bir iş çünkü oyunda çok fazla değişken var. Ancak bu parçanın amaçları doğrultusunda, her şeyi bir perspektife oturtmaya yardımcı olmak için kayan nokta doğruluğuna, model boyutuna ve eğitim süresine bir göz atacağız.
Günümüzde AI eğitiminin çoğu, her biri nispeten az miktarda yerleşik hızlı belleğe sahip GPU’larda yapılır. Nvidia’nın A100 ve H100 GPU’larının her ikisi de 80 GB HBM belleğe sahipken, AMD ve Intel’in GPU’ları şimdi 128 GB’ı zorluyor. Farklı bellek topolojilerine sahip başka mimariler olsa da, donanım iyi desteklendiği, hem şirket içi hem de bulut ortamlarında yaygın olarak bulunduğu ve bu noktada yıllardır yapay zeka iş yüklerini çalıştırdığı için Nvidia’nın A100’üne bağlı kalacağız.
Kayan nokta doğruluğu, hem eğitim süresini hem de modelin ne kadar belleğe ihtiyaç duyacağını etkilediği için en büyük faktörlerden biridir. İkincisi ayrıca, her hızlandırıcı yalnızca çok fazla belleğe sahip olduğundan, ne kadar bilgi işlemin gerekli olduğunu da belirler. Eğitim süresinin kendisini ölçmek daha zordur çünkü bilgi işlem yoğunluğuna, hızlandırıcıların miktarına, veri kümesinin boyutuna, oynatılan parametrelerin sayısına ve ilgili diğer değişkenlere bağlı olarak değişir.
Günümüzde çoğu model FP32, FP16 veya Bfloat16 kullanılarak eğitilmektedir, ancak birçok sektör oyuncusu artık FP8 hesaplamalarını zorlamaktadır. Ölçeği düşürdükçe, doğruluk daha yüksek performansla değiştirilir ve modeller de küçülme eğilimindedir. Bu nedenle, modellerin genellikle performansı optimize etmek için bazı parametreler için daha düşük doğruluk hesaplamaları ve diğerleri için daha yüksek doğruluk hesaplamaları kullanmayı içeren karma kesinlik kullanması alışılmadık bir durum değildir.
Peki bu modeller ne kadar büyük? Pekala, ChatGPT’nin son zamanlarda tartışma eksikliği yaratmadığına göre, bölücü AI modelinin dayandığı GPT-3’e bir göz atalım. 175 milyar parametrede GPT-3, 2020 ortasıkabaca 2 TB’lık bir veri kümesinde büyük bir Nvidia V100 GPU kümesi üzerinde eğitildi.
Anladığımız kadarıyla, GPT-3, parametre başına dört bayt anlamına gelen FP32 hassasiyeti kullanılarak eğitildi. Bu, yalnızca modele uyması için gereken yaklaşık 700 GB vRAM’e karşılık gelir. Bugün, bu yaklaşık on adet 80GB Nvidia A100 gerektirir, ancak eğitilmesi için yıllarca beklemek istemiyorsanız, birkaç parça daha büyük demir isteyeceksiniz.
Stanford Üniversitesi ve Microsoft Research’teki bilim adamlarıyla birlikte çalışan Nvidia’daki mühendisler, tahmini 2021 tarihli bir makalede, 1.2 TB veri kümesinde GPT-3’ü eğitmenin 1.024 A100 34 gün süreceğini. Bunu perspektife koymak gerekirse, bu, 128 AWS p4de.24xlarge bulut sunucusuna eşdeğerdir. Saat başına 40,96 dolardan ve eğitim için gereken 816 saatle, sadece onu eğitmek için yaklaşık 4,28 milyon dolar harcarsınız. Daha akıllı performans sağlamak için eğitilmiş model üzerinde çıkarım yapmak tamamen başka bir konudur.
Ve bu sadece GPT-3. Gelecekteki modellerin çok daha büyük olması bekleniyor, bazıları GPT-4’ün bir trilyon parametre boyutunda olabileceğine dair spekülasyon yapıyor. Ancak henüz GPT-4 hakkında kesin ayrıntılara sahip olmadığımız için Nvidia’nın başka bir büyük dil modeline bakacağız.
Megatron’a bakın
Nvidia’nın Megatron-Turing NLG dil modeli, GPT-3’ten üç kat daha büyük olan 530 milyar parametreye sahiptir. Nvidia’ya göre, karma hassasiyette çalışan 2.048 Nvidia A100 aldı sekiz hafta modeli eğitmek için. AWS örneğimize geri dönersek, şimdi onu bir kez eğitmek için 14 milyon doların biraz üzerinde bir maliyetten bahsediyoruz. Kademeli olarak daha büyük bir veri kümesi üzerinde her hafta yeniden eğitimin neden aceleyle pahalıya mal olabileceğini anlamak için fazla hayal gücü gerekmiyor.
Bulut çok pahalıysa neden şirket içinde eğitim almadığınızı sorabilirsiniz. Bu, özellikle modelinizi sürekli olarak yeniden eğitecekseniz geçerli bir noktadır, ancak yine de büyük bir ön yatırım gerektirir.
Önceki Nvidia’nın Megatron-Turning NLG örneğini kullanırsak, 256 8-GPU düğümüne ihtiyacınız olacaktır. Örnek olarak Nvidia’nın DGX A100 sunucularını kullanacağız. Bu sistemlerin maliyeti değişkenlik gösterse de, 175.000 $ civarlarında fiyatlandırma gördük.
256 düğüm için maliyetler 44,8 milyon dolar olarak hesaplanıyor ve bu, onları çalışır durumda tutmak için gereken güç ve bakımı hesaba katmıyor. Tam yük altında, 256 düğümlü bir küme saatte 1,7 megavat tüketebilir. Sürekli yeniden eğitim varsayarsak, yılda 2,2 milyon dolarlık güce bakıyorsunuz. Elbette, gerçekte bundan biraz daha az olması gerekir.
Daha hızlı hızlandırıcıların çoğalması ve daha düşük/karma kesinlik hesaplamaları kesinlikle yardımcı olacaktır, ancak bu, modellerin yapmadığını varsayar. devam et silikondaki ilerlemelerimizi geride bırakmak için.
Azalan verim noktası
İnsan doğası hakkında bir şey öğrendiysek, o da para kazanmak anlamına geliyorsa elimizden gelen tüm kısayolları kullanacağımızdır. ChatGPT gibi çok büyük doğal dil modelleri etkileyici olabilir, ancak onları eğitmenin ve sonra yeniden eğitmenin maliyeti onları o kadar kullanışsız hale getirecek ki, yalnızca en büyük şirketler bunları tam potansiyelleriyle kullanmayı karşılayabilir.
Onbinlerce hızlandırıcıya sahip devasa GPU kümelerini işleten Microsoft gibi işletmeler tam da bunu yapmak için iyi bir konuma sahipler, bu nedenle şirketin devasa boyutlarda olması şaşırtıcı değil. yatırımlar OpenAI gibi şirketlerde.
Ancak yapay zeka modelleri ve hızlandırıcılar olgunlaştıkça, belirli uygulamalara göre uyarlanan modellerin sayısı muhtemelen artacaktır.
Dall-E’nin ardından bir dizi AI sanat oluşturucunun ortaya çıktığını zaten gördük. Ancak rakipleriyle aynı derecede cila sunamasa da, Stable Diffusion’ın açık kaynak doğası ve yalnızca devreye alınmakla kalmayıp aynı zamanda tüketici donanımı üzerinde eğitilme yeteneği, onu göze çarpan bir hit haline getirdi.
Kararlı Difüzyon, AI’nın azalan getiri kuralına karşı bağışık olmadığını da gösterir. Lüks arabalar sürücüleri cezbedebilir, ancak buna paraları yetmezse Ford veya Honda’larıyla yetinirler. Lüks bir markanın tarzından veya prestijinden yoksun olsa da yine de sizi A’dan B’ye yönlendirmenizi sağlar. Aynı şeyin yapay zekanın kuruluşta benimsenmesi için de geçerli olmayacağını düşünmek için hiçbir neden yok.
Nihayetinde amaç mükemmellik değil, sıradanlıktır. Model yeterince iyi olduğu ve maliyeti bir kişiye yaptırmaktan daha az olduğu sürece, yapay zeka kendi masrafını çıkarmış olacaktır. Ve tartıştığımız gibi, kesilecek çok köşe var. ®