Yapay zeka, büyük veri analitiği için yeni bir altın standarda giden yolu nasıl gösteriyor?

Veriler yeni altınsa, o zaman bugünün “altını” büyümek isteyen kuruluşlar için trendlere ve müşteri davranışlarına ilişkin paha biçilmez içgörüler biçiminde gelir. Ancak bol miktarda veriye sahip olmak – şanslı olsa da – en azından şimdilik sorunlu olmaya devam ediyor.

Neden?

Çoğu kuruluş, parmaklarının ucunda muazzam miktarda veriye sahiptir, ancak bunların tamamını işleyecek altyapıya veya donanıma sahip değildir. 2.5 kentilyon bayt veri şu anda günlük olarak üretiliyor ve çoğalmasıyla birlikte hızlanıyor nesnelerin interneti bir uçta teknolojiler ve diğer uçta günlük milyarlarca kullanıcıya hizmet veren merkezi bulut hizmetleri. günümüzün standart bilgisayar çipleri – merkezi işlem birimleri (CPU’lar) – bilgi işlem maliyetinin faydalarından daha fazla olduğu bir performans tavanına ulaştı.

19. yüzyılın ünlü altına hücum olayının gösterdiği gibi, dik bir yokuşu tırmanmak ve idealden daha az sonuçlar elde etmek pahasına bile olsa, tanıdık yolları takip etme yönünde doğal bir eğilim vardır. Birçok altın madencisi, yeni yollar yaratarak çok daha iyi sonuç almış olabilir. Benzer şekilde, “yeni” altına giden ideal yolu bulmak için veri analizine yönelik yeni bir yol oluşturmak çok önemlidir.

Hata yapmayın – veriler şimdiden sayısız buluşa yol açtı ve inanılmaz faydalar sağladı. Ancak bu yeni altının tüm değerini gerçekten elde edeceksek, şimdi CPU’ların ötesine geçmenin ve eşi benzeri görülmemiş hızlarda tüm bir içgörüler evreninin kilidini açan yeni nesil alternatifleri keşfetmenin zamanı geldi.

Büyük veri işlemenin nerede ve ne kadar yetersiz kaldığını gerçekten anlamak için, yapay zeka (AI) son derece aydınlatıcı olabilir.

AI devriminin ön koşulu

Yapay zekanın ilk dönüm noktası niteliğindeki kullanım örnekleri, onlarca yıl öncesine, algoritmaları ve uygulamalarını araştıran çeşitli araştırma projelerine kadar uzanır. En eskilerden biri, dama oynamak için tasarlanmış minimax algoritmasıydı. O zamandan beri satranç oynamak için gelişti ve oldukça zorlu bir rakip haline geldi.

Ancak masa oyunlarının kapsamının ötesinde, yapay zekanın büyüyen uygulama listesi ve kullanım örnekleri kısa sürede ikinci atılımını ateşledi: büyük ölçekli işletmelerin müşteri ihtiyaçlarını daha iyi anlamalarına yardımcı olmak için büyük ölçüde çok miktarda kullanıcı verisini analiz etmekle görevli varlık hizmetlerinin çoğalması.

Yine de bu algoritmalar ve varlıklar, nihayetinde yalnızca üzerinde çalıştıkları genel amaçlı işlemciler kadar iyiydi. Mantık ve bellek açısından yoğun iş yüklerinde mükemmel olmalarına rağmen işlem hızları yavaştı. Ancak 2009’da Stanford araştırmacıları, grafik işleme birimlerinin (GPU’lar) işlemede CPU’lardan önemli ölçüde daha iyi olduğunu keşfettiklerinde bu durum değişti. derin sinir ağları Artan bilgi işlem paralellik dereceleri nedeniyle – aynı anda birden çok hesaplama veya işlemi çalıştırma yeteneği. Bu yeni bilgi işlem altyapısı, yapay zekanın üçüncü ve en belirleyici buluşu olan derin sinir ağları çağını ateşledi.

GPU’lar yalnızca yapay zeka algoritmalarının çalışma şeklini hızlandırmakla kalmadı. Nöral ağlara geçiş, o zamana kadar CPU’ların sınırlamaları nedeniyle imkansız veya verimsiz olan yeni algoritmalar için koca bir fırsat dünyasının kapılarını açan benzeri görülmemiş seviyelerde algoritmik performans yarattı. Bunlar şunları içerir: büyük dil modelleri O dönüştürülmüş arama motorlarımız ve şimdi popüler üretici yapay zeka gibi hizmetler İLE-E 2, resimKararlı Difüzyon ve yolculuk ortası. GPU devrimi, doğru işleme donanımının modern yapay zeka devrimini ateşlemenin anahtarı olduğunu açıkça ortaya koydu.

Büyük verinin eksik unsuru

AI’nın gelişim tarihi, mevcut duruma çok fazla ışık tutabilir. Veri analizi.

İlk olarak, AI gibi, Büyük Veri araştırma projeleri başlangıçta çok çeşitli algoritmalar ve kullanım durumları ortaya çıkardı. İkincisi – yine yapay zekaya benzer şekilde – bunu veri toplama ve analiz hizmetlerinin çoğalması izledi. Örneğin, Amazon, Google ve Microsoft gibi tüm büyük bulut sağlayıcılarından büyük veri analitiği etrafında inşa edilmiş inanılmaz miktarda altyapı var.

Ancak yapay zeka ve onun GPU “devrimi”nin aksine, Büyük Veri henüz yapay zekanın üçüncü atılımını taklit etmedi: kendi benzersiz bilgi işlem altyapısının edinilmesi.

Şu anda, CPU’lar, verimsiz işleme hızlarına rağmen hala veri analitiği için temel görevi görüyor, ancak yapay zekanın aksine, GPU’lar uygun bir ikame değil. Bu, şirketlerin daha fazla veri biriktirdikçe, ağır yük ile başa çıkmak için genellikle daha fazla sunucu kullandıkları anlamına gelir – ta ki veri analizinin maliyeti faydalarından ağır basana kadar.

Yeni bir yol oluştur

Yapay zeka iş yüklerinin artık GPU’larda ve diğer donanım hızlandırıcılarda çalıştırdığı verimlilikle özel işlemcilerde veri analitiği iş yüklerini çalıştırmanın bir yolunu bulabilirsek, benzer bir “devrimi” ateşleyebilir, Büyük Veri dünyasını kırarak yeni bir seviye oluşturabiliriz. Daha önce ulaşılamaz hızlarda içgörü. Ancak bunun için kullandığımız donanımı yeniden gözden geçirmeliyiz.

Uygun bir bilgi işlem altyapısının bulunamaması, kuruluşların veri faydalarını ölçeklendirmelerini engelleyerek yeni içgörüler geliştirme ve ek yenilikleri teşvik etme yeteneklerini engelleyecektir. Öte yandan başarılı olmak, tamamen yeni bir Büyük Veri çağını teşvik edebilir.

Birçok altına hücum araştırmacısının düşüşü, önceden keşfedilen altına giden bilinen yolları takip etme yönündeki yanlış dürtüleriydi. Yapay zeka araştırmacıları ise ortak yoldan saptı ve yeni bir yol buldu; GPU’lara ve diğer hızlandırıcılara giden yol; bu, derin öğrenme için altın standart olmaya devam ediyor. Büyük Veri araştırmacıları kendi yollarını çizebilirlerse, onlar da bir gün altını üstüne getirebilir ve Büyük Veri analitiğinin sınırlarını kimsenin hayal edemeyeceği kadar zorlayabilir.

Adi Fuchs, şirketin baş mimarıdır. hız verileri.