Pazartesi günü Broadcom, yapay zeka modellerinin geliştiricilerinin 100 kilometreye kadar birden fazla mesafe verisine dağılmış GPU üzerinde modeller oluşturmasına izin verebilecek yeni bir anahtar sundu. Anahtar, AI’nın patlamasını beslemek için şu anda yapım aşamasında olan büyük yapıların bir alternatifinin yolunu açmaya yardımcı olabilir ve şirketlerin uzak ve daha az aç veri merkezlerini dikmesine izin verir.
Kod adı Gerico4Broadcom, Bant Genişliği’nin 51.2 TB/s’si ASIC kumaşının anahtar ve kapılarından toplandığını iddia ediyor. Ancak çip, bir ölçek veya ölçek ağ anahtarı olarak çift bir görev olarak hizmet edebilse de, Broadcom Tomahawk 6 veya Ultra Hızlandırıcıları ile çok daha yüksek bir radye ve daha düşük gecikme seçeneklerine sahiptir.
Bunun yerine, Broadcom çipi Datacenter’dan Datacenter’a (DCI) ara bağlantı için konumlandırdı.
Broadcom İlişkili Ürünler Hattı Başkanı Amir Sheffer, “Bir eğitim kümesi yönetiyorsanız ve tek bir binanın yeteneğinin ötesinde büyümek istiyorsanız, dışarıdaki tek geçerli çözüm biziz.” Dedi. El reg.
Her Jericho, Broadcom’un “hiper bağlantı noktası” olarak adlandırdığı en fazla sekizle yapılandırılabilir – büyük bir 3.2 TB/s gibi davranan dört 800GBE bağlantısı.
800 GBE’lik bir yığının birbirine bağlamak için ECMP bağlantılarının toplanmasının basit kullanımı ile karşılaştırıldığında, Broadcom hiper kapılarının %70 bağlantı daha yüksek bir kullanım elde edebileceğini söylüyor.
Silikon-slinger, kullanıcıların Jericho4’ü 36.000’e kadar HyperTeus kapısında yapılandırmalarda yeniden boyutlandırabileceğini ve bu da iki dataccer’ı saniyede 115.2 petbite mesanesine bağlamak için yeterli olması gerektiğini söyledi.
Her biri 800 Gbps’de 144.000 GPU’yu, şişede koşmadan yakındaki bir veri merkezinde eşit sayıya bağlamak oldukça bant genişliğidir.
Tarihsel olarak, veri merkezi operatörleri, 4: 1 veya 8: 1 olsun, DCI dağılımlarında belirli bir dereceye kadar aşırı kayıt kullandılar ve bu muhtemelen böyle olmaya devam ediyor, dedi Sheffer.
Antrenör, bu iş yüklerini birden fazla veri merkezine dağıtarak büyük ölçekli eğitim iş yükleriyle ilişkili güç kısıtlamalarını hafifletmekle birlikte, bant genişliği tek faktör değildir. Gecikme de devreye giriyor.
Jericho4’ün HBM’si ve tıkanıklık yönetimi teknolojisi tarafından desteklenen derin tamponlar, paketlerin kaybının neden olduğu kuyruk gecikmesine yardımcı olabilirken, ışığın fiberglastan bu kadar hızlı hareket ettiği gerçeğini değiştiremezler.
100 kilometre boyunca, gidiş-dönüş gecikmesi neredeyse bir milisaniyeye çalışır ve bu, alıcı-vericiler ve protokolün genel masrafları tarafından yapılan gecikmeyi dikkate almadan önce olur.
Bununla birlikte, gecikmenin dağıtılmış eğitim iş yükleri üzerindeki etkisini azaltmak için ilerleme kaydedilmektedir. Ocak sonunda Google’ın DeepMind ekibi Yayınlanmış Web devinin düşük iletişim eğitimine bir yaklaşımı detaylandırdığı “üst üste binmiş iletişim ile Diloco akışı” başlıklı bir belge.
Temel fikir, çok sık konuşmak zorunda olmayan dağıtılmış çalışma grupları oluşturmaktı. Nicelleştirmeyi kullanarak ve veri merkezi arasındaki iletişimi stratejik olarak planlamak, araştırmacılar, bant genişliği ve gecikme zorluklarının çoğunun aşılabileceğini öne sürüyorlar.
Şu anda büyük müşterilerin cihazlar tasarlamaya başlayabilmesi için örneklenmesi için mevcut olan Jericho4, Iperscalers ve bulut tedarikçileri araziyi büyük multi-gigatt veri merkezi kampüsünde açarken gelir. Bu kümeler o kadar büyüktür ki, birçok durumda onları desteklemek için yeni enerji santrallerinin inşasını gerektirirler. Örneğin, hedef, sözleşme Entergy, Richland Parish Megacluster’ını besleme yeteneğinin toplam 2,2 gigawatt’sı için üç kombine bisiklet yanması türbin jeneratörü inşa etmek.
Jericho4 ile Broadcom bir alternatif sundu. Büyük bir veri merkezi veri kampüsü oluşturmak yerine, daha fazlası için kıyafetler daha küçük veri oluşturabilir ve kaynaklarını gruplandırabilir. ®