Yığma veri araçları paketi için konsolidasyon yaklaşıyor

Son yıllarda, AWS ve Microsoft gibi hiper ölçekli dayanak noktalarının arka bahçesinde yeni bir bulut veri platformları türü ortaya çıktı. Bugün, Snowflake, Databricks ve bir avuç diğerleri, küresel devlerin farklı kaynaklardan akan bilgilerle bağlantı kurmasını, bunları depolamasını ve içgörüler oluşturmasını sağlayarak, kurumsal veri çabalarını başarıyla yönlendiriyor.

Çözümler, şirketlere muazzam güç ve yetenekler sağlar. Ancak hakimiyetleri aynı zamanda bir tür “altına hücum”u da tetikledi. Örnek olay: veri altyapısı için üst yığın araçlarının sayısında büyük bir artış.

Snowflake ve Databricks’in başarılarının ardından kalabalık bir araç ekosistemi ortaya çıktı. Araç satıcıları, modern veri platformlarının potansiyelini açığa çıkarmaya çalışıyor. Yine de safları büyüdükçe konsolidasyon da görebilirler. Bunun işaretleri, bu haftanın başlarında analitik mühendislik evi dbt Labs’ın modern veri yığınını daha iyi entegre etmek için anlamsal bir veri katmanı yaratmaya çalışan Transform’u satın alma anlaşmasında görüldü.

Snowflake ve Databricks gibi oyuncular, verileri barındırmak ve uygulamalar oluşturmak için bir platform sağlarken, hepsini yapamazlar. Veri yaşam döngüsünde bu çözümlerin tam olarak hizmet vermediği pek çok alan vardır; örneğin veri alımı, dönüşümorkestrasyon, yönetim ve gözlenebilirlik. Üçüncü taraf satıcılar tarafından sağlanan modern zaman yığınlama araçları bu boşlukları doldurur.

“Çok sayıda şirket, şirketlere farklı ürün ve hizmetler sunmak için yarışıyor. [that] kurucusu ve CEO’su Sean Knapp’a göre, Snowflake ve Databricks ekosistemlerinin üzerine inşa etmeye çalışıyorlar. Ascend.ioverileri otomatikleştiren ve analitik mühendislik iş yükleri. Knapp, VentureBeat’e bu alandaki kalabalık sorununun aşırı fonlamayla birleştiğini ve bunun da birçok potansiyel özelliğin birçok ayrı şirket arasında gelişmesine yol açtığını söyledi.

Veri monolitlerinin evrimi

Veri platformları ön plana çıktığında, ilk benimseyenler, gerekli yazılım çözümlerini kendi başlarına oluşturarak acil sıkıntılarını gidermeye çalıştılar. Bu, kurumsal çözümlerin mevcudiyetini haklı çıkaracak herhangi bir kalıp veya yaygın bir benimseme olmadığında, yığın veri araçlarının evrimindeki ilk dalgaydı.

Yavaş yavaş, erken benimseyen dönemden itibaren ihtiyaçlar ortaya çıktıkça, ikinci nokta çözüm dalgası ortaya çıktı. Çoğu işletmenin şu anda bulunduğu yer burasıdır. Yapbozun küçük parçalarını çözmek ve kısa zaman dilimlerinde önemli kazanımlar elde etmek için bulabildikleri tüm özel veri araçlarını kullanırlar.

Bugün, Snowflake ve Databricks düzinelerce iş ortağı aracını desteklemektedir. Bazı popüler olanlar dbt Labs, Matillion ve Prophecy’den gelir (veri hazırlama ve dönüştürme için); Hightouch Hevo ve Fivetran (veri alımı için); ve Anomalo ve Lightup (veri kalitesi için).

Bu arada, Alteryx, PowerBI ve Tableau gibi güçlü iş zekası uzmanları, artık Snowflake ve Databricks uygulamalarında yaygın olarak kullanılan analitiği ve görselleştirme araçlarını uyarlıyor.

Satıcıların sundukları arasında çok fazla örtüşme var ve birçok çözüm aynı zamanda aşağıdakileri de kapsıyor: veri bilimi ve gözlemlenebilirlik.

Mevcut yığın yukarı araçların çoğu işi iyi yapar, ancak aynı altyapı üzerinde farklı yetenekler için çok fazla çözüm olduğunda ekipler son derece karmaşık veri ekosistemleri tasarlayabilir. Tüm farklı araçlarını aynı anda bir araya getirmek, entegre etmek ve yönetmek zorundalar; bu da yalnızca kullanılan teknoloji için değil, mühendislik süresi ve fırsat maliyeti için de ödeme yapmak anlamına geliyor. Bu doğrudan yatırım getirisini etkiler.

Ayrıca, veriler birden çok araç arasında gidip geldiğinde, hareketini ve işlenmesini ayarlamak ve optimize etmek çok zor hale gelir.

“Basit bir yekpare modelden yüzlerce hatta binlerce karşılıklı bağımlılığa sahip karmaşık bir modele geçmek, anlaşılması ve sürdürülmesi zor olan, çok sayıda maliyetli lisans gerektiren ve kullanıcı eğitimi ile ilk katılım için dik bir öğrenme eğrisini zorlayan bir veri ekosistemine yol açabilir.” Ben Haynes, kurucu ortağı ve CEO’su doğrudan, VentureBeat’e söyledi. Directus, geliştiriciler için bir “hizmet olarak arka uç motoru” içeren bir veri platformunun yanı sıra Kod yok teknik olmayan kullanıcılar için araçlar.

Yığınlardaki farklı bileşen hizmetleri, sürekli hareket eden nesnelerdir.

Ascend.io’dan Haynes, “Hizmetlerden biri ilerlerken diğeri durursa veya artık desteklenmiyorsa, bunlar arasındaki entegrasyonlar ve bağımlılıklar bozulabilir,” diye ekledi. “Bir bağımlılığın kırılması domino etkisi yaratarak operasyonları durdurabilir. Mikro hizmetler çoğu zaman birbiriyle tam olarak örtüşmediğinden, yeteneklerde özel kod ve mantıkla doldurulması gereken boşluklar da olabilir.”

Yeni konsolidasyon dalgaları kapıda mı?

Ekipler düzinelerce aracı yönetmekten yoruldukça ve uzun vadede ihtiyaç duyulan standart kalıplar ortaya çıktıkça, üçüncü dalga olan “hızlı konsolidasyon”un yükselmesi bekleniyor. Burada ekipler, kullandıkları yeteneklerin hepsini olmasa da çoğunu birleştiren tek bir platform uygulamaya çalışacak. Bu tür yetenekler genellikle alım, dönüştürme ve gözlemlenebilirliği içerir. Ekipler, karmaşıklığı azaltmaya ve temel ürün gereksinimlerine daha iyi odaklanmaya çalışacak.

“Verilerimizin ne yaptığı, bunu nasıl yaptığımız veya bilgileri nasıl uyguladığımız farklı olabilir, ancak pek çok ortak model var. Bu kalıpların ortaya çıktığını gördükçe, bu yeteneklerin çoğunu birleştiren tek bir platform oluşturmanın muazzam değeri var,” diye açıklıyor Knapp.

“Birleştirme ile ekiplerimiz zamanlarının çoğunu sadece bir araya gelip araçları entegre etmekle harcamak zorunda kalmıyor ki bu katma değeri olmayan bir şey” diye ekledi. “Daha birleşik sistem, onları daha verimli hale getiriyor ve yeni ilerlemelerin önünü açıyor. Örneğin, daha birleşik meta verilere sahip olduğunuz ve otomatikleştirilmiş sistemler kurabildiğiniz için veri yaşam döngüsüne gerçekten gelişmiş zeka katmanları uygulayabilirsiniz.

Directus lideri Haynes kendi payına, merkezin ortak veya kritik işlevlerin temeli olarak hizmet ettiği, işin %80’ini yaptığı, ancak yine de diğer işletmelere kolayca bağlanma seçeneği sunduğu dengeli bir “merkez ve merkez” modelinin ortaya çıktığını görüyor. – Stripe, Hubspot veya Salesforce’tan gelenler gibi kritik hiper-özel araçlar.

Genel olarak, upstack araçlarının konsolidasyonunun, özellikle baskın veri platformları tarafından yönetilen özel sermaye odaklı birleşmeler ve satın almalar tarafından yönlendirilmesi bekleniyor.

Kar tanesi, örneğin, son zamanlarda ilan edildi Myst’i zaman serisi tahmini için satın alma kararının yanı sıra Kar Dönüştür bulut geçişine yardımcı olmak için. Benzer şekilde, geçen ay Thoma Bravo’nun sahibi olduğu Qlik ilan edildi Thoma Bravo’nun sahip olduğu başka bir kuruluş olan Talend ile çabalarını birleştirme niyeti.

“Dünyadaki Kar Taneleri ve Databricks’in çok açgözlü olması çok mantıklı. Şu anda gerçekten büyük satın almalar görüp görmediğimiz veya bu yılın ikinci yarısına veya gelecek yıla doğru gelip gelmedikleri bir soru işareti. Muhtemelen bu yılın ikinci yarısına ve gelecek yılın başlarına daha çok bahse girerim,” dedi Knapp. Snowflake ve Databricks için, ekosistemlerinde rekabetçi dinamikler yaratabilecek varlıkların satın alınması konusunda bir miktar dikkatli olunacağını da sözlerine ekledi.