Veriye dayalı uygulamalar uç için optimize edilmelidir

İş verileri, geleneksel bulut ve veri merkezi sınırlarının dışında giderek daha fazla üretilip tüketildiğinden, kuruluşların, birden çok hibrit ve çoklu bulut ortamını ve uç konumları içeren dağıtılmış bir ayak izi genelinde verilerinin nasıl ele alındığını yeniden düşünmeleri gerekiyor.

İş giderek daha fazla merkezden uzaklaşıyor. Uzak satış noktası sistemleri ve akıllı telefonlardan bağlantılı araçlara ve fabrika katlarına kadar veriler artık dünyanın her yerinde üretiliyor, işleniyor ve tüketiliyor. Bu eğilim, Nesnelerin İnterneti’nin (IoT) yükselişi, uç cihazların bilgi işlem gücünde istikrarlı bir artış ve daha iyi ağ bağlantısı ile birlikte uç bilgi işlem paradigmasındaki yükselişi teşvik ediyor.

IDC, 2023 yılına kadar bunu öngörüyor 50’den fazla% yeni BT altyapısı uçta konuşlandırılacak. Ve Gartner, 2025 yılına kadar bunu öngördü, Kurumsal verilerin %75’i geleneksel bir veri merkezinin veya bulutun dışında işlenecektir.

Verileri üretildiği ve muhtemelen tüketildiği yere daha yakın bir yerde işlemek, ağ maliyetlerinden tasarruf etmek ve kesintisiz bir deneyim sunmak için gecikmeyi azaltmak gibi belirgin avantajlar sunar. Ancak etkili bir şekilde konuşlandırılmazsa, kenar bilgi işlem ayrıca öngörülemeyen kesinti süresi, talebi karşılayacak kadar hızlı ölçeklenememe ve siber saldırıların yararlandığı güvenlik açıkları gibi sorunlu noktalar da yaratabilir.

Verileri yakalayan, depolayan ve kullanan durum bilgisi olan uç uygulamalar, uygulamaların kullanılabilirlik, ölçeklenebilirlik, gecikme ve güvenlik gereksinimlerini hesaba katan yeni bir veri mimarisi gerektirir. Merkezde ve uçta coğrafi olarak dağıtılmış bir altyapı ayak izi işleten kuruluşların, birkaç önemli veri tasarımı ilkesinin yanı sıra ortaya çıkması muhtemel sorunları nasıl ele alabileceklerinin farkında olmaları gerekir.

Veri yaşam döngüsünün haritasını çıkarın

Veriye dayalı kuruluşlar, verilerinin hikayesini anlayarak işe başlamalıdır: nerede üretiliyor, onunla ne yapılması gerekiyor ve sonunda nerede tüketiliyor. Veriler uçta mı yoksa bulutta çalışan bir uygulamada mı üretiliyor? Verilerin uzun süre saklanması mı yoksa hızlı bir şekilde saklanması ve iletilmesi mi gerekiyor? Makine öğrenimini eğitmek için veriler üzerinde ağır analitiği çalıştırmanız gerekiyor mu (makine öğrenimi) modeller mi yoksa üzerinde hızlı gerçek zamanlı işleme mi çalıştırırsınız?

Önce veri akışlarını ve veri depolarını düşünün. Uç konumlar, buluttan daha düşük bilgi işlem gücüne sahiptir ve bu nedenle uzun süreli analitik ve AI/ML için ideal olmayabilir. Aynı zamanda, verilerin işlenmek üzere birden fazla uç konumdan buluta taşınması, daha yüksek gecikme süresi ve ağ maliyetleri ile sonuçlanır.

Çoğu zaman, veriler bulut ve uç konumları arasında veya farklı uç konumları arasında çoğaltılır. Yaygın dağıtım topolojileri şunları içerir:

• Hub ve konuştu, verilerin uçlarda üretildiği ve depolandığı, buradan verileri toplayan merkezi bir bulut kümesiyle. Bu, perakende satış ortamlarında yaygındır ve nesnelerin interneti vakaları kullanın.
• Yapılandırman, verilerin bulutta depolandığı ve okuma replikalarının bir veya daha fazla uç konumda üretildiği yer. Cihazlar için yapılandırma ayarları yaygın örneklerdir.
• uçtan uca, verilerin bir katman içinde eşzamanlı veya eşzamansız olarak çoğaltıldığı veya bölümlendiği çok yaygın bir model. Uç konumlar arasında hareket eden araçlar, gezici mobil kullanıcılar ve ülkeler arasında hareket eden ve finansal işlemler yapan kullanıcılar bu modelin tipik örnekleridir.

Toplanan verilerle ne yapılması gerektiğini önceden bilmek, kuruluşların durum bilgisi olan uygulamalar için bir temel olarak en uygun veri altyapısını kurmasına olanak tanır. Bu topolojileri kolaylaştıran esnek yerleşik veri çoğaltma yetenekleri sunan bir veritabanı seçmek de önemlidir.

Uygulama iş yüklerini tanımlayın

Veri yaşam döngüsüyle el ele, veri üreten, işleyen veya tüketen uygulama iş yüklerinin manzarasına bakmak önemlidir. Durum bilgisi olan uygulamalar tarafından sunulan iş yükleri, aktarım hızı, yanıt verebilirlik, ölçek ve veri toplama gereksinimleri açısından farklılık gösterir. Örneğin, bir perakendecinin tüm mağaza konumlarından gelen işlem verilerini analiz eden bir hizmet, verilerin ayrı mağazalardan bulutta toplanmasını gerektirecektir.

Bu iş yükleri yedi tipte sınıflandırılabilir.

• Veri akışıcihazlardan ve kullanıcılardan alınan veriler, artı araç telemetrisi, konum verileri ve IoT’deki diğer “şeyler” gibi. Veri akışı, yüksek verim ve hızlı sorgulama gerektirir ve kullanımdan önce sterilize edilmesi gerekebilir.
• Akış sata üzerinden analiz, uyarı oluşturmak için akış verilerine gerçek zamanlı analitik uygulandığında olduğu gibi. Veritabanı tarafından yerel olarak veya Spark veya Presto kullanılarak desteklenmelidir.
• Olay verileriatomiklik, tutarlılık, izolasyon ve dayanıklılık (ACID) ile verinin geçerliliğini garanti eden veritabanında depolanan ham akışlar üzerinde hesaplanan olaylar dahil.
• Ağır salt okunur sorgulara sahip daha küçük veri kümelerinadiren değiştirilen ancak çok hızlı bir şekilde okunması gereken yapılandırma ve meta veri iş yükleri dahil.
• İşlemsel, ilişkisel iş yükleri, kimlik, erişim kontrolü, güvenlik ve gizliliği içerenler gibi.
• Tam teşekküllü veri analitiği, belirli uygulamaların farklı konumlardaki verileri toplu olarak analiz etmesi gerektiğinde (yukarıdaki perakende satış örneği gibi).
• Uzun süreli veri saklama gerektiren iş yükleri, tarihsel karşılaştırmalar için veya denetim ve uyum raporlarında kullanım için kullanılanlar dahil.

Gecikme ve aktarım hızı gereksinimleri için hesap

Düşük gecikme süresi ve yüksek verimli veri işleme, genellikle uygulamalar için yüksek önceliklerdir. kenar. Uçtaki bir kuruluşun veri mimarisinin, ne kadar verinin işlenmesi gerektiği, verilerin ayrı veri noktaları olarak mı yoksa etkinlik patlamaları halinde mi geldiği ve verilerin kullanıcılar ve uygulamalar tarafından ne kadar hızlı kullanılabilir olması gerektiği gibi faktörleri hesaba katması gerekir.

Örneğin, bağlı araçlardan gelen telemetri, kredi kartı sahtekarlığı tespiti ve diğer gerçek zamanlı uygulamalar, analiz için bir buluta geri gönderilme gecikmesine maruz kalmamalıdır. Gerçek zamanlı analitiğin uçta uygulanmasını gerektirirler. Uçta dağıtılan veritabanlarının düşük gecikme süresi ve/veya yüksek veri çıkışı sunabilmesi gerekir.

Ağ bölümleri için hazırlanın

Buluttan uca geçtiğinizde altyapı kesintileri ve ağ bölümleri olasılığı artar. Yani bir tasarım yaparken kenar mimarisi, uygulamalarınızın ve veritabanlarınızın ağ bölümlerini işlemeye ne kadar hazır olduğunu düşünmelisiniz. Ağ bölümü, altyapı ayak izinizin birbiriyle konuşamayan iki veya daha fazla adaya bölünmesi durumudur. Bölmeler, bulut ve uç arasında üç temel çalışma modunda gerçekleşebilir.

Çoğunlukla bağlı ortamlar, uygulamaların her zaman olmasa da çoğu zaman bir API çağrısı gerçekleştirmek için uzak konumlara bağlanmasına izin verir. Bu senaryodaki bölümler birkaç saniyeden birkaç saate kadar sürebilir.

ağlar ne zaman yarı bağlantılıgenişletilmiş bölümler saatlerce sürebilir, bu da uygulamaların bölüm sırasında meydana gelen değişiklikleri tanımlayabilmesini ve bölüm iyileştikten sonra durumlarını uzak uygulamalarla senkronize edebilmesini gerektirir.

İçinde bağlantı kesildi Uçta en yaygın çalışma modu olan ortamda, uygulamalar bağımsız olarak çalışır. Nadir durumlarda bir sunucuya bağlanabilirler, ancak çoğu zaman harici bir siteye güvenmezler.

Kural olarak, uzak uçtaki uygulamalar ve veritabanları bağlantısız veya yarı bağlantılı modlarda çalışmaya hazır olmalıdır. Near-edge uygulamaları, yarı bağlantılı veya çoğunlukla bağlantılı işlemler için tasarlanmalıdır. Bulutun kendisi çoğunlukla bulut işlemleri için gerekli olan bağlı modda çalışır, ancak aynı zamanda bir genel bulut kesintisinin bu kadar geniş kapsamlı ve uzun süreli bir etkiye sahip olabilmesinin nedeni de budur.

Yazılım yığını çevikliğini sağlayın

İşletmeler, uygulama paketlerini kullanır ve uygulamaların hızlı yinelenmesi için çevikliği ve tasarım yeteneğini vurgulamalıdır. Spring ve GraphQL gibi geliştirici üretkenliğini artıran çerçeveler ve açık kaynak veritabanları gibi çevik tasarımı destekler. postgresql ve YugabyteDB.

Güvenliği önceliklendirin

Tıpkı operasyonların buluta taşınması gibi, uçta bilgi işlem doğal olarak saldırı yüzeyini genişletecektir.

Kuruluşların eski usul çevre korumaları yerine kimliklere dayalı güvenlik stratejileri benimsemesi önemlidir. En az ayrıcalıklı politikaların uygulanması, bir sıfır güven mimari ve sıfır dokunuşlu provizyon, bir kuruluşun hizmetleri ve ağ bileşenleri için kritik öneme sahiptir.

Ayrıca, hem geçişte hem de kullanımda olmayan şifrelemeyi, veritabanı katmanında çoklu kiracılık desteğini ve her kiracı için şifrelemeyi ciddi şekilde düşünmeniz gerekir. Verilerin bölgesel konumunun eklenmesi uyumluluğu sağlayabilir ve gerekli tüm coğrafi erişim kontrollerinin kolayca uygulanmasına izin verebilir.

Uç, bilgi işlem ve işlemlerin gerçekleştiği yerde giderek daha fazla yer alıyor. Hızı, işlevselliği, ölçeklenebilirliği ve güvenliği optimize eden veri uygulamaları tasarlamak, kuruluşların bu bilgi işlem ortamından en iyi şekilde yararlanmasını sağlayacaktır.

Karthik Ranganathan, kurucusu ve CTO’sudur. Yugabayt.