AOP’lerin vaadine rağmen, tamamen otomatikleştirme ve kendi kendine verilen BT ortamları hayali zor olmaya devam ediyor. Üretken araçlar, nihayet iş yükünden oraya ulaşmak için yeterince uzaklaşan çözüm olabilir. Ancak, bugünün gerçekliği çok daha karmaşık. Son Catchpoint İnternet Performans İzleme SRE 2025 raporu Bunu ilk kez ve belki de yapay zeka araçlarına artan bağımlılık nedeniyle buldum, “Operasyonel görevlerin yükü büyüdü. “
Doğru, AI yapabilir Spinöz iş akışlarını kaldırınAncak bunu yapmak beklenmedik zincir etkileri olabilir. Örneğin, sistem bildirimleri otomatik olarak bastırmak için öğrenilen modelleri kullanabilir, ancak bu ekiplerinizi yeni etkinliklere tamamen kaybedebilir. Ve IA, eski veya kırılmış olanı sihirli bir şekilde çözmeyecek: yapay bir zeka çözümü uyguladıktan sonra, “sorunlar genellikle kalır çünkü değişim zaman içinde gerçekleşir, hemen değil”, Catchpoint’ten Mehdi Daoudi açıkladı Demlemek. Bunun nedeni ” [the] Birkaç veri mağazasında yaşayan farklı veri türleri hatalara tabidir ve verimsizdir “Ayrıca yapay zeka tarafından beslenen araçların yardımı ile, Charity, Liz Fong-Jones ve George Miranda’yı onlarınkine yazın Sonraki baskısı Gözlemlenebilirlik mühendisliği. Ve bu, yapay zeka sistemleri ve yapay zeka temsilcileri hakkında farkındalığı artırmanın aşılmasının en geniş endişesini dikkate almadan önce. İnsan yeterliliğinin yaygın erozyonu.
AIOP’ların çift kenarlı bir kılıç olduğunu söyleyeceğinizden emin olabilirsiniz, bu da karmaşık süreçleri kolayca keserken, geri dönüşte gizlenmiş yeni karmaşıklık biçimleri getirir. Bütünün tamamında olduğu gibi, bir çözümün yararlılığı genellikle güvenilirliğine dayanır. Derinleşmeden Gibi Yapay zeka araçları verdikleri kararlara geliyor, bu kararların güvenilir olduğundan emin olamazsınız. AI Squared memurlarının şefi Michelle Bonat, şunu söyle “AI’nın gözlemlenmesinin paradoksu. “Kısacası, gözlemlenebilirliği akıllı sistemlere devrederken, eylemlerini veya izleme sistemlerimizi anlama yeteneğimizi azaltıyoruz.
Çünkü “gözlemlenebilirlik gözlemlenebilirlik” önemlidir
OOPS ekipleri otomatik bildirimlerden daha fazla toparlanıyor, AI tarafından yönlendirilen kök nedeninin analizini ve öngörücü içgörüler, ancak bu güven titrek bir toprak üzerine inşa edilmiştir. Zaten endişeler var Mevcut değerlendirme modellerinin kriterleri ne kadar etkilidirve AI ajanları için referans parametreleri “önemli ölçüde daha karmaşık“(Ve dolayısıyla daha az güvenilir). Ve gözlemlenebilirlik aktivitenin spesifik komplikasyonlarını sunar:
Veri ve veri boru hattının bütünlüğü: Gözlemlenebilirlik platformunu besleyen veri kaynakları kusurlu ise (örneğin, terk edilmiş kayıtlar, fişli ajanlar, yeni hizmetlerden yüksek kardinalite kardinalitesi sorunları) veya gözlemlenebilirlik yığını içindeki veri dönüşümü boru hatları hatalar veya gecikme getiriyorsa, başlangıçtan başı dertte olursunuz. Görmediğin sorunlarla yüzleşemezsiniz.
Modelin sürüklenmesi ve önyargısı: Yapay zeka modelleri, sistemin davranışının veya verilerinin varyasyonları, uygulamanın yeni sürümleri veya proxy metrikleri ve gerçek sonuçlar arasındaki artan tutarsızlıklar nedeniyle zaman içinde bozulma veya “sürüklenme” eğilimindedir. Ve bozulma üretken yapay zeka modelleri için sık görülen bir sorundur. Bu, özellikle problemlerin doğru tanısının doğru analiz gerektirdiği gözlemlenebilirlik sistemleri için rahatsız edicidir. Verilerden önyargılar veya yanlış sinyaller geliştiren yapay bir zeka modelinin çıktısına güvenemezsiniz, ancak LLM-Gözlemlenebilirlik Platformları Sık sık sonuçlarına nasıl ulaştıklarını açıklayamıyorumBu sorunların metabustabilite olmadan tanımlanması zor olabilir.
Platformun sağlığı ve performansı: Gözlemlenebilirlik platformları karmaşık dağıtılmış sistemlerdir: kesintileri, performansın bozulması ve diğerleri gibi kaynak anlaşmazlıkları vardır. Birincil sağlıklı gerçeği korumak ve güvenilir bir performans sergilemek çok önemlidir. Ancak, izleme araçlarınızın aynı gözlemlenebilirlik seviyesinde gözlemlenebilir olmadan düzgün çalıştığını nasıl bileceksiniz?
Gözlemlenebilirlik yığınınız kritik bir sistemdir. Bu şekilde davranın.
Çözüm oldukça basittir: aynı izleme ilkelerini üretim uygulamalarınıza yaptığınız gözlemlenebilirlik araçlarına uygulamak. Tabii ki, şeytan ayrıntılı.
Metrikler, gövdeler ve izler: Telemetri verileri size sistemin sağlığı ve aktivitesi hakkında bilgi sağlar. Platformun gecikmesini, veri alım oranlarını, sorgunun performansını ve API hata oranlarını ve aynı zamanda bütünlüğe odaklanan metrikleri izlemelisiniz. Temsilcilerin ve koleksiyoncuların kaynaklarının kullanımı, ilk jeton için zaman, iç içe geçmiş gecikme ve saniyede jeton varsa. Gözlemlenebilirlik bileşenlerinizdeki kayıtların toplanması, iç davranışlarını anlamanıza yardımcı olacaktır. Ve gözlemlenebilirlik boru hattı aracılığıyla istekleri izleyerek darboğazları tanımlayabilirsiniz.
Veri doğrulama kontrolleri ve kalitesi: Gözlemlenebilirlik verilerinin toplanmasını ve veri akışlarının konsolidasyonu, ilgili taraflara yapay zekaya dayalı kararların anlaşılması ve güveni için gerekli olan sistemin sağlığı hakkında birleşik bir vizyon sunar. Openlemetri bir Özellikle iyi platform Gözlemlenebilirlik için, veriler için taşınabilirlik sunduğu için, tedarikçinin engellemesini ortadan kaldırır ve farklı hizmetler aracılığıyla tutarlı enstrümantasyonu teşvik eder; Ayrıca telemetriyi kararların menşe noktalarına bağlayarak daha iyi açıklanabilirlik sağlar. Ancak, gözlemlenebilirlik araçlarınıza akan verilerin kalitesi ve eksiksizliği (metrik kardinaller için sağlanan benzersiz hizmet adlarının sayısı, zaman damgasının sürüklenmesi, vb.) Ve aynı veri toplamadaki anomaliler için bildirimler (örneğin, bir hizmetten kayıt hacminde ani azalma) hakkında otomatik kontroller uyguladığınızdan emin olun. Aynı yapay zeka modelleri gibi, yapılandırmanız zamanla sürüklenecek (bir sorun Kuruluşların üçte birinden azı proaktif olarak izlemek). Firefly’den Ido Neeman’ın gözlemlediği gibi Yeni Stack“Kısmi IAC [Infrastructure as Code] Sistematik tıkanıklıklarla karışık benimseme temelde Yapılandırma sapmasını garanti eder. “
Modelin izlenmesi ve açıklanabilirliği: Petek Austin Parker, LLM tabanlı gözlemlenebilirlik araçlarının analiz sağlama hızı, gerçek dönüm noktasıdır“İyi yapmadan önce bir düzine kez yanlış olabilirler”. (Gözlemlenebilirliğin AI ritmini O’Reilly’nin yakınına daha ayrıntılı olarak nasıl eşitleyebileceğini tartışacak Altyapı ve oops üst akım.) Bu hız bir kaynaktır, ancak hassasiyet alınamaz. Sonuçları şüphecilikle görüntüle. Yapay zekanın çıktısına güvenmeyin; Daha basit sinyallerle referans ve insan sezgisini atmayın. Daha da iyisi, modelin davranışı ve performansı hakkında doğruluk, yanlış pozitif/negatif ve özelliğin önemi gibi bilgiler isteyin.1 Frost Bank Ciso Eddie Contreras’ın diyor “Ölçekte Kalite Sigortası. “Bu olmadan, OI gözlemlenebilirlik sisteminiz opak olacak ve sizi ne zaman kaybettiğinizi bilmeyeceksiniz.
Mühendisin evriminin en derinleri
Yapay zeka, buna yeni karmaşıklık ve kritik seviyeler ekliyor, ancak bu yazılım mühendisinin rolünü azaltmıyor. Ben Lorica, başarılı yapay zeka üzerindeki “sıkıcı gerçeğin” “kazananlar” olduğunu vurguladı. Onları besleyen altyapının verimliliği ve sessiz esnekliği. “Bu” gerçeği “başka bir perspektiften düşünmek, Ciso Serisi Şef David Spark: “Ne zaman bir AI-AI silah yarışı yaratıyoruz Gerçekten ihtiyacımız olan temel mühendislik disipliniKayıt, Sınırlar ve Seziler İnsan tarafından okunabilir mi? “
İyi mühendislik uygulamaları her zaman “yapay zeka sorunlarınızı çözmek için yapay zeka kullanmayı” aşmaktadır. Yevgeniy Brikman’ın belirttiği gibi. DevOps’un Temelleri ve Yazılımın Teslimatı“En önemli öncelikler genellikle güvenlik, güvenilirlik, tekrarlanabilirlik ve esnekliktir. Ne yazık ki, bunlar tam olarak Genai’nin zayıf alanlarıdır.” Bu yüzden Sessiz Lorica ve Spark Şampiyonu güvenilirliği, denetimi otomatikleştirdiğini iddia eden araçların sürekli ve kasıtlı denetimi gerektirir.2 Mühendisler artık güven ve güvenilirlik hakemleridir ve gelecek sadece uygulamayı değil, aynı zamanda ona bakmak için emanet ettiğimiz araçlara da aittir.
| O’Reilly ile Sistemlerinizde Metaobstervability oluşturulmaya başlayın 21 Ağustos’ta şef Sam Newman’a ve bir All-Star Gözlemlenebilirlik Pro’ya katılın. AI’ya dayalı operasyonlar ve gözlemlenebilirlik üzerine altyapı ve oops üst akımı. Kazaların yönetimi ve sistem performansının izlenmesi gibi önemli görevlerin otomasyonu da dahil olmak üzere geleneksel BT işlevlerinizi geliştirmek için kullanabileceğiniz imkansız stratejiler elde edersiniz. O’Reilly üyeleri için ücretsizdir. Yerinizi buradan kurtar.
Üye değil mi? 10 günlük ücretsiz bir deneme için kaydolun Katılmak ve O’Reilly’deki diğer tüm harika kaynakları kontrol etmek. |
Notalar
- Neyin gerekli olduğuna ayrıntılı bir bakış için, Huyen Chip bölümüne bakın. Sistemlerin değerlendirilmesi AI İçinde Mühendislik AI Ve Abi Aryan’ın İzleme, Gizlilik ve Güvenlik Genel Bakış İçinde Llmops. Aryan ayrıca LLM boru hattının her aşamasında gözlemlenebilirlik stratejilerini yakın O’Reilly’ye paylaşacak Altyapı ve oops üst akım.
- İnsanların döngüye ait olduğu yerlerde açık bir soru: Petek Sre Fred Hebert, yararlı bir soru listesini paylaştı Özel koşullarınız için anlamanıza yardımcı olun.