RSA Konferansı RSA Konferans Bingo kartında ChatGPT veya AI veya LLM’leri olan herkes, hepsi tekrar tekrar ortaya çıktıkça San Francisco’daki bu yılki etkinliği açıkça kazanıyor.
Örnek olay: Etik, AI önyargıları ve halüsinasyonlar ile AI kırmızı ekiplerinin bilgi güvenliği muadillerinden neler öğrenebileceğine odaklanan konferansın ikinci gününü başlatan Salı AI açılış konuşması. AI kırmızı ekipleri, güvenlik açıkları için makine öğrenimi sistemlerini araştıran ve üreten ekiplerdir.
Microsoft’tan Ram Shankar Siva Kumar, “Bu paneli planlamaya başladığımızda ChatGPT yoktu,” dedi ve her şeyin değişmeden önceki 2022 dolaylarında çok eski bir dönemi özlemle anımsadı.
Azure Güvenilir Makine Öğrenimi girişiminde bir veri kovboyu olan Kumar, Redmond’un yapay zeka kırmızı ekibini kurdu. Salı günkü açılış konuşmasında, o ve diğer makine öğrenimi öncüleri, kuruluşların makine öğrenimi yazılımındaki zayıflıkları bulup araştırmak için kırmızı bilgi güvenliği ekiplerinden bir sayfa almaları gerektiğini savundu.
Google’ın DeepMind AI araştırma laboratuvarında baş bilgi güvenliği sorumlusu Vijay Bolina, büyük şirketlerin veya iş uygulamalarına ve operasyonlarına aşağı akış erişimi olan genel amaçlı AI sistemleriyle çalışan herkesin bu sistemleri ve ardışık düzenleri stres testi yapması gerektiğini söyledi. Bu, bu AI modellerinin, iletişim platformlarına bağlı uygulamalar ve hizmetler, ödeme işlemcileri, çevrimiçi sipariş vb.
Bolina, DeepMind’in yapay zeka kırmızı ekibinin Google’ın makine öğrenimi kırmızı ekibiyle iş birliği yaptığını ve “inşa ettiğimiz şeyi yalnızca algoritmik düzeyde değil, aynı zamanda sistemler, teknik altyapı düzeyinde de stres testi” için çalıştığını sözlerine ekledi.
Bolina’ya göre saldırganlar “temel sisteme erişmek için muhtemelen çok sayıda yöntem ve saldırı kullanacak”. Bu nedenle, bir AI red ekibi, bazılarını henüz yeni keşfetmeye ve anlamaya başladığımız güvenlik açıklarını test etmek için bir bilgi güvenliği ve makine öğrenimi uzmanı karışımı içermelidir.
AI red ekipleri, sistem güvenlik açıklarını belirlemeye ek olarak, makine öğrenimi modellerindeki önyargılar veya halüsinasyon tetikleyicileri gibi şeyleri de aramalıdır – yapay zeka duruma bağlı olarak sinir bozucu ve hatta tehlikeli olabilecek şeyleri kendinden emin bir şekilde uydurduğunda.
Rumman Chowdhury, Twitter’ın Makine Öğrenimi Etik, Şeffaflık ve Hesap Verebilirlik (META) ekibinin mühendislik direktörüydü. ilk önyargı ödülü. Twitter ekibi, platformun görüntü kırpma yapay zeka algoritmasının tercih edilen daha genç, daha ince görünen ve daha açık tenli insanlar ve sağlıklı olanlar.
Bu, elbette, Elon Musk’ın etik yapay zeka ekibini devralıp içini boşaltmasından önceydi. O zamandan beri Chowdhury, topluluğu AI araçlarındaki önyargıları bulmaya teşvik etmek için bir dizi hata ödül programı başlatan Bias Buccaneers adlı kar amacı gütmeyen bir kuruluşun kurucu ortağı oldu.
Chowdhury, “Bilgi güvenliği ve yapay zeka uzmanlığı alanında olmayan, ancak aslında insanların konu uzmanlığı ve yaşanmış uzmanlığı kapsamındaki bağlama özgü sorunların faydalı ve yeni hack’lerini ve önyargılarını halka açık bir şekilde nasıl kitle kaynağıyla sağlıyorsunuz?” diye sordu.
Yapay zeka kırmızı ekipleri, yalnızca sinir ağlarına kötü şeyler yapan kötü niyetli aktörleri tahmin etmek ve savuşturmak zorunda değil, aynı zamanda modelleri güvenli olmayan bir şekilde dağıtan kişilerin etkisini de dikkate almaları gerekiyor.
“Kazara kötü şeyler uygulayan iyi niyetli insanlar var” dedi ve “bu konuyu ele alma yaklaşımınız değişiyor.” Kolayca suistimal edilmemesi için API veya AI teklifinizi desteklemek bir şeydir, ancak birisinin bu korumaları yanlışlıkla geri almasını önlemek için güvenlik önlemleri eklemeyi unutmayın. ®