Bu yılki DEF CON AI Köyü, bilgisayar korsanlarını OpenAI, Google, Anthropic ve diğerleri tarafından oluşturulan büyük dil modellerinde (LLM’ler) ortaya çıkmaya, dalmaya ve hatalar ile önyargılar bulmaya davet etti.
AI Village organizatörlerinin “herhangi bir AI modeli grubu için şimdiye kadarki en büyük kırmızı takım çalışması” olarak tanımladığı ortak etkinlik, “gözden kaçan kurum ve topluluklardan yüzlerce öğrenci” de dahil olmak üzere “binlerce” insanı ağırlayacak. günümüzün sohbet botlarına ve üretken yapay zekasına güç veren LLM’lerdeki kusurları bulmakla görevlendirildi.
Düşünün: koddaki geleneksel hatalar, ancak aynı zamanda önyargı, halüsinasyonlar ve jailbreak’ler gibi makine öğrenimine daha özel sorunlar – bu teknolojiler ölçeklenirken artık etik ve güvenlik profesyonellerinin uğraşması gereken sorunlar.
DEF CON, bu yıl 10-13 Ağustos tarihleri arasında ABD, Las Vegas’ta gerçekleştirilecek.
Bu modellerle ilgili çeşitli sorunlar, daha fazla kişi nasıl kırmızı takım yapılacağını öğrenene ve onları değerlendirene kadar çözülmeyecektir.
AI Village’ın kurucusu Sven Cattell, “Geleneksel olarak, şirketler bu sorunu uzmanlaşmış kırmızı ekiplerle çözmüştür. Ancak bu iş büyük ölçüde özel olarak gerçekleştirilmiştir” dedi. ifade. “Bu modellerle ilgili çeşitli sorunlar, daha fazla insan nasıl kırmızı takım yapılacağını öğrenene ve onları değerlendirene kadar çözülmeyecek.”
Veri bilimcisi, genel olarak ML model tabanlı sistemlere sığacak şekilde değiştirilmiş hata ödüllerini ve canlı bilgisayar korsanlığı olaylarını görmek istiyor. Cattell, “Bunlar, zararları ele alarak ve nasıl yardım edeceğini bilen araştırmacılar topluluğunu büyüterek iki ihtiyacı tek bir eylemle dolduruyor” dedi.
Bu yaz kırmızı takıma katılanlar için AI Köyü, dizüstü bilgisayarlar ve çeşitli satıcılardan LLM’lere zamanlı erişim sağlayacaktır. Şu anda buna Anthropic, Google, Hugging Face, Nvidia, OpenAI ve Stability modelleri dahildir. Köy halkının duyurusunda da bunun “Microsoft’un katılımıyla” olduğundan bahsediliyor, bu yüzden belki bilgisayar korsanları Bing’i deneyecek. Bizden bu konuda açıklama isteniyor.
Kırmızı takımlar ayrıca Scale AI tarafından geliştirilen bir değerlendirme platformuna da erişebilecek.
AI Village’a göre, “çok çeşitli zararların” test edilmesini teşvik etmek için bayrak yakalama tarzı bir puan sistemi olacak. En çok puanı alan üst düzey bir Nvidia GPU kazanır.
Etkinlik Beyaz Saray Bilim, Teknoloji ve Politika Ofisi tarafından da desteklenmektedir; Amerika Ulusal Bilim Vakfı’nın Bilgisayar ve Bilişim Bilimi ve Mühendisliği (CISE) Müdürlüğü; ve Kongre AI Caucus.
Ek olarak duyuru, ABD Başkan Yardımcısı Kamala Harris ve diğer üst düzey Biden yönetim yetkililerinin OpenAI, Anthropic, Microsoft ve Google’ın patronlarıyla bir araya gelerek yapay zekanın ortaya koyduğu riskler bireylere ve ulusal güvenliğe.
Ayrı olarak, kendilerine Bias Buccaneers adını veren ve algoritma şeffaflığını savunan bir grup uzmanın kurucularından olan Rumman Chowdhury, tartışıldı geçen ayki RSA Konferansında AI kırmızı ekiplerine duyulan ihtiyaç.
AI Köyü ev sahipliği yaptı Birinci iki yıl önce DEF CON’da makine öğrenimi genel önyargı ödülü. ®