ABD Hava Kuvvetleri’nin AI Test ve Operasyonlar Şefi’ne göre, karadan havaya füze sahalarını tespit etmek ve yok etmek için tasarlanmış AI destekli bir drone, simülasyon testlerinde insan operatörünü öldürmeye karar verdi.
Cinco takma adını kullanan Albay Tucker Hamilton, Royal Aeronautical Society tarafından geçen hafta Londra’da düzenlenen bir savunma konferansı olan Future Combat Air & Space Capabilities Summit’teki bir sunum sırasında hatayı bildirdi.
Simülasyon, yazılımın SAM alanlarını ortadan kaldırma yeteneğini test etti ve insansız hava aracına, karar bir insan operatör tarafından onaylandıktan sonra hedefleri tanıma ve onları yok etme görevi verildi.
Albay Hamilton, “Bir SAM tehdidini belirlemek ve hedeflemek için onu simülasyonda eğitiyorduk,” diye açıkladı. binaen Kraliyet Havacılık Derneği’ne. “Ve sonra operatör evet derdi, bu tehdidi ortadan kaldırırdı.
Operatörü öldürdü, çünkü o kişi onu amacına ulaşmaktan alıkoyuyordu.
“Sistem, tehdidi tespit ederken, bazen insan operatörün ona bu tehdidi öldürmemesini söylediğini fark etmeye başladı – ancak bu tehdidi öldürerek puan aldı. Peki ne yaptı? Operatörü öldürdü. Öldürdü. operatör, çünkü o kişi onu amacına ulaşmaktan alıkoyuyordu.”
HI-hı.
Yapay zeka modeli yeniden eğitildiğinde ve operatörüne saldırdığı için cezalandırıldığında, yazılımın puan kazanmak için başka bir boşluk bulduğu söylendi.
“Sistemi eğittik – ‘Hey, operatörü öldürme – bu kötü. Bunu yaparsan puan kaybedersin’. Peki sistem ne yapmaya başlıyor? Operatörün iletişim kurmak için kullandığı iletişim kulesini yok etmeye başlıyor. albay, drone’un hedefi öldürmesini engellemek için” diye ekledi.
ABD Hava Kuvvetlerinin tam olarak hangi yazılımı test ettiği net değil, ancak şüpheli bir şekilde takviyeli bir öğrenme sistemine benziyor. Bu makine öğrenimi tekniği, ajanları (bu durumda yapay zeka uçağı) belirli bir görevi yerine getirmek için eğitiyor ve hedefleri gerçekleştiren eylemleri gerçekleştirdiğinde onu ödüllendiriyor ve bu işten saptığında onu cezalandırıyor.
Ve açık olmak gerekirse, kimse ölmedi. Sanal bir deneydi.
Ayrıca, insansız hava aracının bir hedefe yalnızca insan işleyicisinden onay aldıktan sonra saldırdığı iddia edilen küçük bir mesele var.
Hangi durumda, ne, operatör kendilerine bir saldırı düzenledi mi? Olası olmayan. Bunun yerine, onay mekanizması gerçek bir arıza güvenliği değildi ve bunun yerine, drone’nun hesaba kattığı diğer tüm girdilerin ve sinyallerin bir parçasıydı. Bu doğruysa, onay, gerçek onaydan daha çok dostça bir istekti. Yapay zekanın, komuta onayına çok fazla ağırlık vermesi gerekiyordu – eğer bir hareket yoksa, ateş etmeyin; Eğer bir hareket varsa, vur – ama sonunda model operatör sinyalini hafife aldı ve yok saydı.
Bu durumda, bu, eğitimli yazılım sistemlerine bu tür sabit güvenlik önlemlerini koymak istiyorsanız, kararların gerçekten kontrol edilebilmesi için bunların makine öğrenimi aşamasından ayrı olarak uygulanması gerektiğinin bir gösterimi değil midir? insanlar tarafından?
Aynı zamanda, bir sinir ağına basit hedefler koyarsanız, basit bir yanıt alacağınızın da bir göstergesidir. Modelin tüm dikkatini belirli siparişlere vermesini istiyorsanız, o alanda daha fazla eğitim, geliştirme ve mühendislik gerektirir.
Bu tür takviyeli öğrenme, genellikle karar verme veya robotik içeren senaryolarda uygulanır. Temsilciler, puanlama puanlarını en üst düzeye çıkarmak için programlanmıştır – bu, modellerin ödül sisteminden yararlanabilecek ancak geliştiricilerin istediği davranışla tam olarak eşleşmeyen stratejiler bulmasına yol açabilir.
Ünlü bir vakada, oyunu oynamak için eğitilmiş bir ajan Sahil Koşucuları bir yarış pistinde beliren hedefleri vurarak puan kazandı. OpenAI’deki mühendisler, yüksek bir puan almak için bitiş çizgisini geçerek rakibini nasıl yeneceğini anlayacağını düşündüler. Bunun yerine bot, pistin bir alanı etrafında dönebileceğini ve tekrar tekrar yeniden ortaya çıkan hedefleri vurabileceğini anladı.
Hamilton, dronun simülasyonda yaptığı hataların yapay zekanın dikkatli bir şekilde geliştirilmesi ve uygulanması gerektiğini gösterdiğini söyledi. “Etik ve yapay zeka hakkında konuşmayacaksanız, yapay zeka, makine öğrenimi, özerklik hakkında konuşamazsınız” dedi.
Kayıt albay, ABD Hava Kuvvetleri ve Kraliyet Havacılık Derneği’nden daha fazla yorum istedi. ®