Son zamanlarda Kudüs çevresindeki dağlarda bir tür marangoz anti hakkında çok şey düşündüm. Bu küçük böcekler, AI: hizalamanın en büyük zorluklarından birinin anahtarını içerebilir.
Söz konusu karıncalara denir Camponotus SanctusVe en sofistike yapay zeka sistemlerimizden utanan olağanüstü bir şey yapıyorlar. Bu formaller aktarıldığında, karmaşık kararlarla karşı karşıya kalırlar: yırtıcılardan korunma, yuvanın yeterli boyutları, yiyeceklere yakınlık ve koloni için erişilebilirlik. Bahis yüksek: Kötü bir seçim binlerce kişiyi kınayabilir.
Ancak burada büyüleyici olan: Koloni, tek bir “müfettiş” lider veya merkezi komuta yapısına güvenmek yerine, araştırma partisindeki her karıncanın kararını değerlendiren potansiyel sitelere dayanarak aldığı demokratik bir süreç kullanıyor. Bireysel karıncalar farklı pozisyonları bağımsız olarak değerlendirir ve kolektif etkileşimleri yoluyla, koloni, tek bir karınca mevcut tüm seçenekler hakkında tam bir bilgi sahibi olmasa bile, sürekli olarak optimal çözümlere gelir.
Araştırmacılar buna “çoğunluğun imtiyazına” diyorlar: çelişkili tercihler karşısında, çoğunluk bazen koloninin birliğini korumak, bir bölünmeyi riske atmak yerine azınlığa katılmak için en sevdiği seçeneği terk etti. Bu sofistike kolektif davranış, herhangi bir merkezi koordinatör olmadan ortaya çıkar, bu da AI’nın hizalamasıyla karşılaşmamızda devrim yaratabilecek bir tür dağıtılmış zeka oluşturur.
Yapay zeka sistemleri inşa ederken neden karınca demokrasisi hakkında endişelenmeliyiz?
Cevap, yapay zekanın hizalanmasına yönelik mevcut yaklaşımımızın sınırlamalarında yatmaktadır: insan geri bildirimlerinden veya RLHF’den pekiştirilmenin öğrenilmesi.
RLHF dönüştürücü olmuştur. Chatgpt’i zararlı yerine yararlı kılan şey, Claude’un raylardan ayrılmasını engelleyen şey ve bu sistemlerin insan tercihlerini sadece birkaç yıl önce imkansız görünen şekillerde anlamasını sağlayan şeydir. Ancak daha özerk yapay zeka sistemlerine doğru ilerlerken – “ajana” dediğimiz – RLHF temel kısıtlamaları ortaya koyuyor.
Maliyet sorunu: RLHF’de insan tercihleri hakkındaki veriler pahalı ve oldukça özneldir. Kaliteli insan geri bildirimleri almak uzun zaman alır ve insan ek açıklamasının maliyeti yapay zeka geri bildirimlerinin kullanımından çok daha yüksek olabilir.
Ölçeklenebilirlik sorunu: RLHF, ön işlemden daha az verimli bir şekilde azaltılır ve daha fazla hesaplama kaynakından azalan getiri ile azalır. Bu, bir çocuğa düşünülecek ilkeleri vermek yerine karşılayabilecek her olası senaryoyu öğretmeye çalışmak gibidir.
“Değerler kimdir?” sorun: İnsan değerleri ve tercihleri sadece farklı değil, aynı zamanda değiştirilebilir, bu da zaman ve kültürlerde farklı oranlarda değişir. Hangi geri bildirim için IA’yı optimize etmelidir? Merkezi bir yaklaşım kaçınılmaz olarak bozulmayı getirir ve önemli tonları kaybeder.
Bireysel zeka başarısız olduğunda
Bireysel yaşlanma yaklaşımlarıyla ilgili sorunlar sadece teorisyenler değildir. Onları gerçek dünyada bize bir mola vermesi gereken başarısız iflasta gördük.
2016 yılında Microsoft’un chatbot Tay’ı düşünün. Etkileşimlerden öğrenmek için tasarlanan Tay, onu rahatsız edici içerikle besleyen koordineli saldırılarla hızla derlendi. Kolektif bilgeliğin yokluğunda, Tay’ın bir bağlamı veya akran perspektifi yoktu. 24 saat içinde, bu sofistike yapay zeka sistemi, Microsoft’u kapatmaya zorlayarak iltihaplı içerik yayınlıyordu.
Benzer modeller tüm sektörlerde görünür. Sofistike algoritmalara rağmen, Tesla self -lacioti sistemi, sistemin engelleri yanlış bir şekilde tanımladığı kazalarda yer aldı. Onkoloji için IBM Watson, kolektif bilgelik ve insan tıp topluluklarının dayandığı akranlarının gözden geçirilmesi olmadan bireysel bir zeka olarak çalıştığı için güvenli olmayan tedaviler önermeye başladı.
Bunlar sadece uygulama problemleri değildir: bunlar AI’nın hizalanması hakkında düşünme şeklimizde temel bir sınırlamanın belirtileridir.
İnsan sürülerinin çift kenarlı kılıcı
İnsanlarda sürü zekası – bazen “insan sürüleri” veya “alvear zihinleri” olarak adlandırıldı – bazı bağlamlarda vaatler gösterdi. İnsan grupları gerçek zamanlı olarak bağlandığında ve kararlar üzerinde etkileşimli bir şekilde birleştiğinde, bireyleri aşırı performans gösterebilir ve hatta tıbbi tanı, tahminler ve sorun çözümü gibi görevler üzerindeki standart istatistiksel agregalar olabilir. Bu özellikle grup farklı olduğunda, üyeler aktif olarak dahil olduğunda ve geri bildirim hemen ve etkileşimli olduğunda geçerlidir.
Bununla birlikte, insanlar özellikle ahlaki alanda başarısızlığa karşı bağışık değildir. Tarih, kolektif zekanın Cacce yoluyla cadılara, kalabalığın zihniyetine ve kitle histerisine dönüşebileceğini göstermektedir. Gruplar korku, önyargı ve mantıksızlığı artırabilir, muhalif sesleri bastırabilir.
Araştırmalar, kolektif zeka optimize edilmiş kararlara yol açabilirken, özellikle sosyal baskıların azınlıkların görüşlerini bastırdığında veya duygusal bulaşma rasyonel çözüm üzerinde hüküm sürdüğünde önyargıları ve hataları da genişletebileceğini göstermektedir. Ahlaki akıl yürütmede, insan sürüleri çözünürlük ve farklı perspektifler yoluyla daha yüksek gelişim aşamalarına ulaşabilir, ancak yeterli garantiler olmadan, aynı mekanizmalar grup düşünceleri ve ahlaki regresyon üretebilir.
Karıncaların kolonisine alternatif
Bireysel yapay zeka ajanları bu zorluklarla savaşırken, Kudüs’ün marangoz karıncaları milyonlarca yıldır toplu karar verme sürecini mükemmelleştirdiler. Onların yaklaşımı, ileri bir şekilde farklı bir yol önermektedir.
Araştırma Bireysel karıncaların zamanın% 43’ünü yanlış seçebileceğini, ancak koloni toplu karar verme süreci yoluyla% 95’e kadar hassas bir şekilde ulaştığını düşündürmektedir. Bu dramatik gelişme, sürünün farklı bilgi kaynaklarını toplama ve önyargıları ve bireysel hataları iptal etme yeteneğinden ortaya çıkar.
Mekanizma sadeliğinde zariftir. Her karınca kalite değerlendirme ve iletişim ile ilgili temel kuralları takip eder, ancak anahtar etkileşimlerinde yatmaktadır. Karıncalar potansiyel yuvalama alanlarını değerlendirdiklerinde, sadece bireysel yargıları formüle etmekle kalmazlar: aynı anda daha fazla potansiyel müşteri düşünen dağıtılmış bir hesaplamaya katılırlar.
Ancak benzetmenin sınırları var. Karınca kolonileri kitle histerisine veya ahlaki paniğe tabi değildir; Onların “sürü zekası” etik değil hayatta kalmayı optimize etmek için gelişti. Aksine, insan sürüleri kültür, duygular ve tarih tarafından derinden modellenir, kolektif zekamızı hem bilgelik kaynağı hem de potansiyel bir hasar hasarı haline getirir.
Sürünün zekası ile AI’nın bozulmasıyla yüzleşmek
Yapay zeka sistemleri, bazen kasıtlı manipülasyon nedeniyle sosyal önyargıları yansıtan tarihsel veriler nedeniyle genellikle bozulur. Bu önyargılar ayrımcılığı güçlendirebilir, stereotipleri sürdürebilir ve yapay zekaya olan güveni zayıflatabilir. Swarm Zekası, bozulmayı azaltmak için potansiyel bir yol sunar:
- Ademi merkeziyetçilik: Şaman sistemleri, çeşitli ajanların veya düğümlerin anlayışlarını toplayarak, her bir çarpık perspektifin etkisini azaltabilir.
- Dinamik geri bildirim: Gerçek zaman etkileşimi ve rıza binası, anormal veya çarpıtılmış girdilerin tanımlanmasına ve düzeltilmesine yardımcı olabilir.
- Döngüde İnsan: İnsanların karar verme sürecine aktif olarak katıldığını koruyan sürü platformları, daha geniş bir değer ve hassasiyet aralığının temsil edilmesini sağlamaya yardımcı olabilir.
Bununla birlikte, Swarm Zekası bir her derde deva değildir:
- Grup gerçekten çeşitlendirilmezse veya sosyal baskılar muhalefeti bastırırsa, insan sürüleri bozulmayı artırabilir.
- Swarm Yapay Zeka Sistemleri, bozulmanın tespiti ve düzeltilmesi için şeffaflığı, çeşitliliği ve mekanizmaları garanti etmek için dikkatli bir tasarım gerektirir.
- Merkezi olmayan öğrenme, özellikle şeffaflık ve muhasebe incelemesi için blockchain gibi teknolojilerle birleştirilirse, herhangi bir tek veri veya aktör seti tarafından getirilen önyargılar riskini azaltmaya yardımcı olabilir.
Swarm zekasının avantajları, hataların basit düzeltilmesinin çok ötesine uzanır. İyi tasarlanmışsa, şamanlar farklı perspektifler içerebilir, bireysel hataları düzeltir ve hatta daha etik kararlar alabilir. Ancak garantiler olmadan, kör kolektif noktaları ve ahlaki başarısızlıkları da genişletebilirler.
Küçük şeylerin bilgeliği
Kudüs çevresindeki dağlardaki karıncalara dönmeye devam ediyorum. Bireysel olarak, ilgisizdirler: haşhaş tohumlarından daha küçük beyinlere sahip küçük böcekler. Ancak birlikte, en sofistike yapay zeka sistemlerimize meydan okuyan sorunları çözüyorlar.
Onların sırları süper -altlık değildir: kolektif zeka. Bize en sağlam kararların genellikle bireysel parlaklıktan değil, ortak hedeflere doğru çalışan birçok zihnin hastasının etkileşiminden ortaya çıktığını gösteriyorlar.
Yine de, insanlar gibi, kolektif zekamız çift kenarlı bir kılıçtır. Hem bilgelik hem de delilik, adalet ve adaletsizlik üretebilir. Yapay zekanın hizalanması ve bozulmanın azaltılması için sürü zekasından yararlanmak istiyorsak, sistemlerimizi alçakgönüllülük, uyanıklık ve hem vaat ve insan sürüsü tehlikesi hakkında derin bir anlayışla tasarlamalıyız.
Gerçekten otonom yapay zeka sistemlerinin eşiğinde iken, belki de bireylere mükemmel ajanlar inşa etmeye çalışmayı bıraktık ve karıncaların demokrasisinden öğrenmeye başladık. Yapay zekanın hizalanmasının geleceği, amir sistemlerin yaratılmasında olmayabilir, ancak parçalarının toplamından daha büyük bir şeyde o kadar zeki olmayanları düzenler.
Karıncalar bize milyonlarca yıldır yol gösterdiler. Avantajlarını takip etmek ve tarihimizden öğrenmek oldukça akıllıca mıyız?