OpenAI’nin sohbet yazılımı ChatGPT, dünyaya salınırsa, Wharton işletme okulunun Operasyon Yönetimi sınavında B ile B- arasında puan alır ve ABD Tıbbi Lisanslama Sınavını (USMLE) geçmek için gereken puana yaklaşır veya geçer.
Bu, yazılımın entelektüel becerisinden çok test materyalinin statik, belge merkezli doğası hakkında daha fazla şey söylese de, yine de eğitimciler ve otomasyon çağında yaşayan hemen hemen herkes için bir endişe ve ilgi konusu.
Akademisyenler, yardımcı sistemlerin ChatGPT ve GitHub’lar yardımcı pilot (Codex adı verilen bir OpenAI modeline dayalı), öğretmenlerin nasıl öğrettiklerini ve sınavları nasıl notladıklarını yeniden değerlendirmelerini gerektirecek çünkü makine öğrenimine dayalı yardımcı teknoloji çok yetenekli hale geldi.
Eğitim ortamlarında, AI tavsiyesi sıradan hale geliyor: The Stanford Daily sadece bildirildi, “çok sayıda öğrenci final sınavlarında ChatGPT’yi zaten kullandı.” 4.497 katılımcının katıldığı anonim bir ankete göre öğrencilerin tahmini yüzde 17’si, sonbahar dönemi ödevlerine ve sınavlarına yardımcı olmak için ChatGPT’yi kullandıklarını söylerken, yüzde 5’i materyali çok az düzenleme yaparak veya hiç düzenleme yapmadan doğrudan ChatGPT’den gönderdiklerini söyledi. bir şeref kodu ihlali.
Ayrı olarak, Pennsylvania Üniversitesi Wharton Okulu’nda profesör olan Christian Terwiesch ve çoğunlukla Ansible Health’e bağlı bir grup tıp araştırmacısı, ChatGPT’yi eklemeye karar verdi, tartışmasız ahlak dışı otomatik danışman ve gerçeklere meydan okuyan test etmek için uzman sistem.
Hem Terwiesch hem de Ansible Health bilim adamları, ChatGPT’nin sınırlamaları olduğunu ve işleri yanlış anladığını açıkça belirtti. Genel olarak, orta notlar verdiler, ancak yapay zeka yardımcı sistemlerinin öğretimde ve diğer sektörlerde bir yer bulmasını beklediklerini açıkça belirttiler.
Ne de olsa model, sayısız insan yapımı yazı üzerinde eğitildi ve bu nedenle, tüm bu solunan bilgi ve gerçeklerden bir soruya tatmin edici bir cevap tahmin etme yeteneği beklenmedik bir şey değil.
Terwiesch, “Öncelikle, vaka incelemelerine dayalı olanlar da dahil olmak üzere temel operasyon yönetimi ve süreç analizi sorularında harika bir iş çıkarıyor” dedi. onun kağıdı. “Sadece cevaplar doğru değil, aynı zamanda açıklamalar da mükemmel.”
Bununla birlikte, ChatGPT’nin basit matematik hataları yaptığını ve ileri düzey süreç analizi sorularını beceremediğini gözlemledi. Bununla birlikte, AI modeli, nasıl geliştirileceğine dair insanlardan gelen ipuçlarına duyarlıdır – bir insan uzmandan ipuçları verildiğinde kendini başarılı bir şekilde düzeltebilir.
tarafından gösterildiği gibi, insan rehberliği aynı zamanda kötü niyetli bir girdi kaynağı olarak hizmet etmiştir. Microsoft’un Tay sohbet robotu ve tarafından sonraki araştırma.
Doktor, doktor
” yazan tıbbi araştırma grubuUSMLE’de ChatGPT Performansı: Büyük Dil Modelleri Kullanan Yapay Zeka Destekli Tıp Eğitimi Potansiyeli” ortak yazar olarak “ChatGPT”yi içerir.
Biyolojik yazarlar makalelerinde “ChatGPT, bu taslağın birkaç bölümünün yazılmasına katkıda bulundu” diyor.
Yazarların diğer örgütsel bağlantıları arasında şunlar yer alır: Massachusetts General Hospital, Harvard School of Medicine, Boston, Mass; Warren Alpert Tıp Okulu, Brown Üniversitesi, Providence, Rhode Island; ve Dallas, Teksas merkezli bir sağlık e-öğrenme firması olan UWorld, LLC’deki Tıp Eğitimi Bölümü.
Yazarlar – Tiffany Kung, Morgan Cheatham, ChatGPT, Arielle Medenilla, Czarina Sillos, Lorie De Leon, Camille Elepaño, Maria Madriaga, Rimel Aggabao, Giezel Diaz-Candido, James Maningo ve Victor Tseng – Wharton’ın Terwiesch’iyle benzer bir sonuca vardılar. . Spesifik olarak, ChatGPT’nin USMLE sınavında, belirsiz yanıtların avantajı sağlandığı takdirde – yaklaşık yüzde 60’lık değişken geçiş eşiğinin üzerinde – başarılı bir performans gösterdiğini buldular. Ve büyük dil modellerinin (LLM’ler) tıp eğitiminde ve klinik karar vermede artan bir rol oynamasını bekliyorlar.
Yazarlar makalelerinde “ChatGPT, USMLE’de geçiş performansına yaklaşırken orta düzeyde doğruluk sağlıyor” diyor. “Sınav öğeleri ilk olarak değişken giriş istemleriyle açık uçlu sorular olarak kodlandı. Bu giriş biçimi, ücretsiz bir doğal kullanıcı sorgu modelini simüle eder. Belirsiz yanıtların sansürlenmesi/dahil edilmesiyle, USMLE Adımları 1, 2CK ve 3 için ChatGPT doğruluğu yüzde 68,0’dı Sırasıyla /yüzde 42,9, yüzde 58,3/yüzde 51,4 ve yüzde 62,4/yüzde 55,7.”
ChatGPT’nin performansını “geçmeye yaklaşıyor” olarak tanımlamak, özellikle yapay zekaya belirsiz yanıtlar için itibar verildiğinde, onu ifade etmenin cömert bir yoludur. Bir doktorun muayenehanesine gelip D notu veren bir diploma görmek hastalarda biraz daha endişe uyandırabilir.
Ancak araştırmacılar, ChatGPT’nin doğru yaptığı şeylerin kabul edilen yanıtlarla yakından uyumlu olduğunu ve aylar önce yalnızca yaklaşık yüzde 36,7’lik bir başarı oranı elde eden AI modelinin dikkat çekici bir şekilde geliştiğini iddia ediyor.
İlginç bir şekilde, ChatGPT’nin yalnızca yaklaşık yüzde 50,8’lik doğruluğu yöneten (yayınlanmamış verilere dayalı) yalnızca biyomedikal verilere dayalı bir LLM olan PubMedGPT’den daha iyi performans gösterdiğini gözlemlediler.
Yazarlar, “Alana özgü eğitimin, kendi dilinde sonuçsuz, çelişkili veya son derece muhafazakar veya tarafsız olma eğiliminde olan devam eden akademik söylemden gerçek dünya metnini emdiği için PubMedGPT modelinde daha büyük bir kararsızlık yaratmış olabileceğini düşünüyoruz.” .
Esasen, ChatGPT’nin eğitimine giren, hastalara bakan hastalık açıklama broşürleri gibi daha az bilimsel, daha fazla fikir sahibi olan materyaller, ChatGPT’yi daha fazla fikir sahibi hale getirmiş gibi görünüyor.
Yazarlar, AnsibleHealth ile ilişkili klinisyenlerin iş akışlarında ChatGPT kullandığını ve süre içinde yüzde 33’lük bir azalma bildirdiklerini ekleyerek, “Yapay zeka giderek daha yetkin hale geldikçe, yakında her yerde bulunacak ve tüm sağlık sektörlerinde klinik tıbbı dönüştürecek” sonucuna varıyor. dokümantasyon ve dolaylı hasta bakımı görevlerini tamamlamak için gereklidir.
Bu belki de Microsoft’un kararını açıklıyor milyarları OpenAI’ye akıtmak için gelecekteki yazılımı için.
ChatGPT’nin bir eğitim ortamındaki faydası – genellikle yanlış olmasına rağmen – bir metinde vurgulanmıştır. Blog yazısı Stratejik araştırmalar profesörü ve Alperovich Siber Güvenlik Araştırmaları Enstitüsü’nün kurucu direktörü Thomas Rid tarafından Pazar günü yayınlandı.
Rid, Juan Andres Guerrero-Saade tarafından verilen son beş günlük Kötü Amaçlı Yazılım Analizi ve Tersine Mühendislik kursunu anlatıyor.
Rid, “Beş gün sonra artık hiçbir şüphem kalmadı: bu şey yüksek öğretimi dönüştürecek,” dedi. “Öğrencilerden biriydim. Makine öğreniminin gerçek zamanlı olarak bizim için yapabildikleri beni çok şaşırttı. Bunu katılaşmış biri olarak söylüyorum. şüpheci yıllardır yapay zeka yutturmaca. Dikkat edin, ‘muhtemel’ dönüşüm demedim. Yüksek öğretimi dönüştürecek.”
Guerrero-Saade’de bir Twitter dizisi, ChatGPT’nin bir şeyleri yanlış anladığını kabul ediyor, ancak aracın öğrencilerin daha iyi yanıtlar bulmasına yardımcı olduğu konusunda ısrar ediyor. Her öğrenci için kişisel bir öğretim asistanı gibi çalıştığını öne sürüyor.
“Yapay zeka (ya da mükemmel çıktılara ilişkin aşırı büyük beklentiler) etrafında korku tellallığı yapmak, bu LLM’nin şaşırtıcı faydasının tanınmasını gölgeliyor: bilgiyi (doğru ya da yanlış) hızlı bir şekilde birleştirebilen bir asistan olarak, birlikte çalışacak daha zeki bir zeka (kullanıcı) için son derece uygun, ” o yazdı.
Rid, eğitimde intihal ve kopya çekmeye yönelik bir mekanizma olarak AI hakkındaki endişelerin ele alınması gerektiğini, ancak daha önemli konuşmanın AI araçlarının eğitim sonuçlarını nasıl iyileştirebileceğiyle ilgili olduğunu savunuyor. ®