Gibi dil modelleri ChatGPT doğal dil işleme alanında devrim yarattılar, ancak yine de aritmetik ve doğruluk kontrolü gibi bazı temel görevlerle mücadele ediyorlar. Geçen Perşembe, Meta’dan araştırmacılar açıkladı Takım oluşturucutemel dil modelleme yeteneklerinden ödün vermeden arama motorları, hesap makineleri ve takvimler gibi harici araçları kullanmayı kendi kendine öğretebilen bir yapay zeka dil modeli.
Toolformer’ın anahtarı, API’ler (uygulama programlama arayüzleri), farklı uygulamaların birbirleriyle genellikle kesintisiz ve otomatik bir şekilde iletişim kurmasına olanak tanıyan bir dizi protokoldür. Eğitim sırasında araştırmacılar, Toolformer’a her bir API’nin nasıl kullanıldığını gösteren, insanlar tarafından yazılmış küçük bir dizi örnek verdi ve ardından, potansiyel API çağrılarıyla büyük bir dil modelleme veri kümesine açıklama eklemesine izin verdi. Bunu “kendi kendini denetleyen” bir şekilde yaptı, yani açık insan rehberliğine ihtiyaç duymadan öğrenebiliyordu.
Model, metin tabanlı her bir API çağrısını başka herhangi bir metin biçimiymiş gibi tahmin etmeyi öğrendi. Çalışırken -bir insan girişinin sonucu olarak metin oluştururken- gerektiğinde aramaları ekleyebilir. Ayrıca, Toolformer uygun bağlam için hangi aracın kullanılacağına ve nasıl kullanılacağına kendisi “karar verebilir”.
Bu API çağırma yeteneği, Toolformer’ın arama motorları, hesap makineleri, dil çevirmenleri ve olgusal referanslar gibi harici yazılım araçlarını kullanmasını sağlar. Örneğin, büyük dil modelleri (LLM) aritmetikte özellikle iyi olmamak. Toolformer, bir hesap makinesi programı kullanarak bu sınırlamanın üstesinden gelebilir. Ya da birisi LLM tabanlı bir asistanın takvimine tarih eklemesini isterse, Toolformer bir takvim uygulamasına API bağlantısı kullanarak bu görevi halledebilir.
-
Meta araştırmacısı Timo Schick tarafından sağlanan bir çizim, Toolformer’ın takvim uygulamasına bir API çağrısı yapmasının bir örneğini göstermektedir.
-
Meta araştırmacısı Timo Schick tarafından sağlanan bir örnekte, Toolformer’ın hesap makinesi uygulamasına bir API çağrısı yapması örneği gösterilmektedir.
-
Meta araştırmacısı Timo Schick tarafından sağlanan bir çizim, Toolformer’ın harici bir olgusal referansa API çağrısı yapmasının bir örneğini göstermektedir.
Toolformer tabanlıdır önceden eğitilmiş GPT-J modeli 6,7 milyar parametre ile. Araştırmacılar tarafından çeşitli araç kullanma görevlerinde gerçekleştirilen deneyler, Toolformer’ın çok daha büyük olandan çok daha güçlü performans elde ettiğini gösteriyor gibi görünüyor. GPT-3 175 milyar parametre içeren model.
Bu, araştırmacıların dil modellerindeki sınırlamaları telafi etmeye çalıştıkları ilk sefer değil. Aslında, son zamanlarda Bing Sohbeti Bu hafta haber yapan model, gerektiğinde kendi başına web aramaları yapabilir ve diğerleri tarayıcılar, hesap makineleri ve arama motorları ile entegrasyonları denedi. Meta’nın araştırmacılarına göre, araçları dil modellerine entegre etmeye yönelik mevcut yaklaşımların çoğu, büyük miktarlarda insan ek açıklamalarına dayanmış veya göreve özgü belirli ayarlarla sınırlandırılmıştır. Buna karşın Toolformer, belirli görevler için özel eğitim gerektirmeden bir dizi aracı genelleştirilmiş bir şekilde kullanmayı öğrenebilir.
Toolformer’da bulunanlar gibi tekniklerle, harici uygulamaları kullanma becerisiyle zenginleştirilmiş LLM’lerin (görünüşte) çok daha çok yönlü ve güvenilir asistanlar haline geleceği potansiyel bir geleceğe bakıyoruz. Ancak API çağrıları gerçekleştirme yeteneği, bir LLM’nin kullanıcı verilerine zarar verme (uygulamalarda) veya dış dünyada sorun yaratma (bir web tarayıcısı veya iletişim araçları aracılığıyla) yeteneğini de artırabilir; .