veri tuğlaları
Çarşamba günü Databricks, bildirildiğine göre insan tarafından oluşturulan bir veri setinde ince ayarı yapılmış, ticari kullanım için ilk açık kaynaklı, yönergeleri izleyen büyük dil modeli (LLM) olan Dolly 2.0’ı piyasaya sürdü. Homebrew ChatGPT rakipleri için zorlayıcı bir başlangıç noktası görevi görebilir.
Databricks, 2013 yılında yaratıcıları tarafından kurulmuş bir Amerikan kurumsal yazılım şirketidir. apaçi kıvılcımı. Büyük veri ve makine öğrenimi için Spark ile çalışmak üzere web tabanlı bir platform sağlarlar. Dolly lansmanına göre Databricks, Dolly’yi piyasaya sürerek kuruluşların “API erişimi için ödeme yapmadan veya üçüncü taraflarla veri paylaşmadan” LLM’ler oluşturmasına ve özelleştirmesine izin vermeyi umuyor. Blog yazısı.
Yeni 12 milyar parametreli modeli olan Dolly 2.0, EleutherAI’nin pythia’sı model ailesi ve Databricks çalışanlarından kitle kaynaklı eğitim verileri (“databricks-dolly-15k” olarak adlandırılır) üzerinde özel olarak ince ayar yapılmıştır. Bu kalibrasyon, OpenAI’nin, ince ayar yapılmamış ham bir LLM’den ziyade soruları yanıtlamada ve bir sohbet robotu olarak diyaloga girmede daha iyi olan ChatGPT ile daha uyumlu yetenekler sağlar.
Mart ayında piyasaya sürülen Dolly 1.0, ChatGPT’den çıktı içeren eğitim verileri nedeniyle ticari kullanımla ilgili sınırlamalarla karşılaştı (sayesinde Alpaka) ve OpenAI’nin hizmet şartlarına tabiydi. Bu sorunu çözmek için Databricks ekibi, ticari kullanıma izin verecek yeni bir veri seti oluşturmaya çalıştı.
Bunu yapmak için Databricks, Mart ve Nisan 2023 arasında 5.000’den fazla çalışanından talimat takip davranışının 13.000 gösterimini kitle kaynaklı olarak sağladı. Katılımı teşvik etmek için bir yarışma düzenlediler ve açık Soru-Cevap, kapalı Soru-Cevap dahil olmak üzere veri üretimi için yedi özel görev belirlediler. , Wikipedia’dan bilgi çıkarma ve özetleme, beyin fırtınası, sınıflandırma ve yaratıcı yazma.
Ortaya çıkan veri seti, Dolly’nin model ağırlıkları ve eğitim kodu ile birlikte tamamen açık kaynak kodlu olarak yayınlandı. Genel yaratıcı herhangi bir kişinin veri setini ticari uygulamalar da dahil olmak üzere herhangi bir amaçla kullanmasına, değiştirmesine veya genişletmesine izin veren lisans.
Buna karşılık, OpenAI’ler ChatGPT kullanıcıların API erişimi için ödeme yapmalarını ve belirli hizmet şartlarına uymalarını gerektiren tescilli bir modeldir ve işletmeler ve kuruluşlar için esnekliği ve özelleştirme seçeneklerini potansiyel olarak sınırlandırır. Meta’lar LLaMAson zamanlarda ağırlıklarından sonra bir türev dalgası oluşturan kısmen açık kaynaklı bir model (sınırlı ağırlıklarla) sızdırılmış BitTorrent’te ticari kullanıma izin vermez.
Mastodon’da, AI araştırmacısı Simon Willison isminde Dolly 2.0 “gerçekten büyük bir anlaşma.” Willison genellikle açık kaynak dil modelleri ile deneyler yapar, Dolly dahil. Willison bir Mastodon’da “Dolly 2.0 ile ilgili en heyecan verici şeylerden biri, 5.000 Databricks çalışanı tarafından elle yapılan ve bir CC lisansı altında piyasaya sürülen ince ayar talimat setidir” diye yazdı.
hevesli ise reaksiyon Meta’nın yalnızca kısmen açık LLaMA modeline göre, Dolly 2.0’ın potansiyel olarak ticari kullanımdaki özel sınırlamalar veya kısıtlamalar tarafından engellenmeyen yeni bir açık kaynak dil modelleri dalgasını ateşleyebileceğinin bir göstergesidir. Dolly’nin gerçek durumuyla ilgili sözler henüz ortalıkta dolaşırken performans yeteneğidaha fazla ayrıntılandırma, yerel tüketici sınıfı makinelerde oldukça güçlü LLM’lerin çalıştırılmasına izin verebilir.
Willison, Ars’a “Dolly 2 iyi olmasa bile, yakında bu eğitim verilerini kullanan bir dizi yeni proje göreceğimizi umuyorum” dedi. “Ve bunlardan bazıları gerçekten yararlı bir şey üretebilir.”
Şu anda, Dolly ağırlıkları Hugging Face’te mevcuttur ve databricks-dolly-15k veri seti GitHub’da bulunabilir.