Kaliforniya'daki yıllık Meta Connect etkinliğinde Meta Platformları sunulan popüler uygulamaları için birçok yeni AI özelliği Facebook, Instagram ve WhatsApp, ancak teknoloji devinin en etkileyici yeniliği pek çok kişinin gözünden kaçmış olabilir. Llama 2 Long AI modelinden bahsediyoruz.
Meta şirketinden bir araştırmacı ekibi, bir şekilde sessizce, uzun kullanıcı sorgularına tutarlı ve alakalı yanıtlar üretebilen yeni bir yapay zeka modeli olan Llama 2 Long'u sundukları bir makale yayınladı. En fazla sektördeki en iyi rakiplerden bazılarını geride bıraktığını söylüyorlar.
Llama 2 Long bir uzantıdır Llama 2, çeşitli veri kaynaklarından öğrenebilen ve kodlama, matematik, dil anlama ve daha fazlası gibi çeşitli görevleri gerçekleştirebilen, yaz aylarında piyasaya sürülen açık kaynaklı bir AI modeli Meta. Ancak Llama 2 Long, daha uzun metinler içeren daha fazla veri üzerinde eğitildi ve bu algoritma, daha uzun bilgi dizilerini işleyecek şekilde değiştirildi. Bu, yanıt oluşturmak için kullanabilecekleri bağlam miktarı konusunda sınırları olan OpenAI'nin GPT-3.5 Turbo ve Claude 2'sinden daha iyi performans göstermesine olanak tanır.
araştırmacılar Meta Llama 2'nin farklı versiyonları kullanıldı - 7 milyardan 70 milyara kadar parametre, yani AI modelinin verilerden öğrenerek değiştirebileceği değerler. Orijinal model veri kümesinden daha uzun metinler içeren 400 milyar jeton (metin birimi) veri daha eklediler. Ayrıca Döner Konumsal Gömme (RoPE) tekniğini kullanarak AI modelinin mimarisini de biraz değiştirdiler, böylece model diğer yöntemlere göre daha az bilgi ve bellek kullanarak doğru ve kullanışlı yanıtlar üretebilecek.
Ekip, çeşitli görevlerdeki performansını artırmak için yapay zeka modelinin doğru yanıtlar için ödüllendirildiği ve insan değerlendiriciler tarafından düzeltildiği ve sentetik verilerin Llama 2 sohbetinin kendisi tarafından oluşturulduğu bir yöntem olan insan geri bildiriminden (RLHF) takviyeli öğrenmeyi kullandı. .
Makale, modelin kullanıcı istemlerine 200 karakter uzunluğunda, yani yaklaşık 40 sayfalık bir metne eşdeğer yüksek kaliteli yanıtlar üretebileceğini iddia ediyor. Araştırmacılar, Llama 2 Long'un, kullanıcıların karmaşık ve çeşitli ihtiyaçlarını karşılayabilecek daha genel ve çok yönlü yapay zeka modelleri yaratmaya yönelik bir adım olduğunu söylüyor. Ayrıca bu tür modellerin potansiyel etik ve sosyal sonuçlarının da farkındalar ve bunların nasıl sorumlu ve faydalı bir şekilde kullanılacağı konusunda daha fazla araştırma ve diyalog yapılması çağrısında bulunuyorlar.
Ayrıca okuyun: