Phi yapay zeka modeli Microsoft - küçük, ucuz ve "halüsinasyonlardan" muzdarip değil. Büyük bir geleceğe sahip olacağı tahmin edilen yeni dil modeli hakkında söyledikleri bunlar.
GPT kesinlikle harika ama aynı zamanda çok pahalı ve herkes için mükemmel olamaz. Bunlar ve daha birçok nedenden dolayı Microsoft çok daha küçük yapay zeka modelleri üzerinde denemeler yapıyor. Phi-3-mini'nin OpenAI mühendislerinin çalışmalarını bile utandırdığı söyleniyor.
Ayrıca ilginç: Geleceğin transistörleri: Yeni bir çip dönemi bizi bekliyor
ChatGPT her derde deva değil
ChatGPT finanse edilen, düzenlenen ve geliştirilen bir buluştur Microsoft. Aslında ait değil Microsoftve OpenAI şirketi Microsoft sahibi değil (en büyük olmasa da lider yatırımcıdır). GPT dil modeli şunları sağladı: Microsoft Bu, artık onlara yetişmek için acele eden diğer büyük teknoloji şirketlerine göre çok büyük bir avantaj. Ancak GPT'de birçoğu henüz çözülemeyen çok sayıda sorun var.
Her şeyden önce, bu çok kaynak yoğun bir dil modelidir. Web odaklı Microsoft OpenAI'nin Copilot veya ChatGPT'si çok yüksek operasyonel maliyetlere neden oluyor Microsoft. Bu yalnızca GPT'nin değil aynı zamanda tüm önemli dil modellerinin bir özelliğidir. Ayrıca GPT, rakipleri gibi "halüsinasyonlara" eğilimlidir, yani yanlış veya yanıltıcı bilgi içeren sorgulara yanıtlar üretebilir. Böyle bir model ne kadar çok veri emerse, benzer içerik üretme eğilimi de o kadar artar. Bu nedenle halüsinasyonlar ve yanlış ifadeler dijital parmaktan çıkan bir efsane değildir. Kullanıcılar genellikle büyük dil modellerinin sıklıkla hata yaptığını, hatalı veriler verdiğini ve var olmayan gerçekler üzerinde çalıştığını belirtmektedir.
Her iki sorun da çok ciddi, bu yüzden OpenAI, Microsoft, Meta, Google ve diğerleri yalnızca Büyük Dil Modeli teknolojisini değil, aynı zamanda pratikte çok daha iyi sonuçlar üretebilecek Küçük Dil Modelini de geliştirmek için çalışıyor.
Bir dijital muhasebeci asistanının kuantum fiziği hakkında fazla bilgi sahibi olmasına gerek yoktur. Çok daha küçük ve daha az karmaşık (ve dolayısıyla daha ucuz) olabilir ve yalnızca amacı için gerekli olan veriler üzerinde eğitim verildiğinde teorik olarak daha az halüsinasyon görülebilir. Ancak bunu söylemek yapmaktan daha kolaydır. GenAI teknolojisi hala çılgın bir BT girişimidir. Çalışmalar benzeri görülmemiş bir hızla ilerlemesine rağmen, temel konularda pratikte atılımlar yapmak hala zor. Ama şirket Microsoft yakın zamanda böyle bir atılımı duyurdu. Küçük bir dil modelinden bahsediyoruz Microsoft Phi.
Ayrıca ilginç: Tayvan, Çin ve ABD teknolojik hakimiyet için nasıl savaşıyor: büyük çip savaşı
hakkında bilinenler Microsoft Yunan alfabesinin yirmibirinci harfi
Öncelikle deneyin OpenAI şirketinin katılımı olmadan gerçekleştirildiğini belirtelim. Yani mühendislerin gelişimidir. Microsoft.
Modeller Microsoft Phi, çeşitli testlerde olağanüstü sonuçlar elde eden bir dizi küçük dil modelidir (SLM). İlk model Phi-1, 1,3 milyar parametreye sahipti ve mevcut SLM'ler arasında en iyi Python kodlama sonuçlarını elde etti.
Geliştiriciler daha sonra dili anlama ve düşünmeye odaklanarak yine 1.5 milyar parametreye sahip olan ve beş katı parametreye sahip modellerle karşılaştırılabilir performans sergileyen Phi-1,3 modelini oluşturdular.
Phi-2, olağanüstü akıl yürütme ve dil anlama yetenekleri sergileyen, 2,7 milyar parametreyle en iyi temel modeller düzeyinde performans gösteren 13 milyar parametreli bir modeldir. Phi-2, model ölçeklendirme ve veri iyileştirme eğitimlerindeki yenilikleri nedeniyle diğer modellerden öne çıkıyor.
Dil modelleri alanında araştırma ve geliştirmeyi kolaylaştıran Azure AI Studio model kataloğunda mevcuttur. Phi-2 Aralık 2023'te fırlatıldı. Geliştiriciler bunun Meta'daki Mistral veya Llama 2 kadar iyi çalıştığını garanti ediyor. Ve Phi-3 önceki versiyondan bile daha iyi çalışıyor.
Ancak yeni duyurulan Phi-3 modeli kalite açısından tamamen yeni. En azından verilen bilgilerden bunu anlayabilirsiniz Microsoft. Şirkete göre, bilinen tüm kriterlerin göstergelerine göre Phi-3, dil analizi, programlama çalışması veya matematik çalışması dahil olmak üzere benzer büyüklükteki diğer modellerden daha iyi performans gösteriyor.
Bu modelin en küçük versiyonu olan Phi-3-mini kısa süre önce ilgilenen herkesin kullanımına sunuldu. Yani 23 Nisan'dan beri mevcut. Phi-3-mini'nin 3,8 milyar parametresi vardır ve ölçümlere göre MicrosoftAynı boyuttaki diğer modellerden iki kat daha verimli. Bulut hizmetinin AI modelleri kataloğunda bulunabilir. Microsoft Azure, Hugging Face makine öğrenimi modeli platformu ve modelleri yerel bir makinede çalıştırmaya yönelik bir çerçeve olan Ollama.
Onun iddia ettiği gibi Microsoft, Phi-3-mini güçlü çipler gerektirmez Nvidia. Model sıradan bilgisayar çipleri üzerinde çalışabiliyor. Veya internete bağlı olmayan bir telefona bile sığdırın.
Daha az güç aynı zamanda modellerin o kadar doğru olmayacağı anlamına da gelir. Phi-3 doktorlar veya vergi muhasebecileri için uygun olmayacak ancak daha basit görevlerde yardımcı olacaktır. Örneğin, İnternet'teki reklamları hedeflemek veya incelemeleri özetlemek için.
Daha küçük modeller daha az işlem gerektirdiğinden özel şirketlerin kullanımı daha ucuz olacaktır. İçinde Microsoft Yapay zekayı işlerine dahil etmek isteyen ancak bunun çok pahalı olduğunu düşünen daha fazla müşteri olacak. Ancak bunların ne kadara mal olacağı henüz belli değil.
Küçük ve orta boy modellerin ne zaman ortaya çıkacağı henüz bilinmiyor. Ancak ikincisi daha güçlü ve daha pahalı olacaktır. Phi-3-small'ın 7 milyar parametreye sahip olacağı ve Phi-3-medium'un 14 milyar kadar parametreye sahip olacağı zaten bilinmesine rağmen.
Ayrıca okuyun:
- Grafen mikroçipleri telefonları daha hızlı ve daha kolay hale getirecek
- Basit kelimelerle kuantum bilgisayarlar hakkında
Phi-3-mini nasıl kullanılır?
GPT-4 Turbo, hala çok pahalı olan güçlü AI çipleri gerektirir. Phi-3 küçük konuşma modeli, cep telefonundaki çiple bile bulut olmadan çevrimdışı çalışabiliyor.
Phi-3, son kullanıcılara yönelik bir ürün değil, geliştiricilerin hem bulut tabanlı yani uzaktan konumlandırılan hem de yerel ve çevrimdışı çalışan uygulamalarında kullanıp uygulayabilecekleri bir teknolojidir. Cep telefonları, arabalar ve bunların bilgi-eğlence sistemleri ve hatta IoT sensörleri gibi cihazlar ve bunların bileşenleriyle sorunsuz bir şekilde çalışması bekleniyor. Bazı senaryolarda bu teknoloji çok değerli olabilir.
Microsoft Hatta somut bir örnek bile veriyor ki hayal gücümüzü zorlamayalım. Bir çiftçinin ürünlerini incelediğini ve yapraklarda, gövdelerde ve dallarda hastalık belirtileri gördüğünü hayal edin. Telekomünikasyon direklerinden uzakta olduğundan, yalnızca telefonunu çıkarması, hasarın fotoğrafını çekmesi, Phi-3 teknolojisini kullanan bir uygulamaya koyması gerekecek; model, fotoğrafı hızla ve çevrimdışı olarak analiz edecek ve önerilerde bulunacaktır. Bu hastalıkla tam olarak nasıl savaşılacağı.
Açıkladığı gibi MicrosoftGPT'nin başarısının anahtarı, eğitim için büyük miktarda veriden yararlanmaktı. Bu kadar büyük veri setleriyle yüksek veri kalitesi söz konusu olamaz. Bu arada Phi modeli eğitilirken OpenAI yaklaşımının tam tersi kullanıldı. Modeli bilgiyle doldurmak yerine, aşamalı ve kapsamlı öğrenmeye odaklanıldı.
Araştırmacılar, ham İnternet verilerini kullanmak yerine Microsoft Milyonlarca minyatür "bebek" hikayesi üreten TinyStories veri kümesini oluşturdu. Bu hikayeler çok küçük dil modellerini eğitmek için kullanıldı. Araştırmacılar daha sonra daha da ileri giderek eğitim değeri ve içerik kalitesi açısından filtrelenen, dikkatle seçilmiş, kamuya açık verileri kullanan CodeTextbook veri kümesini oluşturdular. Bu veriler daha sonra birkaç kez filtrelendi ve daha fazla sentez için büyük dil modeline (LLM) geri beslendi.
Tüm bunlar, daha yetenekli bir SLM'yi eğitmeye yetecek bir veri dizisi oluşturmayı mümkün kıldı. Ayrıca Phi-3 modelinin geliştirilmesinde değerlendirme, test etme ve manuel ayarlamalar da dahil olmak üzere risk yönetimi ve hafifletmeye yönelik çok düzeyli bir yaklaşım kullanıldı. Sonuç olarak iddia ettiği gibi MicrosoftPhi-3 model ailesini kullanan geliştiriciler, daha güvenli ve güvenilir uygulamalar oluşturmak için Azure AI'da bulunan araç setinden yararlanabilir.
Ayrıca okuyun: Bilimsel bir bakış açısıyla ışınlanma ve geleceği
Microsoft Phi, ChatGPT tipi modellerin yerini alacak mı?
Hiç de bile. Küçük dil modellerinin (SLM'ler), yüksek kaliteli verilerle eğitilseler bile sınırlamaları vardır ve derin öğrenme için tasarlanmamıştır. Büyük dil modelleri (LLM'ler), boyutları ve hesaplama güçleri nedeniyle karmaşık akıl yürütmede SLM'lerden daha iyi performans gösterir. LLM'ler özellikle ilaç keşfi gibi geniş bilimsel makale koleksiyonlarında arama yapılması ve karmaşık kalıpların analiz edilmesi gereken alanlarda faydalıdır ve olmaya devam edecektir. Öte yandan SLM, uzun bir metin belgesinin ana noktalarını özetlemek, içerik oluşturmak veya müşteri hizmetleri sohbet robotlarını güçlendirmek gibi daha basit görevler için kullanılabilir.
Microsoft, dedi ki, halihazırda dahili olarak hibrit model kümeleri kullanıyor; burada LLM öncülük ediyor, daha az bilgi işlem gücü gerektiren belirli sorguları SLM'ye yönlendirirken diğer, daha karmaşık sorguları kendisi yönetiyor. Phi, bulutu kullanmadan cihazlarda bilgi işlem yapabilecek şekilde konumlandırılmıştır. Ancak küçük dil modelleri ile buluttaki büyük modellerle elde edilebilecek zeka düzeyi arasında hâlâ bir boşluk olacak. LLM'nin devam eden gelişimi sayesinde bu boşluğun yakın zamanda ortadan kalkması pek olası değildir.
Phi-3 henüz harici bağımsız taraflarca doğrulanmadı. Microsoft Bazen rakiplerine kıyasla aşırı durumlarda 25 kat daha yüksek verimlilikten veya enerji verimliliğinden bahsediyor ki bu kulağa oldukça muhteşem geliyor. Öte yandan bu yılların geçtiğini unutmak mümkün olmasa da Microsoft BT yeniliklerinde açık bir lider olduğu gerçeğinden bizi biraz uzaklaştırdı ve belki de bu yüzden buna gerçekten inanmıyoruz. Anında yanıt veren ve oluşturmak yerine çevrimdışı çalışan yapay zeka tabanlı programlar mı var? Bu, mevcut devrimin değerli bir sonucu olacaktır. Ne yazık ki önemli bir sorun var.
Ayrıca okuyun: Neuralink Telepati çipi hakkında her şey: nedir ve nasıl çalışır?
Phi-3'ten Microsoft yalnızca İngilizce anlıyor
Phi-3, kendisine atılan petabaytları topluca silip süpürmedi. Modelin dikkatli ve titiz eğitimi küçük bir sorunu içerir. Phi-3 İngilizce bilgilerle eğitilmiştir ve henüz başka bir dil hakkında hiçbir fikri yoktur. Sadece Ukraynaca değil, aynı zamanda Almanca, İspanyolca, Fransızca veya Çince de. Elbette bu, dünya çapındaki çoğu kullanıcı için çekiciliğini büyük ölçüde azaltıyor.
Ama içinde Microsoft geliştirilmesi ve iyileştirilmesine yönelik çalışmaların sürdüğünü belirtti. Her ne kadar Ukrayna pazarının büyük şirketlerin herhangi biri için bir öncelik olduğu gerçeğiyle kendinizi kandırmamalısınız. Bu nedenle Ukrayna dilinin desteklenmesi için çok uzun bir süre beklememiz gerekecek. Ancak bu gerçek, meraklıları ve ilerlemeye ayak uydurmak isteyenleri hiçbir zaman durdurmadı.
Ayrıca okuyun: