GPT-3 Nedir ve Neden Yapay Zekada Devrim Yaratıyor?

Generative Pre-trained Transformer 3 (GPT-3), insan benzeri metinler üretmek için “derin öğrenmeyi” kullanan otomatik gerileyen bir dil modelidir. San Francisco merkezli bir yapay zeka olan OpenAI tarafından oluşturulan GPT-n serisindeki (ve GPT-2’nin halefi) üçüncü nesil dil tahmin modelidir.

GPT 3, şimdiye kadar oluşturulmuş en güçlü dil modelidir.

GPT 3 şiir yazabilir, metin çevirebilir, ikna edici bir şekilde sohbet edebilir ve soyut soruları yanıtlayabilir. Kodlama, tasarım ve çok daha fazlası için kullanılıyor.

Model, bu rakamı bir perspektife oturtmak için 175 milyar parametreye sahip. Geçen yıl piyasaya sürüldüğünde son teknoloji olarak kabul edilen ve şaşırtıcı derecede büyük olan önceki modeli GPT 2’nin 1,5 milyar parametresi vardı ve kısa süre sonra 8 milyar parametre ile Nvidia’nın Megatron’u tarafından gölgede bırakıldı. Microsoft’un 17 milyar parametreye sahip açık ai’si artık turing enerji gpt3’ten 10 kat daha büyük bir model yayınlayarak durumu tersine çeviriyor.

GPT3 basit bir uygulama yazıyor:

Burada geliştirici, istedikleri React uygulamasını tanımlar ve AI, doğru şekilde çalışması için gerekli olan işlev ve olayları içeren bir fonksiyon yazar.

GPT-3 NE YAPABİLİR?

En temel seviyeden başlayarak, GPT-3, Üretken Ön İşlemeli Dönüştürücü 3 anlamına gelir – bu, aracın yayınlanan üçüncü sürümüdür.

Bu, önceden eğitilmiş algoritmalar kullanarak metin üretebildiği anlamına gelir – görevlerini yerine getirmek için gereken tüm verileri zaten almışlardır. Özellikle, internette tarama yaparak topladıkları yaklaşık 570GB metin bilgisi (OpenAI tarafından seçilen diğer metinlerle birlikte, Wikipedia metninin de bulunduğu bir halka açık veri kümesi olarak bilinen CommonCrawl) ile beslenmişlerdir.

GPT-3’ü BU KADAR ÖZEL KILAN NEDİR?

GPT-3 modeli, denetimsiz olarak 50,000 karakter’e kadar metinler üretebilir. Hatta gerçeklerle tabanlı yazılım yanında, yaratıcı Shakespeare tarzı fiktiv hikayeler de üretebilir. Bu, sinir ağı modelinin, insan tarafından yazılmış mı yoksa GPT-3 tarafından mı yazıldığını zor, hatta imkansız hale getirecek kalitede metinler üretebilmesi onu özel kılan durumlardan sadece BİRİ!!!!

GPT-3 NASIL ÇALIŞIR?

GPT-3, dil modeli olarak bilinen bir örnektir, bu da belirli bir istatistik programıdır. Bu durumda, sinir ağı olarak oluşturuldu.

GPT-3, şimdiye kadar yayınlanan üçüncü sürümü olan “Ön İşlemeli Dönüştürücü” anlamına gelen bir kısaltmadır. Üretici olmasının sebebi, diğer sinir ağları gibi sayısal bir skor veya evet veya hayır cevabı vermeyen GPT-3’ün, çıktısı olarak metnin orijinal uzun dizilerini üretebilmesidir. Önceden eğitilmiş olması, herhangi bir alan bilgisiyle inşa edilmemiş olmasına rağmen, yabancı dil çevirisi gibi alan-özel görevleri tamamlayabildiği anlamına gelir.

Birkaç örnek vermek gerekirse:

GPT-3, eğitimin temelini 7000 kitaptan oluşturdu. Yeni GPT3, çok daha fazlasıyla eğitilmiştir… Aslında, internette tarama yaparak 410 milyar belirteçle(token ile) eğitilmiştir. 67 Milyar kitaptan.

3 Milyar Wikipedia’dan ve daha fazlasından. Toplamda, 175 Milyar parametre ve 570GB filtrelenmiş metin (45 Terrabyte filtresiz metinden daha fazla) veriye sahip bir canavar.

Modeli önceden eğitmek için kullanılan bilgi işlem gücü miktarı hayret vericidir. Bir exaflop bilgisayar gücü gününden fazla. Bir saniyelik exaflop bilgisayar gücü, 37 Trilyon yılı aşkın bir süre boyunca saniyede bir hesaplama yapmanızı sağlar.

GPT3 teknolojisi şu anda sınırlı Beta aşamasında ve erken erişim geliştiricileri teknolojinin gösterimlerini yapmaya başlamaktadır. Sınırlı Beta genişledikçe, teknolojinin daha ilginç ve derin uygulamalarını görmek için bekleyebilirsiniz. İnternetin geleceğini ve yazılım ve teknolojiyi nasıl kullandığımızı şekillendireceğine inanıyorum. (Kaynak: https://gregraiz.com/gpt-3-demo-and-explanation/)

KAYNAKLAR:

• Paper on GPT3 — Few Shot Learners https://arxiv.org/abs/2005.14165
• Beta Site for GPT 3 application developers
  https://beta.openai.com/
• Original GPT paper
  Archived Original Paper
• Medium — https://medium.com/analytics-vidhya/what-is-gpt-3-and-why-it-is-revolutionizing-artificial-intelligence-44d8e17c7edf