ChatGPT, üniversite öğrencilerinden iyi çıktı

HABER MERKEZİ

Los Angeles California Üniversitesi’nden araştırmacılar, sohbet robotunun temelini oluşturan GPT-3 geniş dil modelinin, zeka testlerinde veya ABD’deki üniversiteye kabul testi SAT gibi sınavlarda ortaya çıkan muhakeme problemlerini çözmeleri istendiğinde ABD’li üniversite mezunları kadar iyi performans gösterdiğini buldu.

Araştırma için, görüntüleri modelin işleyebileceği bir metin biçimine dönüştürdükten ve ayrıca modelin sorularla asla karşılaşmamasını sağladıktan sonra, GPT-3’ün karmaşık bir şekiller dizisindeki bir sonraki görüntüyü tahmin etme yeteneği test edildi.

Aynı problemler 40 UCLA lisans öğrencisine soruldu ve araştırmacılar, GPT-3’ün problemlerin yüzde 80’ini doğru bir şekilde çözdüğünü, insan katılımcılar için yüzde 60’ın hemen altındaki ortalama puanın çok üzerinde olduğunu buldular.

UCLA ekibi ayrıca, üniversite adaylarının SAT puanlarıyla karşılaştırıldığında, yapay zekanın insanlar için ortalama puandan daha iyi performans gösterdiğini de tespit etti.

Çalışmanın baş yazarı Taylor Webb, ChatGPT’yi çalıştıran modelin yapay genel zeka veya insan düzeyinde zeka standardında olmadığını söyledi.

UCLA psikoloji profesörü Keith Holyoak da, “GPT-3 bir tür insan gibi düşünüyor olabilir. Ancak öte yandan, insanlar internetin tamamını sindirerek öğrenmediler, bu nedenle eğitim yöntemi tamamen farklı. Bunu gerçekten insanların yaptığı gibi mi yapıyor, yoksa gerçek bir yapay zeka mı bilmek istiyoruz” dedi.