Dari beberapa sumber media internet, ada yang mengatakan bahwa model terbaiknya OpenAI, yakni GPT-4, mengalami kemunduran dalam hasil yang digenerasikannya, terutama dalam melakukan perhitungan matematika. Sebagai contoh adalah cuitan berikut menurut salah satu ahli AI, Santiago L. Valdarrama (@svpino):






Katanya, success rate GPT-4 berkurang dari 97.6% hingga ke 2.4%, dan juga penggunaan untuk Code Generation juga memburuk. Spekulasinya katanya gara-gara modelnya terus diupdate oleh OpenAI, namun pengetesan bilamana modelnya mengalami perkembangan atau malah regresi tidak diketahui. 

Menurut agan sista, gimana nih? Ada yang sudah pernah pakai GPT-4? Hasilnya gimana, benarkah berita-berita ini? Gw sendiri belom pernah (kismin, hehe), jadi cuma bisa spekulasi. Tapi bila benar, berarti ini juga menyatakan volatilitas penggunaan AI terutama ChatGPT (atau GPT-4) ya? Kalau modelnya sedang bagus, hasilnya bisa bagus, tapi kalau training modelnya ada masalah, hasilnya juga bisa bermasalah .

Sumber:
1. https://www.tomshardware.com/news/chatgpt-response-quality-decline
2. https://www.digitaltrends.com/computing/study-shows-a-downturn-in-openais-gpt-4-response-quality/
3. https://www.zdnet.com/article/gpt-4-is-getting-significantly-dumber-over-time-according-to-a-study/
4. https://siliconangle.com/2023/07/20/research-paper-suggests-openais-gpt-4-may-become-less-accurate/