Stanford-forskare tycker att GPT-4 blir dummare med tiden
Miscellanea / / July 20, 2023
Noggrannheten för den betalda versionen av ChatGPT var lägre än den för gratis chatbot.
Ny studie från forskare vid Stanford University bekräftade vad nätanvändare har klagat på i flera veckor: ChatGPT Plus, baserat på GPT-4 har verkligen blivit dummare – till skillnad från GPT-3.5, som kör gratisversionen av chatboten.
I sin studie jämförde författarna svar på olika förfrågningar från en chatbot baserad på GPT-4 och GPT-3.5. De fann att beteendet hos chatboten och noggrannheten i svaren på vissa förfrågningar i den nya versionen är avsevärt förvärrats.
Författarna jämförde språkmodellerna GPT-4 och GPT-3.5 som släpptes i mars och januari. De fann att under denna tid sjönk noggrannheten för GPT-4 märkbart, medan den för GPT-3.5 tvärtom ökade.
Till exempel minskade noggrannheten i att svara på frågan om 17077 är ett primtal med 95,2 %, medan GPT-3,5 tvärtom ökade från 7,4 % till 86,8 %. Dessutom har chansen för framgångsrik exekvering av koden som skrivits av det neurala nätverket minskat i de nuvarande versionerna av båda modellerna.
Tidigare har OpenAI Vice President Peter Welinder redan gjort det svarade till anklagelserna från ChatGPT Plus-användare:
Nej, vi gjorde inte GPT-4 dummare. Allt är precis tvärtom: vi gör varje ny version smartare än den tidigare.
Nu har vi den här hypotesen: när du använder något mer aktivt börjar du märka problem som du inte såg tidigare.
Peter Welinder
VP of Product på OpenAI
I ett av svaren på denna tweet, Welinder frågade ge bevis på att chatboten har blivit sämre. En studie från Stanford-forskare dök upp 5 dagar efter det - och det har ännu inte kommit något svar från OpenAI.
Det är inte första gången GPT-4 anklagas för att ha lämnat falsk information. I mars, NewsGuard analytiker upptäcktatt ChatGPT baserat på GPT-4 är lättare att få ljuga - medan OpenAI själv hävdar en 40% ökning av noggrannheten på svar jämfört med GPT-3.5. I i synnerhet i NewsGuard-testerna var det mindre sannolikt att den nya versionen av det neurala nätverket motbevisade falsk information - inklusive falska data om moderna händelser och teorier konspirationer.
Läs också🧐
- 6 analoger av ChatGPT
- James Cameron om farorna med AI: "Jag varnade dig redan 1984, men du lyssnade inte"
- 8 myter om artificiell intelligens som även programmerare tror