Chatbot Arena hjälper dig att jämföra kapaciteten hos neurala nätverk för samma frågor

Vad är Chatbot Arena

Chatbot Arena är ett system som låter dig testa och jämföra olika språkmodeller av neurala nätverk och utvärdera dem prestanda, samt justera testparametrar i enlighet med projektets krav och välj den mest effektiva alternativ.

Plattformen är baserad på Elo-betygssystemet, lånat från schackvärlden. Det fungerar som en pålitlig mekanism för jämförelse - med denna princip kan du utvärdera ett nästan obegränsat antal parvisa kombinationer av neurala nätverk. Medan man testar språkmodeller samlar tjänsten in information om möjligheterna att använda varje neuralt nätverk för olika uppgifter.

Hur man använder Chatbot Arena

ChatBot Arena innehåller många språkmodeller för jämförelse med varandra, inklusive sådana stora som GPT-4 från OpenAI och Claude av Anthropic. Gamla versioner av GPT och andra neurala nätverk med öppen åtkomst presenteras också här.

Officiell sida Tjänsten erbjuder flera alternativ för att testa och jämföra modeller. I "Battle"-läget visas inte namnen på de neurala nätverken, du kontrollerar svar på en begäran från två system samtidigt, utan att veta vilket av dem som utlöses för tillfället. I det öppna jämförelseformuläret (Side-by-Side) kan du från en lista välja vilka modeller du vill testa.

För ett fullständigt test behöver du ställa flera frågor i inmatningsfältet tills det blir klart vilken av de två chatbotarna som svarar bäst. När du gör din dom klickar du på en av knapparna som bekräftar ditt beslut: "A är bättre" eller "B är bättre." Du kan också välja alternativet "Oavgjort" om båda chatbotarna presterade lika bra, eller "Båda dåliga" om du inte gillade något av deras svar.

När du väl har utsett vinnaren kommer ChatBot Arena automatiskt att be varje bot att bekräfta sin "identitet" i stridsläget så att du förstår vilken modell som är i täten. Resultaten beror vanligtvis på vilka frågor du gör.