Schrijf je prompts
De vragen en taken waarvoor je AI echt gebruikt.
Voeg elke prompt precies toe zoals je hem zou versturen, tot 200 in een benchmark. Plak ze één voor één, importeer een batch als JSONL, JSON of CSV, of begin vanuit een sjabloon.
AI Benchmarker
Bouw je eigen AI-benchmarks. Voeg prompts toe, voer ze uit op de modellen die voor jou tellen, beoordeel de antwoorden en publiceer een deelbaar leaderboard.
Gratis proefperiode inbegrepen Geen creditcard nodig Je prompts blijven privé
Sla een lijst met prompts op die je echt belangrijk vindt, kies een basisset modellen die je vertrouwt en voeg nieuwe kandidaatmodellen toe om ze mee te vergelijken. Elk model krijgt per prompt maximaal tien pogingen, je beoordeelt elk antwoord met sterren, en Raq berekent de gemiddelde scores in een openbare ranglijst op je eigen URL. Je hoeft de benchmark van iemand anders niet te vertrouwen. Bouw degene die bij je werk past.
Gebruik AI Benchmarker via je AI-agent
Werkt in Claude, ChatGPT Work, Grok Bot en elke AI-app met connectors. Koppel de jouwe
Jij
Vergelijk deze AI-modellen met onze klantvragen.
- Gebruik je klantvragen. Test het werk dat je team gedaan wilt hebben.
- Voer dezelfde set uit. Geef elk model dezelfde invoer.
- Beoordeel de antwoorden. Vergelijk de antwoordkwaliteit naast snelheid en kosten.
Ik stel dezelfde vragen via AI Benchmarker en bundel de antwoorden zodat je team ze kan beoordelen.
Hoe het werkt
Zo zorgt AI Benchmarker voor voortgang
Kies hoe elk item wordt gemarkeerd
Je eigen sterren, een verwacht antwoord of een AI-beoordelaar.
Beoordeel de antwoorden zelf na de run, geef het antwoord dat je verwacht en controleer daarop, of schrijf de criteria en laat een beoordelingsmodel elk antwoord scoren. Je kunt elke score van de beoordelaar wijzigen.
Kies de modellen en versies
Tot 25 modellen in één run.
Mix bedrijven, formaten en redeneerniveaus, en houd de modellen die je vertrouwt als basislijn die elke keer draait. Elke prompt kan tot tien keer worden herhaald om te zien hoe stabiel de antwoorden zijn.
Lees de resultaten
Score, kosten en snelheid voor elk model.
Zie welk model het best scoorde, welk het goedkoopst was en welk het snelst, en open elk antwoord om het te lezen. Publiceer de tabel als een ranglijst of deel de run met een link.
Mogelijkheden
Wat AI Benchmarker onderscheidt
Ken eerst de kosten
Elke run laat het AI-gebruik zien dat hij kost voordat een model wordt aangeroepen, en een limiet stopt hem als de kosten daaroverheen gaan.
Opnieuw uitvoeren volgens een schema
Draai een benchmark elke dag, week of maand, of laat hem vanzelf starten met alleen de nieuwe modellen zodra er een geschikt model verschijnt.
Publiceer een ranglijst
Zet een run op een openbare pagina met je naam erbij, of deel één run met een link, een wachtwoord en een einddatum.
Neem je Promptfoo-tests mee
Importeer een Promptfoo-configuratie als benchmark, exporteer er een terug, of start runs vanuit je eigen scripts met een API-sleutel.
AI Benchmarker is inbegrepen in elk Raq.com-abonnement. Vanaf $39 per gebruiker per maand, met 75+ modules. AI-werk gebruikt het gebruikstegoed van je abonnement.
Gratis proefperiode inbegrepen Geen creditcard nodig Je prompts blijven privé