Erstellen Sie eigene KI-Benchmarks. Fügen Sie Prompts hinzu, führen Sie sie mit den Modellen aus, die Ihnen wichtig sind, bewerten Sie die Antworten und veröffentlichen Sie eine teilbare Rangliste.
Kostenlose Testphase inklusive Keine Kreditkarte erforderlich Ihre Prompts bleiben privat
Speichern Sie eine Liste von Prompts, die Ihnen wichtig sind, wählen Sie eine Basis vertrauenswürdiger Modelle aus und fügen Sie neue Kandidatenmodelle hinzu, die Sie damit vergleichen. Jedes Modell erhält pro Prompt bis zu zehn Versuche, Sie bewerten jede Antwort mit Sternen, und Raq mittelt die Werte in einer öffentlichen Bestenliste unter Ihrer eigenen URL. Sie müssen dem Benchmark eines Dritten nicht vertrauen. Erstellen Sie den, der zu Ihrer Arbeit passt.
Funktioniert in Claude, ChatGPT Work, Grok Bot und jeder KI-App mit Konnektoren. Eigene verbinden
Vergleichen Sie diese KI-Modelle anhand unserer Kundenfragen.
Ich stelle dieselben Fragen über AI Benchmarker und fasse die Antworten für Ihr Team zur Bewertung zusammen.
Die Fragen und Aufgaben, für die Sie KI tatsächlich einsetzen.
Fügen Sie jeden Prompt genau so hinzu, wie Sie ihn senden würden, bis zu 200 in einem Benchmark. Fügen Sie sie einzeln ein, importieren Sie einen Stapel als JSONL, JSON oder CSV oder starten Sie mit einer Vorlage.
Ihre eigenen Sterne, eine erwartete Antwort oder ein KI-Richter.
Bewerten Sie die Antworten nach dem Lauf selbst, geben Sie die erwartete Antwort an und prüfen Sie darauf, oder schreiben Sie die Kriterien und lassen Sie ein Bewertermodell jede Antwort bewerten. Jede Note des Bewerters können Sie ändern.
Bis zu 25 Modelle in einem Durchlauf.
Mischen Sie Anbieter, Größen und Reasoning-Stufen und behalten Sie die Modelle, denen Sie vertrauen, als Basis, die jedes Mal läuft. Jeder Prompt kann bis zu zehnmal wiederholt werden, um zu sehen, wie stabil die Antworten sind.
Punktzahl, Kosten und Tempo für jedes Modell.
Sehen Sie, welches Modell am besten bewertet wurde, welches am günstigsten und welches am schnellsten war, und öffnen Sie dann eine Antwort zum Lesen. Veröffentlichen Sie die Tabelle als Bestenliste oder teilen Sie den Lauf per Link.
Jeder Lauf zeigt die anfallende KI-Nutzung, bevor ein Modell aufgerufen wird, und eine Obergrenze stoppt ihn, wenn die Kosten darüber hinausgehen.
Führen Sie einen Benchmark jeden Tag, jede Woche oder jeden Monat aus oder lassen Sie ihn von selbst starten, nur mit den neuen Modellen, sobald ein passendes erscheint.
Stellen Sie einen Lauf auf eine öffentliche Seite mit Ihrem Namen oder teilen Sie einen Lauf per Link, Passwort und Enddatum.
Importieren Sie eine Promptfoo-Konfiguration als Benchmark, exportieren Sie eine zurück oder starten Sie Läufe aus Ihren eigenen Skripten mit einem API-Schlüssel.
AI Benchmarker ist in jedem Raq.com-Tarif enthalten. Ab $39 pro Nutzer und Monat, mit 75+ Modulen. KI-Arbeit wird auf das Nutzungskontingent Ihres Tarifs angerechnet.
Kostenlose Testphase inklusive Keine Kreditkarte erforderlich Ihre Prompts bleiben privat
Wir verwenden optionale Cookies, um zu verstehen, wie Besucher auf diese Website gelangen, und um den Erfolg unserer Anzeigen zu messen.
