Napisz prompty
Pytania i zadania, do których naprawdę używasz AI.
Dodaj każdy prompt dokładnie tak, jak byś go wysłał, do 200 w benchmarku. Wklejaj je po jednym, zaimportuj partię jako JSONL, JSON lub CSV albo zacznij od szablonu.
AI Benchmarker
Twórz własne benchmarki AI. Dodawaj prompty, uruchamiaj je na modelach, które Cię interesują, oceniaj odpowiedzi i publikuj udostępnialny ranking.
Bezpłatny okres próbny w zestawie Karta kredytowa nie jest wymagana Twoje prompty pozostają prywatne
Zapisz listę promptów, które są dla Ciebie ważne, wybierz bazowy zestaw modeli, którym ufasz, i dodaj nowe modele kandydujące do porównania. Każdy model ma do dziesięciu prób na prompt, oceniasz każdą odpowiedź gwiazdkami, a Raq uśrednia wyniki w publicznej tabeli rankingowej pod Twoim własnym adresem URL. Nie musisz ufać cudzemu benchmarkowi. Zbuduj taki, który pasuje do Twojej pracy.
Użyj AI Benchmarker za pośrednictwem swojego agenta AI
Działa w Claude, ChatGPT Work, Grok Bot i każdej aplikacji AI z konektorami. Połącz swoje
Ty
Porównaj te modele AI, używając naszych pytań od klientów.
- Użyj pytań swoich klientów. Przetestuj pracę, którą ma wykonać Twój zespół.
- Uruchom ten sam zestaw. Podaj każdemu modelowi te same dane wejściowe.
- Oceń odpowiedzi. Porównuj jakość odpowiedzi wraz z szybkością i kosztem.
Uruchomię te same pytania w AI Benchmarker i zestawię odpowiedzi, aby Twój zespół mógł je ocenić.
Jak to działa
Jak AI Benchmarker posuwa pracę do przodu
Wybierz, jak oznaczyć każdy
Twoje własne gwiazdki, oczekiwana odpowiedź albo sędzia AI.
Oceń odpowiedzi sam po uruchomieniu, podaj oczekiwaną odpowiedź i sprawdź, czy się pojawiła, albo napisz kryteria i pozwól modelowi-sędziemu ocenić każdą odpowiedź. Możesz zmienić każdą ocenę nadaną przez sędziego.
Wybierz modele i wersje
Do 25 modeli w jednym uruchomieniu.
Mieszaj firmy, rozmiary i poziomy rozumowania i zostaw modele, którym ufasz, jako punkt odniesienia uruchamiany za każdym razem. Każdy prompt można powtórzyć do dziesięciu razy, żeby zobaczyć, jak stabilne są odpowiedzi.
Przeczytaj wyniki
Wynik, koszt i szybkość dla każdego modelu.
Zobacz, który model uzyskał najlepszy wynik, który był najtańszy, a który najszybszy, a potem otwórz dowolną odpowiedź, aby ją przeczytać. Opublikuj tabelę jako ranking albo udostępnij uruchomienie linkiem.
Możliwości
Co wyróżnia AI Benchmarker
Najpierw poznaj koszt
Każdy przebieg pokazuje użycie AI, zanim wywoła jakikolwiek model, a limit zatrzymuje go, gdy koszt go przekroczy.
Uruchamiaj ponownie według harmonogramu
Uruchamiaj benchmark codziennie, co tydzień albo co miesiąc, lub pozwól, by startował sam, tylko z nowymi modelami, gdy pojawi się taki, który do niego pasuje.
Opublikuj ranking
Umieść uruchomienie na publicznej stronie ze swoim imieniem albo udostępnij jedno uruchomienie linkiem, hasłem i datą zakończenia.
Przenieś testy Promptfoo
Zaimportuj konfigurację Promptfoo jako benchmark, wyeksportuj ją z powrotem albo uruchamiaj przebiegi z własnych skryptów kluczem API.
AI Benchmarker jest dołączony do każdego planu Raq.com. Od $39 miesięcznie za użytkownika, z 75+ modułami. Praca AI wykorzystuje limit zużycia w Twoim planie.
Bezpłatny okres próbny w zestawie Karta kredytowa nie jest wymagana Twoje prompty pozostają prywatne