Scrivi i tuoi prompt
Le domande e le attività per cui usi davvero l'IA.
Aggiungi ogni prompt esattamente come lo invieresti, fino a 200 in un benchmark. Incollali uno alla volta, importa un lotto in JSONL, JSON o CSV, oppure parti da un modello.
AI Benchmarker
Crea i tuoi benchmark IA. Aggiungi prompt, eseguili sui modelli che ti interessano, valuta le risposte e pubblica una classifica condivisibile.
Prova gratuita inclusa Nessuna carta di credito necessaria I tuoi prompt restano privati
Salva un elenco dei prompt che ti interessano davvero, scegli una base di modelli di cui ti fidi e aggiungi nuovi modelli candidati da confrontare con questi. Ogni modello ha fino a dieci tentativi per prompt, valuti ogni risposta con le stelle e Raq calcola la media dei punteggi in una tabella classifica pubblica al tuo URL. Non serve fidarsi del benchmark di qualcun altro. Costruisci quello che corrisponde al tuo lavoro.
Usa AI Benchmarker tramite il tuo agente IA
Funziona in Claude, ChatGPT Work, Grok Bot e in qualsiasi app IA con connettori. Collega il tuo
Tu
Confronta questi modelli IA usando le domande dei nostri clienti.
- Usa le domande dei tuoi clienti. Metti alla prova il lavoro che il tuo team deve svolgere.
- Esegui lo stesso set. Fornisci a ogni modello gli stessi input.
- Valuti le risposte. Confronta la qualità delle risposte insieme a velocità e costi.
Sottoporrò le stesse domande ad AI Benchmarker e raccoglierò le risposte affinché il tuo team possa valutarle.
Come funziona
Come AI Benchmarker fa avanzare il lavoro
Scegli come contrassegnare ciascuno
Le tue stelle, una risposta attesa o un giudice IA.
Valuta tu le risposte dopo l'esecuzione, indica la risposta che ti aspetti e verifica che ci sia, oppure scrivi i criteri e lascia che un modello giudice assegni un punteggio a ogni risposta. Puoi modificare qualsiasi punteggio dato dal giudice.
Scegli i modelli e le versioni
Fino a 25 modelli in un'esecuzione.
Mescola aziende, dimensioni e livelli di ragionamento e tieni i modelli di cui ti fidi come baseline eseguita ogni volta. Ogni prompt può essere ripetuto fino a dieci volte per vedere quanto sono stabili le risposte.
Leggi i risultati
Punteggio, costo e velocità per ogni modello.
Vedi quale modello ha il punteggio migliore, quale è stato il più economico e quale il più veloce, poi apri qualsiasi risposta per leggerla. Pubblica la tabella come classifica o condividi l'esecuzione con un link.
Funzionalità
Cosa distingue AI Benchmarker
Prima conosci il costo
Ogni esecuzione mostra l'utilizzo IA previsto prima che venga chiamato un modello, e un tetto la interrompe se il costo lo supera.
Riesegui su pianificazione
Esegui un benchmark ogni giorno, settimana o mese, oppure lascialo partire da solo solo con i nuovi modelli quando ne compare uno adatto.
Pubblica una classifica
Metti un'esecuzione su una pagina pubblica con il tuo nome, oppure condividi un'esecuzione con un link, una password e una data di fine.
Porta i tuoi test Promptfoo
Importa una config Promptfoo come benchmark, esportane una oppure avvia le esecuzioni dai tuoi script con una chiave API.
AI Benchmarker è incluso in ogni piano Raq.com. Da $39 per utente al mese, con 75+ moduli. Il lavoro IA utilizza la quota di utilizzo del tuo piano.
Prova gratuita inclusa Nessuna carta di credito necessaria I tuoi prompt restano privati