Escreva os seus prompts
As perguntas e tarefas para as quais você realmente usa IA.
Adicione cada prompt exatamente como você enviaria, até 200 em um benchmark. Cole um de cada vez, importe um lote em JSONL, JSON ou CSV, ou comece de um modelo.
AI Benchmarker
Crie seus próprios benchmarks de IA. Adicione prompts, execute-os nos modelos que você escolher, avalie as respostas e publique um ranking compartilhável.
Teste gratuito incluído Não é necessário cartão de crédito Seus prompts permanecem privados
Salve uma lista de prompts que realmente importam para você, escolha uma base de modelos em que você confia e adicione novos modelos candidatos para compará-los. Cada modelo recebe até dez tentativas por prompt, você avalia cada resposta com estrelas, e o Raq.com calcula a média das notas em uma tabela de ranking pública no seu próprio URL. Não é preciso confiar no benchmark de outra pessoa. Crie o que combina com o seu trabalho.
Use AI Benchmarker por meio do seu agente de IA
Funciona no Claude, ChatGPT Work, Grok Bot e em qualquer app de IA com conectores. Conecte o seu
Você
Compare estes modelos de IA usando as perguntas dos seus clientes.
- Use as perguntas dos seus clientes. Teste o trabalho que sua equipe precisa realizar.
- Executar o mesmo conjunto. Forneça as mesmas entradas a cada modelo.
- Avalie as respostas. Compare a qualidade das respostas junto com a velocidade e o custo.
Vou executar as mesmas perguntas no AI Benchmarker e reunir as respostas para sua equipe avaliar.
Como funciona
Como AI Benchmarker faz o trabalho avançar
Escolher como cada um é marcado
As suas próprias estrelas, uma resposta esperada ou um juiz de IA.
Avalie as respostas você mesmo depois da execução, informe a resposta que você espera e confira, ou escreva os critérios e deixe um modelo juiz pontuar cada resposta. Você pode alterar qualquer nota que o juiz der.
Escolha os modelos e as versões
Até 25 modelos em uma execução.
Misture empresas, tamanhos e níveis de raciocínio e mantenha os modelos em que você confia como linha de base que roda sempre. Cada prompt pode ser repetido até dez vezes para ver o quanto as respostas se mantêm estáveis.
Ler os resultados
Pontuação, custo e velocidade de cada modelo.
Veja qual modelo pontuou melhor, qual foi o mais barato e qual foi o mais rápido e abra qualquer resposta para ler. Publique a tabela como um ranking ou compartilhe a execução com um link.
Capacidades
O que diferencia AI Benchmarker
Saiba o custo antes
Cada execução mostra o uso de IA que vai consumir antes de qualquer modelo ser chamado, e um limite a interrompe se o custo passar disso.
Executar de novo num agendamento
Execute um benchmark todo dia, semana ou mês, ou deixe que comece sozinho só com os modelos novos quando surgir um que sirva.
Publicar um ranking
Coloque uma execução numa página pública com o seu nome ou compartilhe uma execução com um link, uma senha e uma data final.
Trazer os seus testes do Promptfoo
Importe uma configuração do Promptfoo como benchmark, exporte uma de volta ou inicie execuções a partir dos seus próprios scripts com uma chave de API.
AI Benchmarker está incluído em todos os planos Raq.com. A partir de $39 por usuário por mês, com mais de 75 módulos. O trabalho com IA usa a cota de uso do seu plano.
Teste gratuito incluído Não é necessário cartão de crédito Seus prompts permanecem privados