Escribe tus prompts
Las preguntas y tareas para las que realmente usas la IA.
Agrega cada prompt tal como lo enviarías, hasta 200 en un benchmark. Pégalos de uno en uno, importa un lote como JSONL, JSON o CSV, o empieza desde una plantilla.
Evaluador de IA
Crea tus propias evaluaciones comparativas de IA. Agrega prompts, ejecútalos en los modelos que te interesan, califica las respuestas y publica una tabla de clasificación para compartir.
Prueba gratuita incluida No se necesita tarjeta de crédito Tus prompts se mantienen privados
Guarda una lista de prompts que te importen, elige una base de modelos en los que confíes y agrega nuevos modelos candidatos para compararlos con ellos. Cada modelo tiene hasta diez intentos por prompt, calificas cada respuesta con estrellas, y Raq promedia las puntuaciones en una tabla de clasificación pública en tu propia URL. No necesitas confiar en el benchmark de nadie más. Crea el que se ajuste a tu trabajo.
Usa Evaluador de IA a través de tu agente de IA
Funciona en Claude, ChatGPT Work, Grok Bot y cualquier app de IA con conectores. Conecta el tuyo
Tú
Compare estos modelos de IA usando las preguntas de nuestros clientes.
- Usa las preguntas de tus clientes. Pon a prueba el trabajo que tu equipo necesita realizar.
- Ejecutar el mismo conjunto. Dale a cada modelo las mismas entradas.
- Califica las respuestas. Compara la calidad de las respuestas junto con la velocidad y el costo.
Ejecutaré las mismas preguntas en Evaluador de IA y reuniré las respuestas para que su equipo las califique.
Cómo funciona
Cómo Evaluador de IA hace avanzar el trabajo
Elige cómo se marca cada uno
Tus propias estrellas, una respuesta esperada o un juez de IA.
Califica tú las respuestas después de la ejecución, indica la respuesta que esperas y comprueba si aparece, o escribe los criterios y deja que un modelo juez puntúe cada respuesta. Puedes cambiar cualquier puntaje que dé el juez.
Elige los modelos y las versiones
Hasta 25 modelos en una ejecución.
Mezcla empresas, tamaños y niveles de razonamiento, y conserva los modelos en los que confías como línea base que se ejecuta siempre. Cada prompt se puede repetir hasta diez veces para ver qué tan estables son las respuestas.
Leer los resultados
Puntaje, costo y velocidad de cada modelo.
Ve qué modelo obtuvo el mejor puntaje, cuál fue el más barato y cuál el más rápido, y luego abre cualquier respuesta para leerla. Publica la tabla como un ranking o comparte la ejecución con un enlace.
Capacidades
Lo que distingue a Evaluador de IA
Conoce el costo primero
Cada ejecución muestra el uso de IA que va a consumir antes de llamar a cualquier modelo, y un tope la detiene si el costo se pasa de eso.
Volver a ejecutar según un horario
Ejecuta una evaluación comparativa cada día, semana o mes, o deja que arranque sola solo con los modelos nuevos cuando aparezca uno que le convenga.
Publicar una tabla de posiciones
Publica una ejecución en una página pública con tu nombre, o comparte una ejecución con un enlace, una contraseña y una fecha de fin.
Trae tus pruebas de Promptfoo
Importa una configuración de Promptfoo como benchmark, exporta una de vuelta o inicia ejecuciones desde tus propios scripts con una clave de API.
Evaluador de IA está incluido en todos los planes de Raq.com. Desde $39 por usuario al mes, con 75+ módulos. El trabajo con IA usa la cuota de uso de tu plan.
Prueba gratuita incluida No se necesita tarjeta de crédito Tus prompts se mantienen privados