Arize AI

Lo que documenta el proveedor

• La guía oficial de tracing indica que Arize AX registra el recorrido de una solicitud, incluidos recuperación, llamadas a herramientas y al LLM, entradas, salidas, latencia y tokens.
• La documentación de evaluaciones distingue jueces basados en LLM, código, harness de agente o endpoint HTTP y explica que devuelven etiquetas, scores y explicaciones asociados al dato evaluado.
• La guía de experimentos exige un dataset fijo, una tarea, evaluadores y un baseline, y recomienda cambiar una variable cada vez para poder interpretar la comparación.

Lectura editorial para la decisión

Arize AX puede entrar en una prueba cuando el equipo necesita reconstruir ejecuciones, aplicar evaluaciones repetibles y comparar variantes del agente. Antes de decidir debe delimitar telemetría y datos sensibles, cobertura de instrumentación, criterios y versión del evaluador, muestra humana, dataset, baseline, variable ensayada, permisos, región, retención, edición y costes.

Qué comprobar en una prueba

• Instrumentar solicitudes representativas y verificar qué spans llegan, qué herramientas y recuperaciones quedan visibles y si prompts, respuestas u otros datos sensibles requieren filtrado, región o retención específica.
• Definir un fallo conocido, aplicar un evaluador LLM y otro determinista cuando proceda y contrastar etiquetas, scores y explicaciones con una muestra humana antes de usar el resultado como señal.
• Congelar un dataset, ejecutar el baseline y una variante que cambie sólo un factor; comprobar comparabilidad, fallos por caso, permisos de acceso, plan y coste antes de aceptar la diferencia.