LangSmith

Lo que documenta el proveedor

• La documentación de observabilidad define cada unidad de trabajo como un run, agrupa los runs de una operación en una trace y permite enlazar las traces de una sesión en un thread.
• La guía de evaluación separa las pruebas offline sobre datasets y ejemplos con referencias de las evaluaciones online sobre runs y threads de producción sin una respuesta de referencia.
• La documentación de auditoría limita los audit logs a Enterprise y a roles de administración u operación; cada evento identifica tiempo, actor, operación, recursos afectados y resultado, con retención de hasta 400 días.

Lectura editorial para la decisión

LangSmith puede entrar en una prueba cuando el equipo necesita reconstruir una ejecución, comparar una versión con casos de referencia y conservar evidencia sobre cambios administrativos. Antes de decidir debe delimitar instrumentación, datos sensibles, dataset, referencias, evaluadores, muestra humana, plan, roles, región, despliegue, retención, exportación y coste.

Qué comprobar en una prueba

• Instrumentar solicitudes representativas y comprobar qué runs, traces y threads llegan, qué entradas, salidas y metadatos quedan visibles y qué filtrado, región o retención requieren los datos sensibles.
• Congelar un dataset y referencias, ejecutar una evaluación offline y contrastar sus resultados con una muestra humana; separar esa prueba de los evaluadores online que trabajan sin respuesta de referencia.
• En el plan y despliegue previstos, provocar un cambio administrativo autorizado y verificar actor, operación, recursos, resultado, permisos de consulta, exportación y retención real del audit log.