Evaluación

evalgate

Decide si un cambio de métrica es regresión real o ruido.

0 descargas/mes en PyPI

Instalación

pip install evalgate-cli

Si usas uv, también como CLI aislado:

uv tool install evalgate-cli

Qué hace

Una eval que baja de 90,0% a 89,4% en 1.000 ejemplos parece una regresión, pero en ese tamaño de muestra es ruido. evalgate aplica el test estadístico adecuado y solo falla cuando el candidato es significativamente peor.

En acción

Una sesión real grabada del CLI en ejecución.

Léelo como texto

verdict     worse, but within noise
difference  -0.0300
p-value     0.1900
alpha       0.05

$ evalgate proportions --baseline-score 0.86 --baseline-n 500 --candidate-score 0.83 --candidate-n 500
verdict     worse, but within noise
difference  -0.0300
p-value     0.1900
alpha       0.05

Características

—Test de dos proporciones sobre accuracies agregadas.
—Test de McNemar para resultados pareados por ejemplo.
—Veredicto: mejora, igual, ruido o regresión.
—Gate de CI con alpha configurable.

Ver el código en GitHub →

Otras herramientas

dsdiff

Diff estilo git entre dos datasets, con drift de distribución.

splitcheck

Detecta filas que se filtran entre train, validación y test.

pii-sweep

Escanea datasets en busca de PII antes de compartirlos.