Evaluación

slicemap

Encuentra los segmentos donde un modelo nuevo empeora.

0 descargas/mes en PyPI

Instalación

pip install slicemap-cli

Si usas uv, también como CLI aislado:

uv tool install slicemap-cli

Qué hace

Un modelo nuevo puede subir la métrica global y empeorar en un segmento que importa: un país, una franja de edad, una categoría. slicemap puntúa cada segmento y lista donde el modelo nuevo perdió terreno, ordenado por impacto.

En acción

Una sesión real grabada del CLI en ejecución.

Léelo como texto

slicemap: accuracy overall 0.877 -> 0.857
feature  slice       size    old    new  regression
plan     enterprise    53  0.830  0.660      -0.170

$ slicemap compare preds.csv --true y_true --old old_pred --new new_pred --features plan
slicemap: accuracy overall 0.877 -> 0.857
feature  slice       size    old    new  regression
plan     enterprise    53  0.830  0.660      -0.170

Características

—Segmentación categórica y por cuantiles.
—Métricas accuracy, error y MAE.
—Ranking por impacto: tamaño por degradación.
—Gate de CI y salida JSON.

Ver el código en GitHub →

Otras herramientas

dsdiff

Diff estilo git entre dos datasets, con drift de distribución.

splitcheck

Detecta filas que se filtran entre train, validación y test.

pii-sweep

Escanea datasets en busca de PII antes de compartirlos.