Datos

dsdiff

Diff estilo git entre dos datasets, con drift de distribución.

0 descargas/mes en PyPI

Instalación

pip install dsdiff

Si usas uv, también como CLI aislado:

uv tool install dsdiff

Qué hace

Cuando se regenera un dataset, las columnas se renombran, cambian de tipo, ganan nulos o se desplazan en silencio, y el pipeline sigue corriendo mientras el modelo se degrada. dsdiff compara dos ficheros y reporta qué cambió, ordenado por gravedad.

En acción

Una sesión real grabada del CLI en ejecución.

Léelo como texto

severity  column       change  detail
high      age          drift   PSI 2.603
high      customer_id  drift   PSI 12.446
medium    plan         drift   PSI 0.203

$ dsdiff diff train.csv test.csv
severity  column       change  detail
high      age          drift   PSI 2.603
high      customer_id  drift   PSI 12.446
medium    plan         drift   PSI 0.203

Características

—Cambios de esquema: columnas añadidas, eliminadas o de tipo cambiado.
—Drift de distribución por columna con PSI.
—Saltos en tasa de nulos y cardinalidad.
—Gate de CI y salida JSON; lee CSV, Parquet y JSONL.

Ver el código en GitHub →

Otras herramientas

splitcheck

Detecta filas que se filtran entre train, validación y test.

pii-sweep

Escanea datasets en busca de PII antes de compartirlos.

mlenv

Captura el stack de ML a un fichero y compara dos snapshots.