Sobre MíQué hagoProyectosLabContacto

Datos

splitcheck

Detecta filas que se filtran entre train, validación y test.

splitcheck on PyPIsplitcheck downloads per monthsplitcheck CI statusMIT license0 descargas/mes en PyPI

Instalación

pip install splitcheck

Si usas uv, también como CLI aislado:

uv tool install splitcheck

Pruébalo en tu navegador

5 / 4train.csv / test.csv filas
2filas fugadas desde train
50.0%fuga
0duplicados dentro de test

2 filas de test presentes también en train. (líneas 2, 4) La misma lógica que el chequeo exacto del CLI, ejecutada en local. No se envía nada a ningún sitio.

Qué hace

Una fila que aparece en train y en test infla todas las métricas y es fácil de introducir sin querer. splitcheck compara tus splits y reporta cuánto de uno aparece en otro, de forma exacta y tras normalizar.

En acción

Una sesión real grabada del CLI en ejecución.

Léelo como texto
target  in source  exact  normalized  leakage
test    train          3           3     3.6%
train   test           3           3     1.5%
splitcheck: worst leakage 3.6%
$ splitcheck check train.csv test.csv
target  in source  exact  normalized  leakage
test    train          3           3     3.6%
train   test           3           3     1.5%
splitcheck: worst leakage 3.6%

Características

  • Solapamiento exacto y normalizado entre splits.
  • Comparación por fila completa o por una columna.
  • Fuga como fracción del split objetivo.
  • Gate de CI; lee CSV, Parquet, JSONL y texto.
Ver el código en GitHub

Otras herramientas

hola@jmwebsoluciones.com