Entorno y reproducibilidad

gpu-gate

Espera una GPU libre, la reclama y ejecuta tu comando.

Instalación

pip install gpu-gate

Una vez publicado en PyPI. También disponible ya desde GitHub:

pip install git+https://github.com/jmweb-org/gpu-gate

Qué hace

En una máquina con varias GPUs compartidas y sin scheduler, lanzar un job es vigilar nvidia-smi, elegir tarjeta a mano y exportar la variable. gpu-gate es ese bucle de esperar, elegir, exportar y ejecutar, con un lock cooperativo.

Características

—Selección por memoria libre y utilización.
—Lock cooperativo para no pisar la misma tarjeta.
—Exporta CUDA_VISIBLE_DEVICES y ejecuta.
—Sin demonio ni servidor; exit codes honestos.

Ver el código en GitHub →

Otras herramientas

dsdiff

Diff estilo git entre dos datasets, con drift de distribución.

splitcheck

Detecta filas que se filtran entre train, validación y test.

pii-sweep

Escanea datasets en busca de PII antes de compartirlos.