Serving y coste

tokenmeter

Cuenta tokens y estima el coste de prompts antes de enviarlos.

Instalación

pip install tokenmeter-cli

Una vez publicado en PyPI. También disponible ya desde GitHub:

pip install git+https://github.com/jmweb-org/tokenmeter

Qué hace

Las plantillas de prompt crecen, se añade un ejemplo, el contexto recuperado se infla y de pronto cada llamada cuesta más de lo que creías. tokenmeter da el conteo exacto y una estimación en dólares por adelantado.

Características

—Conteo exacto con tiktoken para encodings de OpenAI.
—Estimación de coste por modelo con tabla fechada.
—Un fichero, un directorio o stdin.
—Gate de presupuesto para CI.

Ver el código en GitHub →

Otras herramientas

dsdiff

Diff estilo git entre dos datasets, con drift de distribución.

splitcheck

Detecta filas que se filtran entre train, validación y test.

pii-sweep

Escanea datasets en busca de PII antes de compartirlos.