El tokenizador que aprende delante de ti

Pega cualquier texto y entrena un tokenizador BPE de verdad: en cada paso se fusiona el par de letras más frecuente, el vocabulario crece y el texto se comprime. Es exactamente lo que hay debajo del tokenizador de cualquier modelo de lenguaje.