tokenizers v1: encode, decode and scaling, measured

Los tokenizadores son una herramienta fundamental en el procesamiento del lenguaje natural, y la versión 1 de Hugging Face ofrece mejoras significativas en la codificación, decodificación y escalabilidad.