Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline

Nvidia ha logrado preentrenar un modelo de lenguaje con 2,8 billones de tokens, utilizando una pipeline de generación de datos abierta. Este avance en el campo de la inteligencia artificial podría tener un impacto significativo en la capacidad de los modelos de lenguaje para comprender y generar texto.