How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications

Los investigadores de Dharma AI han logrado reducir el costo de inferencia de los modelos de lenguaje en un 77% mediante la especialización del vocabulario. Esto se logró utilizando un enfoque de aprendizaje automático que ajusta el vocabulario de los modelos a las características específicas de las aplicaciones reales. Esta técnica puede tener un impacto significativo en la eficiencia de los modelos de lenguaje en diversas áreas.