Quantization-Aware Healing: a compressed, 4-bit model that outperforms its full-precision original

Un equipo de investigadores ha desarrollado un modelo de 4 bits que supera a su versión de precisión completa, logrando una compresión significativa sin sacrificar la precisión. Este avance se logró mediante un proceso llamado 'healing' que permite mejorar la precisión de los modelos cuantizados. El modelo resultante es más eficiente y puede ser utilizado en dispositivos con recursos limitados.