Cutting our inference bill by 68% by being obsessive about optimization

La empresa Cloudflare logró reducir su factura de inferencia de IA en un 68% mediante la implementación de técnicas de optimización como el caching de promesas y la ruta inteligente de modelos, mejorando también la velocidad de revisiones.