BenchMIRT: What are LLM benchmarks actually measuring?

El equipo de Allen AI ha lanzado un análisis crítico sobre las métricas utilizadas para evaluar a los modelos de lenguaje largo y profundo (LLM). Se cuestionan la validez y la comparabilidad de estas métricas, destacando la necesidad de una evaluación más completa y transparente.