Can we trust LLMs to judge whether a research idea is novel?

Un equipo de investigadores de Allen AI ha lanzado una plataforma llamada Novelty Bench que evalúa la originalidad de ideas de investigación en el campo de la inteligencia artificial. La plataforma utiliza modelos de lenguaje para determinar si una idea es nueva o no. Esto plantea preguntas sobre la confiabilidad de los modelos de lenguaje para evaluar la originalidad de las ideas de investigación.