A “basket of metrics”—the best support for understanding journal merit

Abstract

Aim: To survey opinion of the assertion that useful metricbased input requires a “basket of metrics” to allow more varied and nuanced insights into merit than is possible by using one metric alone.
Methods: A poll was conducted to survey opinions
(N=204; average response rate=61%) within the international research community on using usage metrics in merit systems.
Results: “Research is best quantified using multiple criteria” was selected by most (40%) respondents as the reason that usage metrics are valuable, and 95% of respondents indicated that they would be likely or very likely to use usage metrics in their assessments of research
merit, if they had access to them. There was a similar degree of preference for simple and sophisticated usage metrics confirming that one size does not fit all, and that a onemetric
approach to merit is insufficient.
Conclusion: This survey demonstrates a clear willingness and a real appetite to use a “basket of metrics” to broaden the ways in which research merit can be detected and demonstrated.

Abstract (Spanish)

Antecedentes: La "canasta de métricas" proporciona un conjunto diverso de métricas para todas las entidades. Incluye métricas novedosas al igual que tradicionales, y ambos tipos siguen siendo importantes. Las métricas de CiteScore, un conjunto de métricas basadas en citas para revistas, se han introducido recientemente. Este estudio de caso ilustra la importancia de tener acceso a métricas diferentes pero relacionadas para proporcionar aportes responsables en diferentes situaciones.

Métodos: Se seleccionó un conjunto de seis revistas, clasificadas como 10º por su CiteScore. Sus valores de métricas CiteScore gratis para 2015 se tomaron de journalmetrics.scopus.com.

Resultados: Los CiteScores de estas revistas, clasificadas de manera consistente en el décimo lugar en su campo, difieren en casi 4.5 unidades. Las revistas con CiteScores relativamente altos también tienen percentiles de CiteScore altos.

Conclusión: CiteScore solo debe utilizarse para evaluar el impacto de la citación de títulos dentro del mismo campo. CiteScore Percentile es adecuado para comparar el impacto de citación de títulos en diferentes campos. La canasta de métricas respalda un aporte valioso y responsable para la toma de decisiones. La pregunta que se hace debe estar planteada claramente para identificar métricas adecuadas. El uso de más de una métrica para ayudar a responder una pregunta evita que se penalicen diversos tipos de excelencia y ayuda a prevenir cambios en el comportamiento que se está midiendo.