De la Bibliometría evaluativa a la Bibliometría narrativa

 

Son muy numerosos los post realizados en este blog sobre bibliometría, indicadores bibliométricos, su por qué y para qué, sus dudas y sus reflexiones… Llevamos al menos 15 años hablando de ello, que quizás comenzó en el año 2009 con el post “Indicadores métricos de la información: de la bibliometría a la cibermetría” y que llegó hasta el año 2021 con cuando finalizamos el proyeto “Formación e información en Pediatría” en el que trabajamos durante una década, y dentro de ella los 16 capítulos elaborados sobre Bibliometría y cienciometría.  

Y ello porque evaluar el rendimiento de la actividad científica y su impacto en la sociedad es posible (y deseable) y uno de cuyos fines primordiales es el poder adecuar convenientemente la asignación de los recursos destinados a investigación y desarrollo. Estudiar variables cuantitativas y cualitativas de la información publicada (en formato papel o electrónico) es una necesidad en el entorno de “infoxicación” (neologismo que quiere indicar el entorno de intoxicación por exceso de información) en el que desarrollamos nuestra práctica clínica. 

Desde hace tiempo se aplican métodos científicos, fundamentalmente matemáticos y estadísticos, al estudio de la ciencia, como expresión particular de las regularidades matemáticas que acompañan a las ciencias naturales, técnicas y sociales. Se diferencian distintas especialidades métricas, en base a los distintos usos de la información: Bibliometría, Cienciometría, Informetría, Webmetría y Cibermetría. Y sobre las luces y las sombras de los cuartiles y el índice H ya hemos realizado nuestra contribución.   

Quizás todo este camino comenzó allá por la década de los 70 con los estudios de Eugene Garfield. Pero en estas más de cuatro décadas, se ha evolucionado mucho en relación con el factor de impacto, con sus ventajas e inconvenientes, así como la comorbilidad asociada (con la impactofilia, la impactofobia y el impacto¿qué?, entre ellas). Porque con el inicio del siglo XXI a las bases de análisis tradicionales (Web of Science y Journal Citation Report) se suman otras fuentes de información bibliográfica como Google Schoolar y Scopus, que imitan las bases de datos existentes y les añaden nuevas funcionalidades que modifican los indicadores. Y con el avance en la era digital surgen también nuevas métricas relacionadas con el contenido digital y generándose un nuevo horizonte de indicadores bibliométricos alternativos (Webmetría). Por tanto, el crecimiento de estos indicadores permite un análisis más profundo de los datos cuantitativos de los documentos y abandonar las métricas basadas en las fuentes que recogen los trabajos (revistas).   

Estos son algunos cambios en el horizonte de las evaluaciones: 

• Todos estos avances llevaron a la creación de diversos manifiestos que centraban sus críticas en el mal uso de los indicadores bibliométricos. 

• San Francisco Declaration on Research Assessment (DORA) (2012), centra la evaluación de los trabajos en el impacto real de las aportaciones científicas de las investigaciones y abandona el Journal Impact Factor como único indicador de evaluación 

• Manifiesto de Leiden (2015), aboga por la combinación de métodos cuantitativos y cualitativos para adaptar las métricas de evaluación a los objetivos y contextos de cada investigación. Da mucha relevancia a la transparencia en la selección de indicadores y a la diversidad de métodos de evaluación 

Y todo esto es el parte de ese paso de la Bibliometría Evaluativa del siglo XX a la Bibliometría Narrativa del siglo XXI.  

- La BIBLIOMETRÍA EVALUATIVA surge como herramienta de apoyo a la revisión por pares a la hora de tomar decisiones de forma más responsable. Fomenta un uso justo, racional y limitado de los indicadores bibliométricos. Se centra en apoyo a la toma de decisiones, colaboración con los expertos, respeto por los contextos, multidimensionalidad métrica, así como verificabilidad y apertura de datos. 

En 2022 surge CoARA (Coalition for Advancing Researchs Assessment) cuyo principal objetivo es reformular el sistema de evaluación de la investigación: 1) Se da mayor importancia a los aspectos cualitativos; 2) La revisión por pares es el elemento central de la evaluación; 3) Se aboga por el uso responsable de indicadores bibliométricos que siempre se usaran como apoyo a la revisión por pares 

Por tanto, la Bibliometría Evaluativa como CoARA se fundamentan en los mismos principios que son que la evaluación de la investigación debe basarse en los opiniones cualitativas de los expertos complementadas con el uso responsable de los indicadores bibliométricos. El 8 de noviembre del 2022 la Comisión europea firmó los acuerdos de DORA y CoARA por lo que la mayoría de las instituciones europeas han seguido con esta tendencia. En España este seguimiento se hizo muy notable siendo uno de los países con más instituciones que se adhirieron a amos acuerdos (La ANECA firmo el 3 de abril de 2023). 

- La BIBLIOMETRÍA NARRATIVA se puede definir como “la utilización de indicadores bibliométricos para generar relatos y narrativas que permitan la defensa y exposición de un currículum científico y de sus aportaciones individuales en el marco de una evaluación científica”. Lo que persigue esta “nueva” biblometría es dar un significado a los datos cuantitativos obtenidos de los indicadores, de manera que el investigador pueda analizar y contextualizar cada indicador, evitando la presencia de datos aislados e inconexos. 

En la Bibliometría Narrativa es indispensable que se cumplan una serie de principios que garanticen la calidad y la relevancia del relato, se replicabilidad y su adaptabilidad a otros contextos científicos. Para crear narrativas bibliométricas demos tener en cuenta que cumplan con replicabilidad, singularidad, adaptabilidad, comparabilidad y contextualidad. 

Para seguir con los directrices de los manifiestos de Leiden y DORA lo que se recomienda es el uso de múltiples indicadores que den una visión más global de los documentos evaluados, explicando cada uno de los diferentes indicadores y teniendo en cuenta sus limitaciones. Hay 4 dimensiones básicas a utilizar dentro de la Bibliometría Narrativa: 

- Impacto científico: mide la relevancia y la influencia que una publicación tiene dentro de la comunidad. científica. Utiliza métricas basadas en la cantidad de veces que un documento es citado por otros: total de citas recibidas (con y sin autocitas), citas normalizadas, percentil de citación. 

- Relevancia del medio: mide el medio en el que se publica el documento, teniendo en cuenta tanto aspectos cuantitativos como cualitativos. Para aspectos cuantitativos se utilizan los indicadores tradicionales, para los cualitativos se analizan las políticas editoriales y la calidad del medio: impacto de la revista, percentil de la revista, cuartil de la revista, ranking de la revista. 

- Atención social: mide la difusión que la publicación tiene en medios sociales a partir de las menciones que recibe en redes sociales o plataformas digitales. Analiza aspectos como: menciones en redes sociales, menciones en noticias, menciones en informes, menciones en Wikipedia. 

- Uso y visibilidad: mide la accesibilidad y el alcance de una publicación en el mundo digital analizando el uso que recibe el documento y el tráfico generado por el mismo. Analiza aspectos como: lectores de gestores de referencias, enlaces académicos, descargas, presencia en bibliotecas (documentos impresos). 

La narrativa bibliométrica lo que pretende es complementar, contextualizar y explicar los indicadores bibliométricos de tal manera que proporciones una visión más integral de un documento científico. La narrativa puede tener múltiples puntos de análisis cada uno aportando una perspectiva diferente:

• Narrativa de posición. Nos permite situar nuestro documentos dentro del contexto de la categoría temática sobre la que trata nuestra investigación. Permite evaluar el impacto de una publicación con otros trabajos dentro del mismo campo, mismos años, y mismo tipo de documentos. 

• Narrativa de contexto. Da una visión del entorno y del lugar desde el que nuestro documento ha recibidos las citas. Nos permitiría saber si nuestro documento esta siendo muy relevante en algún ámbito concreto (materia, país, idiomas, etc). 

• Narrativa de agentes. Permite la identificación de los diferentes investigadores, grupos de investigación o instituciones que han aprovechado los resultados de nuestro documento. El saber quien está usando nuestro artículo nos da una visión clara del impacto de nuestros resultados 

• Narrativa de la audiencia. Frente a la narrativa anterior, esta narrativa se centra específicamente en la recepción y filtrado que ha recibido nuestro trabajo. No es solo cuantificar cuanta gente lee nuestro trabajo, sino cualificar los destinatarios de nuestro documento 

• Narrativa de Ciencia Abierta. Consiste en indicar nuestra voluntad de que los resultados de nuestras investigaciones sean difundidos en plataformas abiertas. Consiste fundamentalmente en decir si la publicación se ha depositado en repositorio abiertos (se puede acompañar con datos de consulta) y más aún si los datos cumples con los criterios FAIR (Encontrable, Accesible, Interoperable y Reutilizable). 

Esta presentación se fundamenta en una píldora formativa realizada en nuestro instituto de investigación (ISABIAL) y que forma parte del programa formativo de REGIC (Red de Entidades Gestoras de Investigación Clínica).