Menos impactolatría y más racionalidad en la evaluación científica

El factor de impacto (FI) es un indicador bibliométrico basado en el recuento de citas del Science Citation Index-Journal Citation Reports (SCI-JCR) que se calcula, para cada revista, estableciendo la relación entre las citas que en un año determinado han recibido los trabajos publicados durante los 2 años anteriores (numerador), y el total de artículos publicados en ella durante esos dos años (denominador).
El problema es que sólo se computa en el numerador las citas generadas desde el conjunto de revista incluidas en SCI-JCR, mientras que las citas generadas en el resto de revistas “no cuentan”. Asimismo, en el denominador sólo se tienen en cuenta los artículos “citables” (substantive, citables o source ítems) que no siempre son fáciles de determinar cuáles se escogieron, aunque en principio no incluyen ni “editoriales” ni “cartas al editor”. El motivo de coger 2 años es que es el tiempo promedio a partir del que se calcula que un trabajo circula plenamente en la comunidad científica y puede ser utilizado y citado.

En relación con el análisis de citas, aunque para la mayoría de los autores no tienen duda de su utilidad como un indicador bibliométrico, su aplicación práctica no está libre de deficiencias. Apuntamos 10 limitaciones que cabe considerar en el análisis del FI:
- Punto crucial: el FI se hizo para revistas, no para autores
- A través de datos obtenidos del SCI-JCR, aproximadamente el 25% de los artículos publicados no son citados nunca; el 55% se cita sólo una vez, y sólo el 1% recibe 50 o más citas. Además, del 10 al 20% aproximadamente de todas las citas son autocitas. Se conoce que como promedio un 15% de los artículos acapara el 50% de todas las citas
- No existe una definición operativa de lo que SCI-JCR considera como documento citable o fuente.
- SCI-JCR no realiza una vaciado documental de las revistas con un criterio estable a lo largo del tiempo
- SCI-JCR tiene un claro sesgo a favor de las publicaciones en lengua inglesa y, concretamente, está dominada por las norteamericanas
- Los hábitos de citaciones son distintos, según disciplinas y tipo de investigación (clínica frente a básica), lo que influye de forma muy importante en el FI. Las áreas poco desarrolladas y/o con un reducido número de investigadores y/o con escaso apoyo institucional obtienen menos FI (porque publican menos trabajos “citables”)
-Los FI de una revista no son estadísticamente representativos de sus artículos individuales. La tasa de citación de un artículo determina el FI de la revista, pero no viceversa
- Las citas en la misma lengua de la revista son preferidas por los autores que publican en dicha revista
- Los artículos de revisión son muy citados, “inflando” el FI de la revista
- No hay corrección para la autocitación

Debido a la necesidad de disponer de instrumentos cuantitativos de la productividad científica, el manejo del FI de las revistas biomédicas se ha extendido de tal manera que algunos colegas profesan una verdadera “impactolatría”, es decir, culto o adoración incontinente al FI como si se tratara de la panacea de la evaluación en ciencia. La “impactolatría” conlleva una práctica simplista en la que se presupone que el FI de la revista es indicativo de la calidad o importancia de la investigación científica concreta y, por extensión, de los autores de ésta. Es necesario que todos (pero, principalmente las instituciones que evalúan a los médicos y/o científicos) conozcamos las debilidades y fortalezas del FI, así como las amenazas que implica un mal uso y/o abuso del mismo y la oportunidad que surge de utilizarlo con coherencia como un indicador más (nunca el único) dentro de la multidimensionalidad de la cienciometría.

El “impacto” tiene que ir precedido de la “calidad” (rigor científico) e “importancia” (interés en modificar y/o mejorar la práctica clínica) de la investigación. Y, sobre todo, de la coherencia y racionalidad de la evaluación. En esto todos somos responsables: las instituciones que evalúan por aplicar esta “ley” y los médicos evaluados por aplicar la “trampa”.
Algunos autores ya han tratado este tema, pero derivamos la atención a uno de los primeros artículos sobre la “impactolatría” de Jordi Camí. Aún así, se espera con expectación los nuevos FI cada año: en breve aparecerán los de 2010. Y ya sabéis que el que una revista tenga FI o aumente año a año es motivo de orgullo y se publicita. Algo tendrá, cuando el rio suena…