La perversión de las métricas en la evaluación de la investigación

Está claro que el prestigio y glamour no van siempre de la mano. Esto lo saben bien en Physical Review B,  “PRB” para los amigos,  la revista de referencia en Física de la Materia Condensada.  Así, el prestigio de PRB se lo dan los más de 500 artículos que han publicado allí  Thouless, Haldane, Kosterlitz, Geim, Novoselov, Fert, Grundberg, Nakamura, Tsui, Laughlin, Stormer, Von Klitizing,  todos ellos galardonados con el premio Nobel de Física en las últimas décadas,  o los más de 50  artículos con más  dos mil citas que ha publicado la revista, o su índice h de 516.  La lista de  instituciones que más publican en PRB incluye centros de prestigio mundial como  Berkeley, UC Illinois, MIT,  IBM, Stanford, Cambridge, Oxford.  Por cierto, en esa lista el CSIC ocupa el puesto 20.

La falta de “glamour” del PRB se ilustra bien comparando las consecuencias de publicar en PRB y las de publicar en Nature o Science.  Esto último mejora las perspectivas de obtener charlas invitadas, proyectos financiados, promoción profesional, y cobertura en los medios de comunicación, y la felicitación de colegas e incluso familiares.   Publicar en PRB no levanta ni la décima parte de polvareda.   Este contraste es probablemente debido a que PRB publica más de cinco mil artículos al año, todos ellos en el ámbito de Física de la Materia Condensada, mientras que Nature, por ejemplo,  sólo publica algo más de mil (Articles y Letters), en todas las disciplinas científicas y con una gran preeminencia de las ciencias de la vida (Biología, Medicina, etc).  La gran diferencia en el número de artículos publicados en Física, y concretamente en Materia Condensada, entre PRB y Nature hace, evidentemente, que sea mucho más difícil que te acepten un artículo en esta última revista. Todo esto se refleja, de alguna forma, en el índice de impacto de ambas revistas, 3.8 el de PRB, en torno a  40 en Nature y Science.

En los últimos años el negocio editorial ha cambiado mucho y han proliferado revistas con temáticas muy focalizadas, o revistas de reviews, que publican muy pocos artículos al año y con criterios editoriales que sólo buscan asegurarse un buen número de citas en un corto período de tiempo. Estos diseños ad hoc garantizan altos índices de impacto no necesariamente ligados a la calidad científica de los trabajos que allí se publican. Ordenadas en un ranking de factor de impacto, estas revistas aparecen por encima de PRB a pesar de que gran parte de ellas son absolutamente irrelevantes en nuestra comunidad. El drama de la dictadura de las métricas está servido.

El PRB es, sin lugar a dudas, el buque insignia de la física de la materia condensada. Es bien conocida la alta calidad promedio de sus artículos que, en muchas ocasiones, presentan los trabajos con el suficiente detalle para que su contenido sea realmente útil en el avance de la investigación en nuestro campo. A pesar del peso intrínseco del PRB en nuestra comunidad, y debido a la ya mencionada proliferación de nuevas revistas, éste se ha convertido recientemente en una víctima más de las métricas: en la última actualización de los índices de impacto publicados por Journal Citation Reports (JCR), integrado en la Web of Science, el Physical Review B, a pesar de haber mejorado su índice, ha pasado al segundo cuartil de su categoría “Physics, Condensed Matter”. Esto no nos preocuparía mucho, ni siquiera nos habríamos dado cuenta, si no fuera porque convocatorias e instituciones usan esta clasificación en cuartiles para, a ciegas, decidir si se cumple o no con unos criterios mínimos de excelencia.  A efectos de estas convocatorias,  el PRB es una revista de segunda división, situación absurda donde las haya.

Varios españoles (¡sólo españoles!) hemos escrito a los editores del PRB. Nadie de nuestra comunidad pondría en duda el impacto de esta revista en una evaluación peer to peer pero nos encontramos con el problema de tener que encasillarnos a priori, por exigencia de las convocatorias, en un corsé que de repente se ha estrechado. Los editores del PRB, sinceramente sorprendidos por la tesitura en la que nos encontramos, nos han dado una solución práctica: el PRB está sobradamente en el primer cuartil en el Scimago Journal Rank (SJR), que usa la métrica de Scopus, y que en Materia Condensada incluye cientos de revistas. Por tanto, simplemente con usar otra métrica oficial, el PRB podría retornar al primer cuartil. Sin embargo, en algunas convocatorias se menciona explícitamente el Web of Science (véanse, sin ir más lejos, las instrucciones del famoso CVA).

La solución propuesta no pasa de ser una adaptación forzada al medio. El problema de fondo que deberíamos afrontar es la injustificada pretensión de usar una métrica creada exclusivamente para evaluar revistas con el objeto de medir el impacto de trabajos individuales. Esta incongruencia ya fue remarcada en 2013 en una editorial publicada en Science: Impact factor distortions. Este artículo hace referencia a la iniciativa San Francisco declaration on research Assessment (DORA) en la que, entre otras cosas, se proponen acciones específicas, no dependientes de las métricas, para mejorar la evaluación de la actividad científica.

Esperamos que la situación del PRB sirva para  arrojar luz en el debate de las métricas en España con el objetivo de proponer a las instituciones acciones específicas que,  manteniendo el principio de objetividad, racionalicen los criterios de evaluación de la investigación que realizamos.

Impact-factor-rank.png

Fig 1: El PRB está, en cuanto a factor de impacto, en el puesto 18 de 67 artículos en la categoría Physics, Condensed Matter, situándose en Q2 por primera vez. El último artículo en Q1 es Solid State Physics con un IF=5.

Eigenfactor-rank.png

Fig 2: Ordenados por Eigenfactor, el PRB es el primero de la categoría Physics, Condensed Matter. Eigenfactor: The Eigenfactor Score calculation is based on the number of times articles from the journal published in the past five years have been cited in the JCR year, but it also considers which journals have contributed these citations so that highly cited journals will influence the network more than lesser cited journals.  References from one article in a journal to another article from the same journal are removed, so that Eigenfactor Scores are not influenced by journal self-citation. 

Physics-rank.png

Fig 3: revistas en el Q1 en la categoría Physics, Multidisciplinary. El factor de impacto de corte es 2,237.