Imprimir Republish

Bibliometría

El miedo a la indiferencia

Investigadores procuran entender por qué muchos artículos científicos nunca son citados

En su afán por producir conocimiento trascendente, los científicos suelen inquietarse a medida que pasa el tiempo y aquel artículo al cual abocaron grandes esfuerzos y entusiasmo no recibe menciones en las referencias de papers de otros autores. Esa preocupación se justifica, ya que la cantidad de citas que acumula un artículo se toma como una buena medida de su impacto. Una cifra elevada indicaría que su contribución ha sido reconocida por la comunidad científica a punto tal de convertirse en parámetro para nuevos estudios. La idea de que los artículos sin citas son inútiles es puesta en tela de juicio en un trabajo que salió publicado en la edición de julio de la revista Scientometrics. Dicho estudio, cuya autoría les pertenece a los investigadores Jianhua Hou y Jiantao Ye, de la Escuela de Gestión de la Información de la Universidad Sun Yat-Sen, en Guangzhou, China, analizó 1.068 documentos divulgados entre 2006 y 2014 en la prestigiosa revista científica PLOS ONE, que no habían recibido ni siquiera una cita cinco años después de su publicación.

Ye y Hou verificaron que, a pesar de ese bajo rendimiento, los artículos sin citas igual habían tenido repercusión, algo que puede medirse a partir de la lectura de su contenido –PLOS ONE es una revista de acceso abierto–, mediante el recuento de sus descargas en internet y el registro de esos papers en herramientas académicas, tales como Mendeley y CiteULike, e incluso por la discusión sobre sus resultados, ya sea en el espacio destinado a comentarios en la propia revista, o bien en redes sociales, como por ejemplo Facebook, Twitter y Wikipedia. La repercusión de los artículos sin citas en esos medios se comparó con la de 586 artículos altamente citados, publicados en esa misma revista y en aquel mismo período. La conclusión indicó que entre los que nunca fueron citados, el 1% con la tasa más alta de lectura, descargas y debates tuvo un rendimiento mejor en esos temas que el 31% de los artículos altamente citados. “Estos artículos sin citas influyen en las plataformas de los medios sociales”, escribieron los autores.

Por qué hay papers que no reciben citas representa un reto que los científicos tratan de comprender y se ha convertido en un tema de investigación en el campo de la cientometría, la disciplina que estudia los aspectos cuantitativos de la ciencia. Los trabajos sobre el tema revelan un panorama repleto de matices. De hecho, hay una gran cantidad de artículos que no son citados simplemente porque carecen de calidad u originalidad. Un estudio archivado en diciembre de 2019 en el repositorio de preprints arXiv evaluó una muestra de estudios publicados en 2014 en 250 revistas científicas tildadas como “depredadoras”, aquellas que no cuentan con un proceso de revisión por pares auténtico y tan solo publican artículos a cambio de un pago. Según ese trabajo, elaborado por investigadores de la Escuela de Economía Hanken y de la Universidad de Tampere, en Finlandia, seis de cada diez artículos de las revistas depredadoras no habían sumado citas cinco años después de haber sido publicados. Ese resultado se comparó con 250 documentos seleccionados al azar en la base Scopus, compuesta por periódicos científicos que siguen estándares de calidad. En ese grupo de control, solo el 6% de los papers no fueron citados.

Pero el conjunto de variables que conduce a que un artículo no tenga repercusión, aparentemente excede ampliamente el tema de la calidad. Los índices de ausencia de citas varían bastante entre los distintos campos del conocimiento y reflejan prácticas de comunicación científica específicas de cada disciplina. Un análisis realizado en 2018 por la revista Times Higher Education (THE) a partir de 10 mil artículos indexados en la base Scopus constató que las artes visuales y escénicas eran las áreas con el mayor número de artículos sin citas, tan es así que el 77% de los papers publicados en 2012, hasta 2017 no habían sido citados. A continuación, aparecían la literatura y la teoría literaria, con el 75%. En el extremo opuesto, tan solo el 3% de los artículos sobre la catálisis, una rama de la química, no se habían tornado una referencia para otros trabajos (véase la infografía).

Esta aparente desventaja de las artes y las humanidades tiene una justificación conocida: su producción más sólida se plasma en libros o capítulos de libros y son ellos los que aparecen mencionados en las referencias. También hay algunas áreas de las ciencias duras, como las ingenierías, que registran una cantidad significativa de artículos sin citas. “El fuerte de las ingenierías es fabricar artefactos y elaborar pruebas que se traducen en aplicaciones reales, algo que lleva tiempo y publicar no es lo prioritario”, explicó a THE el ingeniero industrial Frede Blaabjerg, de la Universidad de Aalborg, en Dinamarca. Según él, las distintas vertientes de la ingeniería están constituidas por comunidades pequeñas, y esto se plasma en un grupo limitado de investigadores que pueden llegar a citar un determinado artículo.

Los papers que describen nuevas especies vivas se publican todos los años en gran cantidad y, por lo general, reciben pocas citas, algo que no les quita importancia. El botánico Michael MacRoberts, de la Universidad Estatal de Luisiana, en Estados Unidos, publicó en 2010 un artículo sobre las deficiencias en el análisis de citas en lo que se refiere a un trabajo de su autoría: la descripción de una especie de musgo en el estado de Texas. Esta cita de su propio hallazgo fue la única que tuvo el trabajo de MacRoberts, pero el musgo está registrado en las enciclopedias de plantas y pasó a formar parte de bancos de datos online, consolidando su contribución al conocimiento. El odontólogo Sigmar de Mello Rode, presidente de la Asociación Brasileña de Editores Científicos (Abec), afirma que la importancia atribuida a las citas se está redimensionando a medida que surgen indicadores de impacto alternativos. “Cuando un autor logra divulgar el conocimiento que produjo en las redes sociales y científicas y, con ello, le aporta beneficios a la sociedad, la cantidad de citas que obtuvo podría tener una importancia secundaria, aunque la métrica tiene relevancia académica”, dice Rode, investigador en la Universidade Estadual Paulista (Unesp), en São José dos Campos.

Las revistas de carácter interdisciplinario suelen tener más citas, pero también influyen las características del campo del conocimiento con el cual más se relacionan. Científicos de la Facultad de Salud Pública de la Universidad de São Paulo (FSP-USP) analizaron en 2017 la frecuencia de los artículos sin citas en ocho revistas brasileñas del área de la salud pública y notaron una gran disparidad entre ellas. El periódico con el índice más desfavorable fue aquel que era más cercano al área de las humanidades: História, Ciência, Saúde – Manguinhos, publicado por la Casa de Oswaldo Cruz desde 1994. En la lista de los artículos publicados entre 2008 y 2012, el 58% no registraban citas tres años después de haber sido divulgados. En el otro extremo, la Revista de Saúde Pública y los Cadernos de Saúde Pública, más identificados con el campo de la biomedicina, registraron solamente un 6% de artículos no citados.

El grupo sigue estudiando las razones que hacen que un artículo se erija o no en una referencia. En la investigación doctoral de la nutricionista Milena Maria de Araújo Lima Barbosa se están analizando los atributos de los artículos muy citados del área de la nutrición. Pudo verificarse, por ejemplo, que aquellos papers que son producto de proyectos financiados por agencias científicas de fomento recabaron más citas que los que no reciben financiación. “Probablemente, ese factor le otorga credibilidad al artículo a la hora de elegirlo e indica que ese trabajo ya ha pasado por un control de calidad”, dice la coordinadora del grupo, Angela M. Belloni Cuenca, investigadora de la FSP-USP y editora ejecutiva de la Revista de Saúde Pública. Los artículos publicados por autores múltiples, con colaboración internacional y en revistas interdisciplinarias, también reciben más citas. También se observaron como factores ligados al bajo número de citas a las generalidades en los títulos de artículos, en donde solamente se informa el tema que se aborda, sin brindarle al lector una idea de cuál fue la conclusión del estudio. Los resúmenes más largos fueron asociados a un mayor número de citas, pero los autores subrayaron que: “A la hora de redactar una síntesis es importante no desperdiciar palabras y elegir aquellas que pueden potenciar las chances de ubicar al artículo a través de las herramientas de búsqueda ampliando su visibilidad en internet. También ayuda evitar las repeticiones utilizando sinónimos”.


Los artículos publicados en acceso abierto suelen tener más citas que los disponibles en revistas por suscripción, pero esto solo es válido para los periódicos con buena reputación, aquellos que figuran entre los que registran más citas en cada disciplina. Un estudio publicado en julio en la revista Scientometrics por investigadores españoles de la Universidad de Las Palmas de Gran Canaria reveló que, entre las revistas de acceso abierto con alto impacto, existe efectivamente una mayor propensión a atraer citas que en los periódicos científicos de acceso restringido. Pero esta ventaja no se observa en las publicaciones de acceso abierto con menor impacto, tal como es el caso de muchas de las revistas llamadas depredadoras.

El origen de los artículos y el idioma en que están redactados constituyen factores decisivos para que un paper sea citado o no. Los trabajos en inglés, que es la lengua oficial de la ciencia, generalmente son más citados que los que están redactados en otros idiomas, así como los que son de autores de los países centrales, tales como Estados Unidos y los de Europa, tienen más posibilidades de ser mencionados que los de otros países, como por ejemplo China, Rusia, la India y Brasil. “Si las bases de datos internacionales incluyeran más periódicos con idiomas regionales, la cantidad de trabajos sin citas sería mucho menor”, le dijo a la revista Nature el científico de la información Vincent Larivière, de la Universidad de Montreal, en Canadá. Cuando se tiene la certeza absoluta de que un artículo no fue citado, esto por sí solo constituye un desafío, ya que esa información queda registrada en forma particular en cada base de datos. En 2011, un estudio publicado en la revista Journal of the Association for Information Science and Technology estimó que el 10% de los trabajos producidos por científicos galardonados con el Nobel no recibían citas. Al año siguiente, el biólogo checo Petr Heneberg, de la Universidad Charles, en Praga, analizó la producción indexada en la base Web of Science de 10 de los ganadores del premio y arribó a un índice mucho menor, de alrededor del 1,6%. Y cuando cotejó los datos con los de la base Google Scholar el resultado fue una cifra aún inferior, del 0,3%.

La idea de que parte de la producción científica no tiene impacto atribula a los investigadores desde el inicio de los años 1990, cuando un estudio de la revista Science estimó en un 55% la cantidad de documentos publicados entre 1981 y 1985 que, cinco años más tarde, no habían sido mencionados ni una vez. Sin embargo, la investigación no solo incluía artículos científicos, sino también correspondencias, correcciones y resúmenes de encuentros científicos publicados en periódicos científicos y que no suelen ser citados. En 2017, Larivière vislumbró un marco más alentador. Verificó que, de los 39 millones de artículos originales y de revisión publicados entre 1900 y el final de 2015 registrados en la base Web of Science, el 21% no habían sido citados, la mayoría de ellos en revistas de escasa repercusión. En los periódicos conocidos y con buena reputación, el índice era muy pequeño. Según el investigador, en las últimas décadas se observa una disminución progresiva del número de documentos sin citas, dado que internet hizo que sea más fácil ubicar y citar artículos de importancia. Pero en opinión del investigador, esto no significa necesariamente que la ciencia que se produce ahora tenga un mayor impacto. Con el crecimiento exponencial de la producción científica mundial durante las últimas dos décadas, la cantidad de referencias en los artículos se ha multiplicado y se ha vuelto más probable recibir alguna cita.

Para Sigmar Rode, la gran cantidad de artículos no citados también es el reflejo de una práctica errónea en el campo de la comunicación científica, que radica en la desmesurada cantidad de periódicos en diversos campos del conocimiento que, por esa razón, suelen publicar trabajos que aportan escasas contribuciones novedosas y que no serán citados. Y menciona como ejemplo la revista de la cual fue editor durante varios años, Brazilian Oral Research, que fue el resultado de la fusión, en la década de 1990, de tres publicaciones científicas sobre odontología que editaban distintos grupos de la USP. “La fusión fue promovida por la Sociedad Brasileña de Investigación Odontológica, que disponía de los recursos para patrocinar la nueva revista. Este tipo de debates suelen suscitarse en muchos grupos de revistas, pero generalmente se topan con el mismo problema: ¿quién renunciará a su publicación para fusionarse con la del otro grupo?”, plantea Rode. Para él, es necesario separar a las revistas científicas que desean competir a nivel internacional de aquellas cuyo propósito es hacer aportes de fuste, pero que solo les interesan a comunidades restringidas. “El mejor ejemplo de ello es la Revista da Associação Paulista dos Cirurgiões Dentistas, que desde hace años se ha erigido como una referencia porque divulga artículos en portugués sobre casos clínicos dirigidos a los profesionales. La publicación tiene gran repercusión entre los miles de odontólogos brasileños, pero no está indexada en bases de datos internacionales ni mide su factor de impacto por medio de las citas que registra, porque eso no tiene nada que ver con su objetivo”.

Republicar