La reforma de la evaluación de la investigación en España, un camino por emprender

La reforma del modelo de evaluación de la actividad científica es un asunto científico y político plenamente vigente. Durante los últimos años, los problemas en la utilización del factor de impacto así como la existencia de distintos sesgos ha conllevado un debate sobre la necesidad de cambiar a un nuevo modelo, cambio que actualmente es posible gracias a los pasos dados por los distintos grupos de interés, principalmente agencias de calidad, pero también los cambios legales y de políticas en relación al paradigma de la ciencia abierta. En este artículo se centra el debate en el estado español y se describen algunos de los principales problemas del modelo actual, así como las buenas prácticas que se pueden usar como referentes, tanto cuantitativos como cualitativos. A su vez, se presentan elementos que pueden ser considerados para trazar un camino realista en la propuesta del nuevo modelo de evaluación.

Palabras clave

Evaluación de la investigación, Políticas de investigación, Indicadores bibliométricos, Ciencia Abierta, Factor de impacto

Cómo citar

López-Borrull, Alexandre et al. «La reforma de la evaluación de la investigación en España, un camino por emprender». Hipertext.net, n.º 27, pp. 5-17, doi:10.31009/hipertext.net.2023.i27.02.

Derechos

Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-SinDerivadas 4.0.

(c) Alexandre López-Borrull, Candela Ollé, Ernest Abadal, Remedios Melero, Juan-José Boté-Vericad, 2023

Derechos de autor

Esta obra está publicada bajo una licencia Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional (CC BY-NC-ND 4.0)

Biografía del autor/a

Alexandre López-Borrull, Universitat Oberta de Catalunya

Alexandre López-Borrull. Es profesor agregado de la Universitat Oberta de Catalunya (UOC), donde es director del Grado de Información y Documentación. Es doctor en Química por la Universitat Autònoma de Barcelona y licenciado en Documentación por la UOC. Como investigador ha trabajado en aspectos legales de la información, las fuentes de información electrónica en ciencia y tecnología, y ha participado en diversos proyectos. Sus intereses de investigación están relacionados con el acceso abierto y la ciencia abierta. Forma parte del grupo de investigación GAME.

Candela Ollé, Universitat Oberta de Catalunya

Candela Ollé Castellà es profesora agregada de la Universitat Oberta de Catalunya (UOC), Directora del Máster Universitario en Periodismo y Comunicación Digital: Datos y Nuevas Narrativas y Codirectora de la revista académica BiD: textos universitaris de Biblioteconomia i Documentació (UOC-UB). Licenciada en Periodismo por la Universitat Autònoma de Barcelona y Doctora en Documentación por la Universitat de Barcelona ha centrado su investigación en la comunicación científica, el acceso abierto, la ciencia abierta. Miembro del grupo de investigación Cultura i Continguts Digitals (UB).

Ernest Abadal, Universitat de Barcelona

Ernest Abadal es catedrático de la Facultad de Información y Medios Audiovisuales de la Universitat de Barcelona. Miembro del Centro de Investigación en Información, Comunicación y Cultura (CRICC). Dirige un proyecto de investigación sobre ciencia abierta en España. Es miembro del consejo asesor de diversas revistas científicas.

Remedios Melero, Consejo Superior Investigaciones Científicas, CSIC

Remedios Melero es doctora en Química por la Universidad de Valencia y trabaja como investigadora en el Instituto de Agroquímica y Tecnología de los Alimentos del CSIC. Es miembro de los comités científicos de Redalyc y Scielo España. Editora asociada de DOAJ y coordinadora de la Comisión de Propiedad Intelectual de Amelica. Forma parte del grupo de investigación español Open Access to Science. Ha participado desde 2005 en proyectos nacionales y proyectos europeos relacionados con la ciencia abierta, todos ellos directamente relacionados con todos los aspectos que afectan a la ciencia abierta y cómo contribuir a su implantación a través de la formación y la promoción del conocimiento abierto. Sus temas de investigación son el acceso abierto a las publicaciones, las políticas de acceso abierto, los repositorios institucionales, los derechos de autor y copyright, y la gestión de datos de investigación.

Juan-José Boté-Vericad, Universitat de Barcelona

Juan-José Boté-Vericad es profesor de la Facultad de Información y Medios Audiovisuales de la Universitat de Barcelona. Es Doctor en Filosolofia (Lingüística i Ciències de la Informació) per la Universität Hildesheim (2022) i doctor en Informació i Documentació en la Societat del Coneixement per la Universitat de Barcelona (2013) Miembro del Centro de Investigación en Información, Comunicación y Cultura (CRICC). Sus intereses de investigación están relacionados con la ciencia abierta y la perspectiva de género. Coordina el grupo ID2 de innovación docente en Información y Documentación.

Citas

Amelica. (s/f). Métricas responsables. http://amelica.org/index.php/metricas-responsables/

Arroyo-Machado, W. y Torres-Salinas, D. (2023). Evaluative altmetrics: is there evidence for its application to research evaluation? Frontiers in Research Metrics and Analytics, 8. https://doi.org/10.3389/frma.2023.1188131

Borrego, Á. (2014). Altmétricas para la evaluación de la investigación y el análisis de necesidades de información. El profesional de la información, 23(4), pp. 352-357. http://dx.doi.org/10.3145/epi.2014.jul.02

Bote-Vericad, J.-J., Ferrer-Mejia, M.-L., Gorchs-Molist, M. y Begazo-Corahua, J. (2022). Gender differences in Peruvian nursing: A Bibliometric analysis in scopus and web of science. Telos-revista de estudios interdisciplinarios en ciencias sociales, 24(2), 302-328. https://doi.org/10.36390/telos242.07

Bordons, M. y Filippo, D. D. (2023). Evaluación de la ciencia: Ante un escenario de desafíos e incertidumbres. Enredadera (39), 13-20. https://doi.org/10.20350/DIGITALCSIC/15375

Braun, T., Glänzel, W. y Schubert, A (2006). A Hirsch-type index for journals. Scientometrics, 69, 169–173. https://doi.org/10.1007/s11192-006-0147-4

CLACSO-FOLEC (2022). Una nueva evaluación académica y científica para una ciencia con relevancia social en América Latina y el Caribe. https://biblioteca-repositorio.clacso.edu.ar/bitstream/CLACSO/169563/1/Declaracion-CLACSO-FOLEC-version-extendida.pdf

CoARA (2022). Agreement of reformind research assessment. https://coara.eu/agreement/the-agreement-full-text/

Comisión Europea. Directorate-General for Research and Innovation. (2017). Next-generation metrics: responsible metrics and evaluation for open science. https://data.europa.eu/doi/10.2777/337729

European Commission. Directorate-General for Research and Innovation (2019). Indicator frameworks for fostering open knowledge practices in science and scholarship. https://data.europa.eu/doi/10.2777/445286

Curry, S., de Rijcke, S., Hatch, A., Pillay, D., van der Weijden, I. y Wilsdon, J. (2020) The changing role of funders in responsible research assessment: progress, obstacles & the way ahead. RoRI Working Paper N.3. https://doi.org/10.6084/m9.figshare.13227914.v1

Delgado-López-Cózar, E. y Martín-Martín, A. (2019). El Factor de Impacto de las revistas científicas sigue siendo ese número que devora la ciencia española: ¿hasta cuándo?. Anuario ThinkEPI, (13), e13e09. https://doi.org/10.3145/thinkepi.2019.e13e09

Delgado-López-Cózar, E., Ràfols, I. y Abadal, E. (2021). Letter: A call for a radical change in research evaluation in Spain. El profesional de la información, 30(3). https://doi.org/10.3145/epi.2021.may.09

Delgado-López-Cózar, E., Ràfols, I. y Abadal, E. (2022). Medidas insuficientes para un cambio en la evaluación de la investigación en España: Glosando las nuevas directrices de la ANECA. RECERCA. Revista de Pensament i Anàlisi, 27(2). https://doi.org/10.6035/recerca.6308

DORA (2012). San Francisco Declaration on Research Assessment. https://sfdora.org/read

Ec3Metrics (2018). «Tabla periódica» de indicadores cienciométricos. https://ec3metrics.com/tabla-periodica-de-indicadores-cienciometricos/

España (2022a). “ Ley 17/2022, de 5 de septiembre, por la que se modifica la Ley 14/2011, de 1 de junio, de la Ciencia, la Tecnología y la Innovación”. BOE, núm. 814, de 06/09/2022. https://www.boe.es/eli/es/l/2022/09/05/17/con

España (2023a). “Ley Orgánica 2/2023, de 22 de marzo, del Sistema Universitario”. BOE, núm. 70, de 23/03/2023. https://www.boe.es/eli/es/lo/2023/03/22/2/con

España (2023b). Estrategia Nacional de Ciencia Abierta (ENCA): 2023 – 2027. Madrid: Secretaría General Técnica del Ministerio de Ciencia e Innovación. e- NIPO: 831230195 https://www.ciencia.gob.es/InfoGeneralPortal/documento/c30b29d7-abac-4b31-9156-809927b5ee49

España (2023c). Real Decreto por el que se regula la acreditación estatal para el acceso a los cuerpos docentes y universitarios y el régimen de los concursos de acceso a dichos cuerpos. https://www.universidades.gob.es/wp-content/uploads/2023/06/AIP19_RD_acreditacion_concursos-v2_-1_06_2023.pdf

Formanowicz, M., Witkowska, M., Hryniszak, W., Jakubik, Z. y Cisłak, A. (2023). Gender bias in special issues: Evidence from a bibliometric analysis. Scientometrics, 128(4), 2283-2299. https://doi.org/10.1007/s11192-023-04639-z

Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. y Ràfols, I. (2015). The Leiden Manifesto for research metrics. Nature, 520, 429-431. http://www.leidenmanifesto.org

ImpactU (s/f). Metricas responsables. https://impactu.colav.co/app/metrics

Kuppler, M. (2022). Predicting the future impact of Computer Science researchers: Is there a gender bias? Scientometrics, 127(11), 6695-6732. https://doi.org/10.10 07/s11192-022-04337-2

Marín Rojas, J. M. (2022). Sistematización de indicadores de los manuales propuestos por la RICYT: Contribución a la construcción de métricas responsables para la evaluación del desarrollo de las misiones universitarias. [Trabajo de grado profesional]. Universidad de Antioquia, Medellín, Colombia. https://hdl.handle.net/10495/30248

Moher, D., Bouter, L., Kleinert, S., Glasziou, P., Sham, M.H., Barbour, V., Coriat, A-M., Foeger, N. y Dirnagl, Y. (2020). The Hong Kong Principles for assessing researchers: Fostering research integrity. PLoS Biol 18(7): e3000737. https://doi.org/10.1371/journal.pbio.3000737

Ollé, C. y López-Borrull, A. (2017). Redes sociales y altmetrics: nuevos retos para las revistas científicas. En: Abadal, E. (ed.). Revistas científicas. Situación actual y retos de futuro. Edicions Universitat de Barcelona. ISBN 978-84-9168-004-8. http://eprints.rclis.org/32138

Overlaet, Bert (2022). A Pathway towards Multidimensional Academic Careers A LERU Framework for the Assessment of Researchers. LERU. https://www.leru.org/files/Publications/LERU_PositionPaper_Framework-for-the-Assessment-of-Researchers.pdf

Ràfols, I. y Molas-Gallart, J. (2022). How to reform research evaluation in Spain. Institutional accreditation as a response to the European Agreement on research assessment. Letter. Profesional de la Información, 31(6). https://doi.org/10.3145/epi.2022.nov.01

Ràfols, I., Ciarli, T. y Chavarro, D. (2015). Under-reporting research relevant to local needs in the global south. Database biases in the representation of knowledge on rice. Proceedings of ISSI 2015 Istanbul: 15th International Society of Scientometrics and Informetrics Conference (pp. 598-599). https://digital.csic.es/bitstream/10261/132530/1/knowledgerice.pdf

Ràfols, I; Muthu, M; Rodríguez-Gairín, J.M; Somoza-Fernández, M. y Urbano, C. (2023). Why coverage matters: Invisibility of agricultural research from the Global South may be an obstacle to development.

Leiden Madtrics. https://www.leidenmadtrics.nl/articles/why-coverage-matters-invisibility-of-agricultural-research-from-the-global-south-may-be-an-obstacle-to-development

Ronda-Pupo, G.A. (2022). Is the immediacy index of co-authored papers higher than that of single-authored ones? Transinformação, 34, e210067. https://doi.org/10.1590/2318-0889202234e210067

Rovelli, L. (2023). Evaluación responsable y ciencia abierta: agenda de reformas. Integración y Conocimiento, 12(2), 11–27. https://doi.org/10.61203/2347-0658.v12.n2.42029

Saenen, B., Morais, R., Gailard, V. y Borrell-Damián, L. (2019). Research Assessment in the Transition to Open Science. 2019 EUA Open Science and Access Survey Results. European University Association. https://eua.eu/resources/publications/888:research-assessment-in-the-transition-to-open-science.html

Science Europe (2023). Science Europe recommendations on research recognition systems: Recognising what we value. https://doi.org/10.5281/zenodo.7858100

Simko, I. (2015). Analysis of bibliometric indicators to determine citation bias. Palgrave Communications, 1. https://doi.org/10.1057/palcomms.2015.11

Science Europe (2023). Recommendations on Research Recognition Systems: Recognising What We Value. https://doi.org/10.5281/zenodo.7858100

Sverdlichenko, I., Xie, S. y Margolin, E. (2022). Impact of institutional affiliation bias on editorial publication decisions: A bibliometric analysis of three ophthalmology journals. Ethics, Medicine and Public Health, 21(April), 100758. https://doi.org/10.1016/j.jemep.2022.100758

Thelwall, M., Kousha, K., Stuart, E., Makita, M., Abdoli, M., Wilson, P. y Levitt, J. (2023). Do bibliometrics introduce gender, institutional or interdisciplinary biases into research evaluations? Research Policy, 52(8). https://doi.org/10.1016/j.respol.2023.104829

Torres-Salinas, D. (2023). Negacionismo bibliométrico. Anuario ThinkEPI, (17), e17a11. https://doi.orghttps://doi.org/10.3145/thinkepi.2023.e17a11

Vélez Cuartas, G., Uribe-Tirado, A., Restrepo-Quintero, D., Ochoa-Gutierrez, J., Pallares, C., Gómez-Molina, H. F., Suárez-Tamayo, M. y Calle, J. (2019). Hacia un modelo de medición de la ciencia desde el Sur Global: Métricas responsables. Palabra Clave, 8(2), e068. https://doi.org/10.24215/18539912e068

Yu, H., Wang, Y., Hussain, S. y Song, H. (2023). Towards a better understanding of Facebook Altmetrics in LIS field: Assessing the characteristics of involved paper, user and post. Scientometrics, 128(5), 3147-3170. https://doi.org/10.1007/s11192-023-04678-6

Article Sidebar

Main Article Content

Article Details