Marianela Parodi 

Ph.D. in Electronic Engineering

National University of Rosario: Rosario, Santa Fe, AR

 

 

 

Introducción

De acuerdo con Clarivate (2023), la colección principal de Web of Science (WoS), la WoS Core Collection, es el resultado de un constante proceso de curación llevado a cabo para asegurar que cada revista esté en la colección adecuada. Basado en tres pilares fundamentales: objetividad, selectividad y dinámica, Clarivate evalúa 24 criterios de calidad y cuatro criterios de impacto de las revistas. Aquellas que cumplen con los primeros son indexadas en Emerging Sources Citation Index (ESCI), mientras que las que, además, cumplen con los segundos son indexadas en lo que Clarivate denomina su “barco insignia”: Science Citation Index Expanded (SCIE), Social Sciences Citation Index (SSCI) y Arts & Humanities Citation Index (AHCI), según corresponda.

Hasta 2020, solo las revistas incluidas en SCIE y SSCI recibían un Impact Factor (IF) y eran incluidas en el Journal Citation Report (JCR). En 2021, Clarivate incorporó el cálculo del Journal Citation Index (JCI), un índice de citación normalizado que, de acuerdo con Martin Szomszor —Director del Instituto de Información Científica de Clarivate—, fue diseñado para complementar al IF (Martin Szomszor, 2021). No obstante, su creación supuso mucho más que eso. Por un lado, después de 40 años de exclusividad del IF —ampliamente criticado por su opacidad y relativamente fácil manipulación (Paulus et al., 2018; Larivière y Sugimoto, 2019)—, el JCI, calculado en base al Category Normalized Citation Impact (CNCI) (cuyo cálculo está públicamente accesible en http://help.prod-incites.com/inCites2Live/indicatorsGroup/aboutHandbook/usingCitationIndicatorsWisely/normalizedCitationImpact.html), supuso un paso hacia una mayor transparencia. Por el otro lado, por primera vez las revistas indexadas en ESCI y AHCI se incluyeron en los JCRs, suponiendo un reconocimiento de su calidad en términos de los altos estándares evaluados por Clarivate, otorgándoles mayor visibilidad y permitiéndoles compararse con “fuentes de publicaciones científicas [revistas/actas de conferencia/libros] más consolidadas [las pertenecientes a SCIE y SSCI]” (Martin Szomszor, 2021). Esto último es lo que haremos en este artículo, poniendo de manifiesto que revistas que están indexadas en SSCI son superadas en términos de un índice normalizado por categoría como el JCI por revistas que no lo están, siendo, incluso, algunas de las primeras, citadas por debajo de la media esperada de la categoría. A su vez, discutiremos las posibles implicancias de lo observado y de la extensión —a partir de junio de 2023— del cálculo del IF a todas las revistas de la colección principal de WoS en su curaduría. En particular, abordaremos el caso de las revistas españolas de educación.

Revistas indexadas en Social Sciences Citation Index (SSCI) vs. revistas indexadas en Emerging Sources Citation Index (ESCI): ¿qué nos muestra el Journal Citation Index (JCI)?

De acuerdo con la Master Journal List de Clarivate (https://mjl.clarivate.com/home), de las 75 revistas españolas incluidas en el JCR en la categoría “Educación e Investigación Educativa”, 10 están indexadas en SSCI, a las que se les computa el IF, mientras que 65 están indexadas en ESCI, a las que (hasta 2022) solo se les computaba el JCI. La Tabla 1 muestra el ranking de las 10 revistas indexadas en SSCI en términos de su IF.

Tabla 1. Ranking de las 10 revistas españolas de educación indexadas en Social Sciences Citation Index (SSCI) según su Impact Factor (IF)

	Revista	IF 2021*	JCI 2021**
1	INTERNATIONAL JOURNAL OF EDUCATIONAL TECHNOLOGY IN HIGHER EDUCATION	7.611	3.25
2	COMUNICAR	5.725	2.94
3	REVISTA DE PSICODIDACTICA	3.775	1.84
4	EDUCACIÓN XX1	3.077	1.99
5	RIED-REVISTA IBEROAMERICANA DE EDUCACION A DISTANCIA	2.689	1.65
6	PSICOLOGIA EDUCATIVA	1.632	0.58
7	REVISTA ESPAÑOLA DE PEDAGOGIA	1.417	0.89
8	ENSEÑANZA DE LAS CIENCIAS	1.217	0.63
9	REVISTA DE EDUCACION	1.217	0.35
10	PORTA LINGUARUM	0.792	0.79

*Datos extraídos de las páginas web de las revistas.

**Datos extraídos de la Master Journal List de Web of Science (WoS).

Nota. JCI: Journal Citation Index

Ahora bien, si ordenamos esas mismas revistas según el JCI, obtenemos lo que se muestra en la Tabla 2.

Tabla 2. Ranking de las 10 revistas españolas indexadas en Social Sciences Citation Index (SSCI) según su Journal Citation Index (JCI)

	Revista	IF 2021*	JCI 2021**
1	INTERNATIONAL JOURNAL OF EDUCATIONAL TECHNOLOGY IN HIGHER EDUCATION	7.611	3.25
2	COMUNICAR	5.725	2.94
3	EDUCACIÓN XX1	3.077	1.99
4	REVISTA DE PSICODIDACTICA	3.775	1.84
5	RIED-REVISTA IBEROAMERICANA DE EDUCACION A DISTANCIA	2.689	1.65
6	REVISTA ESPAÑOLA DE PEDAGOGIA	1.417	0.89
7	PORTA LINGUARUM	0.792	0.79
8	ENSEÑANZA DE LAS CIENCIAS	1.217	0.63
9	PSICOLOGIA EDUCATIVA	1.632	0.58
10	REVISTA DE EDUCACION	1.217	0.35

*Datos extraídos de las páginas web de las revistas.

**Datos extraídos de la Master Journal List de Web of Science (WoS).

Nota. IF: Impact Factor

En primer lugar, vemos que el orden de las revistas en la Tabla 1 y la Tabla 2 se ha modificado. Por ejemplo, dentro del “top 5”, el orden de Educación XX1 y Revista de Psicodidáctica se invierte. Esto, probablemente, no revista mayor relevancia, ya que tanto el IF como el JCI de ambas revistas son similares, con lo que es posible que un pequeño cambio en el número de citas o publicaciones haga que una esté por encima de la otra o viceversa.

Sí resulta destacable, sin embargo, el caso de la revista Porta Linguarum, que del décimo puesto en el ranking según el IF escala hasta el séptimo cuando las revistas se ordenan según el JCI. Aquí podemos hacer dos observaciones. En primer lugar, para esta revista, el IF y el JCI no presentan, al menos para el año 2021, una fuerte correspondencia. Por otra parte, aunque en términos de impacto (IF), Porta Linguarum está por debajo de las otras nueve revistas de su especialidad indexadas en SSCI, recibe más citas respecto de la media esperada para la categoría (JCI) que tres de ellas.

Si bien la falta de acceso al algoritmo de cálculo del IF no nos permite determinar las causas exactas de tal discrepancia, podemos, de manera simplificada, analizar los fundamentos del cálculo de cada uno de los indicadores involucrados. Por un lado, las ventanas de cálculo del IF y el JCI son distintas. Mientras el IF recoge citas durante el año actual a las publicaciones de los dos años anteriores, el JCI recoge citas durante cuatro años (el actual y los tres anteriores) a las publicaciones de los tres años anteriores. Este análisis favorece a consolidar la posición adquirida por el JCI, ya que es un índice más estable que el IF. Por el otro lado, mientras el cálculo del JCI está basado en la cantidad de citas por artículo —teniendo en cuenta todo tipo de documentos (citables y no citables)—, en el cálculo del IF intervienen otras variables, ya que el numerador considera todo tipo de documentos (Hubbard y Mcveigh, 2011), pero el denominador solo tiene en cuenta artículos citables: artículos de revistas, artículos publicados en actas de conferencia y revisiones (Mcveigh y Mann, 2009). He en la conformación de este último el principal componente asociado al impacto del IF. En particular, si una revista publica muy pocos artículos no citables, tales como editoriales, reportes, etc., o directamente no cuenta con ellos, su IF será mayor que el de una revista con igual cantidad de citas pero con mayor cantidad de artículos no citables. De igual manera ocurre con una revista que publica muy pocos artículos que no consiguen citas, es decir, que la gran mayoría de sus artículos acumulan citas. En cualquiera de estos casos, una revista como Porta Linguarum puede recibir más citas que otras (Enseñanza de las Ciencias, Psicología Educativa y Revista de Educación), pero tener un IF mucho menor.

Finalmente, si bien el criterio para incluir revistas en SSCI es el impacto (como paso posterior al aseguramiento de la calidad), el indicador principal de tal impacto es la cantidad de citas recibidas (Clarivate, 2023), por lo que resulta llamativo que, de acuerdo con la Tabla 2, la mitad de las revistas indexadas en esa colección sean citadas por debajo de la media esperada para su categoría (JCI < 1). En este escenario, nos proponemos comparar el nivel de citación de las revistas indexadas en SSCI y las indexadas en ESCI.

La Tabla 3 muestra el ranking según el JCI de las 65 revistas españolas de educación que no están indexadas en SSCI, junto con las 10 que sí lo están. En primer lugar, vemos que 27 revistas pertenecientes a ESCI (resaltadas en amarillo en la Tabla 3) tienen su JCI en el rango expandido por el JCI de las revistas indexadas en SSCI (JCI_SSCI = [0.35, 3.25]). Luego, las 10 revistas que forman parte del buque insignia de Clarivate, al ordenarlas según su JCI, integran ya no un top 10, sino un top 37 (ver recuadro rojo en la Tabla 3).

Al ser un índice normalizado, el JCI nos permite clasificar las revistas según sean citadas por encima (JCI > 1) o por debajo (JCI < 1) de la media esperada para la categoría. En el ranking según JCI de la Tabla 3, las principales desplazadas por las revistas indexadas en ESCI son las indexadas en SSCI con JCI < 1, las cuales corresponden al Q4 en términos del IF (Q4 [IF]), habiendo seis revistas pertenecientes a ESCI con JCI > 1. A su vez, hay 21 revistas indexadas en ESCI con JCI < 1, pero mayor al menor de los JCI correspondientes a una revista con IF (JCI = 0.35).

Dentro del top 11 de revistas con JCI > 1, cinco pertenecen a SSCI y seis pertenecen a ESCI. Las primeras cinco se corresponden (aunque no en el mismo orden) con el top 5 de revistas ordenadas según el IF (Tabla1). Entre ellas, tres pertenecen al Q1 (IF) (International Journal of Educational Technology in Higher Education, Comunicar y Revista de Psicodidáctica) y dos al Q2 (IF) (Educación XX1 y RIED-Revista Iberoamericana de Educación a Distancia). Sin embargo, entre las cinco revistas del Q1 (IF) y el Q2 (IF), se “cuelan” el Journal of New Approaches in Educational Research, la revista Education in the Knowledge Society y la revista Campus Virtuales. En otras palabras, estas tres revistas pertenecientes a ESCI reciben más citas que las dos revistas en Q2 (IF) indexadas en SSCI. Más aún, una de ellas, el Journal of New Approaches in Educational Research, ha obtenido, en 2021, más citas que una de las revistas de Q1 (IF).

Revistas indexadas en Social Sciences Citation Index (SSCI) vs. revistas indexadas en Emerging Sources Citation Index (ESCI): ¿cada una en su lugar?

Hasta 2021, Clarivate reevaluaba las revistas pertenecientes a ESCI que tuvieran un IF estimado (no se les calculaba explícitamente) que los ubicara en Q1 (IF) o Q2 (IF) en el ranking correspondiente a su categoría (Clarivate, 2023). Si bien los cuartiles son asignados conforme al total de las revistas de la categoría (de las que las revistas españolas son solo un subconjunto), y el cálculo del IF no solo se basa en el nivel de citación (Hubbard y Mcveigh, 2011; Mcveigh y Mann, 2009), el hecho de que tres revistas pertenecientes a ESCI (Journal of New Approaches in Educational Research, Education in the Knowledge Society y Campus Virtuales) estén ubicadas por encima de las revistas Q2 (IF) pertenecientes a SSCI en términos de citación, las señala como posibles candidatas a, de estimarse el IF, ocupar alguno de los dos primeros cuartiles. En especial, el Journal of New Approaches in Educational Research, cuya citación supera en un 50 % a la última revista perteneciente a SSCI en Q2 (IF) (RIED-Revista Iberoamericana de Educación a Distancia).

Lamentablemente, Clarivate no realizó reevaluaciones en 2022 ni lo hará en 2023, ya que su actual prioridad es la evaluación de la calidad de sus revistas no de su impacto (Clarivate, 2023). Por un lado, estará enfocado en la evaluación de nuevas revistas para su admisión en ESCI, es decir, en ampliar la base de datos de WoS. Por el otro, trabajará para eliminar las revistas que ya no cumplan con los estándares de calidad. En este aspecto, es de público conocimiento la desvinculación que tuvo lugar en marzo de 2023 de más de 50 revistas de la WoS, mientras que alrededor de 500 más están “bajo la lupa” (Quaderi, 2023).

En este escenario, las posibilidades de las revistas actualmente indexadas en ESCI —aún en las condiciones favorables que se han destacado aquí para (al menos) tres revistas españolas de educación— de ser reevaluadas y reasignadas a SSCI, queda pendiente. Sin embargo, cuando en junio de 2023 se publique el JCR 2022, todas las revistas, inclusive las pertenecientes a ESCI y AHCI, tendrán calculado su IF.

De acuerdo con Quaderi (2022), el cálculo del IF de las revistas indexadas en ESCI y AHCI —cuya calidad ya ha sido comprobada— otorgará mayor visibilidad a aquellos artículos publicados en tales revistas que contribuyen al impacto, ayudándolos a demostrar su valor para la comunidad científica. A su vez, les dará la posibilidad de ser asociados con los estándares más altos de evaluación, junto con los artículos publicados en las revistas más citadas (entendiendo estas últimas como las pertenecientes a SCIE y SSCI). En este sentido, se destaca, por un lado, el impacto que tendrá la extensión del cálculo del IF para los artículos publicados en revistas indexadas en ESCI y AHCI. Por otro lado, se reconoce la relevancia de dicho índice para la evaluación, casi exclusiva y, en ciertos casos erróneamente extendida a la calidad de artículos e investigadores (Paulus et al., 2018), de la excelencia en el mundo académico. Finalmente, Quaderi (2022) resalta la “democratización” del IF a nivel de revistas, con casi 9000 revistas —3000 de ellas de editoriales de países en desarrollo— recibiendo el índice por primera vez.

De acuerdo con lo expuesto en Quaderi (2022), aunque promisoria, la extensión del IF a las revistas pertenecientes a ESCI y AHCI no necesariamente representa un reconocimiento de su impacto, sino de sus artículos de impacto. De hecho, tal reconocimiento aún queda supeditado a su reevaluación e inclusión (de corresponder) a SCIE o SSCI.

En el caso particular de las revistas españolas de educación, la publicación del IF en junio de 2023 revelará la posición real de las revistas indexadas en ESCI respecto de las indexadas en SSCI en términos de impacto. De haberlas, como sería esperable a partir de lo analizado aquí, aquellas que estén en Q1 (IF) o Q2 (IF) estarán públicamente (no ya supeditadas a una estima interna del IF) en posición de ser reevaluadas para su inclusión en SSCI.

Finalmente, al lanzamiento del JCI, que puso de manifiesto que revistas con IF eran superadas en términos del nivel de citación normalizado por categoría por revistas sin él, le siguió (solo dos años después) la extensión del cálculo del IF a todas las revistas de la colección principal de WoS. En la misma línea, sería sensato esperar repercusiones de esta nueva iniciativa de Clarivate con respecto a aquellas revistas que ostenten públicamente el derecho a ser reevaluadas para su inclusión en SCIE o SSCI por pertenecer al Q1 (IF) o Q2 (IF).

Conclusiones

A pesar de las constantes críticas recibidas, y de la promisoria irrupción del JCI, el IF ha sido y sigue siendo el índice de impacto por excelencia dentro de la comunidad científica y académica, llegando incluso, en muchos casos, a regir exclusivamente las evaluaciones de calidad. En este escenario, su democratización supone un avance hacia la transparencia, dándole mayor visibilidad y prestigio a los artículos publicados en revistas pertenecientes a ESCI y AHCI.

A su vez, si bien esta actualización de Clarivate no reconoce directamente el impacto de las revistas indexadas en ESCI y AHCI, contribuye indirectamente con el proceso de curación de las colecciones de WoS. El análisis llevado a cabo aquí para el caso de las revistas españolas de educación ha mostrado cómo a partir de la inclusión del JCI se ha puesto de manifiesto que revistas pertenecientes a SSCI son citadas por debajo de la media esperada para la categoría, y que revistas indexadas en ESCI no solo las superan a ellas —que están en Q4 (IF)—, sino que algunas, incluso, superan a las que están en Q2 (IF). La publicación en junio del 2023 del IF confirmará o refutará la posición esperada para dichas revistas a partir del análisis realizado. En caso de confirmarla, será su ubicación en Q1 (IF) o Q2 (IF) —ahora pública— la que proclame el derecho a la reevaluación de la revista para ser incluida en SSCI. Si tenemos en cuenta la aceleración de los últimos años en dirección a la transparencia, primero con la inclusión del JCI, luego con la expulsión de revistas que incurrían en malas prácticas y ahora con la democratización del cálculo del IF, podríamos esperar que esto último ponga de manifiesto la necesidad de retomar el proceso de reevaluación para que, finalmente, cada revista esté en la colección adecuada.

Referencias

Clarivate (2023). Web of Science Journal Evaluation Process and Selection Criteria. Recuperado el 28 de abril de 2023 de https://clarivate.com/products/scientific-and-academic-research/research-discovery-and-workflow-solutions/web-of-science/core-collection/editorial-selection-process/editorial-selection-process/

Hubbard, S. y Mcveigh, M. (2011). Casting a wide net: the Journal Impact Factor numerator. Learned Publishing, 24, 133-137. https://doi.org/10.1087/20110208

Larivière, V. y Sugimoto, C. R. (2019). The Journal Impact Factor: A Brief History, Critique, and Discussion of Adverse Effects. En: Glänzel, W., Moed, H.F., Schmoch, U., Thelwall, M. (eds) Springer Handbook of Science and Technology Indicators. Springer Handbooks. Springer, Cham. https://doi.org/10.1007/978-3-030-02511-3_1

Mcveigh, M. y Mann, S. (2009). The Journal Impact Factor Denominator Defining Citable (Counted) Items. Journal of the American Medical Association. 302, 1107-9. https://doi.org/10.1001/jama.2009.1301

Paulus, F. M., Cruz, N. y Krach, S. (2018). The Impact Factor Fallacy. Front. Psychol., 9(1487). https://doi.org/10.3389/fpsyg.2018.01487

Quaderi, N. (26 de junio de 2022). Announcing changes to the 2023 Journal Citation Reports. Clarivate. https://clarivate.com/blog/clarivate-announces-changes-to-the-2023-journal-citation-reports-release/#_ftn1

Quaderi, N. (20 de marzo, 2023). Supporting integrity of the scholarly record: Our commitment to curation and selectivity in the Web of Science. Clarivate. https://clarivate.com/blog/supporting-integrity-of-the-scholarly-record-our-commitment-to-curation-and-selectivity-in-the-web-of-science/

 

 

---

---