Carmen Yazveth García-Almeida

carmen.garcia@uaz.edu.mx

Universidad Autónoma de Zacatecas

 

Introducción

 

Como investigadores tenemos la necesidad de evaluar el comportamiento de la ciencia, las tendencias que existen en cuanto a citaciones, como menciona Zapata-Ros (2022) conocer el estado de los artículos, su impacto y citas para, de ser necesario reorientar las investigaciones, siempre con el objetivo de una vez culminado un estudio comenzar la difusión de los resultados, para ello es preciso analizar el comportamiento de las citaciones en las tres principales bases de datos Google Scholar, Scopus y Web of Science (WoS). Cabe decir que muchas de las publicaciones de acceso abierto de las distintas ciencias o disciplinas se encuentran en Google Scholar.

 

Sobre esto, la página oficial de WoS menciona la existencia de diferencias entre las publicaciones encontradas en esta base de datos respecto a Google Scholar (GS) y esto se debe a que mientras en la primera el contenido es seleccionado de acuerdo a estándares estrictos y revisión por pares, -lo mismo para Scopus-, en GS son conjuntos de publicaciones con mayor inclusión de distintos tipos de documentos  como artículos de revista, disertaciones de tesis, capítulos de libros, preprints, entre otros, lo cual según Bustos-Gonzalez (2015) no se consideran investigaciones científicas o documentos citables.

 

Sobre esto último, Orduna-Malea et al. (2015) y Martín-Martín et al. (2018) mencionan que GS indexa documentos con una estructura académica lo cual otorga una mayor cobertura de literatura científica y académica comparada con Scopus y WoS cuyas políticas de inclusión son más selectivas, basadas en “journals”. Además, es considerada la base de datos sobre publicaciones científicas más amplia e incluyente que existe, indexa fuentes de múltiples sitios, incluyendo literatura gris, convirtiéndose en una de las principales bases de datos que permite al investigador potenciar su visibilidad y reputación científica (García- Peñalvo, 2018). Mientras que según Santa y Herrero-Solana (2010), Scopus es una de las principales bases de datos multidisciplinar que existe; sin embargo, tanto esta base de datos como WoS tienen poca cobertura en disciplinas como las Ciencias Sociales y Humanidades (Chavarro et al., 2018).

 

Cabe decir, que los datos de citación están determinados por la cobertura de cada una de las bases de datos en las disciplinas del campo de conocimiento (Bar-Ilan et al. (2007); Neuhaus y Daniel (2007)), esto pudiera estar relacionado con los instrumentos utilizados por investigadores para la recolección de datos, pues mientras GS tiene criterios más flexibles de aceptación de contribuciones, revistas indexadas a Scopus y WoS consideran normas explícitas y criterios de evaluación de contribuciones rigurosos que determinan su aceptación. Además, según Rozemblum et al. (2021) existen disciplinas como las Ciencias Sociales poco representadas en estas bases de datos, lo que pudiera estar relacionado con la evaluación que hace el editor de determinada revista sobre la metodología utilizada, concretamente los instrumentos de recolección, aspecto evaluado rigurosamente para garantizar la objetividad y verdadero aporte al campo científico no aceptando los llamados self reports para comprobación de hipótesis, pero ampliamente utilizados en la disciplina mencionada (Avello, 2022); entonces, esto pudiera repercutir en la tasa de aceptación de documentos de esta categoría en dichas bases de datos.

 

En el presente documento se analiza el trabajo de Martín-Martín, Orduna- Malea, Thelwall y López- Cózar (2018) respecto a la comparación de las citaciones encontradas en Google Schoolar, WoS y Scopus de varias de las disciplinas o categorías del conocimiento y a partir de los datos encontrados por estos autores se ofrece una reflexión sobre la relación entre los instrumentos de recolección de información utilizados en las investigaciones y las citaciones de las publicaciones de estas. Cabe resaltar que no se pretende aseverar un hecho sino llegar a un análisis y reflexión a partir de datos encontrados por los autores.

 

 

La visibilidad del autor

 

En el siglo XXI gracias al Internet la manera de difundir ciencia ha cambiado, la difusión no es exclusiva de los medios impresos y con ello la visibilidad de un autor y por ende la institución de la que forma parte se amplían de manera significativa. De manera que, al estar presente una publicación en varias bases de datos se amplía y diversifica su visibilidad repercutiendo tanto al autor como al grupo académico y ranking de la institución educativa a la que pertenece mejorando además su reputación como investigador (Rozemblum et al., 2021). Al respecto García Peñalvo (2018) asevera que uno de los factores que determinan la visibilidad y capacidad de recibir citas es tener perfiles públicos en las principales bases de datos científicas Google Scholar, Scopus y WoS.

 

Sobre esto, la reputación científica es entendida como el prestigio que tiene un investigador gracias a la calidad e impacto de sus resultados de investigación y se encuentra estrechamente relacionada con la identidad digital, concepto que tiene mayor peso cuando se establecen evidencias que permiten identificar indicadores para medir el impacto de la producción científica y que forman parte de un sistema de evaluación para ranking de instituciones e investigadores pertenecientes a estas (García-Peñalvo, 2018); esto se encuentra estrechamente relacionado con la citación.

 

Sin embargo, es importante tomar en cuenta la selección de la revista en la que se pretende difundir los resultados producto de la investigación. pues esto puede tener relación con los índices de impacto y citación y por ende el reconocimiento que como investigadores se obtendrá ante la comunidad científica. Cabe decir, que muchas publicaciones no producen el impacto esperado pues las vías de difusión no son las más adecuadas (Reyes Rodríguez y Moraga Muñoz, 2020). Por ello, es importante que la revista elegida tenga criterios de evaluación para garantizar la calidad de las publicaciones y sus mecanismos de validación de instrumentos que de manera consecuente generan los resultados a difundir y con ello mayor confiabilidad por parte de la comunidad científica. Sobre esto, Macias-Chapala (1998) considera que la evaluación científica es un elemento indispensable para las comunidades de investigación.

 

Cabe decir, que para que una contribución pueda considerarse científica debe contar con las siguientes características: ser original con aporte al campo del conocimiento que se aborda, los resultados presentados deben ser válidos y fidedignos, generalizables y cuyos instrumentos utilizados tengan posibilidad de réplica en otros contextos, por lo que la información presentada en la contribución debe ser clara y suficiente para reproducir los resultados. Tal como menciona Hernando (2019), quien expresa que las contribuciones científicas deben aportar al campo de conocimiento y sus resultados han de ser válidos y fidedignos, escritos en un lenguaje claro y preciso y utilizar una metodología con instrumentos científicamente válidos sea cual fuere el enfoque –cuantitativo, cualitativo o mixto-. Por lo que, es de suma importancia elegir cuidadosamente las técnicas e instrumentos a utilizar en una investigación.

 

En este sentido, existen diferentes instrumentos de investigación como cuestionarios, test, escalas de Likert, de Gutman, guías de entrevista, de observación, diarios de campo, entre otros, pero todos con la finalidad de recolectar la información necesaria para dar respuesta a determinado fenómeno de estudio y alcanzar los objetivos de investigación (Hernández-Sampieri y Mendoza Torres, 2018). Aunque, no todos son vistos con la misma objetividad para el carácter científico de una publicación e incluso las revistas científicas indexadas lo expresan en sus pautas; tal es el caso de los self-reports o autoreporte, entendidos como toda aquella evaluación, encuesta, escala o cuestionario que se utilice para recabar información de un sujeto con la particularidad que es el mismo individuo quien debe responder preguntas sobre sí mismo (Avello, 2022). Es decir, cada sujeto se entrevista a sí mismo.

 

Sin embargo, pese a esto en las ciencias sociales es muy común este tipo de instrumentos, generalmente escalas tipo Likert con varias opciones de respuesta donde el sujeto le brinda al investigador una valoración subjetiva de sus niveles en cuanto a habilidades, conocimientos, competencias, opiniones o perspectivas sobre determinado hecho. Y Aunque estos métodos presentan beneficios para la investigación también otorgan desventajas derivadas de sus características, tales como la subjetividad y esto ha provocado que revistas de prestigio, indexadas a bases de datos como Scopus y WoS con altos estándares de calidad, tomen en cuenta estos elementos en su tasa de aceptación y no admitan artículos que incluyan estos instrumentos como los principales o únicos en la investigación.

 

Reflexiones sobre las citaciones en WoS, Scopus y Google Scholar

 

Actualmente han proliferado las revistas de acceso abierto, pero también aquellas que carecen de procesos estrictos de revisión de artículos, con tasas de aceptación muy altas generalmente indexadas a Google Scholar, con criterios de evaluación de documentos menos rigurosos que las pertenecientes a WoS y Scopus. Determinando con esto posiblemente la elección de la revista tanto por sus criterios de evaluación del manuscrito, como de métodos de comprobación de hipótesis de investigación.

 

Aun así, existe interés en los investigadores de consultar los recuentos que ofrecen estas tres bases de datos para orientar sobre el comportamiento de las citas en las diferentes disciplinas o áreas del conocimiento, aunque según Zapata –Ros (2022) no hay estudios sobre la consistencia de los datos de las fuentes, tampoco evidencia sobre las diferencias entre ellas.  Sin embargo, Martín-Martín et al.  (2018) analizaron 2448 055 citas de 2299 documentos de 252 categorías estableciendo comparaciones entre las tres bases de datos, Google Scholar, Scopus y WoS entre lo que se determina son fuentes y documentos científicos, encontrando mayor porcentaje de citaciones en GS en todas las categorías.

 

Entonces, en el presente documento se realiza una comparación entre los datos encontrados por los autores de la categoría de las Ciencias Sociales (campo ampliamente investigado) respecto a Física y Matemáticas para revisar el comportamiento dadas las diferencias entre ambas disciplinas o campos de conocimiento, así como el solapamiento existente de citaciones en GS, Scopus y WoS, y de manera individual; apreciando que las publicaciones del área de las Ciencias Sociales, la cual según el diagrama de Venn mostrado en la figura 1, el 53.5 % de las citas se encuentran solo en Google Scholar, lo que representa un gran porcentaje respecto a la totalidad de citas (299, 788). El solapamiento entre las tres bases de datos es solo del 29.8%.

Figura 1. Citaciones de la disciplina de las Ciencias sociales (Tomado de Martín-Martín et al., 2018).

 

Lo presentado en la figura 1 sirve de guía sobre cómo se orientan las citas de las contribuciones enviadas a distintas revistas y medios científicos, pues la idea es comunicar conocimiento descubierto, pero llama la atención la gran cantidad que existe solo en Google Scholar, esto, aunque no se puede aseverar, pudiera deberse a que para Ciencias Sociales frecuentemente se utilizan instrumentos y técnicas de recolección de datos subjetivos o no comprobatorios estadísticamente o bien los llamados self-report studios que como se mencionó anteriormente utilizan ampliamente instrumentos de autopercepción como las escalas de Likert, lo que puede restarle objetividad y que además, según Avello (2022) no son aceptados para publicarse en revistas indexadas en Scopus o WoS,  pues una de las características a tomar en cuenta una investigación científica, es que la recolección de datos se lleve a cabo mediante un método científico riguroso y objetivo, donde los resultados puedan ser comprobados y con posibilidad de réplica en otros contextos, esto para obtener resultados que abonen al campo del conocimiento y sean candidatos mediante una contribución para publicación en revista académica de calidad.

 

Esto puede ser apoyado por lo mostrado en la figura 2, donde se aprecia el solapamiento que existe entre las tres bases de datos el cual es de un 54.5 % para el área de Física y Matemáticas, indicando con esto que se tiene un gran porcentaje respecto a la totalidad de citas existentes en Google Schoolar, Scopus y WoS. Es decir, hay mayor consistencia en los documentos porque existen mayor convergencia en las tres bases de datos, en las tres se encuentran los documentos citables y que han sido citados.

 

Figura 2. Solapamiento de Google Schoolar, Scopus y WoS para el área de Fisica y Matemáticas (Tomado de Martín-Martín et al., 2018).

 

 

Entonces, tomando en cuenta lo presentado en la figura 2, se puede argumentar que los artículos que se envían a revistas indexadas en Scopus y WoS cuentan con instrumentos considerados de mayor rigor científico, con posibilidad de ser replicados a otros contextos y generalmente con un carácter experimental. Por ello se tiene mayor solapamiento en las tres bases de datos respecto al encontrado en las Ciencias Sociales, en el caso de la categoría de Física y Matemáticas existe un 54.5 %. La tabla 1 puede representar mejor estos resultados para apreciar más detalladamente estos argumentos.

 

 

Categoría	Solapamiento (GS, Scopus y WoS)	Google Scholar
Ciencias Sociales (n= 299,788)	29.8 % 89, 337 citas	53.5 % 160,376
Física y Matemáticas (n= 271, 609)	54.5 % 148,027 citas	32.2% 87, 458 citas

 

Tabla 1. Comparación de citas entre las categorías de Ciencias Sociales y Física y Matemáticas.

 

De acuerdo a lo expuesto anteriormente, es necesario reflexionar en la necesidad como investigadores de conocer y comprender las ventajas y desventajas de los instrumentos mencionados para efectuar mejores decisiones metodológicas y considerar el alcance de los resultados obtenidos en el estudio. Pues, aunque los métodos de auto-informe o percepción son útiles para capturar información y describir un concepto o corroborar o refutar una hipótesis, son infructuosos para generar nuevas ideas o teorías (Del Valle y Zamora, 2021). Además, al ser el mismo sujeto quien se “evalúa” puede dar lugar a información errónea que como consecuencia se generen resultados y conclusiones equívocas por la poca objetividad poniendo en tela de juicio la validez y confiabilidad de estos  y por ende los resultados de una investigación científica.

 

Esto es de suma importancia pues el objetivo último de un proceso de investigación es comunicar hallazgos, conclusiones a las que se llega después del proceso de análisis de los datos, pero la elección de la revista donde se publicarán esos resultados es clave para la difusión, la réplica y utilidad para la comunidad científica, por lo que es posible expresar que la elección de los métodos para la recolección de datos es determinante para la valoración del manuscrito, y tener mayores posibilidades de pasar por el flujo de edición para su publicación en una revista científica indexada a bases de datos de Scopus y WoS, que puede repercutir en la reputación y visibilidad del autor.

 

Sobre esto, revistas como RED (indexada a Scopus y WoS) expresan que no se publicarán artículos que utilicen los self-reports como opción principal para validar una propuesta o hipótesis, solo en caso de ser utilizado como secundario para apoyar matizar o triangular un primer método, además Elsevier incluye este criterio en las guías para autores, recomendando que este tipo de contribuciones se rechacen sin revisión (Avello, 2022). Esto sin duda es un aspecto importante a considerar por investigadores, quienes buscan revistas de alto perfil ubicadas en los primeros cuartiles para posicionar su contribución científica.

 

Además, según lo analizado en los diagramas presentados es un elemento que puede ser determinante en el comportamiento de la cantidad de documentos que convergen en las tres bases de datos, pues guarda relación con la aceptación de investigaciones en revistas indexadas en Scopus y WoS.

 

Finalmente, a manera de conclusión de acuerdo a los datos mostrados en las figuras 1 y 2 (tomadas de Martín-Martín et al., 2018), es posible reflexionar en que estos resultados pueden deberse a que las revistas indexadas aceptan contribuciones con datos experimentales o de ciencias exactas o experimentales como las Ingenierías, Ciencias de la Tierra y Química, así como Física y Matemáticas, donde se desarrollan experimentos o se hace uso de instrumentos con un alto grado de objetividad, omitiendo los self-reports como parte de ellos o bien como opción complementaria de comprobación de hipótesis; de ahí que existan gráficas como la mostrada en la figura 2 donde existen solapamientos de hasta el 54.5 % respecto a las tres bases de datos.

 

Entonces, en categorías como Física y Matemáticas, Ciencias Médicas y de la Salud, Ingeniería y Ciencias Computacionales se tiene mayor solapamiento, contrario a las Ciencias Sociales y de las Humanidades, lo que pudiera deberse a los tipos de investigaciones que se realizan, ya que estas se orientan más a lo cualitativo con un uso general de instrumentos como los self report, entrevistas u observaciones para la recolección de información y puede existir un sesgo en el investigador, además no pueden ser replicables y comprobatorios como el caso de las investigaciones cuantitativas con datos experimentales y/o de laboratorio incluso.

 

Conclusiones

 

Al realizar una investigación se debe tomar en cuenta la intención final del investigador y del proceso mismo, comunicar a la comunidad científica los hallazgos, de lo contrario el flujo queda inconcluso, por ello la importancia de las decisiones metodológicas donde se debe tomar en cuenta las técnicas e instrumentos a utilizar para recolectar los datos y dar respuesta al planteamiento del problema, recordando la imperiosa necesidad que sean contribuciones originales, que abonen a la ciencia, con resultados válidos y fidedignos, generalizables y cuyos instrumentos utilizados tengan posibilidad de réplica en otros contextos, con técnicas de recolección objetivas y comprobatorias estadísticamente; lo cual le va a otorgar objetividad y carácter científico y con mayor probabilidad de ser aceptados en revistas indexadas en Scopus o WoS, donde el comité editorial considera determinantes los métodos de recolección de datos para comprobación de hipótesis.

 

Cabe decir, que la posibilidad de publicar en una revista indexada a Scopus o WoS permite indicadores de citación e impacto reconocidos internacionalmente, por lo que estas revistas cuentan con altos niveles de calidad, impacto y citación que permitirá en consecuencia mayor visibilidad y divulgación del conocimiento encontrado y con ello, aumento en la reputación del autor y ranking de la institución de la que forma parte.

 

Por esto es de suma importancia para investigadores conocer y comprender las ventajas, desventajas y posibilidades de los instrumentos de recolección en una investigación, que en definitiva van a determinar el medio en el cual será posible divulgar sus resultados.

 

 

Referencias

Avello, R. (2022). El artículo y otros documentos de difusión de la ciencia, su estructura y naturaleza. Formatos. Proceso de revisión. Editores, revisores, autores. En M. Zapata-Ros La edición y la publicación: Procesos y actores en presencia. La edición en la sociedad del conocimiento.

Bar-Ilan, J., Levene, M., y Lin, A., (2007). Some measures for comparing citation databases, Journal of Informetrics, 1(1), 26-34. https://doi.org/10.1016/j.joi.2006.08.001

 

Bustos-Gonzalez, A. (2015, septiembre 9). Taller para autores el proceso de publicar artículos [Seminario]. Buenas prácticas de comunicación y publicaciones científicas, Perú. http://hdl.handle.net/20.500.12390/87

 

Chavarro, D., Ràfols, I., & Tang, P. (2018). To what extent is inclusion in the Web of Science an indicator of journal ‘quality’? Research Evaluation, 27(2), 106–118. https://doi.org/10.1093/reseval/rvy001

Del Valle, M. V., y Zamora, E. V. (2021). El uso de las medidas de auto-informe: ventajas y limitaciones en la investigación en Psicología. Alternativas en Psicología, 47. https://alternativas.me/attachments/article/264/El%20uso%20de%20las%20medidas%20de%20auto-informe.pdf

 

García-Peñalvo, F. (2018). Identidad digital como investigadores. La evidencia y la transparencia de la producción científica. EKS, 19(2), 7-28. https://doi.org/10.14201/eks2018192728

Hernández-Sampieri, R., y Mendoza-Torres, C. P. (2018). Metodología de la investigación. Las rutas cuantitativa, cualitativa y mixta. México: McGrawHill.

 

Hernando, A. (2019). ¿Qué es y qué no es un artículo científico?. https://doi.org/10.3916/escuela-de-autores-089

 

Macias-Chapala, C. (1998). Papel de la informetría y de la cienciometría y su perspectiva  nacional e internacional. http://scielo.sld.cu/pdf/aci/v9s4/aci06100.pdf

 

Martín-Martín, A., Orduna-Malea, E., Thelwall, M., &Emilio Delgado López-Cózar, E. (2018). Google Scholar, Web of Science, and Scopus: A systematic comparison of citations in 252 subject categories. Journal of Informetrics,12(4), 1160-1177 https://doi.org/10.1016/j.joi.2018.09.002.

 

Neuhaus, C., y Daniel, H., (2008). Data sources for performing citation analysis: An overview. Journal of Documentation, 64 (2), 193-210. https://doi.org/10.1108/00220410810858010

 

Orduna-Malea, E., Ayllón, J. M., Martín-Martín, A., & Delgado López-Cózar, E. (2015). Methods for estimating the size of Google Scholar. Scientometrics, 104(3), 931–949. https://doi.org/10.1007/s11192-015-1614-6

 

Reyes Rodríguez, A., y Moraga Muñoz, R. (2020). Criterios de selección de una revista científica para postular un artículo: breve guía para no ‘quemar’ un paper. Sophia, 16(1), 93-109. https://doi.org/10.18634/sophiaj.16v.1i.977

 

Rozemblum, C., Alperin, J. y Unzurrunzaga, C. (2021). Las limitaciones de Scopus como fuente de indicadores: Buscando una visibilidad integral para revistas argentinas en ciencias sociales. E-ciencias de la información 11(2). http://dx.doi.org/10.15517/eci.v11i2.44300

Santa, S., y Herrero-Solana, V. (2010). Cobertura de la ciencia de América latina y el caribe en Scpus vs WoS. Investigación Bibliotecológica, 24 (52), 13-27

Zapata-Ros, M. (2022). Edición científica. Situación actual, crisis y cambio. 10.13140/RG.2.2.31615.48800