Todas las entradas de: Miguel Zapata Ros

Acerca de Miguel Zapata Ros

Profesor Honorario en el Centro de Formación y Desarrollo Profesional de la Universidad de Murcia. Investigador en el Instituto Interuniversitario de Economía Internacional. Profesor Externo en la Universidad de Alcalá de Henares, miembro del programas de doctorado en Ingeniería de la Información y del Conocimiento, distinguido con Mención hacia la Excelencia por el Ministerio de Educación (Referencia: MEE2011-0159). Editor de RED, Revista de Educación a Distancia y de Docencia Universitaria. Miembro de INTCODE, agencia consultiva de ONU sobre educación a distancia, y representante en la sede de New York. Doctor en Ingeniería Informática.

Inteligencia Artificial y Educación ¿dónde estamos?

Imagen original de John Angelo Yap en Goldenpeguin

 

 

 

 

 

Miguel Zapata-Ros, Universidad de Murcia.  Director de RED

 

La idea que quiero transmitir en este artículo es que, primero, hay una hipervaloración sobre lo que son y sobre lo que pueden hacer la IA generativa, los LLM y el ChatGPT, o lo que se puede hacer con ellos. También se exagera sobre la necesidad de su uso en Educación. Y por último, sobre del papel que pueden cumplir como inusitados auxiliares para el aprendizaje, de manera que van a cambiar radicalmente las cosas.

Lo segundo que constataremos es que esa hipervaloración no está en absoluto justificada con evidencias que avalen lo que se dice ni mucho menos.

Lo tercero que veremos, será lo que constituye una de las cuestiones clave del trabajo: Notaremos que, si bien no es tanto, sí hay motivos para pensar que la presencia de la IA va a propiciar importantes cambios en las practicas. Eso es, por el momento, lo único que parece que, de forma esporádica y mediante casos y prácticas personales y aisladas, se ha justificado mínimamente (Korinek, 2023). También es previsible que haya cambios de calado, en aspectos básicos, ante los cuales es preciso dar respuestas.

Si bien no se han aportado evidencias, el volumen de lo publicado en todos los órdenes y en multitud de medios apunta hacia cambios que chocan de frente, son contradictorios, e incluso ignoran, la mayor parte de lo que se había investigado y elaborado en cuanto a teorías del aprendizaje y en su derivada que es el diseño instruccional. Chocan en cómo se había consensuado que se organiza la instrucción, la educación, para ser eficiente: en función de las leyes y principios demostrados que rigen el aprendizaje humano. En este apartado, que constituye lo clave del trabajo, defendemos la importancia de la teoría en el diseño, desarrollo e implementación de la IA en la educación. Al hacerlo, cuestionamos la relevancia y el valor de aplicación continuada y sin revisión de las teorías de aprendizaje existentes, cuando la IA se vuelva prominente en las aulas. Exigiremos pues nuevos marcos, modelos y formas de pensar; aquellos que incluyen la presencia de agentes no humanos que se parecen más a un socio activo que a una simple tecnología, lo que genera preguntas importantes sobre la revisión de las teorías de aprendizaje colaborativas y basadas en equipos, existentes. 
Así nos planteamos que la integración de marcos teóricos nuevos, para la implementación y el desarrollo de sistemas educativos, en los que se incluye la IA como socio, es esencial para avanzar y lograr resultados de aprendizaje óptimos.

Paro ello plantearemos al menos las interrogantes siguientes: 

La adopción de la IA en la educación ¿requiere modificaciones o revisiones de cómo se conceptualiza la forma en que aprendemos? 

¿O se requiere una reestructuración completa, que resulte de la necesidad de nuevas teorías? 

¿Qué debería ofrecer la teoría a los educadores cuando se incluye la IA? Es importante para ello responder primero a

¿La facilidad de acceso de la IA al contenido y la capacidad de producir contenido disminuye la importancia del conocimiento declarativo? 

Y por último destacamos, no sin cierta perplejidad, cómo lo que se apuntaba como una tímida tendencia sólo justificable en el aprendizaje humano, pero con cierta simpatía por parte de algunos autores que hacía prevenir que finalmente se vería positivo en humanos, finalmente y con todo desparpajo se avala como un conjunto de métodos para aplicar en personas, constituyen ya una tendencia. Me refiero al aprendizaje condicionado o aprendizaje humano por refuerzo. Algo abandonado hace tiempo que ahora se rescata.

I

Sobre lo primero que hemos dicho que vamos a tratar, la hipervaloración de la IA Generativa, no hace falta insistir mucho, ya se encargan los medios, los creadores de opinión educativa y académica  (Clark aquí y aquí , Pedreño,… y otros más actuales),  prestigiosas plataformas como Graduate School of Educationa de Harvard e incluso documentos oficiales de medios académicos, como guías para el uso de la IA — de la UNED (Uso educativo de la Inteligencia Artificial Generativa), de la UOC y de UMU Publicaciones). También cierto tipo de literatura científica, como son exégesis teóricas sin base empírica, revisiones de la literatura sin masa crítica de investigaciones o usando otras revisiones, y articulos sobre percepción de estudiantes, profesores y autoridades, así como self report studies. Todo ello podemos encontrarlo incluso de forma prolija como contenido de revistas. Algunas de ellas hasta  bien posicionas y con buenos índices de citación y de impacto (IF, SJR, CiteScore).

No hace falta insistir sobre este punto, pues.

II

La cuestión ahora es: ¿en qué ayuda la IA generativa al aprendizaje?, y su derivada: ¿cómo podemos hacerlo para que eso, lo que ayuda al aprendizaje, pueda ser utilizado en la educación? Lo que no podemos hacer es utilizar la IA generativa y el ChatGPT de forma generalizada, invirtiendo recursos en ello sin certezas y no podemos difundirlo para que otros lo hagan, hasta que no tengamos evidencias de sus efectos. Es grande la responsabilidad que tenemos. Ya tenemos la experiencia de que eso ha pasado en otras ocasiones y de las consecuencias que ha tenido. Recordemos las matemáticas llamadas modernas o los estilos de aprendizaje. Ver este tuit (Zapata-Ros, November 30, 2023).

En el día de hoy, revisando plataformas de edición científica (Scopus-Elsevier, WoS, Google Scholar) no he encontrado investigaciones rigurosas y terminantes de ventajas en el aprendizaje, no en destrezas instrumentales como puedan ser la ayuda a la redacción, que habría que ver si es útil para la adquisición de esa destreza o contraproducente, sino en aspectos centrales, los que definen Merrill o Gagné como principios principales del aprendizaje. Por el contrario, he encontrado artículos de dudosa buena práctica investigadora, pese a haber superado la revisión de pares. Como por ejemplo estos:

 

Education in the era of generative artificial intelligence (AI): Understanding the potential benefits of ChatGPT in promoting teaching and learningD Baidoo-Anu, LO Ansah – Journal of AI. 426 citas en GS. Revisión de revisiones y de exégesis.

ChatGPT user experience: Implications for educationX Zhai. El autor se basa en su experiencia del usuario, reflexionando sobre los posibles impactos de ChatGPT, así como de herramientas de inteligencia artificial similares, en la educación. Tiene 266 citas en GS.

An AI-Based Learning Style Prediction Model for Personalized and Effective Learning, Varsha T. Lokare, Prakash M. Jadhav

Mención especial merece este último que, aunque es un borrador de paper, ha pasado la revisión editorial previa de Science Direct, diciendo:

“A lo largo de los años, los estudiantes han utilizado diversas técnicas para adquirir conocimientos y estudiar materias específicas. Estos métodos incluyen los métodos de aprendizaje visual, auditivo, lectoescritura y cinestésico, entre otros, que estimulan el cerebro con diferentes impulsos. Este estudio tiene como objetivo identificar el enfoque de aprendizaje más utilizado y explorar cómo las respuestas fisiológicas impactan las habilidades de los estudiantes. aprendiendo. Evaluar a los estudiantes’ Centrarse en el uso de diversas estrategias de aprendizaje, como visual, auditiva, de lectura y escritura y cinestésica, es fundamental para implementar métodos de enseñanza eficaces.”

Señala como eficaces para el aprendizaje los métodos de organizar la instrucción basados en los llamados “estilos de aprendizaje”. Cualquier doctorando o alumno de Pedagogía sabe que se trata de un mito educativo, y apoco que busque en las bases de datos encontrará docenas de evidencias en su contra.

Pues bien en este artículo “se está desarrollando un modelo de predicción de preferencias de aprendizaje basado en IA para comprender mejor los estilos de aprendizaje individuales de los estudiantes.”

 

Resumiendo, sobre esas evidencias y buenas prácticas, que no existen prácticamente o no existen de forma consistente y fiable, estamos buscando información. También las revistas y las instituciones públicas o de investigación lo ven como una urgencia. En este sentido podemos señalar cinco iniciativas.

1

RED. Convocatoria de un número especial titulado IA generativa, ChatGPT y Educación. Consecuencias para el Aprendizaje Inteligente y la Evaluación Educativa / Generative AI, ChatGPT and Education. Consequences for Intelligent Learning and Educational Assessment. Se plantean las consecuencias frente a dos posibles escenarios y sus consecuencias. El primero se derivan de que la IA tenga el potencial de revolucionar los métodos de enseñanza, la evaluación y la ayuda al alumno, existentes. El segundo el que la IA tenga la capacidad de crear un sistema educativo completamente nuevo. 

Otras cuestiones que se plantean ahora como interrogantes son: Cuáles son los impactos que se producirán cuando la IA comience a servir como un socio activo en acciones sociales, creativas e intelectuales sostenidas a lo largo del tiempo, no sólo puntuales o como repuesta a preguntas aisladas, que es lo que ahora más frecuentemente se hace. En este momento esos impactos en las prácticas, los que puedan existir, son desconocidos. También se plantgea cómo del impacto de una dependencia excesiva, en los sistemas de IA en la educación, se podría derivar una disminución de muchos de los rasgos que nos hacen humanos. En este caso la pregunta es si ese impacto contribuiría a una disminución de la formación “humana” de los alumnos. Entre esos rasgos se incluyen la autorregulación, la metacognición, la orientación a objetivos, la planificación, las tormentas de ideas creativas y una variedad de habilidades que podrían verse afectadas negativamente por la automatización o la toma de control de las máquinas.

2

Computers and Education: Artificial Intelligence. Special issue Exploring the Nexus of Generative AI and Language Education: Opportunities, Challenges, and Innovations, es la Segunda iniciativa

3

International Journal of Educational Technology in Higher Education (IJ of ETHE). Especial interés tiene el caso de New advances in artificial intelligence applications in higher education , que inicialmente entendí que se convocó como un número especial de ETHE y ahora es una colección de artículos, pero con un artículo solo, porque la recepción de originales se cerró.

El único trabajo aceptado, AI-generated feedback on writing: insights into efficacy and ENL student preference, consta de dos interesantes estudios longitudinales, el segundo de los cuales es un self report study sobre el primero, pero más que propiamente un análisis sobre aprendizaje es sobre evaluación. Ésa es la única conclusión en sentido positivo, las otras son que no se pueden establecer preferencias claras.

UK Generative AI in education Call for Evidence: summary of responses.  El Departamento de Educación lanzó en verano pasado (para recoger datos entre el 14 de junio y el 23 de agosto de 2023) una Convocatoria de Evidencia sobre el uso de Inteligencia Artificial Generativa (GenAI) en educación. Solicitaba opiniones y experiencias de profesionales de todas las etapas de la educación, así como del sector de tecnología educativa (EdTech), se refiere al sector de investigación, y a expertos en inteligencia artificial (IA). En este caso no se trata de lanzar solo una convocatoria sino de recoger lo que ya existe en la práctica y en la investigación.

Las respuestas que se obtuvieron, y sobre las cuales se abre una fase de evaluación, revelaron una amplia gama de usos de la tecnología GenAI con fines educativos.

Para un posterior análisis, las aplicaciones identificadas entre los docentes se han agrupado en los siguientes siete temas clave según los casos de uso:

  • Creación de recursos educativos
  • Planificación de unidades y planes de estudios
  • Uso “en vivo” en las lecciones
  • Evaluación, calificación y retroalimentación
  • Tareas administrativas
  • Capacitación en habilidades GenAI y alfabetización en IA.
  • Investigación

 

5

El British Journal of Educational Technology  publica en septiembre de 2023 una sección especial  en su número orinario, fechada en mayo de este año,  con el título, que también recibe el editorial, Advancing theory in the age of artificial intelligence. Son diez artículos que se explican en el editorial, así como las conclusiones, que utilizaremos en este trabajo. Sus autores y editores son Dawson, Joksimovic, Mills, Gašević y Siemens. Destacamos que Gašević es también editor del especial de Computers and Education: Artificial Intelligence, reseñado en primer lugar y del trabajo que también reseñamos sobre la vigencia del aprendizaje humano por refuerzo.

 

Esperemos que estas iniciativas nos den como resultado el panorama real de la investigación y de lo evidenciado sobre GenA, LLM y ChatGPT y su influencia en el aprendizaje de los alumnos.

 

Mientras tanto cabe destacar la desesperación que en el plano científico tienen los impulsadores de esta IA por encontrar aportaciones que demuestren mínimamente las ventajas de estas herramientas a este fin. Para ilustrar esta situación aportaré un caso.

Donald Clark es un decidido impulsador de esta idea. Hace unos días para demostrar concluyentemente que es así y supongo que como respuesta a los que pedimos pruebas, compartió en un tuit un artículo de una supuesta rigurosa investigación:
En el que textualmente dice “las explicaciones basadas en LLM impactaron positivamente el aprendizaje”.

Pero, si nos vamos a las conclusiones del artículo ya expuestas desde el abstract, lo que establecen es que “la exposición a explicaciones de LLM aumentó la cantidad de personas que SENTÍAN QUE HABÍAN APRENDIDO y disminuyó la DIFICULTAD PERCIBIDA de los problemas del test.”

Es lo que siempre decimos, no hay evidencias sobre IA generativa y aprendizaje, solo self report studies y revisiones de exégesis de revisiones de literatura, que se multiplican y aumentan citas e impacto ad nauseam.

Tres de los cuatro autores son de Microsoft Research ¿Casualidad?

Se trata de un preprint (Kumar, Rothschild, Goldstein and Hofman, November 22, 2023) de la prestigiosa plataforma SSRN de Elsevier:

Pues bien, a pesar de haberlo dicho en un tuit, es curioso lo que sucede con ChatGPT y la campaña de apoyo y despliegue que tiene:

En él, quien suscribe ponía de relieve la trampa que suponía decir que se demuestra que ChatGPT influye en el aprendizaje, cuando realmente lo que sucedía, como se dice en las conclusiones, es que afecta a la percepción que tenían, de haber aprendido y de su capacidad para resolver problemas, los alumnos.

Pues bien, a pesar de todo ello, la estrategia pensamos que es tal que no sólo que Clark no entra al trapo, sino que dice que el tuit le gusta.

 

Ya hemos descrito lo que sucede con las convocatorias, los CFP de investigaciones y con este ultimo caso. Todo ello no viene sino a confirmar la ausencia de investigaciones que avalen de forma clara, o al menos en parte, todo lo que se dice de las ventajas del ChatGPT para el aprendizaje y la educación.

Tras todo ello, al día de la fecha, en nuestra búsqueda, sólo hemos encontrado, como hecho verificado y publicado, el trabajo de by Anton Korinek Language Models and Cognitive Automation for Economic Research, publicado en febrero de este año, que veremos a continuación por su interés y por las conclusiones que podemos obtener.

 

III

Lo tercero que veremos, será lo que constituye una de las cuestiones clave de este artículo: Veremos que, si bien no son tantos, sí hay motivos para pensar que la presencia de la Inteligencia Artificial Generativa (GenAI) va a propiciar importantes cambios en las prácticas, algunos o muchos de los cuales posiblemente ya se estén produciendo, aunque el estudio sobre experiencia en UK ya citado aún no ha dado tiempo para procesarlos y para sistematizarlos, y mucho menos en otras latitudes.

Eso es, por el momento, lo único que parece que, de forma esporádica y mediante casos y prácticas personales aisladas, se ha justificado mínimamente. Al menos eso ha sucedido en el caso que hemos encontrado, reflejado por Korinek (2023) en su artículo Language models and cognitive automation for economic research .

Tampoco es descartable que se estén produciendo lo que serán anticipos de cambios de calado, en aspectos básicos, ante los cuales es preciso dar respuestas. Pero esa es una cuestión que trataremos después.

El trabajo de Korinek (2023)  no sería un trabajo muy importante si no fuera porque no hay muchos otros. Es el único empírico que he podido localizar.

Básicamente, según el propio autor dice, en él “informa de su calificación subjetiva sobre qué tan útiles encontró las capacidades LLM descritas al 1 de febrero de 2023”. Se refiere a las prácticas que él mismo hizo y con las que elaboró un estudio personal de 25 casos de uso de ChatGPT en 25 prácticas que él hizo y su opinión sistematiza en categorías sobre ellas.

Ello, no obstante, en la línea triunfalista y optimista que señalamos, permitió decir en un importante medio español e hispanoamericano, un blog de una prestigiosa revista y en su perfil en Twitter, que, a partir de lo recogido en el trabajo “la investigación y la producción científica nunca volverán a ser lo mismo”, se entiende que con el concurso del ChatGPT y los LLM.

El resumen, Korinek (2023) lo refleja en una tabla de tres columnas. Una con las categorías que establece en su taxonomía para las tareas en las que utiliza ChatGPT— hay que tener en cuenta que es un profesor e investigador de economía que utiliza las matemáticas en sus clases e investigaciones, en particular el análisis diferencial y las derivadas, así como la analítica de datos—, otra columna para las propias tareas y la tercera para una asignación de utilidad, utilizando una valoración numérica entera entre 1 y 3. De menos a mayor utilidad, fiabilidad o consistencia en el uso para la tarea.

Si bien quien sucribe no ha elaborado un artículo de este tipo, ni ha tomado notas de sus propias experiencias, sí las que las ha hecho en una cantidad incluso mayor (de ello ha quedado algo reflejado aquí y aquí), si bien no de forma tan operativa como son las de codificación. Basándome en ello, en la tabla 1, a partir de lo hecho por Korinek (2023) :

  1. he realizado una adaptación de su tabla, ajustando y traduciendo los conceptos y términos de la taxonomía y de las tareas y
  2. he añadido una cuarta columna con mis valoraciones. Asignando mis propios valores de utilidad.

Encuentro pues muy útil las calificaciones de Korinek, sobre todo por su descripción, que es la que sigue modificada y adaptada por quien suscribe:

La calificación varía del 1 al 3, donde 1 describe capacidades que actualmente se consideran estrictamente experimentales, que hacen precisa de forma imprescindible la observación y el discernimiento humano, en los cuales si lo hace o lo obtenemos de ChatGPT pueden arrojar resultados inconsistentes, que requieren una supervisión humana significativa e imprescindible; 2 se atribuye a capacidades que, hechas por ChatGPT. probablemente sean útiles y que ahorren tiempo, pero que son en alguna medida inconsistentes o no seguras, por lo que aún requieren una supervisión humana cuidadosa; y 3 refleja capacidades que ya son, con ChatGPT muy útiles y funcionan de la manera esperada la mayor parte del tiempo. Incorporar estas últimas capacidades a su flujo de tareas definitivamente tiene claro que le ahorrará tiempo y hará más productivo el uso de la herramienta.

Tabla 1: Tipos y enunciados de capacidades de ChatGPT. Calificación de su utilidad

Categoría

Tarea

Utilidad Korinek

Utilidad Zapata-Ros

Ideación

 

Lluvia de ideas

3

 

2

Evaluación de ideas

2

1

Proporcionar contraargumentos

3

1

Escribir

 

Sintetizar texto

3

3

Editar texto

3

3

Evaluar texto

3

2

Generar títulos y titulares atractivos

3

2

Generar tweets para promocionar un artículo

3

3

Escribir la parte de investigación del artículo como cuestión principal

 

Resumen

3

3

Revisión de la literatura

1

1

Formatear citas y referencias

3

3

Traducción del artículo

3

3

Explicar conceptos previos

2

1

Crear y escribir programas informáticos (programación)

 

Escribir el programa

2

Explicar el programa

2

Traducir el programa a otro lenguaje

3

Depuración del programa

2

Análisis de los datos

 

Extraer datos del texto

3

3

Reformatear datos

3

3

Clasificar y asignar valores a expresiones textuales

2

1

Extraer opiniones y conclusiones propias del texto. O categorizar, en un sistema de valores dado expresiones, de un texto.

2

1

Simular análisis humano subjetivo.

Esto se basa en que la observación de los datos de entrenamiento de los LLM crea una gran cantidad de información sobre aspectos del proceder humano en la evaluación de datos (Opinión de Korinek (February 10, 2023), Argyle et al. (2022) y de Horton (2022))

2

1

Matemáticas

 

Configuración de modelos

2

2

Derivación de ecuaciones (por los ejemplos que pone se refiere tanto a derivación de funciones, como derivación de igualdades (ecuaciones), como generación de ecuaciones diferenciales).

1

1

Explicar modelos

1

1

 

Las columnas tercera y cuarta corresponden a la calificación subjetiva de las capacidades de LLM hecha por Korinek el 1 de febrero de 2023, y por el autor a fecha 5 de diciembre de 2023:

1 = los resultados son empíricos y humanos por naturaleza; Los resultados de ChatGPT son inconsistentes y requieren una supervisión humana significativa.

2 = Chat GPT presenta cierta utilidad, pero requiere supervisión. Probablemente su uso le ahorrará tiempo

3 = claramente útil; incorporarlos en el flujo de su trabajo le ahorrará tiempo.

–  = carezco de juicio y/o de práctica (mía)

 

 

Referencias

 

Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J., Rytting, C., and Wingate, D.(2022). Out of one, many: Using language models to simulate human samples.arXiv:2209.06899

ARG (2002) Assessment for Learning: 10 principles. Available on the Assessment Reform Group web-site : www.assessment-reform-group.org.uk

Bauer, E. , Greisel, M. , Kuznetsov, I. , Berndt, M. , Kollar, I. , Dresel, M. , Fischer, MR y Fischer, F. ( 2023 ). Uso del procesamiento del lenguaje natural para respaldar la retroalimentación entre pares en la era de la inteligencia artificial: un marco interdisciplinario y una agenda de investigación. Revista británica de tecnología educativahttps://doi.org/10.1111/bjet.13336

Biesta, G., Allan, J., & Edwards, R. (2011). The theory question in research capacity building in education: Towards an agenda for research and practice. British Journal of Educational Studies, 59(3), 225– 239.

Black, P., & Wiliam, D. (1998a). Assessment and classroom learning. Assessment in Education, 5, 7-74.

Black, P., & Wiliam,D. (1998b). Inside the black box: Raising standards through classroom assessment. Phi Delta Kappan80, 139-149.

Black, P., & Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability (formerly: Journal of Personnel Evaluation in Education)21(1), 5-31. https://kclpure.kcl.ac.uk/portal/files/9119063/Black2009_Developing_the_theory_of_formative_assessment.pdf y https://link.springer.com/article/10.1007/s11092-008-9068-5

Chomsky, N., Roberts, I., & Watumull, J. (2023). Noam Chomsky: The False Promise of ChatGPT. The New York Times8.

Dawson, S., Joksimovic, S., Mills, C., Gašević, D., & Siemens, G. (2023) Advancing theory in the age of artificial intelligence. British Journal of Educational Technology.

Gagne, R. M. (1974). Instruction and the conditions of learning. Psychology of school learning: Views of the learner1, 153-175.

Gao, CA et al. (2022) Preimpresión en bioRxiv https://doi.org/10.1101/2022.12.23.521610

Hilpert, JC , Greene, J. y Bernacki, M. ( 2023 ). Aprovechar los marcos de complejidad para refinar las teorías del compromiso y promover el aprendizaje autorregulado en la era de la inteligencia artificial . Revista británica de tecnología educativa . https://doi.org/10.1111/bjet.13340

Horton, J. J. (2022). Large language models as simulated economic agents: What canwe learn from homo silicus? working paper

Korinek, A. (2023). Language models and cognitive automation for economic research (No. w30957). National Bureau of Economic Research.

Kumar, Harsh and Rothschild, David M. and Goldstein, Daniel G. and Hofman, Jake (November 22, 2023). Math Education with Large Language Models: Peril or Promise? SSRN preprintAvailable at SSRN: https://ssrn.com/abstract=4641653 or http://dx.doi.org/10.2139/ssrn.4641653

Merrill, M. D. (2002a). First principles of instruction. Educational technology research and development50(3), 43-59. http://csapoer.pbworks.com/f/First+Principles+of+Instruction+(Merrill,+2002).pdf

Merrill, M. D. (2012). First principles of instruction. John Wiley & Sons.

Merrill, M. D. (1991). Constructivism and instructional design. Educational technology31(5), 45-53.

Merrill, M. D. (2002b). First principles of instruction. Educational Technology Research and Development, 50(3), 43-59.  Instructional-Design Theories and Models, Volume III: Building a Common Knowledge Base.

Merrill, M. D. (2009). First Principles of Instruction. In C. M. Reigeluth & A. Carr (Eds.), Instructional Design Theories and Models: Building a Common Knowledge Base (Vol. III). New York: Routledge Publishers.

Zapata-Ros, M. (2018). La universidad inteligente. RED. Revista de Educación a Distancia, 57(10). http://www.um.es/ead/red/57/zapata2.pdf   http://dx.doi.org/10.6018/red/57/10

Zapata-Ros, M. [@MiguelZapataRos] (November 30, 2023). Learning Styles and AI https://twitter.com/MiguelZapataRos/status/1730172593167101990

Zapata-Ros, M. [@MiguelZapataRos] (November 30, 2023b). https://www.blogger.com/blog/post/edit/9065073132855231377/6495326534278831442 .

[Post en elaboración]

Miguel Zapata Ros

Profesor Honorario en el Centro de Formación y Desarrollo Profesional de la Universidad de Murcia. Investigador en el Instituto Interuniversitario de Economía Internacional. Profesor Externo en la Universidad de Alcalá de Henares, miembro del programas de doctorado en Ingeniería de la Información y del Conocimiento, distinguido con Mención hacia la Excelencia por el Ministerio de Educación (Referencia: MEE2011-0159). Editor de RED, Revista de Educación a Distancia y de Docencia Universitaria. Miembro de INTCODE, agencia consultiva de ONU sobre educación a distancia, y representante en la sede de New York. Doctor en Ingeniería Informática.

More Posts - Website

Follow Me:
TwitterFacebookLinkedInGoogle Plus

Evaluación educativa, edición cientifica y ChatGPT ¿Qué hacer?

I Poniendo en relación resultados de ChatGPT con textos científicos y ensayos

Un grupo dirigido por Catherine Gao (2022) en la Universidad Northwestern en Chicago, ha utilizado ChatGPT para generar resúmenes de trabajos de investigación artificiales para probar si los científicos pueden detectarlos. Son interesantes los planteamientos y resultados.

Los investigadores le pidieron a ChatGPT que escribiera 50 resúmenes de investigación médica basados ​​en una selección publicada en JAMA , The New England Journal of Medicine , The BMJ , The Lancet y Nature Medicine . Luego los compararon con los resúmenes originales pasándolos  por un detector de plagio y un detector de salida de IA, también le pidieron a un grupo de investigadores médicos que detectaran los resúmenes artificiales.

El resultado que dio sobre los resúmenes generados por ChatGPT el verificador de plagio sobre la originalidad fue del 100 %, lo que indica que no se detectó plagio. El detector de salida de IA detectó el 66 % de los resúmenes generados. Pero los revisores humanos no lo hicieron mucho mejor: identificaron correctamente sólo el 68 % de los resúmenes generados y el 86% de los resúmenes genuinos. Identificaron incorrectamente el 32 % de los resúmenes generados como reales y el 14 % de los resúmenes genuinos como generados. Todo ello muy elocuente.

Las conclusiones de los autores del preprint, Gao y sus colegas, son 

  • “ChatGPT escribe resúmenes científicos creíbles”
  • “Quedan por determinarse los límites del uso ético y aceptable de grandes modelos lingüísticos para ayudar a la redacción científica”.

Otros trabajos sobre el tema los podemos encontrar en (Stokel-Walker, 2022)  AI bot ChatGPT writes smart essays — should professors worry? y en (Grove, 2023) The ChatGPT revolution of academic research has begun.

En enero de 2023, Nature informó sobre dos preprints y dos artículos en los campos de la ciencia y la salud que incluyeron a ChatGPT como autor firmado. Cada uno de estos incluye una afiliación para ChatGPT, y uno de los artículos incluye una dirección de correo electrónico para el “autor” no humano. Según Nature, la inclusión de ChatGPT en ese artículo en la firma del autor fue un “error que pronto se corregirá” (Stokel-Walker, 2023). Sin embargo, estos artículos y sus “autores” no humanos ya han sido indexados en PubMed y Google Scholar.

La conclusión es que en la situación actual no podemos decir con certeza cuando un estudio, un artículo o un ensayo está escrito por ChatGPT o por un humano.

 

Experiencias como ésta han llevado a las instituciones, revistas y editoriales a tomar medidas. De entre las más importantes podemos destacar lo que sigue.

Nature ha definido una política para guiar el uso de modelos de transformadores de lenguaje a gran escala en la publicación científica: prohíbe nombrar herramientas como “autor acreditado en un artículo de investigación” porque “la atribución de autoría conlleva responsabilidad por el trabajo, y Las herramientas de IA no pueden asumir tal responsabilidad”. 

La política editorial también aconseja a los investigadores que utilizan estas herramientas que documenten este uso en las secciones Métodos o Agradecimientos de los manuscritos. 

Otras revistas (Science y Taylor & Francis) y organizaciones (WAME) están desarrollando urgentemente políticas que prohíben la inclusión de estas tecnologías no humanas como “autores”. Van desde prohibir la inclusión de texto generado por ChatGPT o similares en los originales, a exigir total transparencia, responsabilidad y rendición de cuentas sobre cómo se utilizan y se informan dichas herramientas en publicaciones académicas. 

La Conferencia Internacional sobre Aprendizaje Automático (ICML Fortieth International Conference on Machine Learning) también ha anunciado una nueva política: “Los artículos que incluyen texto generado a partir de un modelo de lenguaje a gran escala (LLM) como ChatGPT están prohibidos a menos que el texto producido se presente como parte del análisis experimental del artículo”. 

Y así sucesivamente.

II APA

La APA ya se ha hecho eco con diligencia, primero en su blog. Según McAdoo (2023) estas son las recomendaciones y el análisis de situaciones en las que estudiantes e investigadores utilizan ChatGPT para crear texto y facilitar su investigación, no para escribir el texto completo de su artículo o manuscrito.

Y esto es lo más relevante de su propuesta de norma:

“Si ha utilizado ChatGPT u otras herramientas de inteligencia artificial en su investigación, describa cómo utilizó la herramienta en la sección Método o en una sección comparable de su artículo. Para revisiones de literatura u otros tipos de ensayos o artículos de respuesta o reacción, puede describir cómo utilizó la herramienta en su introducción. En su texto, proporcione el mensaje que utilizó y luego cualquier parte del texto relevante que se generó en respuesta.”

Se dirige a autores y en ningún caso se refiere a ChatGPT como autor y menos como autor citado.

Éstas son las consideraciones que hace a ese respecto:

“Desafortunadamente, otros lectores no pueden recuperar los resultados de un “chat” de ChatGPT, y aunque los datos o citas no recuperables en artículos de estilo APA generalmente se citan como comunicaciones personales, con el texto generado por ChatGPT no hay ninguna persona comunicándose. Por lo tanto, citar el texto de ChatGPT de una sesión de chat es más como compartir el resultado de un algoritmo; por lo tanto, dé crédito al autor del algoritmo con una entrada en la lista de referencias y la cita correspondiente en el texto.”

Tenemos pues ya y de forma clara unas normas y unas recomendaciones

 

III La educación y la difusión de la ciencia cambian en cuestiones nucleares

Puesto que no se puede distinguir lo hecho por un humano y lo hecho por ChatGPT y puesto que, cuando escribe ChatGPT, no hay ninguna persona comunicándose ni le es atribuible ninguna responsabilidad sobre lo escrito, la perspectiva de la evaluación y de la revisión de pares cambia radicalmente. Y por ende la educación, su organización y diseño, y la edición científica. De las cuales son aspectos centrales.

La demostración es la base de la evaluación: ésta es la que aporta las evidencias del aprendizaje. Así lo ponen de manifiesto los trabajos de Merrill, sus principios fundamentales del aprendizaje, de lo cual nos hemos hecho eco aquí, aquí y aquí.

Si la única fuente de la evidencia de un aprendizaje es un proyecto o un examen escrito online y éste no podemos asociarlo a lo que expresa que sabe un alumno, tenemos un problema para la evaluación. Como hemos visto no podemos distinguir quién lo ha hecho. No podemos atribuir aprendizaje a la persona.

 

IV. ¿Qué hacer?

La IA generativa es una herramienta informática de transformar información (por eso se les llama LLM Transformers) no de producir conocimiento ni aprendizaje.

En la educación, por sí, estos procesos y sus resultados no tienen ninguna de las características que definen al aprendizaje. Los individuos que la utilizan no atribuyen sentido a lo que se les muestra, ni incrementan sus experiencias, no transfieren lo supuestamente aprendido a otros entornos, ni adquieren autonomía en su uso. Las máquinas tampoco hacen nada de esto, porque estas facultades de atribuir sentido, etc. son facultades esencialmente humanas, que se producen en el individuo y esta naturaleza es la que define el conocimiento y el aprendizaje.

En la edición científica sucede algo parecido. Lo importante de la edición es que haya una investigación y unos resultados de ella que se puedan difundir. Escribir artículos no es el objetivo. Si son buenos, es el resultado de otra cosa que es lo principal: el incremento del conocimiento. Y la IA no es capaz de diseñar una investigación, de aportar conocimiento, porque utiliza resultados ya escritos, no usa anotaciones ni datos de una investigación. Tampoco a otro nivel establece hipótesis ni valora su relevancia en el contexto de investigación en que se produce. Sólo por decir algunas pocas de las muchas funciones que implica la investigación, de las cuales la difusión, el artículo es una consecuencia. Son funciones netamente humanas donde interviene la intuición, la experiencia, el sentido que se atribuye a lo experimentado, etc.

Si evaluamos la calidad de la investigación exclusivamente en lo escrito en un artículo, donde no podemos diferenciar si es humano o no, entonces esta evaluación con la aparición de la IA generativa ya no vale.

¿Qué hay que hacer?

Sobre la evaluación ya hemos hablado mucho acerca de que la solución es la evaluación formativa, lo hemos visto aquí, aquí y aquí.

Hemos dado propuestas incluso de actividades concretas para llevar a cabo esa evaluación, lo hemos hecho aquí y hemos dicho algunas formas de demostrar los aprendizajes según el tipo de que se traten.

Así la demostración es un factor de consistencia (Merrill, 2002a, 2002b y 2012): El aprendizaje se valida cuando la demostración, la actividad con que se demuestra, es coherente con el objetivo de aprendizaje, mediante:

  1. ejemplos y contraejemplos para conceptos,
  2. demostraciones de ejecución para procedimientos,
  3. visualización (evidenciar visualmente) para los procesos, y
  4. el modelado (presentación de modelos) para adquisición de valores y conductas

En esta línea, y a modo de ejemplo, podemos llegar a proponer actividades concretas de evaluación formativa. Obviamente el diseño instruccional debería ser más completo y ajustado. Éstas son las actividades:

  • Compartir criterios de éxito con los alumnos
  • Preguntas en el aula, o en el chat, o verbales en Zoom o similar.
  • Con anotaciones.
  • Marcado de sólo comentarios
  • Autoevaluación, con criterios explícitos
  • Uso formativo de pruebas sumativas [muy importante]
  • Revisiones, con observaciones y marcado de comentarios
  • Supervisiones de los alumnos, con reuniones presenciales, videorreuniones o sesiones de videollamada.
  • Intervenciones en los foros con comentarios personales, otorgamiento de relevancia en relación con la formatividad y con relación a los objetivos de aprendizaje, los logros esperados y las habilidades desarrolladas, sobre todo conceptuales en este caso.

(Wiliam, 2000, Black et al., 2003; Wiliam, 2007):

 En general se trata de evaluar y validar el aprendizaje a través de la interacción directa.

Algo parecido sucede con la escritura científica: cómo se verifica su conexión con la investigación.

Proponemos una nueva revisión de pares, la que se base en la interacción con el autor. Señalamos la importancia de la entrevista, la supervisión y algo parecido a lo que es el mastery learning (1) en la educación: La asignación de relevancia a lo que dice el autor, en el contexto de revisión, en relación con lo investigado.

Esto entraña una mayor carestía por el uso de recursos, particularmente de recursos humanos, un nuevo tipo de revisor con un trabajo mayor en una época en que no hay revisores, pero este es el desafío: Organizar una nueva revisión y edición para una nueva edición científica de calidad, para la validez de su función difusora de la ciencia.

 

 

Referencias.-

Black, P., & Wiliam, D. (2003). ‘In praise of educational research’: Formative assessment. British educational research journal29(5), 623-637.

Gao, CA et al. Preimpresión en bioRxiv https://doi.org/10.1101/2022.12.23.521610 (2022).

McAdoo, T. (2023). How to cite ChatGPT. APA Style Blog. https://apastyle.apa.org/blog/how-to-cite-chatgpt

Merrill, M. D. (2002a). First principles of instruction. Educational technology research and development50(3), 43-59. http://csapoer.pbworks.com/f/First+Principles+of+Instruction+(Merrill,+2002).pdf

Merrill, M. D. (2002b). First principles of instruction. Educational Technology Research and Development, 50(3), 43-59.  Instructional-Design Theories and Models, Volume III: Building a Common Knowledge Base.

Merrill, M. D. (2012). First principles of instruction. John Wiley & Sons.

Stokel-Walker, C. (2022). AI bot ChatGPT writes smart essays—Should professors worry?[published online ahead of print December 9, 2022]. Nature News.

Stokel-Walker  C.  2023) ChatGPT listed as author on research papers: many scientists disapprove.   Nature;613(7945):620-621. doi:10.1038/d41586-023-00107-z

Wiliam, D. (2000). Integrating summative and formative functions of assessment. https://discovery.ucl.ac.uk/id/eprint/1507176/1/Wiliam2000IntergratingAEA-E_2000_keynoteaddress.pdf

Wiliam, D. (2007). Keeping learning on track: Formative assessment and the regulation of learning. nature, 1, 20. https://www.researchgate.net/profile/Dylan_Wiliam/publication/252646685_Keeping_learning_on_track_Formative_assessment_and_the_regulation_of_learning/links/53f495b00cf2fceacc6e8f5b.pdf 

Miguel Zapata Ros

Profesor Honorario en el Centro de Formación y Desarrollo Profesional de la Universidad de Murcia. Investigador en el Instituto Interuniversitario de Economía Internacional. Profesor Externo en la Universidad de Alcalá de Henares, miembro del programas de doctorado en Ingeniería de la Información y del Conocimiento, distinguido con Mención hacia la Excelencia por el Ministerio de Educación (Referencia: MEE2011-0159). Editor de RED, Revista de Educación a Distancia y de Docencia Universitaria. Miembro de INTCODE, agencia consultiva de ONU sobre educación a distancia, y representante en la sede de New York. Doctor en Ingeniería Informática.

More Posts - Website

Follow Me:
TwitterFacebookLinkedInGoogle Plus

¿Puede un megajournal sobrevivir fuera de la colección principal de Web of Science?

Un análisis del antes y el después del International Journal of Environmental Research and Public Health, a tres meses de su expulsión

 

 

Marianela Parodi 

Ph.D. in Electronic Engineering

National University of Rosario: Rosario, Santa Fe, AR

 

Introducción

El 20 de marzo de 2023, Clarivate anunció la desvinculación de más de 50 revistas de la colección principal de Web of Science (WoS) (Quaderi, 2023b). Entre ellas, se destacan 19 revistas pertenecientes a Hindawi —cuatro de ellas editadas en colaboración con Wiley—, convirtiéndola en la editorial con mayor cantidad de revistas expulsadas (Kincaid, 2023), y el megajournal International Journal of Environmental Research and Public Health (IJERPH), editado por MDPI, que fuera la segunda revista a nivel global en producción de artículos de acceso abierto (OA, por sus siglas en inglés: open access) en 2022 (Repiso y Delgado-Vázquez, 2023).

Un megajournal es una revista OA con un enfoque disciplinar amplio y un volumen de publicación mucho mayor que el de una revista tradicional. Se caracteriza principalmente por priorizar la solidez técnica de los artículos por sobre su relevancia e impacto, cobrando un cargo de procesamiento (APC, por sus siglas en inglés: article processing charge) para publicarlos (Binfield, 2014). Desde que PLOS ONE, a la que se suele señalar como la pionera, implementó este modelo, muchas revistas la han imitado. Sin dudas, los 17.455 artículos OA publicados en 2022 convierten a IJERPH en uno de los mayores exponentes de este grupo. A su vez, Repiso y Delgado-Vázquez (2023), extendiendo la idea de megajournal a aquellas revistas cuya producción es uno o dos órdenes de magnitud mayor que la media de sus respectivas áreas, identifican a 11 de las 19 revistas de Hindawi expulsadas por Clarivate como tales. 

Ahora bien, ¿qué implicancias tiene la descatalogación de un megajournal de la colección principal de WoS? Sin dudas, el efecto inmediato se percibe en su prestigio, perdiendo el factor de impacto (IF, por sus siglas en inglés: impact factor) aquellas que lo tuvieran —o la posibilidad de su cálculo a partir de junio de 2023 (Quaderi, 2022)— y resignando el “sello de calidad” que muchas veces este supone. A su vez, las (no pocas) instituciones e investigadores que publican en él se ven severamente afectados. En Repiso y Delgado-Vázquez (2023) se analizan las repercusiones en la comunidad científica española de la expulsión de IJERPH, la cual concentra el 77,5 % de los artículos españoles publicados en las revistas expulsadas por Clarivate. Por otra parte, es imposible ignorar las pérdidas económicas que pueden derivarse de tal acontecimiento. Por ejemplo, solo de manos de las universidades e investigadores españoles, IJERPH ha recibido más de 12 millones de euros en los últimos cinco años (Repiso y Delgado-Vázquez, 2023). En este artículo, abordaremos este último aspecto, discutiendo las posibles implicancias económicas de la expulsión de IJERPH de la colección principal de WoS en términos de dos de las principales dimensiones que componen el valor de una revista: el volumen de publicación y su APC. Asimismo, evaluaremos su actualidad, a tres meses del anuncio de Clarivate.

MDPI: una apuesta a los megajournals

De acuerdo con datos obtenidos de Scilit (https://www.scilit.net/), en 2022, MDPI ha publicado la mayor cantidad de artículos OA, superando a grandes editoriales, tales como Elsevier, Springer, Frontiers y Wiley, como muestra la Tabla 1 (a). Sin embargo, las dos primeras ofrecieron más revistas OA que MDPI ese mismo año (Tabla 1 [b]). Luego, MDPI concentró —en promedio— más artículos por revista, llegando a publicar más del doble de artículos OA por revista que Elsevier y Springer. A su vez, como muestra la Tabla 2, de las 10 revistas con más artículos OA publicados en 2022, el 60 % fueron editadas por MDPI.

Tabla 1. Top 5 de editoriales en 2022: (a) según cantidad de artículos OA publicados; (b) según cantidad de revistas OA

Editorial

Artículos OA

MDPI AG

301.216

Elsevier BV

175.415

Springer Science and Business Media LLC

162.886

Frontiers Media SA

126.116

Wiley

81.915

Editorial

Revistas OA

Elsevier BV

592

Springer Science and Business Media LLC

471

MDPI AG

408

Walter de Gruyter GmbH

396

Taylor & Francis Ltd

251

(a)

(b)

 Nota.    De https://app.scilit.net/rankings

OA: open access

Tabla 2. Top 10 de revistas OA con más cantidad de artículos publicados en 2022

Nro.

Revista

Editorial

Artículos OA

1

Scientific Reports

Springer Science and Business Media LLC

22637

2

International Journal of Environmental Research and Public Health

MDPI AG

17445

3

Sustainability

MDPI AG

17394

4

International Journal of Molecular Sciences

MDPI AG

16482

5

PLoS ONE

Public Library of Science (PLoS)

16068

6

Applied Sciences

MDPI AG

13229

7

Cureus

Springer Science and Business Media LLC

12423

8

Research, Society and Development

Research, Society and Development

10184

9

Sensors

MDPI AG

10149

10

Energies

MDPI AG

9843

 Nota.    De https://app.scilit.net/rankings/journals

OA: open access

Los datos observados en la Tabla 1 y la Tabla 2 sugieren que MDPI nuclea un número significativo de megajournals. Por un lado, como se comentó anteriormente, la amplitud de áreas temáticas abarcadas por este tipo de revistas, en contraposición a las revistas tradicionales (con un enfoque específico), le permite publicar una gran cantidad de artículos. Por el otro lado, este fenómeno se ha acentuado en los últimos años por la publicación de un número extraordinario de monográficos, lo que le permite publicar tal cantidad de artículos en un corto lapso de tiempo (Brainard, 2023; Brockington, 2022; Crosetto, 2021). De acuerdo con Crosetto (2021), en 2021, 32 revistas de MDPI lanzaron más de un monográfico por día, incluyendo los sábados y los domingos. Además, su mediana de publicación es de 40 días, incluyendo 16 o 17 días hasta la primera decisión editorial y solo 5 días de producción (Bosworth, 2021), estando su tiempo de respuesta muy por debajo de la media de otras grandes editoriales (Crosetto, 2021; Petrou, 2022). Tal es así que Petrou (2022), en su análisis de la rapidez de publicación de dichas editoriales, sostiene que MDPI revolucionó los estándares de la revisión por pares, acelerándola en 14 días entre 2011/2012 y 2019/2020.

La Figura 1 compara la distribución de los APCs cobrados por las revistas OA pertenecientes a las cinco editoriales incluidas en la Tabla 1 (a). Mientras que BioMed Central (perteneciente a Springer) y Wiley cobran los APCs más elevados, con medias de 2.235,45 € y 2.300,99 €, respectivamente, MDPI es la que ofrece los APCs más bajos: su media es de 1.423,16 €, cobrando el 50 % de sus revistas entre 1.025,42 €[1] y 1.640,67 €. Luego, MDPI publica una gran cantidad de artículos por revista, mientras mantiene los correspondientes APCs por debajo de sus competidoras, cobrando —en promedio— casi un 30 % menos que las grandes editoriales de la Tabla 1 (a). De esta manera, construye un modelo de negocio basado principalmente en el volumen de artículos publicados.

Figura 1. Distribución de los APCs (junio de 2023) de las editoriales con mayor producción OA en 2022[2].

Nota.    Elaboración propia en base a datos extraídos de las páginas web de las editoriales el 23 de junio de 2023.

APC: article processing charge; EUR: euro

IJERPH: el megajournal entre los megajournals

Como se observa en la Tabla 2, en 2022, IJERPH no solo lideró la producción de MDPI, superando a otros megajournals como Sustainability e International Journal of Molecular Sciences (IJMS), con 17.394 y 16.482 artículos publicados, respectivamente, sino que solo Scientific Reports de Springer, con sus 22.637 artículos, logró vencerla. En ese año, IJERPH publicó un promedio de más de 47 artículos por día.

A su vez, de la producción de los 15 megajournals identificados en Repiso y Delgado-Vázquez (2023) expulsados por Clarivate, el 91,15 % está concentrado en IJERPH y las 11 revistas de Hindawi. De ese total, los artículos de IJERPH representan el 45,2 %. Más aún, solo en los dos primeros meses de 2023 (antes de su descatalogación de WoS), IJERPH publicó 3585 artículos —a razón de más de 60 por día—, 397 más que la revista Computational Intelligence and Neuroscience en todo 2022, que fue, de las 11 revistas de Hindawi destacadas en Repiso y Delgado-Vázquez (2023), la de mayor producción ese año.

La desvinculación de WoS y sus posibles implicancias económicas

Según su página web (https://www.mdpi.com/about/journals), el 31 de marzo de 2023 —10 días después de la expulsión de IJERPH de la colección principal de WoS—, MDPI contaba con 416 revistas y nueve actas de conferencia (425 productos en total). Estas últimas no cobraban APC, siendo 1.423,16 € el APC promedio de las 416 revistas restantes. A su vez, 92 de ellas (un 22,11 % del total) aumentarían su APC a partir del 1 de julio de 2023. Entre ellas, se encontraba la recientemente expulsada IJERPH, la cual cobraría un APC de 2.563,55 € hasta el 30 de junio y un APC de 2.819,9 € a partir del 1 de julio.

La Figura 2 muestra la distribución de los APCs de las 92 revistas que aumentarían en julio de 2023, antes y después del aumento. Exceptuando los outliers, los APCs de las revistas antes del aumento variaban entre 1.844,51 € y 2.581,62 €, cobrando el 50 % de ellas entre 2.018,54 € y 2.248,51 €. Su APC promedio era de 2.130,65 €, un 50 % por encima del APC promedio del total de las revistas de MDPI. Después del aumento, el rango de precios se comprimiría notablemente, cobrando el 50 % de estas revistas entre 2.606,22 € y 2.759,53 €, ascendiendo el APC promedio a 2.656,27 €, un 24,66 % más que lo cobrado hasta junio. De este modo, a partir del 1 de julio de 2023, el APC promedio de todas las revistas de MDPI sería 1.536,36 €, siendo —en promedio— un 8,58 % más caro publicar en MDPI, achicando la brecha a un 23,82 % respecto de sus competidoras incluidas en la Figura 1.

Figura 2. Distribución de los APCs de las revistas de MDPI que, según datos recogidos 10 días después de la desvinculación de IJERPH de la colección principal de WoS, aumentarían en julio de 2023: APC hasta el 30 de junio; APC a partir del 1 de julio.

Nota.    Elaboración propia en base a datos extraídos de https://www.mdpi.com/apc el 31 de marzo de 2023.

APC: article processing charge; EUR: euro

Analizando las 92 revistas que aumentarían su APC en julio de 2023, podemos hacer dos observaciones. Por un lado, concentraron el 76,63 % del total de 301.216 artículos publicados en MDPI en 2022. Por el otro, a excepción del International Journal of Neonatal Screening, pertenecen —pertenecían hasta el 20 de marzo de 2023 en el caso de IJERPH— a las colecciones Social Science Citation Index (SSCI) o Science Citation Index Expanded (SCIE) de WoS, las cuales, hasta el 28 de junio de 2023, eran las únicas colecciones sobre las que se calculaba el IF (Heaney, 2023). Luego, MDPI decide aumentar el APC de revistas que no solo representan un importante porcentaje de su producción, sino que están indexadas en lo que Clarivate llama su “buque insignia” (SSCI o SCIE), habiendo solo seis revistas que también lo están y que no aumentarían su APC en el segundo semestre. Surgen entonces las siguientes preguntas: ¿Cuál es la relación entre la indexación de las revistas de MDPI y la cantidad de artículos que publican? ¿Y entre el valor del APC y su IF? ¿Existe una correlación entre estos últimos?

La Figura 3 compara el porcentaje de revistas editadas por MDPI que estaban indexadas en las colecciones SSCI o SCIE de WoS a fines de 2022 con las que no lo estaban. Entre estas últimas, distinguimos, además, entre las que lo estaban en Scopus y las que no. Asimismo, se incluyen el total de artículos publicados por cada uno de estos grupos durante dicho año. Aquí es importante hacer una aclaración. Para contestar las preguntas formuladas, centraremos nuestro análisis en la indexación en SSCI y SCIE y no en el total de la colección principal de WoS por dos razones. En primer lugar, al momento de establecer los APCs para el primer semestre de 2023 y seleccionar las revistas que aumentarían a partir del segundo semestre, la indexación en SSCI y SCIE tenía una correspondencia directa con la asignación del IF. En segundo lugar, si bien a partir del 28 de junio de 2023 dicho cálculo se ha extendido a Emerging Sources Citation Index (ESCI) y Arts & Humanities Citation Index (AHCI) (Heaney, 2023), no se les asignará un cuartil IF hasta la edición 2024 del Journal Citation Rank (JCR) (Quaderi, 2023a). Luego, hasta que se normalice y homogenice el ranking para el total de las colecciones de WoS, se mantendrán las diferencias entre las revistas de unas y otras colecciones. En este escenario, es de esperar que el carácter distintivo de calidad, prestigio e impacto de una revista de WoS, otrora adjudicado al IF, sea simplemente representado por su cuartil IF, directamente relacionado con su indexación.

Figura 3. Cantidad de revistas de MDPI y total de artículos publicados según su indexación en 2022.

Nota.    Elaboración propia en base a datos extraídos de https://app.scilit.net/rankings/journals  SSCI: Social Science Citation Index; SCIE: Science Citation Index Expanded

A partir de la Figura 3, notamos que a fines de 2022 más de la mitad de las revistas (56,61 %) no estaban indexadas ni en SSCI ni en SCIE ni en Scopus. Sin embargo, el volumen de artículos que manejaron estas revistas fue muy bajo (solo sumaron el 3,27 % de los artículos publicados). De esta manera, menos de la mitad de las revistas (43,39 %) publicaron más del 95 % de los artículos, correspondiéndose con su indexación en SSCI, SCIE o Scopus. Asimismo, todas las revistas indexadas en SSCI o SCIE lo estaban, además, en Scopus. Dichas revistas, a pesar de ser poco más de la mitad del total de revistas indexadas en Scopus, publicaron el 91,69 % de los artículos —a razón de 2.622 artículos por revista—, mientras que el resto de las revistas indexadas en Scopus solo publicaron el 11,67 % de los artículos —a razón de 178 artículos por revista—. De esta forma, en 2022, una revista indexada en SSCI o SCIE publicó —en promedio— 14 veces más artículos que una que no lo estaba, aun estándolo en Scopus.  

La Figura 4 compara los APCs de las revistas de MDPI vigentes durante el primer semestre de 2023 según su indexación a fines de 2022. Las revistas que no estaban indexadas ni en SSCI ni en SCIE ni en Scopus son las que cobran más barato por publicar, promediando 1.098,39 €. A su vez, como vimos en la Figura 3, estas revistas son las que menos artículos publican, afianzando la idea de que MDPI no construye su modelo de negocio a partir de ellas. El promedio de los APCs de las revistas indexadas en Scopus pero fuera de SSCI y SCIE es de 1.518,66 €, mientras que el de las que sí están en SSCI o SCIE es 2.127,22 € —un 40,07 % más—, evidenciando la importancia que tiene para la editorial el hecho de pertenecer a estas colecciones a la hora de definir el APC de sus revistas.

Figura 4. Distribución de los APCs de las revistas de MDPI vigentes durante el primer semestre de 2023 según su indexación a fines de 2022.

Nota.    Elaboración propia en base a datos extraídos de https://www.mdpi.com/apc

               APC: article processing charge; EUR: euro; SSCI: Social Science Citation Index; SCIE: Science Citation Index Expanded

Hasta aquí hemos visto que pertenecer a SSCI o SCIE —hasta el 28 de junio de 2023 única manera de obtener el cálculo del IF— es determinante para atraer artículos, siéndolo también para establecer el valor del APC, lo que contesta parcialmente las preguntas formuladas más arriba. Ahora bien, ¿de qué manera se correlaciona el valor del APC con el del IF? La Figura 5 muestra la correlación de Spearman entre los valores del IF 2021, el CiteScore (CS) 2021[3] y el APC cobrado durante el primer semestre de 2023. Ambos índices están positivamente correlacionados con el APC, siendo la correlación del IF 0,64 (moderada) y la del CS 0,43 (débil), con p < 0,02 (Martínez Ortega, 2009). Luego, si bien a mayor IF, mayor APC, la correlación no es fuerte, aunque lo sea en mayor medida que con el CS, en correspondencia con la mayor importancia que se le da a la indexación en SSCI o SCIE comparada con la indexación en Scopus.

Figura 5. Correlación de Spearman entre el IF 2021, el CS 2021 y el APC del primer semestre de 2023 de las revistas de MDPI.

Nota.    Elaboración propia en base a datos extraídos de https://www.mdpi.com/apc y https://www.mdpi.com/about/journals

               IF: impact factor; APC: article processing charge

Finalmente, de acuerdo con lo analizado aquí, al perder la indexación en SCIE, IJERPH —a partir del 20 de marzo de 2023 permaneciendo indexada solo en Scopus— perderá valor en términos económicos. Por un lado, atraerá menos artículos, pudiendo su producción disminuir hasta más de 10 veces. Por el otro, estando el valor del APC fuertemente influenciado por su indexación, cada artículo publicado podría perder valor, siendo el APC promedio de las revistas que están indexadas en Scopus pero fuera de SSCI y SCIE 1.518,66 €, un 40,7 % menor que su APC vigente al momento de la expulsión.

IJERPH tres meses después

Al consultar la página web de MDPI el 23 de junio de 2023, 3 meses después de la desvinculación de IJERPH de WoS, dicha revista ya no figuraba entre las que aumentarían su APC el 1 de julio de 2023, siendo la única de la lista consultada el 31 de marzo que ya no lo haría. Luego, a partir del segundo semestre de 2023, IJERPH mantendrá su valor de 2.563,55 €, “perdiendo” (o dejando de ganar) 256,35 € por artículo. Teniendo en cuenta nuestro análisis, se podría inferir que esta decisión está relacionada con su desvinculación de SCIE; aunque no se haya devaluado hasta los valores cobrados por las revistas que no están indexadas en SSCI o SCIE, pero sí lo están en Scopus —que cobran, en promedio, un 40 % menos—, IJERPH resignará un 10 % de lo planificado en el segundo semestre.

Las consecuencias económicas en términos del valor del APC se efectivizaron el 1 de julio de 2023. Sin embargo, el impacto que supone la disminución de artículos publicados no se hizo esperar; la propia página web de IJERPH (https://www.mdpi.com/journal/ijerph/stats) ofrece información al respecto. La Figura 6 muestra la cantidad de artículos publicados por mes desde enero de 2015 hasta junio de 2023, donde se observa un descenso abrupto en marzo de 2023. Notar que la noticia de la desvinculación se dio a conocer el 20 de marzo y, aun así, impactó fuertemente en la publicación total del mes —cayendo un 45 % respecto de la del mes anterior—, no haciendo más que corroborar el gran volumen de artículos que se publican en unos pocos días.

Figura 6. Cantidad de artículos publicados por IJERPH entre enero de 2015 y junio de 2023.

Nota.     De https://www.mdpi.com/journal/ijerph/stats

En principio, sería sensato adjudicar la caída pronunciada de artículos publicados fundamentalmente al impacto de la noticia en la comunidad científica. Es decir, a que los autores hayan desistido de publicar en IJERPH ante la incertidumbre generada por su desvinculación de WoS. Si bien a solo tres meses de su expulsión es probablemente demasiado pronto para evaluar la disminución de artículos publicados en otros términos, podemos ver que la tendencia se sostuvo durante abril, publicando un 66,63 % menos que en marzo, desacelerando en mayo y junio, cayendo “solo” un 25 % más.

Será necesario esperar para saber si esta tendencia continúa, alcanzando los niveles de publicación de las revistas que están indexadas en Scopus pero fuera de SSCI y SCIE, o si el volumen de publicación se estabiliza en los próximos meses. Hasta aquí, los 249 artículos publicados en junio representan solo el 14 % de lo publicado en febrero —último mes completo indexada en SCIE—, igualando cifras de 2018, cuando aún el modelo de negocio soportado por la publicación a gran escala de monográficos era incipiente (Crosetto, 2021). Aun así, resultan suficientes para superar en más de un 90 % a los artículos publicados durante el mismo mes por Religions, la revista de MDPI fuera de SSCI y SCIE de mayor producción en el primer semestre de 2023.

Haciendo un cálculo simple, considerando la cantidad de artículos publicados y el APC de la revista, podemos estimar el dinero que IJERPH dejó de recibir de manos de los autores durante el primer semestre de 2023. Hasta aquí, nos ha sido útil para nuestro análisis el valor nominal del APC, es decir, previo a la aplicación de cualquier descuento, ya que evaluamos APCs de distintas editoriales y revistas, las cuales ofrecen diferentes tipos de descuentos en base a criterios propios. Sin embargo, para calcular los ingresos de IJERPH en términos de artículos publicados, tendremos en cuenta las rebajas que suele aplicar la revista. De acuerdo con la información de la página web de MDPI, la editorial aplica distintos descuentos a sus revistas, los cuales suelen rondar entre un 15 % y un 30 % para las más consolidadas. Asumiendo que IJERPH aún se encuentra en este último grupo, usaremos un descuento promedio (22,5 %) para realizar los cálculos. La Figura 7 muestra la variación de ingreso interanual estimada entre el primer semestre de 2022 y 2023. En los primeros dos meses de 2023 la revista cobró alrededor de 1,2 millones de euros más que en los mismos meses del año anterior, consiguiendo una suba de aproximadamente el 50 %. Sin embargo, a partir de marzo, sus pérdidas han aumentado desde cerca de 700.000 euros hasta superar los 2 millones, lo que significa una caída de entre el 25 % y el 80 % interanual. Finalmente, al cierre del primer semestre de 2023, los ingresos estimados de IJERPH, en términos de artículos publicados, han estado más de 4,25 millones de euros por debajo de los correspondientes al mismo período del año anterior.

Figura 7. Variación de ingresos interanual primer semestre de 2022-2023.

Nota.     Elaboración propia en base a datos extraídos de https://www.mdpi.com/apc y https://www.mdpi.com/journal/ijerph/stats

EUR: euro

Asimismo, si contempláramos un escenario hipotético, donde IJERPH siguiera indexada en SCIE, podríamos utilizar las dinámicas de los años anteriores para predecir la cantidad de artículos que se hubieran publicado de marzo en adelante, así como los ingresos asociados. De esta manera, podríamos estimar las pérdidas de la revista, en términos de artículos publicados, con respecto a dicha proyección para el primer semestre de 2023. La Figura 8 muestra la predicción, calculada en base a un modelo auto-regresivo integrado de media móvil estacional (SARIMA, por sus siglas en inglés: seasonal autoregressive integrated moving average) y a una red neuronal long short-term memory (LSTM). Aun en el caso de la predicción más conservadora, la estima resulta en un costo de la expulsión de la revista de 1,62 millones de euros en marzo, llegando a 3,03 millones en junio, sumando una pérdida total de 10,42 millones de euros en 4 meses.

Figura 8. Estimación de la cantidad de artículos que podría haber publicado IJERPH a partir de marzo de 2023 de no haber sido desvinculada de SCIE.

Nota.     Elaboración propia en base a datos extraídos de https://www.mdpi.com/journal/ijerph/stats

SARIMA: seasonal autoregressive integrated moving average

LSTM: long short-term memory

¿La caída de un megajournal?

Finalmente, es posible que su carácter de megajournal, consolidado especialmente en los últimos tres años en los que se mantuvo en el top 10 global de revistas con mayor producción OA, le haya permitido a IJERPH mantener el APC, así como el volumen de artículos publicados, por encima de lo esperado para una revista fuera de SSCI y SCIE. Sin embargo, a tres meses de su desvinculación, no solo las pérdidas estimadas son millonarias, sino que, como comentamos más arriba, su producción alcanzó niveles tan bajos como los que tenía antes de aplicar el modelo de publicación de monográficos a gran escala, el cual le valió el buen posicionamiento que hasta marzo de 2023 ostentaba. En este escenario, ¿dónde queda IJERPH frente a los megajournals de MDPI? ¿Y a sus principales competidoras?

La otrora revista que más artículos OA publicó en 2022 descendió hasta el quinto puesto en el top 10 de revistas de MDPI de mayor producción en el primer semestre de 2023, como muestra la Tabla 3. Teniendo en cuenta, además, que los 5.535 artículos publicados incluyen la producción hasta el 20 de marzo —con niveles de publicación previos a la expulsión—, es probable que IJERPH no logre igualar tal marca en el segundo semestre. La Figura 9 muestra una predicción —obtenida con LSTM— de la cantidad de artículos que podría publicar la revista en dicho período. Según la estima realizada, solo se publicarían 3.045 artículos en seis meses, un 15 % menos que en los dos primeros meses de 2023, cuando IJERPH todavía gozaba de los beneficios de pertenecer a SCIE. Siguiendo la línea predicha, culminado el año, aunque la producción total de la revista aún cumpliría holgadamente los criterios establecidos en Repiso y Delgado-Vázquez (2023) para ser considerada un megajournal al compararla con la media de su categoría para el año 2022 (presumiblemente del mismo order que la del año 2023), podría ser superada por otras revistas del grupo editorial, perdiendo aún más terreno entre los megajournals de MDPI. Además, su pérdida interanual de ingresos en términos de artículos publicados estimada para el segundo semestre ascendería a 13,1 millones de euros, sumando un total estimado en el año 2023 de 17,37 millones. 

Tabla 3. Top 10 de las revistas de MDPI con más artículos publicados en 2022 (izquierda) y en el primer semestre de 2023 (derecha)

TOP 10 MDPI

2022

1er semestre 2023

Revista

Total de artículos publicados

Revista

Total de artículos publicados

IJERPH

17445

IJMS

10524

Sustainability

17394

Sustainability

9960

IJMS

16482

Applied Sciences

7403

Applied Sciences

13229

Sensors

5805

Sensors

10149

IJERPH

5535

Energies

9843

Molecules

4961

Materials

9184

Energies

4783

Molecules

9144

Materials

4507

J. Clinical Medicine

7641

J. Clinical Medicine

4234

Remote Sensing

6479

Cancers

3247

 Nota.     Elaboración propia en base a datos extraídos de https://app.scilit.net/rankings/journals

IJERPH: International Journal of Environmental Research and Public Health

IJMS: International Journal of Molecular Sciences

Figura 9. Cantidad de artículos publicados por IJERPH por mes en 2022, el primer semestre de 2023 y la predicción para el segundo semestre.

Nota.     Elaboración propia en base a datos extraídos de https://www.mdpi.com/journal/ijerph/stats

Por otra parte, de acuerdo con los datos resumidos en la Tabla 4, al no aumentar su APC en julio, IJERPH, cuyo APC del primer semestre de 2023 estaba 5,04 % por encima de la media del top 10 de megajournals de MDPI correspondiente a 2022 (Tabla 3 [izquierda]), cobrará, durante el segundo semestre de 2023, un APC 4,21 % por debajo del top 10 del primer semestre (Tabla 3 [derecha]). De esta manera, el valor de la revista quedará relegada con respecto al de los principales megajournals de MDPI no solo en términos de cantidad de publicaciones, sino en cantidad de ingresos por publicación.

Tabla 4. APC del top 10 de revistas de MDPI con más artículos publicados en 2022 y el primer semestre de 2023: APC 2022 (izquierda), primer (centro) y segundo (derecha) semestre  de 2023

Revista

APC

 

2022

1er semestre 2023

2do semestre 2023

IJERPH

2563,55

2563,55

2563,55

Sustainability

2050,84

2255,92

2461

IJMS

2050,84

2563,55

2973,71

Applied Sciences

2358,46

2358,46

2358,46

Sensors

2461

2461

2666,09

Energies

2255,92

2255,92

2666,09

Materials

2358,46

2358,46

2666,09

Molecules

2358,46

2358,46

2768,63

J. Clinical Medicine

2050,84

2666,09

2666,09

Remote Sensing / Cancers

2563,55 / 2461

2563,55 / 2666,09

2768,63 / 2973,71

 

Nota.     Elaboración propia en base a datos extraídos de https://www.mdpi.com/apc

               APC: article processing charge

IJERPH: International Journal of Environmental Research and Public Health

IJMS: International Journal of Molecular Sciences

Por último, la página web de Scimago (https://www.scimagojr.com/) ofrece un ranking de revistas similares en términos de citas compartidas. Entre las 10 revistas más parecidas a IJERPH, dos cumplen con el criterio de megajournal establecido en Repiso y Delgado-Vázquez (2023) según su producción de 2022:  Frontiers in Public Health, de Frontiers, y BMC Public Health, de BioMed Central. La Tabla 5 muestra el total de artículos publicados por cada una ellas y por IJERPH, tanto en 2022 como en el primer semestre de 2023, así como su APC durante este último. Si bien IJERPH rankea primera en ambos períodos, mientras que en 2022 triplicó la producción de Frontiers in Public Health (la segunda en el ranking), en el primer semestre de 2023 apenas si alcanzó a duplicarla. Además, en términos de APC, al desistir del aumento, la revista seguirá estando un 13,34 % por debajo del APC promedio de sus competidoras durante lo que resta del año.

Tabla 5. Top 3 de los principales megajournals competidores de IJERPH con más artículos publicados en 2022 (izquierda) y en el primer semestre de 2023 (derecha)

 

2022

1er semestre 2023

Revista

Total de artículos publicados

Total de artículos publicados

APC

IJERPH

17445

5535

2563,55

Frontiers in Public Health

5275

2730

3621,12

BMC Public Health

2459

1288

2690

         

 

Nota.     Elaboración propia en base a datos extraídos de las páginas web de las revistas y https://app.scilit.net/rankings/journals

               APC: article processing charge

IJERPH: International Journal of Environmental Research and Public Health

Conclusiones

En general, los autores buscan publicar sus artículos en revistas de calidad, prestigiosas y de impacto. Frecuentemente, estas cualidades son asociadas con el IF. Luego, no sorprende que la mayoría de los autores de MDPI elijan revistas indexadas no solo en WoS, sino específicamente en SSCI o SCIE —hasta el 28 de junio de 2023 las únicas que tenían adjudicado un IF y, desde entonces, aún las únicas con cuartil IF asociado—, publicando dichas revistas una media de 14 veces más artículos que las que están fuera de SSCI y SCIE, aun perteneciendo a Scopus. En esta misma línea, la indexación pasa a ser un factor determinante para MDPI a la hora de establecer (y aumentar) los APCs, cobrando las revistas indexadas en SSCI o SCIE un 40 % más que las que no lo están, a pesar de estarlo en Scopus.

Si bien a solo tres meses de su expulsión de la colección principal de WoS, el 20 de marzo de 2023, es aún demasiado pronto para determinar si IJERPH correrá la misma suerte que las revistas de MDPI que están fuera de SSCI y SCIE, algunas de las consecuencias ya se han hecho visibles. Por un lado, entre marzo y junio, la revista produjo un 63,86 % menos que en el mismo período de 2022, provocando una pérdida interanual, en términos de ingresos por artículos publicados, que estimamos en más de 4,25 millones de euros en el primer semestre de 2023. De hecho, aún en las predicciones más conservadoras, las pérdidas podrían ascender a más de 10 millones en 4 meses, al comparar la producción alcanzada con la que presumimos hubiera sido de no haber ocurrido la desvinculación. Por otro lado, su APC no se incrementó como estaba previsto hacerlo —resignando, a partir del 1 de julio de 2023, 256,35 € por artículo—.

Aún en estas condiciones, en junio —su mes de menor producción desde que Clarivate comunicó su decisión— IJERPH publicó un 90 % más que la revista de MDPI fuera de SSCI y SCIE con más artículos publicados en el mismo mes. No obstante, tal producción alcanzó niveles de 2018, cuando el modelo soportado por la publicación de monográficos a gran escala que le valió su posición consolidada de los últimos años, era aún incipiente. En este escenario, la segunda revista en el ranking global de producción OA en 2022 está perdiendo terreno respecto de sus competidoras tanto internas como externas. Al término del primer semestre de 2023, su producción cayó al quinto puesto entre los principales megajournals de MDPI y pasó de triplicar a solo duplicar la producción de Frontiers in Public Health, su competidora de Frontiers. Luego, si bien su carácter de megajournal en términos de Repiso y Delgado-Vázquez (2023) aún no peligra, y la megaestructura construida en los últimos años la ha mantenido a flote fuera de la nave insignia de Clarivate, surgen nuevos interrogantes: ¿Podrá un megajournal cuyas pérdidas interanuales, en términos de ingresos por cantidad de artículos publicados, hemos estimado en más de 4 millones de euros en tan solo un semestre mantener un APC competitivo y su volumen de publicación en niveles rentables? ¿Podrá recuperarse luego de haber alcanzado niveles de producción anteriores a la publicación de monográficos a gran escala que lo consolidó como tal? Solo resta esperar.

Referencias

Binfield, P. (2014). Novel Scholarly Journal Concepts. En: Bartling, S., Friesike, S. (eds) Opening Science. Springer, Cham. https://doi.org/10.1007/978-3-319-00026-8_10

Bosworth, K. (27 de octubre de 2021). MDPI Submission Process: Your Questions Answered. https://blog.mdpi.com/2021/10/27/submission-questions-answered/

Crosetto, P. (12 de septiembre de 2021). Is MDPI a predatory publisher? Paolocrosetto. https://paolocrosetto.wordpress.com/2021/04/12/is-mdpi-a-predatory-publisher/

Hanson, M. (25 de marzo de 2023). MDPI mega-journal delisted by Clarivate / Web of Science. M.A. HANSON RESEARCH. https://mahansonresearch.weebly.com/blog/mdpi-mega-journal-delisted-by-clarivate-web-of-science

Heaney, K. (28 de junio de 2023) Unveiling the Journal Citation Reports 2023: Supporting research integrity with trusted tools and data. Clarivate. https://clarivate.com/blog/unveiling-the-journal-citation-reports-2023-supporting-research-integrity-with-trusted-tools-and-data/

Kincaid, E. (21 de marzo de 2023). Nearly 20 Hindawi journals delisted from leading index amid concerns of papermill activity. Retraction Watch. https://retractionwatch.com/2023/03/21/nearly-20-hindawi-journals-delisted-from-leading-index-amid-concerns-of-papermill-activity/

Martínez Ortega, R. M., Tuya Pendás, L. C., Martínez Ortega, M., Pérez Abreu, A. y Cánovas, A. M. (2009). El coeficiente de correlación de los rangos de Spearman caracterización. Revista Habanera de Ciencias Médicas, 8(2). http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1729-519X2009000200017&lng=es&tlng=es

Repiso, R. y Delgado-Vázquez, Á. M. (2023). FALLEN JOURNALS 2023. Implicaciones para la ciencia española de la expulsión de revistas en Web of Science [PREPRINT] https://zenodo.org/record/7787933

Quaderi, N. (26 de junio de 2022). Announcing changes to the 2023 Journal Citation Reports. Clarivate. https://clarivate.com/blog/clarivate-announces-changes-to-the-2023-journal-citation-reports-release/#_ftn1

Quaderi, N. (2023a) [7 de marzo]. Mapping the path to future changes in the Journal Citation Reports. Clarivate. https://clarivate.com/blog/mapping-the-path-to-future-changes-in-the-journal-citation-reports/

Quaderi, N. (2023b) [20 de marzo]. Supporting integrity of the scholarly record: Our commitment to curation and selectivity in the Web of Science. Clarivate. https://clarivate.com/blog/supporting-integrity-of-the-scholarly-record-our-commitment-to-curation-and-selectivity-in-the-web-of-science/

 

[1] MDPI informa sus APCs en francos suizos (CHF); aquí se convirtieron a euros usando la tasa del mercado medio.

[2] El cálculo se realizó excluyendo a las revistas que actualmente están totalmente financiadas o que eximen a los autores de pagar el APC temporalmente.

[3] A los efectos de nuestro análisis, es menester realizar el cálculo con los valores del IF y CS de 2021, ya que eran los valores vigentes cuando MDPI estableció los APCs, tanto para el primer como para el segundo semestre de 2023

Miguel Zapata Ros

Profesor Honorario en el Centro de Formación y Desarrollo Profesional de la Universidad de Murcia. Investigador en el Instituto Interuniversitario de Economía Internacional. Profesor Externo en la Universidad de Alcalá de Henares, miembro del programas de doctorado en Ingeniería de la Información y del Conocimiento, distinguido con Mención hacia la Excelencia por el Ministerio de Educación (Referencia: MEE2011-0159). Editor de RED, Revista de Educación a Distancia y de Docencia Universitaria. Miembro de INTCODE, agencia consultiva de ONU sobre educación a distancia, y representante en la sede de New York. Doctor en Ingeniería Informática.

More Posts - Website

Follow Me:
TwitterFacebookLinkedInGoogle Plus

Inteligencia artificial generativa y aprendizaje inteligente

Free photo robot teacher in classroomMiguel Zapata-Ros, Universidad de Murcia. Murcia. España. mzapata@um.es
Artículo publicado inicialmente en EdArxiv con DOI: 10.35542/osf.io/86ykm

 

Una modalidad de inteligencia artificial (IA) se ha impuesto y avanza rápidamente. Otra como es la basada en la programación declarativa y en la programación lógica cayó hace mucho en desuso. No sabemos por qué entre las dos formas posibles de simular un cerebro humano, como las que expresa por Noam Chomsky (2023) en el párrafo siguiente, se ha elegido la primera: 

La mente humana no es, como ChatGPT y sus similares, un pesado motor estadístico para la coincidencia de patrones, que se atiborra de cientos de terabytes de datos y extrapola la respuesta conversacional más probable o la respuesta más probable a una pregunta científica. Por el contrario, la mente humana es un sistema sorprendentemente eficiente y hasta elegante que opera con pequeñas cantidades de información; no busca inferir correlaciones brutas entre puntos de datos, sino crear explicaciones.

Por ejemplo, un niño pequeño que adquiere un idioma está desarrollando —inconsciente, automática y rápidamente a partir de datos minúsculos— una gramática, un sistema extraordinariamente sofisticado de principios y parámetros lógicos[1].

Pero ésa ha sido la elección y tras décadas de investigación y de desarrollos, ahora se ha decidido por parte de Open AI, y después por otras empresas, que este tipo de IA pase de los laboratorios a la aplicación práctica en la sociedad. No sabemos si ha sido efecto de una potente y bien financiada campaña o porque la sociedad lo ha aceptado así, pero el hecho es que se ha producido un colosal despliegue de la IA generativa. 

La educación no ha sido indiferente a esa aceptación ni a ese despliegue. 

En esta situación, la educación, hasta donde se ha dicho (Dawson, S., Joksimovic, S., Mills, C., Gašević, D., & Siemens, G., 2023), se enfrenta a dos posibles resultados. 

En primer lugar, los que se derivan de que la IA tiene el potencial de revolucionar los métodos de enseñanza, la evaluación y la ayuda al alumno, existentes. De lo primero y lo segundo hablaremos después

En segundo lugar, según estos mismos autores y lo que parece ser un sentir común, la IA también tiene la capacidad de crear un sistema educativo completamente nuevo. Y se cita como justificación que el pensamiento creativo y la resolución de problemas son fundamentales en entornos modernos y muy complejos. Y esta IA podría ayudar a los alumnos a enfrentarse a esos problemas.

Estas tres cuestiones ya por sí solas plantean tres desafíos y otros tantos ejes de posibles para investigaciones y su difusión en interesantes artículos.

Esto en sentido positivo, pero hay otras cuestiones que pueden ser planteadas en sentido negativo o como interrogantes:

Cuáles son los impactos que se producen cuando la IA comienza a servir como un socio (¿cabría decir “servir como socio”, o más bien “ser socio” o, por el contrario, “servir como herramienta”?) activo en acciones sociales, creativas e intelectuales sostenidas, no sólo puntuales o como repuesta a preguntas aisladas. Ahora esos impactos en las prácticas que puedan existir son desconocidos. Ya hemos dicho que indagar esas prácticas también puede ser objeto de investigación.

Otras son preguntas que se abren sobre cómo del impacto de una dependencia excesiva, en los sistemas de IA en la educación, se podría derivar una disminución de muchos de los rasgos que nos hacen humanos. En este caso, que contribuirían a una formación “humana” de los alumnos.

Entre esos rasgos se incluyen, pensando a bote pronto, la autorregulación, la metacognición, la orientación a objetivos, la planificación, las tormentas de ideas creativas y una variedad de habilidades que podrían verse afectadas negativamente por la automatización o la toma de control de las máquinas.

Paradójicamente estos rasgos, a más de ser humanos, son constitutivos de lo que se ha llamado pensamiento computacional (Zapata-Ros, 2015 y 2022) (Grover, 2018) (Wing, 2006 y 2008), de manera que un uso no controlado podría derivar en una nula o una mala adquisición de ese tipo de pensamiento que hoy se considera constitutivo de una nueva alfabetización en la sociedad digital (Zapata-Ros, 2015 y 2022)

En particular para la metacognición, la autorregulación y retroalimentación podemos citar:

Hilpert et al. (2023) abordan la necesidad de participación en el aprendizaje de STEM, con una mayor necesidad de autorregulación de los estudiantes. Se basan en una extensa historia de la ciencia de la investigación del aprendizaje que utiliza datos de seguimiento digital para crear construcciones cognitivas que brindan información sobre el compromiso, las redes sociales, la comunidad y la metacognición. En este documento, detallan la importancia de la regularidad de la participación como un fuerte predictor del resultado del curso y los efectos del uso de una intervención de la ciencia de aprender a aprender para fomentar el SRL de los estudiantes y la participación continua. Sus resultados sugieren efectos prometedores y sostenidos de este entrenamiento, lo que plantea la necesidad de considerar enfoques teóricos que integren las observaciones del comportamiento con las construcciones cognitivas en la educación digital.

 Bauer et al. (2023) abordan un área crítica de aprendizaje relacionada con la retroalimentación. La retroalimentación es fundamental para guiar el progreso de los estudiantes y los enfoques tradicionales se basan principalmente en la observación humana.

 Sin embargo, el mismo autor, señala un posible progreso del que después hablaremos, cuando lo hagamos de aprendizaje inteligente como aprendizaje inclusivo:

Con el desarrollo de grandes modelos de lenguaje y el procesamiento del lenguaje natural en general, existen nuevas oportunidades para ofrecer retroalimentación a los estudiantes. Detallan cómo los artefactos textuales pueden mejorarse con la retroalimentación de la IA. Ofrecen un marco para conectar los procesos de retroalimentación con el apoyo estudiantil adaptativo. A medida que el aprendizaje digital crece en importancia en los entornos educativos, la inclusión de artefactos más diversos y multimodales requerirá una actualización similar de la teoría y las construcciones para garantizar la retroalimentación como motor del éxito general de los estudiantes.

 

Una pedagogía y una teoría del aprendizaje de la IA

Para abordar estas preguntas, y en general la necesidad de un despliegue efectivo de los sistemas de IA en la educación, es preciso hacerlo desde un punto de vista teórico, más allá de los resultados que sobre las interrogantes señaladas nos proporcione la investigación empírica. Un punto de vista teórico que no guíe y dirija en nuevas rondas, tanto en la investigación como la práctica.

Ese marco nos proporcionará los asideros y las andaderas para garantizar que los principios, los valores y las construcciones confiables configuren el uso de la IA en la educación. De esta forma nos aseguramos de que los valores, la investigación realizadas hasta ese momento, los intereses y preocupaciones de las partes interesadas y las contribuciones que se vayan haciendo sigan integrándose de forma cohesionada en el escenario de la IA en la educación.

Al menos como deseo y horizonte.

Como consecuencia, en futuras iniciativa, como la convocatoria de número especial y en la sección editorial que posiblemente se cree en la revista RED, defenderemos la importancia crítica de la teoría en el diseño, desarrollo y despliegue de la IA en la educación. Al hacerlo, nos planteamos de forma crítica la relevancia y la continuidad de las teorías de aprendizaje ya existentes, cuando la IA se constituya como una realidad en las aulas. 

Así, desde este momento hacemos una llamada a considerar nuevos marcos, modelos y formas de pensar, a aquellos que incluyen la presencia de agentes no humanos. Es decir, a los que incluyan una nueva tecnología, que se parece más a un socio activo que a una tecnología simple, como sucedía hasta ahora, incluso con la tecnología digital, que respondía más a interrogantes lógicas simples que a un agente con capacidad para tomar decisiones intermedias sin intervención humana, del alumno o del profesor. En ese sentido cabe ahora hablar de un trinomio, más que de un binomio, el formado por el profesor, el alumno y la IA generativa.

Es precisamente eso lo que genera también una serie de preguntas importantes para considerar en elaboraciones teóricas futuras, precisamente sobre la revisión de las teorías de aprendizaje basadas en las configuraciones existentes. Y cuáles serían en este caso sus alternativas.

Ya hemos señalado que el uso de la teoría en la investigación educativa constituye la lente, el filtro, a través del que vemos y explicamos lo que observamos (Biesta et al.,  2011). 
¿Pero es útil la lente que tenemos hora?

Las teorías existentes se establecieron y se derivaron de un contexto educativo distinto al de los enfoques de enseñanza más modernos y los sistemas técnicamente establecidos. Es de prever más aún que a medida que la adopción de la IA impacte en la enseñanza y el aprendizaje, se produzcan dudas acerca de la idoneidad en continuar con las teorías de aprendizaje existentes. 

Sin embargo, como hemos dicho, la integración del desarrollo e implementación de sistemas educativos basados ​​en IA en marcos teóricos adecuados es esencial para avanzar y lograr resultados de aprendizaje óptimos. En base a estas ideas, planteamos las siguientes interrogantes:

  • ¿La integración de la IA en la educación requiere modificaciones o revisiones en la forma en que aprendemos? 
  • ¿O, por el contrario, se requiere una reestructuración completa, lo que conlleva la necesidad de nuevas teorías? 
  • ¿Qué debería ofrecer la teoría a los educadores cuando se incluye la IA? 

Con relación al modo en que se persiguen y abordan estas cuestiones, nos planteamos:

En los programas LLM, la facilidad de acceso a los contenidos y la capacidad de producirlos, ¿disminuyen la importancia del conocimiento declarativo? 

Se ha hablado mucho hasta ahora del constructivismo social vinculado al aprendizaje apoyado por las tecnologías digitales y sociales. De hecho, es el paradigma imperante durante mucho tiempo, con el que todos se sentían satisfechos, incluso impulsaba reformas de gran calado como fue la reforma de Bolonia en la Educación Superior europea. Pues bien, del mismo modo nos podríamos plantear si ¿los puntos de vista existentes sobre el constructivismo social avalan la IA como un agente social en el aprendizaje? 

También podríamos hacer incursiones microteóricas. Como, por ejemplo, plantearnos si los corpus teórico-prácticos existentes sirven suficientemente, o son los adecuados, para la inclusión de la IA en las aulas o es necesario actualizarlos o incluso repensarlos por completo.

 

El aprendizaje inteligente

Todo esto podría servir para orientar el debate y la investigación en torno a la nueva visión que se abre con la IA generativa. Pero hay unos planteamientos anteriores que ya hemos citado y que no conviene olvidar: Es la consideración del llamado aprendizaje inteligente (Zapata-Ros, 2018) (Hwang et al, 2008) como una fase superior del aprendizaje adaptativo.

El constructo de “entornos de aprendizaje inteligente” pueden considerarse,  a  partir  de  la  definición  de  Hwang  et  al  (2008),  como el de “entornos  de  aprendizaje apoyados  por  la  tecnología  que  realizan  adaptaciones  y  brindan  el  soporte  adecuado  con  la tecnología  de  detección  y  de  recomendación”  (por  ejemplo,  orientación,  retroalimentación, consejos  o  herramientas a utilizar)  en  los  lugares  adecuados  y  en  el  momento  oportuno,  según  las necesidades   individuales   de   cada alumno,   determinados mediante   el   análisis   de   sus comportamientos de aprendizaje, su trayectoria de rendimiento y los contextos en línea y del mundo  real  en  los  que  se  encuentran, tanto  grupales  y  sociales  como  compuesto  por  los recursos de que se provee o a los que accede, descarga, lee o elabora.

Y aprendizaje inteligente podría considerarse consecuentemente (Zapata-Ros, 2018) como aquél aprendizaje que pueden desencadenar y producir los sistemas de aprendizaje inteligente, y que se puede entender de forma diferenciada por las funciones y efectos que no se pueden realizar en ambientes  de  aprendizaje  adaptativo  y  de  aprendizaje contextualizado, pero sin excluirlas. El aprendizaje social y el aprendizaje colaborativo de esta forma se puede entender como una subcategoría del aprendizaje contextualizado.

Resumiendo, se puede decir pues que el aprendizaje inteligente es el aprendizaje adaptativo y contextualizado con mecanismos de detección, de respuesta y de recomendación.

Entonces (Zapata-Ros, 2018) se planteaba

La presencia y el avance de las tecnologías de detección y de recomendación están ofreciendo grandes y determinantes oportunidades para desarrollar nuevos     entornos de aprendizaje. Definitivamente   el   aprendizaje   inteligente   es   un   concepto   extremadamente innovador, como en  otros  ámbitos,  para  desarrollar  visiones  y  planteamientos  distintos.  En este caso para  crear  entornos  de  aprendizaje  más  potentes  y  útiles  que  los enfoques  de aprendizaje  ayudados  por  la  tecnología  ya  existentes,  mediante  la  incorporación  de  nuevas herramientas y nuevos criterios para el aprendizaje

La cuestión ahora sería: Aquello que se abrió como un desarrollo del aprendizaje adaptativo, y cuyas primeras y muy contadas experiencias en relación con la Educación Superior se vieron en el artículo citado (Zapata-Ros, 2018), cuál es su estado ahora, qué experiencias y qué conclusiones se han obtenido de las investigaciones en esta línea, no sólo en la Educación Superior, si es que las ha habido, y finalmente cuál es su estado y cuáles son sus perspectivas en relación con la IA de nuevo cuño, la de los sistemas generativos.

 

La IA generativa, los LLM, el diseño instruccional, la evaluación educativa y el principio de demostración. La evaluación formativa. –

El principio que fundamenta la evaluación es el principio de demostración. Y es el que debiéramos tener presente en todo momento en que hablásemos de ella. Simplificando consiste en que el alumno ha de aportar evidencias de su aprendizaje, en un sentido pedagógico, es decir ha de demostrar que comprende que atribuye sentido, que aplica las habilidades conseguidas de forma autónoma y las transfiere a contextos distintos.

Para entender esta cuestión en un contexto como el que se nos abre, deberíamos tener en cuenta que los principios de la instrucción están enunciados en forma de criterios que ha de cumplir la enseñanza para que el aprendizaje sea eficiente, de calidad. Hemos de recordar que la evaluación forma parte de la instrucción. En el trabajo de Merrill (2002a, 2002b, 2009) se dan las condiciones y los criterios para que se dé la demostración. Allí se enuncia el principio de demostración

El aprendizaje se promueve cuando la instrucción demuestra lo que se debe aprender en lugar de simplemente decir información sobre lo que se debe aprender.

Así la demostración es un factor de consistencia: El aprendizaje se pr omueve cuando la demostración es coherente con el objetivo de aprendizaje, con:

(a) ejemplos y contraejemplos de conceptos,

(b) demostraciones para procedimientos,

(c) visualización (evidenciar visualmente) para los procesos, y

(d) el modelado (presentación de modelos) para adquisición de valores y conductas

Podríamos plantearnos si alguna o ninguna de estas exigencias de la demostración se cumplen con el ChatGPT o el propio ChatGPT las demuestra. Lo que sí está claro, cuando la prueba de la demostración recae sobre un proyecto o ensayo, es que presentar un informe o un proyecto, por sí mismo no demuestra nada.

Es importante para ello recordar el trabajo de Gao et al (2022) en el que se concluye que, sin más elementos de conocimiento que la lectura, es imposible discernir lo que está escrito por un humano y lo que está redactado por ChatGPT. ES imposible incluso con resultados no determinantes cuando el juicio está emitido por los expertos más eficientes.

La repercusión del diseño instruccional en la evaluación tiene otro punto clave: La cuestión inmaterial, pero entorno a la cual gira la docencia, nos referimos a la entrega de ayuda y de contenidos cuando el alumno esté receptivo y los perciba como útiles. Lo cual estriba en distribuir a través de guías y de secuenciaciones los logros parciales y evaluar en cada uno su consecución, y únicamente entonces proseguir. En esto juega un papel central el diseño y sobre todo, si finalmente lo hay, el papel de los Teaching Assistant (TA).

Por último, se trata también de una cuestión de confianza. En la educación de estándares, a la que estamos acostumbrados, los proyectos (trabajos, TFG, TFM,…) y los exámenes se han establecido como medidas iguales para todos (estándares), cuya superación acredita al alumno para obtener el aprobado del curso, de la asignatura o la titulación para el grado o el máster. En ese marco existe el peligro de que el alumno o el candidato utilice el ChatGPT para redactar los ensayos.

Esta dinámica permite trasladar la eficiencia en el aprendizaje al escrutinio de las pruebas y de sus resultados por alumnos, padres, familias e inspección, donde además con esa supuesta objetividad los docentes se sienten seguros, aunque por contrapartida lo que se hace es sembrar la semilla de la desconfianza, de que no haya equidad en el proceso o de que haya trampa. Esto es un caldo abonado para la industria del fraude y la del ChatGPT como impostor del alumno para demostrar capacidades y aprendizajes en general.

Este hecho viene a confirmar algo que planteamos desde hace tiempo, la necesidad de una nueva educación, la basada en logros personales. En ese marco el entorno social del alumno debe depositar la confianza en el modelo, personalizado a través de sistemas que como el de Mastery learnig otorgue en los maestros la confianza en valorar que se alcanza el dominio en el aprendizaje, de confiar en el maestro y en su expertise docente, de igual forma como la deposita el paciente en el médico, en su capacidad de diagnóstico y de decidir un tratamiento adecuado.

Pero también de encontrar o de recuperar métodos y teorías que centran la demostración en procesos de interacción directa profesor-evaluador y alumno. Sintetizando se trata de métodos de evaluación formativa.

Recordemos qué es la evaluación formativa, para Cowie & Bell (1999) es “el proceso utilizado por profesores y estudiantes para reconocer y dar respuesta al proceso de aprendizaje de los estudiantes con el fin de mejorar ese aprendizaje durante el aprendizaje”.

Para Black & Wiliam (1998a, p. 2), la “evaluación se refiere a todas aquellas actividades realizadas por los profesores, y por los estudiantes en la autoevaluación, que proporcionan información que se utilizará como retroalimentación para modificar las actividades de enseñanza y aprendizaje en las que participan. Dicha evaluación se convierte en “evaluación formativa” cuando la evidencia obtenida se utiliza en la práctica docente para adaptar la enseñanza a las necesidades detectadas.”

Pero quizá la más completa es la definición que hacen Black y Wiliam (1998a y b y 2009) y la definición del Grupo de Reforma de la Evaluación (ARG, 2002): “La práctica en el aula es formativa en la medida en que la evidencia sobre el rendimiento del estudiante sea suscitada, interpretada y utilizada por los profesores, los alumnos o sus compañeros, para tomar decisiones sobre los próximos pasos en la instrucción. Próximos pasos que probablemente sean mejores, o mejor fundamentados, que las decisiones que se tomarían se han tomado en ausencia de la evidencia que de esa forma se ha obtenido.”

Resumiendo, podríamos decir que la evaluación formativa o de proceso se exige para entender no sólo si un alumno ha conseguido aprendizaje o no, sino por qué. Comprender las razones para el éxito o para el fracaso depende de la profundidad del conocimiento que existe de lo que se ha hecho o se está haciendo, y también de la relación apropiada entre el uso de la tecnología, las actividades que se han hecho con ella y el área de conocimiento. Entendiendo como tal la metodología docente para el área (las ideas pedagógicas) y los conocimientos propios de la materia.

Otra línea de contribuciones sería pues analizar y desarrollar las aportaciones de estas construcciones, fundamentalmente de la evaluación formativa, en el contexto creado por los LLM y el ChatGPT.

Con todo lo dicho se abre un espacio pues a posibles trabajos que esencialmente incluyan investigaciones empíricas y/o el desarrollo y prueba de una o más tecnologías en relación con los LLM generativos, estudios de casos o desarrollos teóricos sobre aprendizaje con IA, ChatGPT y sistemas transformadores LLM y Educación. Y también a desarrollos y experiencias sobre aprendizaje inteligente y evaluación formativa en contextos ChatGPT.

Autoreferencia
Zapata-Ros, M. (2023, June 27). Inteligencia artificial generativa y aprendizaje inteligente. https://doi.org/10.35542/osf.io/86ykm

 

Referencias

ARG (2002) Assessment for Learning: 10 principles. Available on the Assessment Reform Group web-site : www.assessment-reform-group.org.uk

Bauer, E. , Greisel, M. , Kuznetsov, I. , Berndt, M. , Kollar, I. , Dresel, M. , Fischer, MR y Fischer, F. ( 2023 ). Uso del procesamiento del lenguaje natural para respaldar la retroalimentación entre pares en la era de la inteligencia artificial: un marco interdisciplinario y una agenda de investigación. Revista británica de tecnología educativahttps://doi.org/10.1111/bjet.13336

Biesta, G., Allan, J., & Edwards, R. (2011). The theory question in research capacity building in education: Towards an agenda for research and practice. British Journal of Educational Studies, 59(3), 225– 239.

Black, P., & Wiliam, D. (1998a). Assessment and classroom learning. Assessment in Education, 5, 7-74.

Black, P., & Wiliam,D. (1998b). Inside the black box: Raising standards through classroom assessment. Phi Delta Kappan80, 139-149.

Black, P., & Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability (formerly: Journal of Personnel Evaluation in Education)21(1), 5-31. https://kclpure.kcl.ac.uk/portal/files/9119063/Black2009_Developing_the_theory_of_formative_assessment.pdf y https://link.springer.com/article/10.1007/s11092-008-9068-5

Chomsky, N., Roberts, I., & Watumull, J. (2023). Noam Chomsky: The False Promise of ChatGPT. The New York Times8.

Dawson, S., Joksimovic, S., Mills, C., Gašević, D., & Siemens, G. (2023) Advancing theory in the age of artificial intelligence. British Journal of Educational Technology.

Gao, CA et al. (2022) Preimpresión en bioRxiv https://doi.org/10.1101/2022.12.23.521610

Grover, S. (2018, March 13). The 5th ‘C’ of 21st century skills? Try computational thinking (not coding. Retrieved from EdSurge News: https://edtechbooks.org/-Pz

Hilpert, JC , Greene, J. y Bernacki, M. ( 2023 ). Aprovechar los marcos de complejidad para refinar las teorías del compromiso y promover el aprendizaje autorregulado en la era de la inteligencia artificial . Revista británica de tecnología educativa . https://doi.org/10.1111/bjet.13340

Merrill, M. D. (2002a). First principles of instruction. Educational technology research and development50(3), 43-59. http://csapoer.pbworks.com/f/First+Principles+of+Instruction+(Merrill,+2002).pdf

Merrill, M. D. (2012). First principles of instruction. John Wiley & Sons.

Merrill, M. D. (1991). Constructivism and instructional design. Educational technology31(5), 45-53.

Merrill, M. D. (2002b). First principles of instruction. Educational Technology Research and Development, 50(3), 43-59.  Instructional-Design Theories and Models, Volume III: Building a Common Knowledge Base.

Merrill, M. D. (2009). First Principles of Instruction. In C. M. Reigeluth & A. Carr (Eds.), Instructional Design Theories and Models: Building a Common Knowledge Base (Vol. III). New York: Routledge Publishers.

Wing, J.M. (2006) Computational thinking. it represents a universally applicable attitude and skill set everyone, not just computer scientists, would be eager to learn and use. Commun. ACM 49(3).  https://doi.org/10.1109/vlhcc.2011.6070404

Wing, J.M. (July 2008) Computational thinking and thinking about computing.  The Royal Society Publishinghttps://doi.org/10.1098/rsta.2008.0118 https://royalsocietypublishing.org/doi/10.1098/rsta.2008.0118 https://royalsocietypublishing.org/doi/pdf/10.1098/rsta.2008.0118

Zapata-Ros, M. (2015). Pensamiento computacional: Una nueva alfabetización digital. Revista de Educación a Distancia (RED), (46). https://revistas.um.es/red/article/view/240321/183001

Zapata-Ros, M. (2018). La universidad inteligente. RED. Revista de Educación a Distancia, 57(10). http://www.um.es/ead/red/57/zapata2.pdf   http://dx.doi.org/10.6018/red/57/10

Zapata-Ros, M. (2022) El pensamiento computacional, la competencia clave en una nueva alfabetización. New York: Create Space Independent Publishing.

 

[1] The human mind is not, like ChatGPT and its ilk, a lumbering statistical engine for pattern matching, gorging on hundreds of terabytes of data and extrapolating the most likely conversational response or most probable answer to a scientific question. On the contrary, the human mind is a surprisingly efficient and even elegant system that operates with small amounts of information; it seeks not to infer brute correlations among data points but to create explanations.For instance, a young child acquiring a language is developing — unconsciously, automatically and speedily from minuscule data — a grammar, a stupendously sophisticated system of logical principles and parameters.

Miguel Zapata Ros

Profesor Honorario en el Centro de Formación y Desarrollo Profesional de la Universidad de Murcia. Investigador en el Instituto Interuniversitario de Economía Internacional. Profesor Externo en la Universidad de Alcalá de Henares, miembro del programas de doctorado en Ingeniería de la Información y del Conocimiento, distinguido con Mención hacia la Excelencia por el Ministerio de Educación (Referencia: MEE2011-0159). Editor de RED, Revista de Educación a Distancia y de Docencia Universitaria. Miembro de INTCODE, agencia consultiva de ONU sobre educación a distancia, y representante en la sede de New York. Doctor en Ingeniería Informática.

More Posts - Website

Follow Me:
TwitterFacebookLinkedInGoogle Plus

El Journal Citation Index (JCI) y la extensión del cálculo del Impact Factor (IF) a toda la colección principal de Web of Science (WoS): ¿hacia una mayor transparencia en la difusión de la calidad científica?

Marianela Parodi 

Ph.D. in Electronic Engineering

National University of Rosario: Rosario, Santa Fe, AR

 

 

 

Introducción

De acuerdo con Clarivate (2023), la colección principal de Web of Science (WoS), la WoS Core Collection, es el resultado de un constante proceso de curación llevado a cabo para asegurar que cada revista esté en la colección adecuada. Basado en tres pilares fundamentales: objetividad, selectividad y dinámica, Clarivate evalúa 24 criterios de calidad y cuatro criterios de impacto de las revistas. Aquellas que cumplen con los primeros son indexadas en Emerging Sources Citation Index (ESCI), mientras que las que, además, cumplen con los segundos son indexadas en lo que Clarivate denomina su “barco insignia”: Science Citation Index Expanded (SCIE), Social Sciences Citation Index (SSCI) y Arts & Humanities Citation Index (AHCI), según corresponda.

Hasta 2020, solo las revistas incluidas en SCIE y SSCI recibían un Impact Factor (IF) y eran incluidas en el Journal Citation Report (JCR). En 2021, Clarivate incorporó el cálculo del Journal Citation Index (JCI), un índice de citación normalizado que, de acuerdo con Martin Szomszor —Director del Instituto de Información Científica de Clarivate—, fue diseñado para complementar al IF (Martin Szomszor, 2021). No obstante, su creación supuso mucho más que eso. Por un lado, después de 40 años de exclusividad del IF —ampliamente criticado por su opacidad y relativamente fácil manipulación (Paulus et al., 2018; Larivière y Sugimoto, 2019)—, el JCI, calculado en base al Category Normalized Citation Impact (CNCI) (cuyo cálculo está públicamente accesible en http://help.prod-incites.com/inCites2Live/indicatorsGroup/aboutHandbook/usingCitationIndicatorsWisely/normalizedCitationImpact.html), supuso un paso hacia una mayor transparencia. Por el otro lado, por primera vez las revistas indexadas en ESCI y AHCI se incluyeron en los JCRs, suponiendo un reconocimiento de su calidad en términos de los altos estándares evaluados por Clarivate, otorgándoles mayor visibilidad y permitiéndoles compararse con “fuentes de publicaciones científicas [revistas/actas de conferencia/libros] más consolidadas [las pertenecientes a SCIE y SSCI]” (Martin Szomszor, 2021). Esto último es lo que haremos en este artículo, poniendo de manifiesto que revistas que están indexadas en SSCI son superadas en términos de un índice normalizado por categoría como el JCI por revistas que no lo están, siendo, incluso, algunas de las primeras, citadas por debajo de la media esperada de la categoría. A su vez, discutiremos las posibles implicancias de lo observado y de la extensión —a partir de junio de 2023— del cálculo del IF a todas las revistas de la colección principal de WoS en su curaduría. En particular, abordaremos el caso de las revistas españolas de educación.

Revistas indexadas en Social Sciences Citation Index (SSCI) vs. revistas indexadas en Emerging Sources Citation Index (ESCI): ¿qué nos muestra el Journal Citation Index (JCI)?

De acuerdo con la Master Journal List de Clarivate (https://mjl.clarivate.com/home), de las 75 revistas españolas incluidas en el JCR en la categoría “Educación e Investigación Educativa”, 10 están indexadas en SSCI, a las que se les computa el IF, mientras que 65 están indexadas en ESCI, a las que (hasta 2022) solo se les computaba el JCI. La Tabla 1 muestra el ranking de las 10 revistas indexadas en SSCI en términos de su IF.

Tabla 1. Ranking de las 10 revistas españolas de educación indexadas en Social Sciences Citation Index (SSCI) según su Impact Factor (IF)

 

Revista

IF 2021*

JCI 2021**

1

INTERNATIONAL JOURNAL OF EDUCATIONAL TECHNOLOGY IN HIGHER EDUCATION

7.611

3.25

2

COMUNICAR

5.725

2.94

3

REVISTA DE PSICODIDACTICA

3.775

1.84

4

EDUCACIÓN XX1

3.077

1.99

5

RIED-REVISTA IBEROAMERICANA DE EDUCACION A DISTANCIA

2.689

1.65

6

PSICOLOGIA EDUCATIVA

1.632

0.58

7

REVISTA ESPAÑOLA DE PEDAGOGIA

1.417

0.89

8

ENSEÑANZA DE LAS CIENCIAS

1.217

0.63

9

REVISTA DE EDUCACION

1.217

0.35

10

PORTA LINGUARUM

0.792

0.79

*Datos extraídos de las páginas web de las revistas.

**Datos extraídos de la Master Journal List de Web of Science (WoS).

Nota. JCI: Journal Citation Index

Ahora bien, si ordenamos esas mismas revistas según el JCI, obtenemos lo que se muestra en la Tabla 2.

Tabla 2. Ranking de las 10 revistas españolas indexadas en Social Sciences Citation Index (SSCI) según su Journal Citation Index (JCI)

 

Revista

IF 2021*

JCI 2021**

1

INTERNATIONAL JOURNAL OF EDUCATIONAL TECHNOLOGY IN HIGHER EDUCATION

7.611

3.25

2

COMUNICAR

5.725

2.94

3

EDUCACIÓN XX1

3.077

1.99

4

REVISTA DE PSICODIDACTICA

3.775

1.84

5

RIED-REVISTA IBEROAMERICANA DE EDUCACION A DISTANCIA

2.689

1.65

6

REVISTA ESPAÑOLA DE PEDAGOGIA

1.417

0.89

7

PORTA LINGUARUM

0.792

0.79

8

ENSEÑANZA DE LAS CIENCIAS

1.217

0.63

9

PSICOLOGIA EDUCATIVA

1.632

0.58

10

REVISTA DE EDUCACION

1.217

0.35

*Datos extraídos de las páginas web de las revistas.

**Datos extraídos de la Master Journal List de Web of Science (WoS).

Nota. IF: Impact Factor

En primer lugar, vemos que el orden de las revistas en la Tabla 1 y la Tabla 2 se ha modificado. Por ejemplo, dentro del “top 5”, el orden de Educación XX1 y Revista de Psicodidáctica se invierte. Esto, probablemente, no revista mayor relevancia, ya que tanto el IF como el JCI de ambas revistas son similares, con lo que es posible que un pequeño cambio en el número de citas o publicaciones haga que una esté por encima de la otra o viceversa.

Sí resulta destacable, sin embargo, el caso de la revista Porta Linguarum, que del décimo puesto en el ranking según el IF escala hasta el séptimo cuando las revistas se ordenan según el JCI. Aquí podemos hacer dos observaciones. En primer lugar, para esta revista, el IF y el JCI no presentan, al menos para el año 2021, una fuerte correspondencia. Por otra parte, aunque en términos de impacto (IF), Porta Linguarum está por debajo de las otras nueve revistas de su especialidad indexadas en SSCI, recibe más citas respecto de la media esperada para la categoría (JCI) que tres de ellas.

Si bien la falta de acceso al algoritmo de cálculo del IF no nos permite determinar las causas exactas de tal discrepancia, podemos, de manera simplificada, analizar los fundamentos del cálculo de cada uno de los indicadores involucrados. Por un lado, las ventanas de cálculo del IF y el JCI son distintas. Mientras el IF recoge citas durante el año actual a las publicaciones de los dos años anteriores, el JCI recoge citas durante cuatro años (el actual y los tres anteriores) a las publicaciones de los tres años anteriores. Este análisis favorece a consolidar la posición adquirida por el JCI, ya que es un índice más estable que el IF. Por el otro lado, mientras el cálculo del JCI está basado en la cantidad de citas por artículo —teniendo en cuenta todo tipo de documentos (citables y no citables)—, en el cálculo del IF intervienen otras variables, ya que el numerador considera todo tipo de documentos (Hubbard y Mcveigh, 2011), pero el denominador solo tiene en cuenta artículos citables: artículos de revistas, artículos publicados en actas de conferencia y revisiones (Mcveigh y Mann, 2009). He en la conformación de este último el principal componente asociado al impacto del IF. En particular, si una revista publica muy pocos artículos no citables, tales como editoriales, reportes, etc., o directamente no cuenta con ellos, su IF será mayor que el de una revista con igual cantidad de citas pero con mayor cantidad de artículos no citables. De igual manera ocurre con una revista que publica muy pocos artículos que no consiguen citas, es decir, que la gran mayoría de sus artículos acumulan citas. En cualquiera de estos casos, una revista como Porta Linguarum puede recibir más citas que otras (Enseñanza de las Ciencias, Psicología Educativa y Revista de Educación), pero tener un IF mucho menor.

Finalmente, si bien el criterio para incluir revistas en SSCI es el impacto (como paso posterior al aseguramiento de la calidad), el indicador principal de tal impacto es la cantidad de citas recibidas (Clarivate, 2023), por lo que resulta llamativo que, de acuerdo con la Tabla 2, la mitad de las revistas indexadas en esa colección sean citadas por debajo de la media esperada para su categoría (JCI < 1). En este escenario, nos proponemos comparar el nivel de citación de las revistas indexadas en SSCI y las indexadas en ESCI.

La Tabla 3 muestra el ranking según el JCI de las 65 revistas españolas de educación que no están indexadas en SSCI, junto con las 10 que sí lo están. En primer lugar, vemos que 27 revistas pertenecientes a ESCI (resaltadas en amarillo en la Tabla 3) tienen su JCI en el rango expandido por el JCI de las revistas indexadas en SSCI (JCISSCI = [0.35, 3.25]). Luego, las 10 revistas que forman parte del buque insignia de Clarivate, al ordenarlas según su JCI, integran ya no un top 10, sino un top 37 (ver recuadro rojo en la Tabla 3).

Al ser un índice normalizado, el JCI nos permite clasificar las revistas según sean citadas por encima (JCI > 1) o por debajo (JCI < 1) de la media esperada para la categoría. En el ranking según JCI de la Tabla 3, las principales desplazadas por las revistas indexadas en ESCI son las indexadas en SSCI con JCI < 1, las cuales corresponden al Q4 en términos del IF (Q4 [IF]), habiendo seis revistas pertenecientes a ESCI con JCI > 1. A su vez, hay 21 revistas indexadas en ESCI con JCI < 1, pero mayor al menor de los JCI correspondientes a una revista con IF (JCI = 0.35).

Dentro del top 11 de revistas con JCI > 1, cinco pertenecen a SSCI y seis pertenecen a ESCI. Las primeras cinco se corresponden (aunque no en el mismo orden) con el top 5 de revistas ordenadas según el IF (Tabla1). Entre ellas, tres pertenecen al Q1 (IF) (International Journal of Educational Technology in Higher Education, Comunicar y Revista de Psicodidáctica) y dos al Q2 (IF) (Educación XX1 y RIED-Revista Iberoamericana de Educación a Distancia). Sin embargo, entre las cinco revistas del Q1 (IF) y el Q2 (IF), se “cuelan” el Journal of New Approaches in Educational Research, la revista Education in the Knowledge Society y la revista Campus Virtuales. En otras palabras, estas tres revistas pertenecientes a ESCI reciben más citas que las dos revistas en Q2 (IF) indexadas en SSCI. Más aún, una de ellas, el Journal of New Approaches in Educational Research, ha obtenido, en 2021, más citas que una de las revistas de Q1 (IF).

Revistas indexadas en Social Sciences Citation Index (SSCI) vs. revistas indexadas en Emerging Sources Citation Index (ESCI): ¿cada una en su lugar?

Hasta 2021, Clarivate reevaluaba las revistas pertenecientes a ESCI que tuvieran un IF estimado (no se les calculaba explícitamente) que los ubicara en Q1 (IF) o Q2 (IF) en el ranking correspondiente a su categoría (Clarivate, 2023). Si bien los cuartiles son asignados conforme al total de las revistas de la categoría (de las que las revistas españolas son solo un subconjunto), y el cálculo del IF no solo se basa en el nivel de citación (Hubbard y Mcveigh, 2011; Mcveigh y Mann, 2009), el hecho de que tres revistas pertenecientes a ESCI (Journal of New Approaches in Educational Research, Education in the Knowledge Society y Campus Virtuales) estén ubicadas por encima de las revistas Q2 (IF) pertenecientes a SSCI en términos de citación, las señala como posibles candidatas a, de estimarse el IF, ocupar alguno de los dos primeros cuartiles. En especial, el Journal of New Approaches in Educational Research, cuya citación supera en un 50 % a la última revista perteneciente a SSCI en Q2 (IF) (RIED-Revista Iberoamericana de Educación a Distancia).

Lamentablemente, Clarivate no realizó reevaluaciones en 2022 ni lo hará en 2023, ya que su actual prioridad es la evaluación de la calidad de sus revistas no de su impacto (Clarivate, 2023). Por un lado, estará enfocado en la evaluación de nuevas revistas para su admisión en ESCI, es decir, en ampliar la base de datos de WoS. Por el otro, trabajará para eliminar las revistas que ya no cumplan con los estándares de calidad. En este aspecto, es de público conocimiento la desvinculación que tuvo lugar en marzo de 2023 de más de 50 revistas de la WoS, mientras que alrededor de 500 más están “bajo la lupa” (Quaderi, 2023).

En este escenario, las posibilidades de las revistas actualmente indexadas en ESCI —aún en las condiciones favorables que se han destacado aquí para (al menos) tres revistas españolas de educación— de ser reevaluadas y reasignadas a SSCI, queda pendiente. Sin embargo, cuando en junio de 2023 se publique el JCR 2022, todas las revistas, inclusive las pertenecientes a ESCI y AHCI, tendrán calculado su IF.

De acuerdo con Quaderi (2022), el cálculo del IF de las revistas indexadas en ESCI y AHCI —cuya calidad ya ha sido comprobada— otorgará mayor visibilidad a aquellos artículos publicados en tales revistas que contribuyen al impacto, ayudándolos a demostrar su valor para la comunidad científica. A su vez, les dará la posibilidad de ser asociados con los estándares más altos de evaluación, junto con los artículos publicados en las revistas más citadas (entendiendo estas últimas como las pertenecientes a SCIE y SSCI). En este sentido, se destaca, por un lado, el impacto que tendrá la extensión del cálculo del IF para los artículos publicados en revistas indexadas en ESCI y AHCI. Por otro lado, se reconoce la relevancia de dicho índice para la evaluación, casi exclusiva y, en ciertos casos erróneamente extendida a la calidad de artículos e investigadores (Paulus et al., 2018), de la excelencia en el mundo académico. Finalmente, Quaderi (2022) resalta la “democratización” del IF a nivel de revistas, con casi 9000 revistas —3000 de ellas de editoriales de países en desarrollo— recibiendo el índice por primera vez.

De acuerdo con lo expuesto en Quaderi (2022), aunque promisoria, la extensión del IF a las revistas pertenecientes a ESCI y AHCI no necesariamente representa un reconocimiento de su impacto, sino de sus artículos de impacto. De hecho, tal reconocimiento aún queda supeditado a su reevaluación e inclusión (de corresponder) a SCIE o SSCI.

En el caso particular de las revistas españolas de educación, la publicación del IF en junio de 2023 revelará la posición real de las revistas indexadas en ESCI respecto de las indexadas en SSCI en términos de impacto. De haberlas, como sería esperable a partir de lo analizado aquí, aquellas que estén en Q1 (IF) o Q2 (IF) estarán públicamente (no ya supeditadas a una estima interna del IF) en posición de ser reevaluadas para su inclusión en SSCI.

Finalmente, al lanzamiento del JCI, que puso de manifiesto que revistas con IF eran superadas en términos del nivel de citación normalizado por categoría por revistas sin él, le siguió (solo dos años después) la extensión del cálculo del IF a todas las revistas de la colección principal de WoS. En la misma línea, sería sensato esperar repercusiones de esta nueva iniciativa de Clarivate con respecto a aquellas revistas que ostenten públicamente el derecho a ser reevaluadas para su inclusión en SCIE o SSCI por pertenecer al Q1 (IF) o Q2 (IF).

Conclusiones

A pesar de las constantes críticas recibidas, y de la promisoria irrupción del JCI, el IF ha sido y sigue siendo el índice de impacto por excelencia dentro de la comunidad científica y académica, llegando incluso, en muchos casos, a regir exclusivamente las evaluaciones de calidad. En este escenario, su democratización supone un avance hacia la transparencia, dándole mayor visibilidad y prestigio a los artículos publicados en revistas pertenecientes a ESCI y AHCI.

A su vez, si bien esta actualización de Clarivate no reconoce directamente el impacto de las revistas indexadas en ESCI y AHCI, contribuye indirectamente con el proceso de curación de las colecciones de WoS. El análisis llevado a cabo aquí para el caso de las revistas españolas de educación ha mostrado cómo a partir de la inclusión del JCI se ha puesto de manifiesto que revistas pertenecientes a SSCI son citadas por debajo de la media esperada para la categoría, y que revistas indexadas en ESCI no solo las superan a ellas —que están en Q4 (IF)—, sino que algunas, incluso, superan a las que están en Q2 (IF). La publicación en junio del 2023 del IF confirmará o refutará la posición esperada para dichas revistas a partir del análisis realizado. En caso de confirmarla, será su ubicación en Q1 (IF) o Q2 (IF) —ahora pública— la que proclame el derecho a la reevaluación de la revista para ser incluida en SSCI. Si tenemos en cuenta la aceleración de los últimos años en dirección a la transparencia, primero con la inclusión del JCI, luego con la expulsión de revistas que incurrían en malas prácticas y ahora con la democratización del cálculo del IF, podríamos esperar que esto último ponga de manifiesto la necesidad de retomar el proceso de reevaluación para que, finalmente, cada revista esté en la colección adecuada.

Referencias

Clarivate (2023). Web of Science Journal Evaluation Process and Selection Criteria. Recuperado el 28 de abril de 2023 de https://clarivate.com/products/scientific-and-academic-research/research-discovery-and-workflow-solutions/web-of-science/core-collection/editorial-selection-process/editorial-selection-process/

Hubbard, S. y Mcveigh, M. (2011). Casting a wide net: the Journal Impact Factor numerator. Learned Publishing, 24, 133-137. https://doi.org/10.1087/20110208

Larivière, V. y Sugimoto, C. R. (2019). The Journal Impact Factor: A Brief History, Critique, and Discussion of Adverse Effects. En: Glänzel, W., Moed, H.F., Schmoch, U., Thelwall, M. (eds) Springer Handbook of Science and Technology Indicators. Springer Handbooks. Springer, Cham. https://doi.org/10.1007/978-3-030-02511-3_1

Mcveigh, M. y Mann, S. (2009). The Journal Impact Factor Denominator Defining Citable (Counted) Items. Journal of the American Medical Association. 302, 1107-9. https://doi.org/10.1001/jama.2009.1301

Paulus, F. M., Cruz, N. y Krach, S. (2018). The Impact Factor Fallacy. Front. Psychol., 9(1487). https://doi.org/10.3389/fpsyg.2018.01487

Quaderi, N. (26 de junio de 2022). Announcing changes to the 2023 Journal Citation Reports. Clarivate. https://clarivate.com/blog/clarivate-announces-changes-to-the-2023-journal-citation-reports-release/#_ftn1

Quaderi, N. (20 de marzo, 2023). Supporting integrity of the scholarly record: Our commitment to curation and selectivity in the Web of Science. Clarivate. https://clarivate.com/blog/supporting-integrity-of-the-scholarly-record-our-commitment-to-curation-and-selectivity-in-the-web-of-science/

 

 

Miguel Zapata Ros

Profesor Honorario en el Centro de Formación y Desarrollo Profesional de la Universidad de Murcia. Investigador en el Instituto Interuniversitario de Economía Internacional. Profesor Externo en la Universidad de Alcalá de Henares, miembro del programas de doctorado en Ingeniería de la Información y del Conocimiento, distinguido con Mención hacia la Excelencia por el Ministerio de Educación (Referencia: MEE2011-0159). Editor de RED, Revista de Educación a Distancia y de Docencia Universitaria. Miembro de INTCODE, agencia consultiva de ONU sobre educación a distancia, y representante en la sede de New York. Doctor en Ingeniería Informática.

More Posts - Website

Follow Me:
TwitterFacebookLinkedInGoogle Plus

Los programas generativos “Transformer” AI, entre los que está ChatGPT, ¿una oportunidad para la evaluación formativa? (y III)

II. Evaluación formativa: La auténtica evaluación educativa es inmune al ChatGPT

Fuente: Imagen generada con el texto “the assessment. Students. Hopper style” por Miguel × DALL·E Human & AI

La evaluación es un complejo de procedimientos que, en condiciones normales, se distribuyen a lo largo de todo el proceso educativo a través de distintos recursos y procedimientos y difícilmente, para que sea una evaluación de calidad, se hace en un único momento o en unos pocos momentos a lo largo del curso, o utilizando una única técnica o instrumento. Si se hace así, como se hacía, y aún se hace con demasiada frecuencia con la evaluación, fiándola a un examen o a un proyecto, se corre el riesgo de tomar decisiones sesgadas o arbitrarias. Además de crear en los alumnos una ansiedad que los desmotiva y perturba su aprendizaje.

Actualmente tenemos el conocimiento de cómo se produce el aprendizaje y de cómo se realizan las prácticas pedagógicas en las mejores condiciones. Lo hemos obtenido a través de investigaciones que ha aportado resultados y evidencias. También lo tenemos para organizar una evaluación de manera confiable sin necesidad de recurrir exclusivamente a las consabidas pruebas de conocimiento o ensayos, a final de curso, ciclo, trimestre, cuatrimestre o materia. Todo lo que se ha publicado en la literatura, como consecuencia de esas investigaciones y de esa elaboración científica, nos proporciona esos procedimientos y esos métodos. Es papel de los diseñadores de la instrucción en todos sus niveles el conocerlos y el aplicarlos en TODOS LOS ESCENARIOS. Y su responsabilidad el no hacerlo así.

Como en otros casos y en otros procesos, ahora con ChatGPT y antes con la pandemia, se están poniendo de relieve hábitos, tradiciones y procesos que estaban pasando desapercibidos y que han manifestado por un lado su vulnerabilidad, sus insuficiencias y por otro las alternativas que la teorías pedagógicas nos venían suministrando, siendo muchas veces ignoradas, y por otro el papel que la tecnología y las redes digitales con sus affordances nos estaban suministrando para la implementación de esos enfoque teóricos así como la oportunidad de validarlos con la práctica.

Con respecto a la evaluación, la segunda cuestión clave que se ha de tener en cuenta es que desde siempre la evaluación ha sido un proceso que, para ser de calidad, difícilmente se puede desvincular del quehacer cotidiano del alumno. Pues bien, si siempre ha sido así, ahora es más vital ese factor: Ahora con la amenaza de ChatGPT y Transformers IA y antes con la pandemia, cuando no hay una interacción directa entre alumnos y profesores, es cuando debemos ser conscientes de su importancia, de que  esa interacción debe ser especialmente detallada, en su práctica y programación, así como frecuente, de forma casi continua, en la medida en que las condiciones físicas de presencia directa mediante entrevistas y supervisiones o a través de la  tecnología, lo permitan. Alguien planteará que eso es imposible o muy difícil. Hoy no es así. Y no por la eficiencia de las herramientas tecnológicas, que también, sino porque hay metodologías docentes que lo permiten. Desde hace ya tiempo. Y entre ellas, como después veremos, la principal es la de Mastery learning (Zapata-Ros, 2018).

Se trata pues de una cuestión de metodología docente, de cómo los profesores hacemos las cosas.

La primera conclusión que he sacado, en toda mi experiencia, es que la evaluación e incluso la acreditación de conocimientos o de habilidades no debe abordarse como algo aislado, condicionado exclusivamente por variables limitadas a la coyuntura o por otros factores recientes y directos. Si lo hacemos así se pueden derivar más males que beneficios, y además los resultados van a ser irreparables.

La evaluación en todos sus aspectos debe de estar, en todas sus facetas y ejecuciones, integrada en un proceso de diseño instruccional amplio y detallado lo más posible.

Pero, ¿qué es el diseño instruccional?:

Un diseño es, en general, un proyecto o un plan que configura algo antes de su realización o de su desarrollo. Pero que también permite saber en qué punto de él estamos en su ejecución, y cómo relacionar lo que estamos haciendo con los resultados últimos de lo que hagamos. Pudiendo retomar y modificar decisiones, en progreso, para cambiar la ejecución y que ésta se ajuste con nuestros objetivos en un feedback continuo.

Los procesos y programas formativos, y la educación, también se diseñan.

En general el diseño instruccional, como veremos, se define como “un proceso sistemático que se emplea para desarrollar programas de educación y capacitación de manera continua y confiable”. 

Existe una amplia base de modelos de diseño instruccional y de desarrollos teóricos considerados como marcos para el desarrollo de módulos formativos o clases que aumenten, haciéndolo de acuerdo con sus pautas y preceptos, la posibilidad de aprender, de fomentar la participación de los alumnos para que aprendan más rápido, y obtener de esta forma niveles más profundos de entendimiento.

Los principales creadores e impulsores del diseño instruccional y de sus bases teóricas ha sido David Merrill (2002 y 2012) y Charles M. Reigeluth.

Así la Teoría del Diseño Instruccional clásica de Reigeluth se considera, en general, como un instrumento con un doble fin: facilitar el aprendizaje y el desarrollo humano, o mejor dicho facilitar el desarrollo humano en la medida que se consigue un mejor aprendizaje. Es en esencia una teoría situacional. Sostiene que los métodos y situaciones de aprendizaje son esenciales para que el aprendizaje tenga lugar de forma efectiva. Está constituida por 

una serie de principios para organizar la enseñanza en un esquema complejo de elementos más pequeños, y por tanto más cerca de la comprensión individual, que posteriormente son insertados en estructuras conceptuales interrelacionadas.

Los métodos del diseño instruccional suponen un ciclo continuo y una evaluación formativa (Zapata-Ros, 2013) que permiten introducir mejoras sobre el proceso en el diseño del programa educativo, sin necesidad de concluir.

El diseño instruccional permite pues partir, en un proceso inverso, desde la consideración de cuáles son los resultados deseados del proceso de aprendizaje para organizar las pautas, para distribuir en el tiempo todo lo demás, incluida la secuencia de acciones y de contenidos. Permite distribuir no solo la entrega de materiales, de actividades y de ayuda, sino de establecer cuáles son los logros parciales que, en una cadena, lleven al alumno a conseguir los logros de la unidad didáctica, el módulo o la materia. De forma que su consecución sea gradual, continua, sin saltos. 

Hemos dicho que el diseño instruccional consiste también en la aplicación de los principios teóricos que se conocen sobre como los individuos aprenden para organizar la educación. Veamos particularmente cómo funciona esto, la aplicación de los principios teóricos, en un punto concreto, el de la evaluación, que es el tema de este post.

Lo hace a través del principio de demostración.

 

La evaluación y el Principio de Demostración.

Pero antes expliquemos un poco más qué son los principios del aprendizaje. Como referencia teórica, hemos utilizado, en todo lo que hemos escrito aquí y en material que he ofrecido en estas circunstancias para ayudar al diseño de enseñanza online y para la evaluación, el trabajo de M. David Merrill (2002 y 2012) conocido como los “Primeros [o principales] principios de la instrucción” (First principles of instruction, Prentice Hall). Todo ello está desarrollado en el capítulo 2 y se puede ampliar allí con más detalle y en las referencias que contienen enlaces a los documentos originales.

Estos principios son una constante de la educación en todas las investigaciones, son aceptados por todos los teóricos, hay un consenso sobre ellos.

Merrill estableció cinco principios: El aprendizaje ha de ser centrado en el problema, el principio de activación, el de demostración, el de aplicación y el principio de integración o de transferencia.

El principio que fundamenta la evaluación es el principio de demostración. Y es el que debiéramos tener presente en todo momento en que hablásemos de ella. Simlificando consiste en que el alumno ha de aportar evidencias de su aprendizaje, en un sentido pedagógico, es decir ha de demostrar quecomprende que atribuye sentido, que aplica las habilidades conseguidas de forma autónoma y las transfiere a contextos distintos.

¿Qué dice?

En primer lugar, y para entender lo que sigue, hemos de tener en cuenta que los principios de la instrucción están enunciados en forma de criterios que ha de cumplir la enseñanza para que el aprendizaje sea eficiente, de calidad. Hemos de recordar que la evaluación forma parte de la instrucción.

Principio 3-Demostración.-

El aprendizaje se promueve cuando la instrucción demuestra lo que se debe aprender en lugar de simplemente decir información sobre lo que se debe aprender.

Así la demostración es un factor de consistencia: El aprendizaje se promueve cuando la demostración es coherente con el objetivo de aprendizaje, con:

(a) ejemplos y contraejemplos de conceptos,

(b) demostraciones para procedimientos,

(c) visualización (evidenciar visualmente) para los procesos, y

(d) el modelado (presentación de modelos) para adquisición de valores y conductas

Obviamente ninguna de estas exigencias de la demostración se cumplen con el ChatGPT ni el propio GPT las demuestra.

Presentar un informe o un proyecto, por sí mismo no demuestra nada.

La repercusión del diseño instruccional en la evaluación tiene otro punto clave: La cuestión inmaterial, pero sobre la que gira la docencia, el entregar ayuda y contenidos cuando el alumno esté receptivo y los perciba como útiles, estriba en distribuir los logros parciales y evaluar su consecución, y únicamente entonces proseguir. En esto juega un papel central el diseño y sobre todo, si finalmente los hay, el papel de los Teaching Assistant (TA). Más abajo describiremos como ejemplo lo que hicimos en el curso investigativo de Alcalá.

 

La confianza

Por último, se trata también de una cuestión de confianza. En una educación de estándares, a la que estamos acostumbrados y donde el ChatGPT, los proyectos a los que sustituye y los exámenes,  se han establecido medidas iguales para todos, los estándares, que en su consecución acreditan al alumno para superar el curso o la asignatura. Es un sistema basado en estándares iguales para todos, de superación de pruebas y de exámenes iguales para todos.

Esta dinámica permite trasladar la eficiencia al escrutinio de las pruebas y de sus resultados por padres, familias e inspección, donde además con esa supuesta objetividad los docentes se sienten seguros, aunque por contrapartida lo que se hace es sembrar la semilla de la desconfianza, de que no haya equidad en el proceso. Esto es un caldo abonado para la industria del fraude y la del ChatGPT como impostor del alumno para demostrar capacidades y aprendizajes en general.

Este hecho viene a confirmar algo que planteamos desde hace tiempo , la necesidad de una nueva educación, la basada en logros personales. En ese marco el entorno social del alumno debe depositar la confianza en el modelo, personalizado a través de sistemas que como el de Mastery learnig otorge en los maestros la confianza en valorar que se alcanza el dominio en el aprendizaje. De confiar en el maestro y en su expertise docente, de igual forma como la deposita en el médico, en su capacidad de diagnóstico y de decidir un tratamiento adecuado.



La evaluación formativa

En lo que sigue haremos un repaso de lo que se entiende por evaluación formativa,  de cómo la podemos relacionar con lo que está sucediendo con ChatGPT y lo que hemos dicho sobre él. Es conveniente que todo ello lo tengamos en mente cuando veamos todo esto.

También veremos otros conceptos y otras formas de evaluación. Por último, haremos un sucinto repaso de actividades que tienen un fuerte carácter de evaluación formativa y que se sugieren como algo que proporciona información sobre el estudiante y sobre su progreso en el camino hacia aprender y obtener el dominio en las destrezas que se pretende que consiga. Pero no nos quedaremos en el mero enunciado o la sugerencia de actividades, veremos qué procesos y que logros son los más importantes en ese camino.

Leer sólo lo que proporciona un informe o un ensayo, prescindiendo de todo lo que estamos viendo y de lo que en general se sabe y se ha investigado, para evaluar a un estudiante, aunque sepamos mucho sobre, él puede ser injusto por insuficiente. En definitiva, evaluar teniendo en cuenta únicamente el texto, en el que como hemos visto, ahora con Chat GPT, es imposible discernir entre un humano y un programa transformer, nos lleva al fracaso y al malestar por vernos, como profesor4es, indefensos y desamparados en ese camino. Y lo que, sin ser tan grave es muy negativo, a perder la confianza en la tecnología y en una visión positiva de ella como apoyo nuevo e imprescindible para muchos aprendizajes.

Definiciones y validez de la evaluación formativa

Un trabajo básico pero muy completo es el que Terry Crooks (2001, September) hizo parta la Unidad de Investigación en Evaluación Educativa en la Universidad de Otago ( Dunedin, Nueva Zelanda), presentado en la Conferencia Anual de la Asociación Británica de Investigación Educativa, Universidad de Leeds, 13-15 de septiembre de 2001, en la sección de Educación online, titulado The Validity of Formative Assessments.

Así Crooks (2001) define evaluación como

Cualquier proceso que proporcione información sobre el pensamiento, los logros o el progreso de los estudiantes.

 Para ello se valió de un importante concepto previo, el de validez Utilizó el trabajo y definición de Messick (1989, p.13 Vigency)

La validez es un juicio evaluativo integrado del grado en que la evidencia empírica y los fundamentos teóricos apoyan la idoneidad y pertinencia de las inferencias y acciones basadas en los puntajes de las pruebas u otros modos de evaluación.

 Frecuentemente se utiliza el concepto de evaluación sumativa, más acorde con lo que habitualmente se hace y cómo se entiende la evaluación

De esta forma, la evaluación sumativa tiene la intención de resumir el logro del estudiante en un momento particular, mientras que la evaluación formativa tiene como objetivo promover una mayor mejora del logro del estudiante, además de asegurar, obviamente, lo anterior.

Es decir, se trata de contraponer evaluación de lo aprendido y evaluación para aprender (Assessment OF learning versus assessment FOR learning) en el sentido más simple de las dos expresiones:

Evaluación de lo aprendido

Evaluación para aprender

Veamos ahora en este contexto algunas de las definiciones que hemos encontrado más precisas de  evaluación formativa

Para el Ministerio de Educación, Nueva Zelanda, 1994 (Assessment: policy to practice) se trata de:

Una gama de procedimientos de evaluación formales e informales (por ejemplo, el seguimiento del desarrollo de la escritura de los niños, registros de hechos concretos y observaciones [igual puede generalizarse a procedimientos seguidos en otros niveles y etapas][1]) realizados por los profesores en el aula [o en la actividad en línea] como parte integral del proceso normal de enseñanza y aprendizaje para modificar y mejorar el aprendizaje comprensión.

 Para Bronwen Cowie & BeverleyBell (1999) (A model of formative assessment in science education) es:

El proceso utilizado por profesores y estudiantes para reconocer y dar respuesta al proceso de aprendizaje de los estudiantes con el fin de mejorar ese aprendizaje durante el aprendizaje.

Para Black & Wiliam, 1998a, p. 2 (Inside the black box) la

Evaluación ‘se refiere a todas aquellas actividades realizadas por los profesores, y por los estudiantes en la autoevaluación, que proporcionan información que se utilizará como retroalimentación para modificar las actividades de enseñanza y aprendizaje en las que participan. Dicha evaluación se convierte en “evaluación formativa” cuando la evidencia obtenida se utiliza en la práctica docente para adaptar la enseñanza a las necesidades detectadas.

Pero quizá la más completa es la definición que hacen Black & Wiliam (2009), de evaluación formativa, acompañada de otra sobre lo que es instrucción.

Para lo primero se basa en sus definiciones (Black y Wiliam, 1998b) y la definición del Grupo de Reforma de la Evaluación (ARG, 2002):

La práctica en el aula es formativa en la medida en que la evidencia sobre el rendimiento del estudiante sea suscitada, interpretada y utilizada por los profesores, los alumnos o sus compañeros, para tomar decisiones sobre los próximos pasos en la instrucción. Próximos pasos que probablemente sean mejores, o mejor fundamentados, que las decisiones que se tomarían se han tomado en ausencia de la evidencia que de esa forma se ha obtenido.

Pero ¿qué es instrucción e instruccional? Aquí y en varios lugares más utilizamos este término. Procede pues definirlo:

En gran parte del mundo académico, este término tiene una connotación de formación, o de enfoques didácticos de la enseñanza. Sin embargo, en otros y de forma mayoritariamente aceptado, el término “instrucción” significa la combinación de enseñanza y aprendizaje, y es este último sentido el que utilizaremos aquí. En esta definición, “instrucción” se refiere a cualquier actividad que vaya destinada a crear aprendizaje. En España el término equivalente sería pedagogía. Pero actualmente también, además de que el enfoque tradicional tiene inconvenientes al sugerir una visión más limitada de la práctica de la enseñanza, no se ajusta demasiado bien a términos y conceptos de la sociedad digital y del conocimiento. Por ejemplo, parecería extraño referirse a los estudiantes como ‘recursos pedagógicos unos para otros’, parece que hablamos de textos, pizarras, retroproyector, etc. No así si decimos “alumnos como recursos instruccionales unos para otros”.

A esto podemos añadir una particular aportación de quien suscribe (Zapata-Ros, 2012):

La evaluación formativa o de proceso se exige para entender no sólo si un alumno ha conseguido aprendizaje o no, sino por qué. Comprender las razones para el éxito o para el fracaso depende de la profundidad del conocimiento que existe de lo que se ha hecho o se está haciendo, y también de la relación apropiada entre el uso de la tecnología, las actividades que se han hecho con ella y el área de conocimiento. Entendiendo como tal la metodología docente para el área (las ideas pedagógicas) y los conocimientos propios de la materia.

Por lo tanto, podemos concluir que, aunque el desarrollo de la evaluación formativa no es la única manera, o incluso la mejor manera, para abrir una gama más amplia de cambios deseables en el aprendizaje en el aula, puede ser particularmente eficaz, en parte porque la calidad de la retroalimentación interactiva es un factor crítico característica para determinar la calidad de la actividad de aprendizaje y, por lo tanto, es una característica central de pedagogía [2]

Después de esto creemos que el lector se habrá formado una idea cabal y actualizada de lo que es la evaluación formativa. Pero no es sólo importante saber qué es sino cómo se practica: las actividades.

En base a la literatura[3], las prácticas, en condiciones normales de trabajo en aula y online, comunicadas por docentes y en base a la propia experiencia en la docencia de secundaria, grado y postgrado y formación del profesorado en activo, también en condiciones normales online, podemos establecer una clasificación en los principales tipos de actividad que señalamos.

Resumiendo lo consultado sobre evaluación formativa podemos ver que hay ocho tipos principales de actividades o de prácticas docentes, sugeridos por evidencias (limitadas a la propia experiencia) de su eficacia potencial, y desarrollado con y por profesores en condiciones normales de trabajo en el aula, también sugeridos por la literatura sobre el tema (Wiliam, 2000, Black et al., 2003; Wiliam, 2007):

  • Compartir criterios de éxito con los alumnos
  • Preguntar en el aula, o en el chat, o verbalmente en Zoom o similar, con anotaciones.
  • Marcado de sólo comentarios
  • Autoevaluación, con criterios explícitos
  • Uso formativo de pruebas sumativas (muy importante).
  • Revisiones, con observaciones y marcado de comentarios
  • Supervisiones de los alumnos, con reuniones presenciales, videorreuniones o sesiones de videollamada.
  • Intervenciones en los foros con comentarios personales, otorgamiento de relevancia en relación con la formatividad y con relación a los objetivos de aprendizaje, a los logros esperados y a las habilidades desarrolladas, sobre todo conceptuales, en este caso.

De estos ocho, cinco se proponen y están estudiadas en Developing the theory of formative assessment por Paul Black, King’s College London, and Dylan Wiliam, Institute of Education, University of London

Objeto aparte de estudio y de desarrollo puede ser el tratamiento de cada uno de estos tipos de actividades.

Particular importancia tiene la evaluación de marcado sólo con comentarios (pruebas comentadas) y la evalución formativa a partir de la evaluación sumativa (ver Using comment only marking in a mathematics classroom in the Republic of Ireland: experience and learning of a student teacher, por O’ Mahoney and Heinz (2016).

La calificación de sólo comentario es un método de evaluación formativa. Implica que el profesor brinde retroalimentación constructiva y metas parciales vinculadas a los objetivos para alentar y apoyar a los estudiantes a desarrollar los objetivos de aprendizaje establecidos independientemente y sus habilidades de autoevaluación.

Este tipo de evaluación se considera una estrategia clave de aprendizaje, también y sobre todo, en el aula.

Como resultado, la información proporcionada por esta evaluación puede utilizarse como retroalimentación para influir y modificar las actividades de enseñanza y aprendizaje. Según Petty (2009), se puede utilizar esta forma de evaluación para motivar y animar al alumno al mismo tiempo que mejora él y mejora su trabajo. Hay dos formas principales de evaluación, evaluación sumativa y evaluación formativa.

Sobre lo segundo, las evaluaciones acumulativas se dan periódicamente para determinar la comprensión de un estudiante del tema en un momento particular en relación con los estándares de contenido. La frecuencia aumenta proporcionalmente la comprensión y la adquisición, debido al dominio en aspecto parciales que aumenta la capacidad para aprender lo siguiente.

El marcado de sólo comentarios y la relevancia suficiente de intervenciones en foros y chats tienen, aparte de lo visto, una importancia determinante y clave en la metodología docente y de evaluación conocida como mastery learning, como podemos ver en otros documentos.

Cuestiones muy importantes que nos planteamos a propósito de esta modalidad de evaluación, sobre todo en su práctica:

¿Hasta cuándo haremos marcado de comentarios, durante qué tiempo o cuántas rondas haremos? ¿en cuántas revisiones? ¿cómo sustituiremos la nota, la puntuación numérica clásica, por la calificación, obviamente textual, para señalar la superación del módulo o de la unidad de contenidos o la consecución [dominio] de la habilidad que tratemos?

A todas estas preguntas se da respuesta en la modalidad de “dominio del aprendizaje” (Mastery learning). Modalidad en la que sucintamente se dice que sólo se pasara a la parte siguiente cuando se consiga un dominio de la actual. Obviamente, en este contexto tienen un papel esencial los Teaching Assistant.

Hay otra cuestión que también es clave: Este método, esta modalidad de evaluación, supone la confianza y la conformidad en la capacidad del docente, su auctoritas, para determinar cuándo se ha alcanzado el dominio. No en balde se llama maestría, evocando la relación entre maestro y aprendiz que se establecía en otras etapas de la historia de la educación y de la instrucción.

La evaluación sumativa es la que sólo proporciona los criterios de promoción del alumno al final del módulo, la asignatura o el curso.

Por tanto, hay básicamente dos formas de evaluación, evaluación sumativa y evaluación formativa.

Las evaluaciones acumulativas se ofrecen periódicamente para determinar el grado la comprensión del tema de un estudiante en un momento particular en relación con los estándares de contenido. Otra cuestión es si coincide con la evaluación del aprendizaje. Aprendizaje no siempre supone sólo comprensión, para muchos de nosotros supones dominio[4].

De acuerdo con Garrison y Ehringaus (2007), la evaluación sumativa ocurre demasiado poco y de forma distanciada en el camino de aprendizaje del estudiante para que pueda producir ajustes instructivos durante el proceso de aprendizaje.

La evaluación formativa ocurre cuando los resultados de la evaluación se consideran y se utilizan para modificar la enseñanza para satisfacer las necesidades de los estudiantes casi instantáneamente. También se conoce como evaluación para el aprendizaje (Black y William, 1998). La evaluación formativa es útil tanto para estudiantes como para profesores. Proporciona retroalimentación a los docentes sobre la efectividad de sus estrategias y enfoques de enseñanza, que luego pueden ajustar para mejorar el aprendizaje de los estudiantes. En segundo lugar, la evaluación formativa puede ser útil para los estudiantes ya que la retroalimentación es enfocada y precisa para que tengan la capacidad de identificar áreas específicas que necesitan trabajar y si necesitan ajustar su forma de pensar (Phelan et al., 2011).

 

Por último, más allá de definiciones, conceptos y actividades, conviene señalar el sentido de los procesos y de otros aspectos de la evaluación formativa en un contexto más amplio.

Para proporcionar una base amplia de la evaluación formativa, tres procesos son centrales: establecer dónde se encuentran los estudiantes en su aprendizaje, establecer hacia dónde se dirigen y establecer lo que se debe hacer para lograrlo y cómo ayudarlos a llegar allí (Thompson y William, 2007 a partir de Ramaprasad (1983)). Con referencia a estos tres procesos estableceremos los principales aspectos a considerar en la evaluación formativa en todos los casos:

 

 

A dónde va el alumno

 

Dónde está el alumno ahora mismo

 

Cómo llegar allí

 

El profesor

 

1 Aclarar el aprendizaje: las

intenciones y los criterios para el éxito.

 

2 Construir una arquitectura efectiva de la clase: Fomentar

discusiones en el aula y proponer tareas de aprendizaje que provoquen la evidencia del estudiante propia de la comprensión.

 

3 Proporcionar comentarios y estímulos que

mueve a los alumnos hacia adelante, que hagan que progresen.

 

El igual

 

Comprender y compartir intenciones de aprendizaje y

criterios para el éxito

 

4 Activar a los estudiantes como recursos educativos entre sí.

 

El alumno

 

Entender el aprendizaje, las

intenciones y los criterios para el éxito

 

5 Activar a los estudiantes como dueños de su propio aprendizaje

 

Figura 1: Aspectos de la evaluación formativa

 

Conclusiones. –

Un sistema educativo, que implemente estas ideas, es absolutamente inmune al uso de ChatGPT como sustituto total o parcialmente en la demostración del aprendizaje. Otra cuestión es su uso de forma crítica como recurso educativo, con un carácter similar al que tiene actualmente cualquier buscador o enciclopedia digital.

 

 

Referencias.-

ARG (2002) Assessment for Learning: 10 principles. Available on the Assessment Reform Group web-site : www.assessment-reform-group.org.uk

Black, E. (1995). Behaviorism as a learning theory. Retrieved from http://129.7.160.115/inst5931/Behaviorism.html

Black, P., & Wiliam, D. (2003). ‘In praise of educational research’: Formative assessment. British educational research journal29(5), 623-637.

Black, P., & Wiliam, D. (1998a). Assessment and classroom learning. Assessment in Education, 5, 7-74.

Black, P., & Wiliam,D. (1998b). Inside the black box: Raising standards through classroom assessment. Phi Delta Kappan80, 139-149.

Black, P., & Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability (formerly: Journal of Personnel Evaluation in Education)21(1), 5-31. https://kclpure.kcl.ac.uk/portal/files/9119063/Black2009_Developing_the_theory_of_formative_assessment.pdf y https://link.springer.com/article/10.1007/s11092-008-9068-5

Bloom, B. S. (1984). The 2 sigma problem: The search for methods of group instruction as effective as one-to-one tutoring. Educational researcher13(6), 4-16. https://www.jstor.org/stable/pdf/1175554.pdf

Bloom, B. (May 68). Learning for Mastery. Instruction and Curriculum. https://files.eric.ed.gov/fulltext/ED053419.pdf

Bloom, B. S. (1976). Human characteristics and school learning. McGraw-Hill.

Bloom, B. (1984). The 2 Sigma Problem: The Search for Methods of Group Instruction as effective as One-to-One Tutoring, Educational Researcher, 13:6 (4-16). https://inst.eecs.berkeley.edu//~cs375/sp15/resources/Bloom_The2SigmaProblem.pdf

CIT (Center for Intructional Technologie) (2013) Building a Coursera Course  Version 2.0 https://docs.google.com/document/d/1ST44i6fjoaRHvs5IWYXqJbiI31muJii_iqeJ_y1pxG0/edit?pli=1

Cowie, B., & Bell, B. (1999). A model of formative assessment in science education. Assessment in Education: Principles, Policy & Practice6(1), 101-116.

Crooks, T. (2001, September). The validity of formative assessments. In British Educational Research Association Annual Conference, University of Leeds (pp. 13-15). http://www.leeds.ac.uk/educol/documents/00001862.htm (en documentos http://www.leeds.ac.uk/bei/Education-line/browse/all_items/119155.html )

Crosslin, M (2014 May).  Designing a Dual Layer cMOOC/xMOOC. http://www.edugeekjournal.com/2014/05/04/designing-a-dual-layer-cmoocxmooc/

Driscoll, M. (1994). Gagne’s theory of instruction. Psychology of Learning for Instruction. Boston, MA, Allyn and Bacon, 329-358. https://psycnet.apa.org/record/1993-99148-000 http://ocw.metu.edu.tr/pluginfile.php/9013/mod_resource/content/1/driscoll-ch10%20(1).pdf

Driscoll, M. (2000). Psychology of learning for instruction. Needham Heights, MA: Allyn & Bacon.

Fink, L.D. (2003), A Self-Directed Guide to Designing Courses for Significant Learning.http://www.deefinkandassociates.com/GuidetoCourseDesignAug05.pdf

Fink, L.D. (2003), A Self-Directed Guide to Designing Courses for Significant Learning. http://www.deefinkandassociates.com/GuidetoCourseDesignAug05.pdf

Gagné, R. M. (1965). The conditions of learning and theory of instruction ( 1st ed.). New York, NY: Holt, Rinehart & Winston.

Gagné, R. M., & Briggs, L. J. (1974). The principles of instructional design ( 1st ed.). New York, NY: Holt.

Gagné, R. M. (1985). The conditions of learning and theory of instruction ( 4th ed.). New York, NY: Holt, Rinehart & Winston.

Gagne, R. M.,& Medsker, K. L. (1996). The conditions of learning: Training applications. Fort Worth, TX: Harcourt Brace College Publishers.

Garrison, C., & Ehringhaus, M. (2007). Formative and summative assessments in the classroom.

Merrill, M. D. (2002). First principles of instruction. Educational technology research and development50(3), 43-59. http://csapoer.pbworks.com/f/First+Principles+of+Instruction+(Merrill,+2002).pdf

Merrill, M. D. (2012). First principles of instruction. John Wiley & Sons.

Merrill, M. D. (1991). Constructivism and instructional design. Educational technology31(5), 45-53.

Merrill, M. D. (2002). First principles of instruction. Educational Technology Research and Development, 50(3), 43-59.  Instructional-Design Theories and Models, Volume III: Building a Common Knowledge Base.

Merrill, M. D. (2009). First Principles of Instruction. In C. M. Reigeluth & A. Carr (Eds.), Instructional Design Theories and Models: Building a Common Knowledge Base (Vol. III). New York: Routledge Publishers.

Messick, S. (1989). Validity. In R. L. Linn (Ed.), Educational measurement (3rd ed., pp. 13–103). New York, NY: Macmillan.

Ministry of Education, New Zealand. (1994). Assessment: policy to practice. Wellington, New Zealand: Learning Media.

O’Mahoney, K. & Heinz, M. (2016). Using comment only marking in a mathematics classroom in the Republic of Ireland: experience and learning of a student teacher. Journal of Teacher Action Research2(2), 58-69. http://www.practicalteacherresearch.com/uploads/5/6/2/4/56249715/mahoney1-12.pdf, https://aran.library.nuigalway.ie/bitstream/handle/10379/6045/JTARSubmissionfinal20Dec2015.pdf  y https://www.researchgate.net/profile/Manuela_Heinz/publication/309985621_Using_Comment_Only_Marking_in_a_Mathematics_Classroom_in_the_Republic_of_Ireland_Experience_and_Learning_of_a_Student_Teacher/links/58272da608ae254c508311f3.pdf

Petty, G., (2009). Evidence Based Teaching – a practical approach (2nd edition). Cheltenham: Nelson Thornes. http://155.0.32.9:8080/jspui/bitstream/123456789/91/1/%5BGeoff_Petty%5D_Evidence-based_Teaching_A_Practical%28BookFi.org%29.pdf

Phelan, J., Choi, K., Vendlinski, T., Baker, E. y Herman, J. (2011). Mejora diferencial en la comprensión de los estudiantes de los principios matemáticos después de una intervención de evaluación formativa. The Journal of Educational Research , 104 (5), 330-339. https://www.tandfonline.com/doi/full/10.1080/00220671.2010.484030?casa_token=AXwD-EDEdK4AAAAA%3AVepQ_WIb2P5CsPMgo004X4Gw_8v-mPGw1P2kgsfYqqglhfvTDbmqbnVGeGsP4X-4uRmbqJuUPZZWS4E

Ramaprasad, A. (1983). “On the definition of feedback.” Behavioral Science 28(1): 4-13.

Reigeluth, C. M., Ed. (1999). Instructional-Design Theories and Models: A New Paradigm of Instructional Theory. Mahwah, NJ, Lawrence Erlbaum Associates Publishers.

Reigeluth, C. (2012).  Teoría instruccional y tecnología para el nuevo paradigma de la educación. RED, Revista de Educación a Distancia. Número 32. 30 de septiembre de 2012. Consultado el (dd/mm/aaa) en http://www.um.es/ead/red/32

Shepard, L. A. (2005, October). Formative assessment: Caveat emptor. In ETS Invitational Conference The Future of Assessment: Shaping Teaching and Learning, New York. https://web.archive.org/web/20111007220347/http://www.cpre.org/ccii/images/stories/ccii_pdfs/shepard%20formative%20assessment%20caveat%20emptor.pdf

Siemens, G. (2014, May). Multiple pathways: Blending xMOOCs & cMOOCs. http://www.elearnspace.org/blog/2014/05/06/multiple-pathways-blending-xmoocscmoocs/

Tennyson, R. D., Schott, F., Dijkstra, S., & Seel, N. M. (Eds.). (1997). Instructional Design: International Perspectives. Theory, research, and models. Vol. 1 (Vol. 1). Routledge.

Thompson, M., & Wiliam, D. (2007, April). Tight but loose: A conceptual framework for scaling up school reforms. In annual meeting of the American Educational Research Association. Chicago, IL. https://cpb-ap-se2.wpmucdn.com/global2.vic.edu.au/dist/d/30223/files/2017/01/Tight-but-Loose-AERA-07-2di57v1.pdf

Weller, M. (2013) Good post by Martin Weller [@mweller] on Coursera’s new plans – The Ed Techie: You can stop worrying about MOOCs now http://ow.ly/1WTQCf, http://nogoodreason.typepad.co.uk/no_good_reason/2013/05/you-can-stop-worrying-about-moocs-now.html

Wiliam, D. (2000). Integrating summative and formative functions of assessment. https://discovery.ucl.ac.uk/id/eprint/1507176/1/Wiliam2000IntergratingAEA-E_2000_keynoteaddress.pdf

Wiliam, D. (2007). Keeping learning on track: Formative assessment and the regulation of learning. nature1, 20. https://www.researchgate.net/profile/Dylan_Wiliam/publication/252646685_Keeping_learning_on_track_Formative_assessment_and_the_regulation_of_learning/links/53f495b00cf2fceacc6e8f5b.pdf

Zapata-Ros, M. (2012). Calidad en entornos ubicuos de aprendizaje. Revista de Educación a Distancia (RED), (31). https://revistas.um.es/red/article/view/232871

Zapata-Ros, M. (2012) Teorías y modelos sobre el aprendizaje en entornos conectados y ubicuos. Bases para un nuevo modelo teórico a partir de una visión critica del “conectivismo”. http://eprints.rclis.org/17463/

Zapata-Ros, M. (2013) Charles Reigeluth: la personalización del aprendizaje y el nuevo paradigma de la educación para la sociedad postindustrial del conocimiento., http://eprints.rclis.org/19406/

 Zapata-Ros, M. (2013). Enseñanza Universitaria en línea, MOOC y aprendizaje divergente. Academia.edu (preprint) https://www.academia.edu/6190225/Ense%C3%B1anza_Universitaria_en_l%C3%ADnea_MOOC_aprendizaje_divergente_y_creatividad_Online_Higher_Education_MOOC_divergent_learning_and_creativity

Zapata-Ros, M. (2013). La evaluación en el nuevo paradigma de la educación en la Sociedad Postindustrial del Conocimiento. http://eprints.rclis.org/20157/

Zapata-Ros, M. (2013b). El “problema de 2 sigma” y el aprendizaje ayudado por la tecnología. E-Lis Repository. http://eprints.rclis.org/18866/8/MOOCs.pdf

Zapata-Ros, M. (2013b2). Las teorías del aprendizaje y el diseño instruccional. El esquema incompleto. http://redesabiertas.blogspot.com.es/2013/04/las-teorias-del-aprendizaje-y-el-diseno.html

Zapata-Ros, M. (2015). El diseño instruccional de los MOOC y el de los nuevos cursos abiertos personalizados. Revista de Educación a Distancia, (45). https://revistas.um.es/red/article/download/238661/181351

Zapata-Ros, M. (2018). La universidad inteligente. RED. Revista de Educación a Distancia, 57(10). Consultado el (dd/mm/aaaa) en http://www.um.es/ead/red/57/zapata2.pdf

Zapata-Ros, M. (2018).  El modelo educativo de Singapur y el «mastery learning» de Bloom. Blog académico RED. El aprendizaje en la sociedad del conocimiento. https://red.hypotheses.org/1261

Zapata-Ros, M. (2020). ¿Qué tienen de común Jeff Bezos y Benjamin Bloom? / What do Jeff Bezos and Benjamin Bloom have in common? 10.13140/RG.2.2.14749.26085

[2] El diseño instruccional de los cursos abiertos on-line https://openeducation.blackboard.com/mooc-catalog/courseDetails/view?course_id=_1684_1

[3] http://cursosabiertos.blogspot.com.es/

[4] Para figurar en esta lista ha sido necesario que esas habilidades hayan redundado en un cambio relevante en enseñanzas de grado, de postgrado o en estudios propios en línea.

[5] Sintesis de Gagné’s Conditions of Learning para  habilidades intelectuales y estrategias cognitivas.

 

 

 

 

[1] El añadido entre corchetes es mío.

[2]

Developing the theory of formative assessment. Paul Black, King’s College London, and

Dylan Wiliam, Institute of Education, University of London

To appear in Educational Assessment, Evaluation and Accountability (formerly the Journal of Personnel Evaluation in Education), 1(1) (2009).

https://kclpure.kcl.ac.uk/portal/files/9119063/Black2009_Developing_the_theory_of_formative_assessment.pdf y https://link.springer.com/article/10.1007/s11092-008-9068-5

[3]  Crooks, T. (2001, September), Wiliam, 2000, Black et al., 2003; Wiliam, 2007. Black, P., & Wiliam, D. (2009).

[4] En otro punto de este trabajo y en otros lugares hacemos una recesión y una interpretación de las condiciones del aprendizaje según Gagné y de los principales principios del aprendizaje de Merrill y decimos que para que haya aprendizaje han de concurrir al menos cuatro condiciones o hechos: Que efectivamente haya comprensión, que haya atribución de sentido, que haya autonomía en su aplicación y que haya transferencia, que se pueda utilizar lo aprendido en situaciones distintas a las que se aprende y cambiantes.

Miguel Zapata Ros

Profesor Honorario en el Centro de Formación y Desarrollo Profesional de la Universidad de Murcia. Investigador en el Instituto Interuniversitario de Economía Internacional. Profesor Externo en la Universidad de Alcalá de Henares, miembro del programas de doctorado en Ingeniería de la Información y del Conocimiento, distinguido con Mención hacia la Excelencia por el Ministerio de Educación (Referencia: MEE2011-0159). Editor de RED, Revista de Educación a Distancia y de Docencia Universitaria. Miembro de INTCODE, agencia consultiva de ONU sobre educación a distancia, y representante en la sede de New York. Doctor en Ingeniería Informática.

More Posts - Website

Follow Me:
TwitterFacebookLinkedInGoogle Plus

Los programas generativos “Transformer” AI, entre los que está ChatGPT, ¿una oportunidad para la evaluación formativa? (II)

Ensayos. – TFM, TFG, tesis doctorales y artículos científicos. La evaluación con informes, ensayos y proyectos.

 

Fuente: Imagen generada con el texto “the assessment. Students. Hopper style” por Miguel × DALL·E Human & AI

Los ensayos, trabajos o informes han formado parte de la evaluación educativa, y principalmente académica y universitaria, desde principios del siglo XIX, cuando los estudiantes de algunas universidades europeas debían escribir artículos académicos para su discusión en seminarios (Kruse, 2006 ). 

Hoy los ensayos académicos continúan siendo un pilar de la evaluación en escuelas, colegios y universidades muy aceptables porque superan las limitaciones de los exámenes, restringidos a lo que un alumno sabe o es capaz de recordar en un momento determinado. Han triunfado y constituyen los conocidos TFM, TFG y trabajo final de cualquier curso o asignatura. Incluso una disertación de tesis doctoral no escapa a este formato. Son fáciles de establecer, permiten evaluar la profundidad de la comprensión e hipotéticamente demuestran la capacidad de los estudiantes sobre cómo expresar un argumento. En los últimos años, el alcance de los trabajos escritos se ha ampliado para incluir trabajos narrativos, argumentativos, reflexivos, expresivos, receptivos y analíticos.

Sin embargo no todo es bueno, la práctica generalizada de establecer tareas escritas como trabajo de curso ha sido criticada como laboriosa e injusta (Race, 2018). Pero sobre todo está sujeto a trampas, imposturas y fraudes en general. Prácticas que actualmente se han constituido en un lucrativo negocio con contratos de encargo a través de “fábricas de TFM, TFG y trabajos en general”, que venden tareas de este tipo escritas por encargo, a tarifas de hasta 500 euros por escribir un ensayo de 20 páginas (ver anuncios y tarifas). Un estudio de Newton (2018) encontró que el 15,7% de los estudiantes encuestados admitió haber pagado a otra persona para que escribiera una tarea. 


Ahora la cosa con ChatGPT da un salto cualitativo: Una consecuencia, no deseada ni perseguida como objetivo, de estos sistemas es que democratizan el fraude. Un estudiante puede generar un ensayo completo en segundos, a un costo de alrededor de 50 centavos de dólar.

Peor aún, si cabe, es que los aspirantes a investigadores científicos puedan recurrir a estos sistemas para generar artículos y enviarlos a congresos y revistas.

Desde el lanzamiento de ChatGPT, los investigadores han estado lidiando con los problemas éticos que rodean su uso, porque según Holly Else en Nature, “gran parte de su producción puede ser difícil de distinguir del texto escrito por humanos”. 

Se pueden citar distinto casos y experimentos:

Uno es el de los investigadores Blanco-González, A. et al. (2022) y O’Connor, S. & ChatGPT (2023) han publicado un preprint y un editorial escritos por ChatGPT. 

Otro es un grupo dirigido por Catherine Gao en la Universidad Northwestern en Chicago, que ha utilizado ChatGPT para generar resúmenes de trabajos de investigación artificiales para probar si los científicos pueden detectarlos. Son interesantes los planteamientos y resultados.

Los investigadores le pidieron a ChatGPT que escribiera 50 resúmenes de investigación médica basados ​​en una selección publicada en JAMA , The New England Journal of Medicine , The BMJ , The Lancet y Nature Medicine . Luego los compararon con los resúmenes originales pasándolos  por un detector de plagio y un detector de salida de IA, también le pidieron a un grupo de investigadores médicos que detectaran los resúmenes artificiales.

El resultado que dio sobre los resúmenes generados por ChatGPT el verificador de plagio sobre la originalidad fue del 100 %, lo que indica que no se detectó plagio. El detector de salida de IA detectó el 66 % de los resúmenes generados. Pero los revisores humanos no lo hicieron mucho mejor: identificaron correctamente sólo el 68 % de los resúmenes generados y el 86% de los resúmenes genuinos. Identificaron incorrectamente el 32 % de los resúmenes generados como reales y el 14 % de los resúmenes genuinos como generados. Todo ello muy elocuente.

Las conclusiones de los autores del preprint, Gao y sus colegas, son 

  • “ChatGPT escribe resúmenes científicos creíbles”
  • “Quedan por determinarse los límites del uso ético y aceptable de grandes modelos lingüísticos para ayudar a la redacción científica”.

Otros trabajos sobre el tema los podemos encontrar en

AI bot ChatGPT writes smart essays — should professors worry?

The ChatGPT revolution of academic research has begun

En enero de 2023, Nature informó sobre dos preprints y dos artículos en los campos de la ciencia y la salud que incluyeron a ChatGPT como autor firmado. Cada uno de estos incluye una afiliación para ChatGPT, y uno de los artículos incluye una dirección de correo electrónico para el “autor” no humano. Según Nature, la inclusión de ChatGPT en ese artículo en la firma del autor fue un “error que pronto se corregirá” (Stokel-Walker, 2023). Sin embargo, estos artículos y sus “autores” no humanos ya han sido indexados en PubMed y Google Scholar.

Experiencias como ésta han llevado a las instituciones, revistas y editoriales a tomar medidas. De entre las más importantes podemos destacar lo que sigue.

Nature ha definido una política para guiar el uso de modelos de transformadores de lenguaje a gran escala en la publicación científica: prohíbe nombrar herramientas como “autor acreditado en un artículo de investigación” porque “la atribución de autoría conlleva responsabilidad por el trabajo, y Las herramientas de IA no pueden asumir tal responsabilidad”. 

La política editorial también aconseja a los investigadores que utilizan estas herramientas que documenten este uso en las secciones Métodos o Agradecimientos de los manuscritos. 

Otras revistas (Science y Taylor & Francis) y organizaciones (WAME) están desarrollando urgentemente políticas que prohíben la inclusión de estas tecnologías no humanas como “autores”. Van desde prohibir la inclusión de texto generado por ChatGPT o similares en los originales, a exigir total transparencia, responsabilidad y rendición de cuentas sobre cómo se utilizan y se informan dichas herramientas en publicaciones académicas. 

La Conferencia Internacional sobre Aprendizaje Automático (ICML Fortieth International Conference on Machine Learning) también ha anunciado una nueva política: “Los artículos que incluyen texto generado a partir de un modelo de lenguaje a gran escala (LLM) como ChatGPT están prohibidos a menos que el texto producido se presente como parte del análisis experimental del artículo”. 

Y así sucesivamente.

Un ejemplo de normas concretas nos lo presenta JAMA, sobre responsabilidades de autores, materiales a publicar, etc. (Instructions for Authors. JAMA. Updated January 30, 2023.)

En conclusión con todo lo anterior, será difícil ignorar el creciente número de estudiantes e investigadores que envían tareas escritas por ChatGPT o los programas similares que vengan. 

En el caso de estudiantes, ¿podrá hacerlo Turnitin u otros productos similares? Aquél ha admitido que “ya estamos viendo los comienzos de la próxima ola de IA… cuando los estudiantes pueden presionar un botón y la computadora escribe su trabajo” (Turnitin, 2020 ). Se adivina un horizonte donde no es descartable que resistirse a los trabajos generadas por ChatGPT y similares y detectar cuáles están escritas por máquina sea un ejercicio inútil. Entonces, ¿cómo podemos delimitar el uso de estas nuevas herramientas?

Ya hemos hablado de restringir la asignación en las ponderaciones por puntajes en estos temas. Alternativamente, se podrían establecer tareas escritas reflexivas y contextualizadas que la IA no podría generar. Pero esto requiere mucho tiempo y esfuerzo por los profesores

En todo caso, los profesores podrían y deberían explorar y penetrar con los estudiantes en la ética y los límites de la IA generativa y hacerlo con cuestiones tales como:

  • ¿Qué calificación y qué efectos tiene en los conceptos morales y por qué interactuar con un agente experto en palabras que no tiene moral intrínseca ni experiencia del mundo? 
  • ¿Escribir con ChatGPT equivale a plagio?

Pero más allá de esto hay una cuestión clave. Si restringimos la evaluación a lo que es la lectura y la revisión de proyectos o ensayos en el marco exclusivo de esa lectura, damos la entrada a la impostura porque en ese marco, como dice la revista Nature, es imposible distinguir lo que escribe un transformer de lo que escribe un humano. O, en todo caso, la resolución de ese problema nos remite a una futura IA que discerniera que es un autor humano a través del estilo, inflexiones y giros propios y en otros rasgos personales, y en todo caso abundaría en algo que la inteligencia humana le lleva años luz a la IA, como sucede con la psicología cognitiva con respecto al conductismo y al aprendizaje por refuerzo: el análisis de la experiencia, la atribución de sentido  través de la expresión escrita y la interacción que, de ella, se pueda producir, como lo son las que se producen en la revisión y supervisión.


Se hace pues hoy más necesaria que nunca una visión de lo que ha de ser una evaluación centrada en el aprendizaje, en los efectos que produce, en cuales son deseables y, sobre todo, en cuáles de sus manifestaciones presentan una demostración de que el fenómeno de aprender (comprender, atribuir sentido, incorporar, ejecutar autónomamente y transferir) se ha producido. Y hacerlo en el transcurso del proceso. En definitiva, hoy es más urgente que nunca contar con una buena evaluación educativa centrada en el aprendizaje y formativa.

 

 Cómo citar este trabajo:

Zapata-Ros, M. (2023). Los programas generativos “Transformer” AI, entre los que está ChatGPT, ¿una oportunidad para la evaluación formativa? Preprint DOI 10.13140/RG.2.2.18669.46565

 

Referencias

Barrow, B. (2019 Apr) Bayesian Analysis in Natural Language Processing: Cohen. https://linguistlist.org/issues/30/30-1843/

Blanco-González, A. et al. Preimpresión en arXiv https://doi.org/10.48550/arXiv.2212.08104 (2022).

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P. … Amodei, D. (2020). Language models are few-shot learners. Advances in Neural Information Processing Systems, 33, 1877–1901 Clark, D. (2023) Twitter. https://twitter.com/DonaldClark/status/1618422817590243333

Bundy, A. 2007 Computational thinking is pervasive. J. Scient. Pract. Comput.1, 67–69. 

Clark, D. (2023). OpenAI releases massive wave of innovation. https://donaldclarkplanb.blogspot.com/2023/02/

Clark, D. (2023b). https://twitter.com/DonaldClark/status/1618422817590243333

Cohen, S. (2019). Bayesian analysis in natural language processing. Synthesis Lectures on Human Language Technologies12(1), 1-343.

Drury, B.(2019 Aug). Bayesian Analysis in Natural Language Processing, in Review: Computational Linguistics; Text/Corpus Linguistics: Cohen (2019). https://linguistlist.org/issues/30/30-4380/

Gao, CA et al. Preimpresión en bioRxiv https://doi.org/10.1101/2022.12.23.521610 (2022).

Graves, A. (2012). Sequence transduction with recurrent neural networks. arXiv preprint arXiv:1211.3711. https://arxiv.org/abs/1211.3711 Graves, 2012

Garcez, ADA y Lamb, LC (2020). IA neurosimbólica: la tercera ola. preimpresión de arXiv arXiv:2012.05876

Graves, A. (2012). Sequence transduction with recurrent neural networks. arXiv preprint arXiv:1211.3711https://arxiv.org/abs/1211.3711

Gunning, D., Stefik, M., Choi, J., Miller, T., Stumpf, S. y Yang, GZ (2019). XAI—Inteligencia artificial explicable. Ciencia Robótica , 4 (37), eaay7120

Kruse, O. (2006). The origins of writing in the disciplines: Traditions of seminar writing and the Humboldtian ideal of the research university. Written Communication23(3), 331–352

Newton, P. M. (2018, August). How common is commercial contract cheating in higher education and is it increasing? A systematic review. Frontiers in Education3(67), doi: https://doi.org/10.3389/feduc.2018.00067

O’Connor, S. & ChatGPT Educación en enfermería. Practica 66 , 103537 (2023).

Pedreño. A. (2023) ChatGPT y las universidades.  https://www.universidadsi.es/chatgpt-y-las-universidades/

Race, P. (2018). Is the ‘time of the assessed essay’ over? University of Sussex blog article, November 14, 2018. https://blogs.sussex.ac.uk/business-school-teaching/2018/11/14/is-the-time-of-the-assessed-essay-over/

Saul, D. (2023). ‘AI Is The New Electricity’: Bank Of America Picks 20 Stocks To Cash In On ChatGPT Hype. Forbes BUSINESS. https://www.forbes.com/sites/dereksaul/2023/03/01/ai-is-the-new-electricity-bank-of-america-picks-20-stocks-to-cash-in-on-chatgpt-hype/

Science, Technology, and Public Policy (2022) Parthasarathy discusses implications of Large Language Models. https://stpp.fordschool.umich.edu/news/2022/parthasarathy-discusses-implications-large-language-models

Sharples, M. Automated Essay Writing: An AIED Opinion. Int J Artif Intell Educ 32, 1119–1126 (2022). https://doi.org/10.1007/s40593-022-00300-7 Utiizado como un documento base él y sus referencias. https://link.springer.com/article/10.1007/s40593-022-00300-7

Sharples (2023) Twitter https://twitter.com/sharplm/status/1615607290320519169

Stokel-Walker  C.  ChatGPT listed as author on research papers: many scientists disapprove.   Nature. 2023;613(7945):620-621. doi:10.1038/d41586-023-00107-z

Surden H. (2019), “Inteligencia artificial y derecho: una descripción general”, Revista de derecho de la Universidad Estatal de Georgia, vol. 35, disponible en https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3411869# .

Turnitin (2020). How Teachers Can Prepare for AI-Based Writing. Turnitin blog article, May 21, 2020. https://www.turnitin.com/blog/how-teachers-can-prepare-for-ai-based-writing

 Wing, J.M. (2006) Computational thinking. it represents a universally applicable attitude and skill set everyone, not just computer scientists, would be eager to learn and use. Commun. ACM 49(3). https://doi.org/10.1109/vlhcc.2011.6070404

Wing, J.M. (July 2008) Computational thinking and thinking about computing. The Royal Society Publishing. https://doi.org/10.1098/rsta.2008.0118 https://royalsocietypublishing.org/doi/10.1098/rsta.2008.0118 https://royalsocietypublishing.org/doi/pdf/10.1098/rsta.2008.0118

 Zapata-Ros, M. & Palacios, Y. B. (2021). El pensamiento bayesiano, un pensamiento computacional omnipresente. Revista de Educación a Distancia (RED)21(68)

Miguel Zapata Ros

Profesor Honorario en el Centro de Formación y Desarrollo Profesional de la Universidad de Murcia. Investigador en el Instituto Interuniversitario de Economía Internacional. Profesor Externo en la Universidad de Alcalá de Henares, miembro del programas de doctorado en Ingeniería de la Información y del Conocimiento, distinguido con Mención hacia la Excelencia por el Ministerio de Educación (Referencia: MEE2011-0159). Editor de RED, Revista de Educación a Distancia y de Docencia Universitaria. Miembro de INTCODE, agencia consultiva de ONU sobre educación a distancia, y representante en la sede de New York. Doctor en Ingeniería Informática.

More Posts - Website

Follow Me:
TwitterFacebookLinkedInGoogle Plus

Los programas generativos “Transformer” AI, entre los que está ChatGPT, ¿una oportunidad para la evaluación formativa? (I)

Miguel Zapata-Ros

Universidad de Murcia. Murcia. España.

mzapata@um.es

http://dx.doi.org/10.13140/RG.2.2.18669.46565

Resumen

Cada vez hay más evidencia de que las improvisaciones estadísticas de programas como ChatGPT producen textos aparentemente creíbles pero que no tienen ninguna sustentación. El problema no es tanto que permitan el fraude en proyectos y artículos, como que hagan pasar por correctos lo que sólo son generación de textos “sin alma”, sin beingness, o simplemente escritos sin validar teórica o empíricamente, que se aceptan como ciertos acríticamente.

El aprendizaje no es dar cuenta sólo mediante exámenes y proyectos, de datos o de textos describiendo conceptos o hechos. Supone según los clásicos (Gagne, Merrill, Reigeluth) comprender, atribuir sentido, aplicar autónomamente lo aprendido y transferirlo a entornos distintos y cambiantes.

Para eso tiene que haber procesos de interacción y de retroalimentación. Y, si se utilizan proyectos, deben, en la evaluación, ser supervisados en su realización, en la comprensión y en la atribución de sentido que el prendiz hace.

Toda esta constelación de ideas, métodos y prácticas constituye, en el contexto del diseño instruccional, la evaluación formativa.

La evaluación formativa (formative assesment) es evaluación continua + feedback. En ese sentido debería haber actividades de evaluación continua que ofrezcan a los estudiantes comentarios formativos sobre su progreso o para ayudarles a autoevaluar el desarrollo y la calidad del diseño

La evaluación para el aprendizaje (comúnmente conocida como evaluación formativa se centra en la retroalimentación tanto para profesores como para estudiantes.

En un mundo donde la IA aprende y nos supera en una lista creciente de dominios cognitivos, *Beingness* es el dominio final del esfuerzo intelectual humano y debe ser el núcleo de la educación. Y la evaluación formativa debe ser un instrumento para ello.

Palabras claves: ChatGPT, evaluación formativa.

 

I. ChatGPT

 

Programas generativos y ChatGPT

 La aparición del ChatGPT y su impacto. 

     

 

En los últimos días los medios de comunicación y la banca se han hecho eco, con gran alarde de titulares, del impacto del ChatGPT, así Forbes y NBC se hacen eco del último informe del Bank of American sobre la importancia de la IA, que compara con la de la electricidad. Y lo hace a partir de un hecho: La aparición de este programa generador y transformador de textos.

Fuente: Forbes. Suplementó de negocios del 1 de marzo de 2023.

 Por otra parte, la aparición de ChatGPT ha llevado a reputados expertos en la sociedad digital, y en la tecnología educativa en particular, a un gran entusiasmo y a la manifestación de expresiones de arrebato como hace tiempo no se habían visto. Así en el campo de la educación digital, Donald Clark ha llegado a decir (2023):

 

ChatGPT podría pasar a ser tutor, profesor, formador, instructor, experto, mentor, entrenador sobre cualquier tema imaginable. Tendrán fines educativos específicos; personalizado, experiencia en el tema, apropiado para la edad, sensibilidad cultural y ser infinitamente útil y paciente las 24 horas del día, los 7 días de la semana. 

Ideas que ha ampliado en su blog:

Lo que hace ChatGPT es permitirte usar la herramienta para enseñar y aprender. Una vez que haya dominado la ‘ingeniería rápida’, sabiendo cómo construir la entrada correcta, comprendiendo que ChatGPT es un sistema de diálogo y no solo un productor de piezas de texto monolíticas, puede producir cosas maravillosas. Esta es una nueva habilidad para los diseñadores de aprendizaje: la IA generativa permite todo tipo de indicaciones complejas mediante iteraciones, lógica y parámetros que mejoran el resultado. 

Le permite mejorar el diseño inicial, hacer funcionar los trabajos y proyectos con sólo las partes interesantes, producir objetivos, competencias y habilidades deseadas, planes de estudio e incluso títulos para sus iniciativas de aprendizaje. Para crear contenido, uno puede solicitar contenido completo con el nivel adecuado de detalle y matiz, resúmenes, imágenes, todo en diferentes estilos y voces, adecuado para diferentes audiencias. Puede crear evaluaciones y tareas con rúbricas completas para corregir, también actividades de aprendizaje para debates, escenarios y juegos de roles. Más allá de esto, puede solicitar correos electrónicos, contenido de redes sociales y marketing. Hemos elaborado una lista de 100 ideas rápidas para profesionales del aprendizaje para permitir que los profesionales del aprendizaje amplíen su perspectiva sobre esta tecnología que utilizaremos en charlas y talleres planificados.

Recuerde que este es solo el comienzo de las herramientas de IA que mejorarán drásticamente la productividad de los docentes, los diseñadores de aprendizaje y los alumnos.

Pero no es sólo Donald Clark, son otros autores. Entre ellos, es igualmente optimista, en un aspecto más amplio, Andrés Pedreño que llega a decir como ideas fundamentales para la enseñanza universitaria las siguientes:

1)Herramientas de un enorme potencial a corto plazo.

ChatGPT basado en GPT3 es solo el inicio de una serie de herramientas con un enorme potencial para la docencia y la investigación

2) La docencia con ChatGPT es objeto de disrupción. 

Los alumnos llevan en sus bolsillos una herramienta que puede superar al profesor que está en la tarima si éste se limita a dar información convencional sobre los temas de la asignatura. La IA obliga a redefinir la enseñanza. (…) Los exámenes y los sistemas de evaluación convencional también deberán ser profundamente revisados. La educación personalizada se erige como fundamental para impedir brechas relevantes entre alumnos (incluso entre profesores).

 Oportunidad y reto

En conclusión, ChatGPT representa una oportunidad para transformar la educación en las universidades y mejorar la experiencia de los estudiantes. Al utilizar tecnología avanzada para procesar y comprender el lenguaje humano, ChatGPT también abre la puerta a nuevos horizontes en la educación, brindando a los estudiantes la oportunidad de aprender de manera más personalizada y adaptativa. A los investigadores les puede ayudar a romper los límites para procesar y asimilar grandes cantidades de información.

 

Más allá de lo que diremos extensamente en este trabajo, cabe plantearse si han meditado estos autores sobre la gran responsabilidad de atribuir en una fase tan temprana unos juicios a mi modo de ver injustificados y temerarios sobre la atribución de todos esos “poderes” y capacidades a ChatGPT

Hicimos una prueba muy elemental. Una pregunta textual, no estrictamente matemática que evidentemente podría ser generativa, pero con un proceso de atribución muy sencillo, por una persona, de sentido a cada una de las partes del texto que puede hacer un alumno de primaria (por aproximaciones sucesivas) y secundaria (de forma algebraica elemental). Se trata de la siguiente pregunta:

  1. A) A fish measures 1.5 meters. The body is 1 m longer tan head. How long is the body and how longi s the head?

En español:

Un pez mide 1,5 metros. El cuerpo mide un metro más que la cabeza ¿Cuánto mide el cuerpo y cuanto mide la cabeza?

La respuesta es un absurdo y da un resultado contradictorio tanto en inglés como en español:

 

Unos días después y tras haber publicado tuits y haber debatido en Twitter con @OpenIA y #ChatGPT, #ChatGPT_Education, aparece una respuesta con un planteamiento algebraico, no textual, adecuado y la respuesta correcta.

Alguien podría decir que éste es un problema matemático y que ChatGPT no está entrenado para este tipo de problemas. No es así, además de ser un enunciado exclusivamente textual se puede resolver por mecanismos cognitivos no algebraicos y tiene que ver con capacidades que en otros sitios hemos denominado aproximaciones sucesivas o métodos de ensayo error. Por ejemplo, hablando de pensamiento computacional y de pensamiento computacional desenchufado, que nada tienen que ver con las matemáticas, el algebra o la computación pura y dura, a pesar del nombre.

Son métodos y formas de pensar que perfectamente puede desarrollar un niño en edad prealgebraica, anterior a la del pensamiento abstracto. Un niño, de esta forma, puede comprobar mentalmente que 1 y 0,5 no pueden ser porque contradirían la condición de que el cuerpo midiese un metro más que la cabeza y que si fuese 1, 5 y 0,5 como dice ChatGPT  contradirían que la suma es 1,5. Luego la cabeza debe estar entre 0 y 0,5. Puede ensayar mentalmente algún valor, hasta llegar a la conclusión de que ese 0,5 debe repartirse por igual entre el cuerpo y la cabeza. A qué aquel debe ser 1,25 y ésta 0,25.

 

Otro ejercicio fue el conocido problema de ingenio de las respuestas verdaderas y falsas:

Pregunta

A tourist is lost in New York. He comes to a crossroads where he must choose one of two paths. One leads to a marginal neighborhood where chaos reigns and his life will be in danger. The other leads directly to his hotel. He knows that there are two urban tribes, the one with the hard heads and the one with the soft heads. Hard heads always tell the truth and soft heads always tell lies. At the crossroads there are two of them. He knows that one is hard-headed and the other is soft-headed. He can only ask one question of one of them. What question must he ask to get safely to the hotel?

Respuesta

 The tourist can ask the following question: “Are you a soft head?” If the person he asks responds “yes”, then that person is a soft head and everything they say is a lie, so the path they indicate leads to the marginal neighborhood. If they respond “no”, then that person is a hard head and everything they say is the truth, so the path they indicate leads to the hotel.

EN ESPAÑOL

Pregunta:
Un turista se encuentra perdido en New York. Llega a una encrucijada donde debe optar por uno de dos caminos. Uno conduce a un barrio marginal donde reina el caos y su vida peligrará. El otro conduce directamente a su hotel. Sabe que hay dos tribus urbanas, la de los cabezas duras y la de los cabezas blandas. Los cabezas duras siempre dicen la verdad y los cabezas blandas siempre dicen mentira. En la encrucijada hay dos de ellos. Sabe que uno es cabeza dura y el otro es cabeza blanda. Sólo puede hacer una pregunta a uno de ellos. Qué pregunta debe hacer para llegar a salvo al hotel?

Respuesta

El turista puede hacer la siguiente pregunta: “¿Eres un cabeza blanda?”. Si el interlocutor responde “sí”, entonces es un cabeza blanda y todo lo que dice es una mentira, por lo que el camino que indica lleva al barrio marginal. Si responde “no”, entonces es un cabeza dura y todo lo que dice es verdad, por lo que el camino que indica lleva al hotel.

Unos días después hice la misma pregunta. El resultado fue un poco más fino pero casi igual el desarrollo. Y lo que es peor, no percibe la contradicción entre la primera y la segunda parte de su respuesta, ni une lógicamente las dos premisas contenidas entre la primera (If the person being asked is hard-headed, they will tell the truth and correctly identify which road the other person (who is soft-headed) would point to ) y la segunda parte (If the person being asked is soft-headed, they will lie and mistakenly point to the road that the other person (who is hard-headed) would point to) del segundo párrafo, para establecer una conclusión. Cosa que haría elementalmente cualquier desarrollo de programación lógica de los años ochenta y noventa, como Prolog. Éste fue el resultado:

Pregunta:

“A tourist is lost in New York. He comes to a crossroads where he must choose one of two paths. One leads to a marginal neighborhood where chaos reigns and his life will be in danger. The other leads directly to his hotel. He knows that there are two urban tribes, the one with the hard heads and the one with the soft heads. Hard heads always tell the truth and soft heads always tell lies. At the crossroads there are two of them. He knows that one is hard-headed and the other is soft-headed. He can only ask one question of one of them. What question must he ask to get safely to the hotel?”

Respuesta

“The tourist should ask either of the two people at the crossroads the following question: “If I were to ask the other person which road leads to my hotel, which road would they point me to?”

If the person being asked is hard-headed, they will tell the truth and correctly identify which road the other person (who is soft-headed) would point to. If the person being asked is soft-headed, they will lie and mistakenly point to the road that the other person (who is hard-headed) would point to.

Therefore, regardless of which person the tourist asks, the answer to the question will always point to the road that leads to the hotel. The tourist can then take that road and arrive safely at the hotel.

 

Contrastan las proclamas iniciales, con unas declaraciones tan ampulosa de visiones tan grandilocuentes, y la humildad de estas pruebas con unos resultados francamente mejorables, sobre sencillas preguntas de texto, fáciles incluso por niños de primaria o secundaria. Hechas siempre sobre enunciados textuales. para que el programa procese, transforme y genere texto.

 Ante ello, las cuestiones que de forma inmediata se nos suscitan, ante el salto que suponen los enunciados y proclamas iniciales de reputados expertos, y la realidad del programa con las respuestas a preguntas tan sencillas, son: 

¿Cómo ChatGPT va a enseñar? ¿Cómo va tutelar, evaluar, … y hacer todo eso que presuponen esos autores en sus visiones? 

¿Cómo va a realizar esas tareas (tutoría, evaluación, diseño instruccional, …),  una aplicación que responde así a este simple problema de primaria, secundaria, k-12? 

Obviamente Clark y otros lo hacen no sólo sin ninguna evidencia en que apoyarse, sino de una forma harto precipitada ¿Qué y quién está detrás de estas situaciones. Clark anuncia una amplia gira internacional para explicar las ventajas de ChatGPT ,  pero no es el único ni el más importante? ¿Quién paga esto?

 

¿Qué son los programas generativos “Transformer” AI, o los generadores de texto a partir de estadísticas de grandes cantidades de datos?

 

Para lo que nos ocupa conviene destacar en primer lugar que cuando se habla de ChatGPT se habla de dos cosas. Aunque de forma banal, en nuestro entorno casi todos, incluso insignes catedráticos, hablan de la primera e ignoran, se supone que no deliberadamente, la segunda. Lo cual es grave, sobre todo cuando se habla desde una perspectiva educativa.

En primer lugar, se trata de un modelo de predicción de texto transformador y generativo. Es una enciclopedia. Pero también es un modelo conversacional basado en un modelo instruccional. Es decir, es un modelo que se basa en la conversación para su  su aprendizaje propio, mediante el cual incorpora criterios. Esto es lo que todo el mundo desconoce u olvida.

En la primera acepción, GPT son las siglas de Generative Pre-trained Transformer. Es un modelo de predicción de texto gigante. Está entrenado por OpenAI en el uso de 500 mil millones de palabras. Su precedente, el GPT-3, y él no solo son capaces de escribir correctamente en varios idiomas, sino que sobre todo es un modelo enciclopédico, en esta acepción, que integra una gran cantidad de referencias y datos del mundo real (personas, eventos, conocimiento científico). Hasta ahora, su precedente GPT-3 nunca se abrió al público en general por razones de riesgo. GPT-3 no tenía un mecanismo de inhibición real basado en experiencia y valores humanos y podía generar cualquier disparate, siempre que el texto sea solo superficialmente coherente.

Según la segunda acepción, ChatGPT se basa en InstructGPT, un modelo conversacional de aprendizaje. Lo importante, para nuestro propósito y nuestro enfoque del tema, es que está basado en el aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF). Es una affordance creada a partir de la anotación de textos generados. Pero lo importante es que el modelo incorpora toda una serie de recompensas y penalizaciones con la función de reforzar la coherencia del texto generado, evitar falsedades flagrantes, pero también moderar por anticipación de posibles derivas tóxicas.  Mediante estas funciones, ChatGPT, de entre todo inmenso repertorio de de respuestas lingüísticamente correctas que se podrían generar, ChatGPT opta por aquellas que son más correctas en un contexto de chat: esto se llama “alineación de IA”. Basado en este mismo principio, ChatGPT a veces también se niega rotundamente a responder.

Esta doble naturaleza condiciona y hace comprender la esencia y las limitaciones de ChatGPT. La distinción entre modelo textual y modelo conversacional es fundamental para entender cómo funciona:

  • El modelo lingüístico no está actualizado y no se alimenta de las sugerencias de los usuarios. La formación, la actualización de las bases de datos es muy cara y solo se renovará una vez al año por término. Esta es la razón por la que no hace referencias al mundo después de 2021 1
  • El modelo conversacional continúa refinándose en función de las contribuciones de los usuarios cada 3 o 4 semanas en promedio. Con ellas OpenAI mejora la alineación del modelo con la intención del usuario o la plataforma. Ante la paralización del modelo textual, el modelo conversacional hace generaciones de mayor calidad y, como      consecuencia, de su metodología de refuerzo, penaliza más a las generaciones no deseadas. La última versión, fechada el 30 de enero último, penaliza más “alucinaciones”. Término utilizado para designar generaciones puramente poco o nada reales o posibles). 

 

Qué son

Los programas transformadores en IA son una modalidad de arquitectura de redes neuronales que ha ido ganando popularidad. A su vez, las redes neuronales son redes de nodos que simulan las redes de neuronas biológicas (no necesariamente humanas). Y tienen la virtud de aprender de una determinada forma: Las redes neuronales aprenden (o son entrenadas) procesando ejemplos, cada uno de los cuales contiene una “entrada” y un “resultado” computables como sucesos probabilísticos, de manera que se pueden establecer asociaciones ponderadas de probabilidad entre los dos (en esto tiene mucha importancia el análisis bayesiano), que se almacenan dentro de la estructura de datos de la propia red. 

Los transformadores han sido puestos de moda por OpenAI en los modelos de lenguaje precedentes de ChatGPT, la serie GPT, y en el propio ChatGPT, pero también fueron utilizados antes sin tanta resonancia, como por ejemplo por DeepMind para AlphaStar, su programa que derrotó a un jugador profesional de Starcraft.

En general los programas transformadores IA se desarrollaron para resolver el problema conocido como de la transducción de secuencias (Graves, 2012) (transdution sequence en inglés) o traducción automática neuronal. Eso tiene que ver con cualquier tarea automática de dispositivo digital que transforme una secuencia de entrada en una secuencia de salida de carácter distinto. Esto incluye reconocimiento de voz, transformación de texto a voz, reconocimiento de imágenes, etc.

El transformador IA GPT-3, y después ChatGPT, no suponen ninguna novedad conceptual más allá de la potencia de sus bases de datos y la capacidad de sus algoritmos para procesar esa gran cantidad de datos rápidamente. De ahí lo de grande en large language models (LLM) como de otra forma se llaman[1]. Funcionan como un completador de texto altamente capacitado, similar al que se encuentra en los teléfonos móviles y las interfaces de correo electrónico. Lo que sucede es que en lugar de mirar hacia atrás a los últimos caracteres y usarlos para predecir la próxima palabra o dos, presta atención a las 700 u 800 palabras anteriores que ha escrito, para continuar escribiendo una historia corta completa, un blog o un ensayo de estudiante. Ese mismo tipo de programa también puede resumir un artículo científico en un lenguaje más simple, escribir una reseña, traducir idiomas y responder preguntas generales. En resumen, un Transformer AI es una herramienta de lenguaje de propósito general.

Y éste va a ser su gran déficit para lo que estamos tratando, la educación.

 “Los grandes modelos de lenguaje preentrenados no se basan en otros dominios de la experiencia, como el video o la interacción física del mundo real, y por lo tanto carecen de una gran cantidad de contexto sobre el mundo” (Brown, et al. , 2020 , p.34). Los transformadores son modelos de lenguaje, no de conocimiento a través de la experiencia, la asignación de sentido o los valores. No están diseñados para ser humanos reflexivos, ecuánimes y éticos, o en particular para ser académicos, para verificar referencias académicas y garantizar que la evidencia esté basada en hechos. En términos humanos, son esencialmente inexpertos, irreflexivos y amorales. No tienen la capacidad de reflexionar sobre lo que han escrito, ni de juzgar si es exacto y decente.

 

Conclusiones generales sobre ChapGPTG y otros Large language models

 

Coincidiendo con Sharples (2022) pensamos que las características enunciadas en el apartado anterior harán que ChatGPT tenga poco futuro en la Educación. No podemos poner en las manos de un agente deseablemente educativo, sea chatbot u otro, la posibilidad de que suministre a los alumnos un contenido hipotéticamente inapropiado o del que no podemos garantizar que no lo sea. En todo caso lo podríamos poner en manos de profesionales consolidados con un juicio, capacidad profesional y experiencia que le permita discernir y evaluar los contenidos ofrecidos por ChatGTP más allá de lo que ofrece como resultado de una consulta.

Consciente de ello, OpenAI ha proporcionado un complemento para GPT-3 que filtra el lenguaje inapropiado. Sin embargo, es poco probable por el costo que supone en relación con la rentabilidad que la empresa produzca herramientas para verificar la precisión de los resultados en relación en todo caso con la exactitud de las fuentes de donde se toman los datos o las afirmaciones evaluando su rigor como lo podría hacer un humano. De esta manera, como hemos dicho, el enfoque y la aplicación estaría en la inteligencia artificial general apoyando trabajos profesionales, no en la educación. 

Quizás otras empresas, en un futuro, podrían suministrar herramientas para verificar la precisión y la fiabilidad de las referencias generadas o para agregar referencias específicas para un artículo. Pero en todo caso estas herramientas no superarían la limitación fundamental de los modelos de los lenguajes Transformer, como ChatGPT: que no tienen un modelo interno evaluable y accesible para modificar en función de cómo funciona el mundo, proporcionando una base de conocimientos para que el sistema reflexione sobre la precisión y la sapiencia de su trabajo generado. 

Gunning et al (2019) están realizando investigaciones para desarrollar una IA neuronal explicable y Garcez & Lamb (2020) están investigando sistemas híbridos de IA neuronal/simbólica que podrían abordar este problema.

En todo caso coincidimos con Sharples (2023) cuando en un tuit dice:

He visto a algunos académicos desconcertados sobre por qué ChatGPT inventa referencias académicas y por qué su “base de datos” se detiene en 2021. Ese es un malentendido fundamental de cómo funciona. Es un modelo de lenguaje, no una base de conocimiento. Produce “continuaciones” no “hechos”. Necesitamos una nueva alfabetización en IA.[2]

Como ideas generales pensamos que además de lo dicho esta línea de desarrollo, para ser realmente eficiente y para su puesta en práctica de forma generalizada, más allá de las intenciones enunciadas por los posts y notas de prensa de sus departamentos de comunicación y marketing, debe profundizar en

  1. A) Utilizar como herramientas más finas las que se derivan del nuevo pensamiento bayesiano que expusimos (Zapata-Ros, M. & Palacios, Y. B., 2021), para seleccionar en función de una analítica de datos, para la cual tienen ya potentes bases, las respuestas en los informes a las preguntas que se les hacen.
  2. B) Tener presente elementos más finos de lo que son procesos cognitivos de aprender y sobre qué es aprender.

Respecto de lo primero, el análisis y razonamiento probabilístico es un subcampo del aprendizaje automático aplicado al procesamiento del lenguaje natural (PNL). Y, en su contexto, un campo de Probabilidad, la estadística bayesiana, puede ofrecer técnicas únicas para el PNL.

Como en el resto de la tradición bayesiana, pero ahora apoyada por el análisis de grandes conjuntos de datos, la asignación de probabilidad a un suceso se basa en la probabilidad de su inverso (probabilidad a priori), a través del resultado en experimentos conocidos (probabilidad inversa, probabilidad compuesta y teorema de Bayes). En contraposición a la otra gran escuela clásica, la asignación a través de la frecuencia (probabilidad determinista o frecuentista) (Drury, agosto 2019):

Cohen (2019) afirma que el objetivo de la estimación puntual bayesiana es: “resumir la parte posterior de los parámetros en un conjunto fijo de parámetros”, y vincula este objetivo a un enfoque frecuentista conocido como estimación de máxima verosimilitud. 

En otro trabajo Barrow (2019 Apr), glosando el libro de Cohen (2019) dice:

El procesamiento del lenguaje natural (PNL) experimentó una profunda transformación a mediados de la década de 1980 cuando cambió para hacer un uso intensivo de corpora y de técnicas basadas en datos orientadas al análisis del lenguaje. Desde entonces, el uso de técnicas estadísticas en PNL ha evolucionado de varias formas. Un ejemplo de evolución tuvo lugar a finales de la década de 1990 o principios de la de 2000, cuando se introdujeron las herramientas bayesianas, en toda regla, en el PNL. Este enfoque bayesiano del PNL ha llegado a suplir resolviendo varias deficiencias en el enfoque frecuentista enriqueciéndolo, especialmente en el entorno no supervisado, donde el aprendizaje estadístico se realiza sin ejemplos de predicción de objetivos.

 

En esquema, este proceso de asignación bayesiana de la probabilidad apoyada con analítica de grandes datos sería

Fig. 1 Imagen obtenida de Zapata-Ros, M. & Palacios, Y. B. (2021)

 Hemos visto este uso de la probabilidad bayesiana en la pandemia, en modelos de epidemiología, para determinar modelos de evolución de datos sobre contagio y fallecimientos en el COVID y en el procesamiento del lenguaje natural. Pero igualmente podríamos verlo en multitud de casos en los más variados ampos científicos y de análisis de procesos. De esta forma, con la automatización de los métodos bayesianos y el uso de modelos gráficos probabilísticos es posible identificar patrones y anomalías en voluminosos conjuntos de datos en campos tan diversos como son los corpus lingüísticos, los mapas astronómicos, añadir funcionalidades a la práctica de la resonancia magnética, o a los hábitos de compra con tarjeta, online o smartphones. Esto por señalar sólo algunos casos, como son los que se asocian con el análisis de grandes datos y la teoría bayesiana. Pero hay muchos más (Bundy, 2007 y Wing, 2008, a través de Zapata-Ros, 2020 agosto).

Este esquema está presente en multitud de casos. A lo dicho en anteriores ocasiones hay que añadir ahora la idea de pensamiento computacional generalizado (pervasive computational thinking) como avance y desarrollo de lo tratado en el pensamiento computacional simple, el que Wing (2006) plantea en su primera aproximación.

Abundan evidencias sobre la influencia del pensamiento computacional apoyado por el análisis bayesiano en otros campos: Está transformando las estadísticas, donde con el aprendizaje automático, la automatización de los métodos bayesianos y el uso de modelos gráficos probabilísticos es posible identificar patrones y anomalías en voluminosos conjuntos de datos. Esto sería deseable que se incorporase también en futuros Large language models y otros modelos de transformadores de lenguaje

Respecto de lo segundo, y a propósito del ejemplo del pez y de su cabeza, convendría tener presente y como base de estudios y desarrollos un tratamiento más riguroso y detallado  de los avances de la psicología cognitiva, y no quedarse en teorías obsoletas como son las del aprendizaje por refuerzo, y de las teorías instruccionales sobre lo que son procesos cognitivos de aprender y sobre qué es aprender y cómo se utilizan en el diseño educativo. Lo hemos visto antes y también lo veremos más adelante, cuando hablemos de condiciones del aprendizaje, comprender, atribuir sentido, incorporación, autonomía y transferencia. Y de cómo ello debe ser garantizado por una autentica evaluación, de manera formativa y con dominio en el aprendizaje.

 

Repercusiones para la educación y para el aprendizaje.

 


Repercusiones positivas

Bastantes cosas de las que se han dicho sobre las ventajas del ChatGPT en educación, matizadas y contextualizadas adecuadamente, son ciertas.

Así por ejemplo es obvio que este transformer como el resto forman parte de la IA de asistencia educativa tutorizada. De cuya naturaleza educativos participan. También es previsible que compartan esa naturaleza las versiones sucesivas ChatGPT-n. Lo que se dice de esta AI es cierto para ellos: proporcionarían acceso de forma sistematizada a la información existente y a autoservicios de ese tipo, de forma permanente las 24 horas del día, los 7 días de la semana. Todo ello si no entramos más en detalle de como lo hacen, con qué fiabilidad, etc tal como lo hemos visto y lo seguiremos viendo.

También serán útiles para cierto tipo de evaluación.  Sobre todo, si consideramos que unas pruebas “objetivas” del tipo de respuesta múltiple o de verdadero y falso, más sofisticadas que las actuales en el sentido de tener más en cuenta condiciones de contexto, se pueden considerar evaluación de aprendizajes y de logros.

Así, a lo largo de muchos años, la IA que apoya a los estudiantes se ha desarrollado para incluir, por ejemplo, herramientas de aprendizaje adaptativo “para dominios complejos como lenguajes de programación, matemáticas, medicina, física, solución de problemas de aviónica y electrónica” (Wasson 1997 : 572); también para la captura y el análisis de una amplia gama de señales en el aula (por ejemplo, medir la atención, la empatía y la emoción), el uso de una gama cada vez mayor de hardware (desde teléfonos móviles hasta auriculares EEG), en cuyo contexto y con cuya ayuda se han diseñado chatbots para brindar a los alumnos soporte todo el tiempo, y por último , para incluir organizadores de redes de aprendizaje diseñados para construir comunidades de estudiantes, evaluación automática de escritura, etc.

En general en las últimas tres décadas, la mayor parte del enfoque de investigación sobre IA y Educación (AIED) se ha centrado en el apoyo que la IA puede suministrar al del alumno, pensando en aquella que, por definición, tiene como objetivo automatizar las funciones del docente, de modo que los alumnos puedan aprender independientemente de que tengan profesor o no. Es decir, que tengan su propio tutor personal artificial y puedan aprovechar en sentido muy relajado lo que se sostiene acerca de la enseñanza mentorizada  a partir de las conclusiones del estudio conocido como problema de dos sigmas de Bloom.

Sin embargo, gran parte de todo esto adopta un enfoque bastante tosco y primitivo de la pedagogía y, con demasiada frecuencia, se centra en la automatización de prácticas pedagógicas poco eficientes para satisfacer a usuarios poco exigentes, cuando no banales, en lugar de la esforzarse por una innovación de pedagogía científica de calidad, como es por ejemplo de idear formas innovadoras de evaluar y acreditar el aprendizaje, en lugar de facilitar exámenes sin abandonar la idea del propio examen como verificación de registro memorístico o de información, pero cada vez con recursos de verificación de esa información, en vez de considerar la verificación como evaluación del aprendizaje real.

Un beneficio claro está siendo la emergencia y la constatación de la necesidad de otras ideas positivas alternativas para utilizar los transformers o con ellos. Así podemos ver que en los próximos tiempos podrían ocurrir algunas de estas cosas:

El ensayo, trabajo fin de máster (TFM), de Grado (TFG), de asignatura, o como quiera que se le llame o se utilice, perdería vigencia. Los profesores podrían restringir las asignaciones por estos conceptos, en las ponderaciones que se hagan para superar estudios, a los trabajos informes o de ensayos, en favor de otro tipo de pruebas como son exámenes supervisados, o trabajos y prácticas muy supervisadas con entrevistas. El problema es que estos procedimientos no generan pruebas, son poco formales, y consumen mucho tiempo. 

Otra alternativa que podría generarse es la de establecer tareas escritas reflexivas y contextualizadas que la IA no podría generar. Para esto es clave la interacción. De manera que los sucesivos refinamientos tengan que hacer alusión a las propuestas de mejora específicas de profesor.  Por ejemplo, el tutor podría asignarle a cada estudiante un proyecto de investigación independiente, luego solicitar un informe escrito sobre ese proyecto concreto, dar retroalimentación al estudiante sobre el informe y luego pedirle que escriba una reflexión crítica sobre la retroalimentación y los problemas planteados por el proyecto a los que aludió en su primer informe de revisión.

En fin, existen muchas formas imaginativas y nuevas, algunas de las cuales pueden integrar incluso los programas Transformers. La cuestión es que en todas estas como en las anteriores se exigen un considerable esfuerzo por los profesores y un pacto tácito de confianza y de colaboración por parte de alumnos y familias.

Así, una forma imaginativa de incorporar texto generado por estos procedimientos en las tareas educativas, podría ser que el profesor emplee un Transformer AI para generar un conjunto de ensayos alternativos sobre un tema, luego pida a los estudiantes que los critiquen y escriban sus propias versiones mejores. 

O que establezca una pregunta compleja y luego pida a cada estudiante que genere respuestas de IA a la pregunta y que sea el estudiante el que evalúe estas respuestas en relación con los criterios de evaluación. 

Seguro que en la literatura y en las prácticas experimentales aparecerán opciones de uso educativo de los Transformers, pero nunca tendrán los efectos taumatúrgicos que ahora se les otorgan.

 

Repercusiones negativas

Se puede decir que tiene tantas repercusiones negativas como positivas hemos visto, siempre que no se no se satisfagan unas mínimas condiciones de intervención educativa humana.

Así cuando hablamos de acceso de forma sistematizada a información existente o de proporcionar autoservicios que funcionan las 24 horas del día, los 7 días de la semana las consecuencias pueden no ser educativas sino que se pueden incluso derivar en aprendizajes no deseados o perjudiciales, a consecuencia de ausencia de metacognición o de criterios adecuados de administrar la información y de valorarla críticamente. Este efecto también puede producirse a consecuencia de una ausencia de elaboración propia del alumno, con la falta de una adecuada atribución de sentido y, la ya señalada, de interacción que valide la corrección de las respuestas. Cuestión que, como hemos visto, en sentido educativo, ChatGPT no tiene ni se espera que lo tenga próximamente, por no estar en la agenda y ser muy caro. Lo primero como consecuencia de lo segundo.

 

Cuestiones en las que ChapGPT participa de las características de la IA educativa:

Por último, no conviene olvidar que los Transformers y el ChatGPT participan de todos aquellos factores que hacen criticables la IA por tomar decisiones basadas en resultados algorítmicos. Es decir, de todos los inconvenientes que en general tienen que ver con la IA como generadora de ideas sin mediación ni validación humana intermedia.

En educación, esto es aplicable igualmente a ChatGPT

Surden (2019) identifica problemas de la sociedad contemporánea que incluyen el sesgo en la toma de decisiones algorítmicas, en la interpretabilidad de sistemas de muy variada naturaleza a través de la IA. Y que son derivados de la falta de transparencia sobre cómo los sistemas de IA toman sus decisiones y en la deferencia que se hace hacia ellos como con una especie de respeto y de reverencia que los hace como no cuestionables. Todos ellos considerados como problemas en línea con los desafíos reconocidos para la IA y su aplicación en general.

Este razonamiento y estas conclusiones las hace Surden cuando describe la aplicación de la IA en el uso y estudio de las leyes. Pero cada uno de estos temas contemporáneos es, de forma análoga, extremadamente relevante para comprender y evaluar el uso de la IA en la educación, en particular a la luz de lo que pueda surgir con ChatGPT

 

No olvidemos que en su origen es un producto de la psicología conductista más pura, del aprendizaje por refuerzo

Cuando creíamos que los modelos simplistas y mecanicistas de la psicología conductista y del aprendizaje humano por refuerzo ya se habían extinguido y se consideraban como una cosa del pasado, ahora resucitan con los Transformers GPT.

Recordemos que, según toda la literatura suministrada por Open AI, ChatGPT se basa en InstructGPT, un modelo conversacional de aprendizaje por refuerzo a partir de la retroalimentación humana ( RLHF ) ). Es una versión “rectificada” de GPT-3, creada a partir de procesos de anotación genérica de textos, que genera otros textos. De esta forma, el modelo incorpora para ello toda una serie de recompensas y penalizaciones que cumplen varias funciones: reforzar la coherencia del texto generado, evitar falsedades flagrantes, pero también moderar por anticipación  posibles derivas tóxicas. 

Así pues, el avance de ChatGPT sobre los GPT3 y anteriores se basa en que, de todo el universo de respuestas lingüísticamente correctas que podrían generar los predecesores, chatGPT opta por aquellas que son más correctas en un contexto de chat: esto se llama “alineación de IA”. Utilizando este mismo principio, chatGPT a veces también se niega rotundamente a responder.

Éste es el esquema:

Imagen 1. Fuente y original: Ryan Lowe & Jan Leike (January 27, 2022) Aligning language models to follow instructions.  LanguageHuman feedbackSafety & Alignment, Responsible AI, Milestone, Publication. https://openai.com/research/instruction-following

Texto del esquema traducido

Paso 1

Izquierda:

 

Recopile datos de demostración y entrene una política supervisada.

Se muestrea un aviso de nuestro conjunto de datos de avisos.

Una etiquetadora demuestra el comportamiento de salida deseado.

Estos datos se utilizan para afinar GPT-3.5 con aprendizaje supervisado.

 

Derecha:

 

Explique el aprendizaje por refuerzo a un niño de 6 años.

Damos golosinas y castigos para enseñar…

SFT

 

Paso 2

 

Izquierda

 

Recopile datos de comparación y entrene un modelo de recompensa.

Se muestrean un aviso y varias salidas del modelo.

Una etiquetadora clasifica los resultados de mejor a peor.

Estos datos se utilizan para entrenar nuestro modelo de recompensa.

 

Derecha

Explique el aprendizaje por refuerzo a un niño de 6 años.

 

 

Paso 3

 

Izquierda

 

Optimice una política contra el modelo de recompensa utilizando el algoritmo de aprendizaje por refuerzo de PPO.

Se muestrea un nuevo aviso del conjunto de datos.

El modelo PPO se inicializa desde la póliza supervisada.

Explique las recompensas…

Damos golosinas y castigos a

La política genera una salida.

El modelo de recompensa calcula una recompensa por la salida.

La recompensa se utiliza para actualizar la póliza mediante PPO.

 

Derecha

 

Escribe una historia sobre las nutrias.

OPP

Érase una vez…

RM

RM

 

Este trabajo (Ryan Lowe & Jan Leike, January 27, 2022)  enlaza con otro documento del propio Open IA que hace referencia al aprendizaje por refuerzo: InstructGPT.

En este documento y en otros se señala que, para enseñar a los tres modelos (Chap GPT, GPT 3 e InstructGPT), se utilizaron formas semejantes a las conductistas o de aprendizaje por condicionamiento o por refuerzo para enseñar a los programas, para que aprendiesen por estos métodos desfasados.

Dando por supuesto eso, nos podemos plantear ¿se puede enseñar sin saber aprender? ¿Podrían estos programas actuar como educadores si están hechos sin conocer los modelos y teorías vigentes y probadas del aprendizaje? ¿Qué garantías ofrecen?
Eso cuestionaría todo el uso educativo o al menos como tutor o instructor o evaluador de ChatGPT

De hecho, el aprendizaje por refuerzo hace que el ChatGPT esté en una fase histórica del desarrollo del aprendizaje previa a las ideas y a los planteamientos cognitivos.

Al programa se le enseña por refuerzo, pero carece de habilidades, métodos o formas de operar (de hecho, los programadores ni se lo plantean en sus algoritmos, no hay una pedagogía y mucho menos una pedagogía cognitivista) que tengan en cuenta:

  •  La atribución de sentido
  • La experiencia o experiencias vividas e incorporadas.
  • Los valores.

Tampoco cuestiones, desarrollos y condiciones que implican considerar el conocimiento estructurado por relaciones de significación necesarias para ensamblar, integrar y cohesionar los nuevos conocimientos con los previos. Es lo que se llama el andamiaje cognitivo, los conceptos inclusores, los conceptos previos, las relaciones de significación, etc.

En definitiva, a ChatGPT le falta el alma o lo que Siemens consideraba el “beingness”[1]

 

Este procedimiento, el de recurrir a la imitación humana del aprendizaje por refuerzo, lo podemos ver en las propias declaraciones de OpenIA:

En Introducing ChatGPT dice, en el apartado “métodos”:

Entrenamos este modelo usando Aprendizaje por refuerzo a partir de retroalimentación humana (RLHF), usando los mismos métodos que  InstructGPT , pero con ligeras diferencias en la configuración de recopilación de datos. Entrenamos un modelo inicial mediante un ajuste fino supervisado: los entrenadores humanos de IA proporcionaron conversaciones en las que jugaron en ambos lados: el usuario y un asistente de IA. Les dimos a los capacitadores acceso a sugerencias escritas en modelos para ayudarlos a redactar sus respuestas. Mezclamos este nuevo conjunto de datos de diálogo con el conjunto de datos InstructGPT, que transformamos en un formato de diálogo.

Para crear un modelo de recompensa para el aprendizaje por refuerzo, necesitábamos recopilar datos de comparación, que consistían en dos o más respuestas del modelo clasificadas por calidad. Para recopilar estos datos, tomamos conversaciones que los entrenadores de IA tuvieron con el chatbot. Seleccionamos al azar un mensaje escrito por un modelo, probamos varias finalizaciones alternativas e hicimos que los entrenadores de IA las clasificaran. Usando estos modelos de recompensa, podemos ajustar el modelo usando la  Optimización de Política Proximal . Realizamos varias iteraciones de este proceso.

 

En la descripción que se hace de InstructGPT en el documento Aligning language models to follow instructions de OpenIA, dice:

Para hacer que nuestros modelos sean más seguros, más útiles y más alineados, utilizamos una técnica existente llamada  aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) . En las solicitudes enviadas por nuestros clientes a la API, nuestros etiquetadores brindan demostraciones del comportamiento deseado del modelo y clasifican varios resultados de nuestros modelos. Luego usamos estos datos para ajustar GPT-3.

Los modelos InstructGPT resultantes son mucho mejores para seguir instrucciones que GPT-3. También inventan hechos con menos frecuencia y muestran pequeñas disminuciones en la generación de productos tóxicos. Nuestras etiquetadoras prefieren las salidas de nuestro modelo 1.3B InstructGPT a las salidas de un modelo 175B GPT-3, a pesar de tener más de 100 veces menos parámetros. Al mismo tiempo, demostramos que no tenemos que comprometer las capacidades de GPT-3, según lo medido por el rendimiento de nuestro modelo en las evaluaciones académicas de PNL.”

Y también, en ese mismo documento, sobre InstructGPT () dice

“Para entrenar modelos de InstructGPT, nuestra técnica central es  el aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) , un método que ayudamos a ser pionero en nuestra investigación de alineación anterior. Esta técnica utiliza las preferencias humanas como una señal de recompensa para ajustar nuestros modelos, lo cual es importante ya que los problemas de seguridad y alineación que buscamos resolver son complejos y subjetivos, y no se capturan completamente mediante métricas automáticas simples.”

Por último, en el documento “Learning from human preferences“. dan una vuelta de tuerca más al decir que se basan en los mecanismos simples, que utilizan los humanos para discernir entre dos procedimientos, que utilizan los juegos de Atari, en un alarde de conductismo primario:

Hemos probado nuestro método en una serie de tareas en los dominios de robótica simulada y Atari (sin tener acceso a la función de recompensa: en Atari, sin tener acceso a la puntuación del juego). Nuestros agentes pueden aprender de los comentarios humanos para lograr un rendimiento sólido y, a veces, sobrehumano en muchos de los entornos que probamos. En la siguiente animación puedes ver agentes entrenados con nuestra técnica jugando a una variedad de juegos de Atari.

Para a continuación ilustrar el tema con animaciones de juegos elementales del tipo:

Imagino que tanto Clark como Pedreño habrán visto esto antes de realizar las declaraciones que señalábamos al principio de este documento (serie de posts).

No todo es descartable, en “aprender de las preferencias humana” hay un esquema interesante al menos la parte suficiente para justificar que es compendio de métodos e ideas conductistas los que se utilizan para enseñar a ChatGPT. Es un ciclo de retroalimentación de 3 pasos entre el ser humano, la comprensión del objetivo por parte del agente y la capacitación por RL (aprendizaje por refuerzo restringido al mundo de los videojuegos, Reinforcement Learning RL[2])


Imagen 2

Que nos sugiere este otro:

Imagen 3

 

  

[1] “Beingness is the final domain of human intellectual effort and should be the core of schooling.” — George Siemens, 2023. Twitter.

[2] Reinforcement Learning is a study of an agent learning through interactions with the environment. Thus, to test and compare results of different reinforcement learning algorithms, we need testbed environments. By far the most commonly used testbed has been 57 Atari 2600 games. However, different environments require different exploration schemes and different algorithms. Thus, it is important to have various environments.

Referencias

Barrow, B. (2019 Apr) Bayesian Analysis in Natural Language Processing: Cohen. https://linguistlist.org/issues/30/30-1843/

Blanco-González, A. et al. Preimpresión en arXiv https://doi.org/10.48550/arXiv.2212.08104 (2022).

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P. … Amodei, D. (2020). Language models are few-shot learners. Advances in Neural Information Processing Systems, 33, 1877–1901 Clark, D. (2023) Twitter. https://twitter.com/DonaldClark/status/1618422817590243333

Bundy, A. 2007 Computational thinking is pervasive. J. Scient. Pract. Comput.1, 67–69. 

Clark, D. (2023). OpenAI releases massive wave of innovation. https://donaldclarkplanb.blogspot.com/2023/02/

Clark, D. (2023b). https://twitter.com/DonaldClark/status/1618422817590243333

Cohen, S. (2019). Bayesian analysis in natural language processing. Synthesis Lectures on Human Language Technologies12(1), 1-343.

Drury, B.(2019 Aug). Bayesian Analysis in Natural Language Processing, in Review: Computational Linguistics; Text/Corpus Linguistics: Cohen (2019). https://linguistlist.org/issues/30/30-4380/

Gao, CA et al. Preimpresión en bioRxiv https://doi.org/10.1101/2022.12.23.521610 (2022).

Graves, A. (2012). Sequence transduction with recurrent neural networks. arXiv preprint arXiv:1211.3711. https://arxiv.org/abs/1211.3711 Graves, 2012

Garcez, ADA y Lamb, LC (2020). IA neurosimbólica: la tercera ola. preimpresión de arXiv arXiv:2012.05876

Graves, A. (2012). Sequence transduction with recurrent neural networks. arXiv preprint arXiv:1211.3711https://arxiv.org/abs/1211.3711

Gunning, D., Stefik, M., Choi, J., Miller, T., Stumpf, S. y Yang, GZ (2019). XAI—Inteligencia artificial explicable. Ciencia Robótica , 4 (37), eaay7120

Kruse, O. (2006). The origins of writing in the disciplines: Traditions of seminar writing and the Humboldtian ideal of the research university. Written Communication23(3), 331–352

Newton, P. M. (2018, August). How common is commercial contract cheating in higher education and is it increasing? A systematic review. Frontiers in Education3(67), doi: https://doi.org/10.3389/feduc.2018.00067

O’Connor, S. & ChatGPT Educación en enfermería. Practica 66 , 103537 (2023).

Pedreño. A. (2023) ChatGPT y las universidades.  https://www.universidadsi.es/chatgpt-y-las-universidades/

Race, P. (2018). Is the ‘time of the assessed essay’ over? University of Sussex blog article, November 14, 2018. https://blogs.sussex.ac.uk/business-school-teaching/2018/11/14/is-the-time-of-the-assessed-essay-over/

Saul, D. (2023). ‘AI Is The New Electricity’: Bank Of America Picks 20 Stocks To Cash In On ChatGPT Hype. Forbes BUSINESS. https://www.forbes.com/sites/dereksaul/2023/03/01/ai-is-the-new-electricity-bank-of-america-picks-20-stocks-to-cash-in-on-chatgpt-hype/

Science, Technology, and Public Policy (2022) Parthasarathy discusses implications of Large Language Models. https://stpp.fordschool.umich.edu/news/2022/parthasarathy-discusses-implications-large-language-models

Sharples, M. Automated Essay Writing: An AIED Opinion. Int J Artif Intell Educ 32, 1119–1126 (2022). https://doi.org/10.1007/s40593-022-00300-7 Utiizado como un documento base él y sus referencias. https://link.springer.com/article/10.1007/s40593-022-00300-7

Sharples (2023) Twitter https://twitter.com/sharplm/status/1615607290320519169

Stokel-Walker  C.  ChatGPT listed as author on research papers: many scientists disapprove.   Nature. 2023;613(7945):620-621. doi:10.1038/d41586-023-00107-z

Surden H. (2019), “Inteligencia artificial y derecho: una descripción general”, Revista de derecho de la Universidad Estatal de Georgia, vol. 35, disponible en https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3411869# .

Turnitin (2020). How Teachers Can Prepare for AI-Based Writing. Turnitin blog article, May 21, 2020. https://www.turnitin.com/blog/how-teachers-can-prepare-for-ai-based-writing

 Wing, J.M. (2006) Computational thinking. it represents a universally applicable attitude and skill set everyone, not just computer scientists, would be eager to learn and use. Commun. ACM 49(3). https://doi.org/10.1109/vlhcc.2011.6070404

Wing, J.M. (July 2008) Computational thinking and thinking about computing. The Royal Society Publishing. https://doi.org/10.1098/rsta.2008.0118 https://royalsocietypublishing.org/doi/10.1098/rsta.2008.0118 https://royalsocietypublishing.org/doi/pdf/10.1098/rsta.2008.0118

 Zapata-Ros, M. & Palacios, Y. B. (2021). El pensamiento bayesiano, un pensamiento computacional omnipresente. Revista de Educación a Distancia (RED)21(68)

Miguel Zapata Ros

Profesor Honorario en el Centro de Formación y Desarrollo Profesional de la Universidad de Murcia. Investigador en el Instituto Interuniversitario de Economía Internacional. Profesor Externo en la Universidad de Alcalá de Henares, miembro del programas de doctorado en Ingeniería de la Información y del Conocimiento, distinguido con Mención hacia la Excelencia por el Ministerio de Educación (Referencia: MEE2011-0159). Editor de RED, Revista de Educación a Distancia y de Docencia Universitaria. Miembro de INTCODE, agencia consultiva de ONU sobre educación a distancia, y representante en la sede de New York. Doctor en Ingeniería Informática.

More Posts - Website

Follow Me:
TwitterFacebookLinkedInGoogle Plus

Visions of three-dimensional or virtual workspaces, metaverses, and education. Virtual reality and learning.


Pierre Lévy
Université d’Ottawa.Otawa. Canadá

Miguel Zapata-Ros
Universidad de Murcia. Murcia, España

DOI http://dx.doi.org/10.6018/red.554591

Abstract

The idea of this special issue was to give space to contributions that essentially included empirical research or development of technologies, such as inclusive virtual reality, and to analyze their influence on learning or its improvement. We were thinking of the metaverse, with the technology that it presents or with hypothetical new platforms that are emerging. The perspective was to improve and expand pedagogical possibilities in specific aspects, where it was more difficult to improve. This is the case with those offered by traditional symbolic systems, whose advantages are obvious and refined by tradition and culture: those related to learning and acquisition of reading and writing, learning and acquisition of abilities to produce computer codes (computational thinking) and, finally, those related to learning and acquisition of mathematical symbolic writing.

We briefly analyzed the problems and vicissitudes to deal with the novelty of the approach and possible doubts about the validity of the call for papers. It can be said that, although the monograph has brought together ten works of sufficient quality, most of the objectives set forth have not been achieved. Of the papers published here, four are exclusively about the metaverse. A very interesting one gives us an idea, after some conditions that guarantee its reliability, about the state of what is being done with metaverse in classroom practice in the design and implementation phases. Finally, there has been an aspect in which the objective has not been achieved at all, and this could cause us to reflect on some proposals made in terms of metaverse speculation. There was no contribution among the accepted papers or the many rejected manuscripts on the metaverse as a new code capable of supporting the communication and representation of thought  or similar similar to how key codes, the basis of communication and learning, do so: alphabetic writing, writing through numerical codes and program codes, computational thinking.

Key words: virtual reality, spatial capacity, descriptive geometry.

ARTICLE

When we presented the call for this special issue of RED a few months ago, we took into account, among other issues, the reasons that we present below:

The first is the compelling irruption of the metaverse, or what has been more precisely and rigorously defined as visions of three-dimensional or virtual workspaces, an example of which may be the metaverse, originally defined by (Stephenson, 1992, through Karlsson, 2008). This irruption also implies a strongly emphasized conceptualization of resource as an option for a new means of inclusive and interactional communication, which replaces or competes with symbolic codes whose learning and acquisition constitute and have constituted some of the key competencies for learning.  This is the first challenge and the first theme that led us to propose this special issue.

Originally, it was proposed as a space for theoretical debate supported by empirical practices and research in which the limitations of the codes that they would hypothetically replace would be contrasted and discussed along with progress favored by the new space. Thus, our goal was to compare the codes that in successive revolutions have configured the means and key skills of communication and inculturation, with their consecutive literacies, and a hypothetical system of representation and communication with its predictable literacy, which is what arises with new communication and interaction support.

Therefore, this special issue intends to give space to contributions that essentially include some empirical research or the development and testing of a specific technology, namely inclusive virtual reality, and its influence or improvement on learning through this technology or hypothetical new platforms that are currently emerging. So far, we have mentioned specific aspects that are more difficult to improve, such as those that traditional symbolic systems offer, especially those related to learning and acquiring reading and writing, learning and acquiring abilities to produce computer codes (computational thinking) and, lastly, learning and acquisition of mathematical symbolic writing.

Despite the short time that has elapsed since the presentation of the metaverse, we also considered the acceptance of theoretical essays and critiques revolving around the politics and culture of educational innovation on these issues. Since we thought that the number of contributions would be limited, and closely linked to the first and second topics mentioned above, we decided to offer additionally a space for debate and presentation of research on virtual reality as a learning factor and its integration into instructional design schemes.

According to recent studies (Lee et al, 2010), desktop virtual reality (VR), but not only that modality, enhances and influences learning. Beyond the initial enthusiasm, some relevant constructs and various metrics to examine how virtual reality enhances learning have been identified. In addition, some models and hypothetical proposals have been analyzed, and an adequate adjustment and modeling has been carried out in the cases in which it was possible and convenient for learning. In those cases, the results supported the indirect effect of VR features on learning outcomes, which were mediated by both the interaction experience and the learning experience. Thus, we wanted to take the chance to find out what new results exist now about Virtual Reality as a learning factor and its integration into instructional design schemes.

With this monograph, we also wanted to present learning experiences that measure individually factors that influence learning, such as attendance, motivation, some cognitive aspects, control and active learning, and reflective thinking. In previous cases, they took center stage by affecting the results in the VR-based learning environment.

Although these ideas could seem excessively ambitious, we also propose to analyze the moderating effect of student characteristics, such as spatial ability and learning traits. The results can also be used by instructional designers and virtual reality software developers to improve the effectiveness of learning and strengthen implementation based on virtual reality and eventually new visions of three-dimensional or virtual workspaces of the metaverses.

It has been said that learning is a social (Onrubia, 2005) and situated phenomenon (Reigeluth, 2012; Merrill, 2007, 2009). We can consider what the Internet is like now. We interact with more people virtually than physically. As conceived by its creators (Stephenson, 1992, through Karlsson, 2008), metaverse would be one more step to go further to bond, if not identify, the physical and virtual worlds, mixing them both in a new universe. The uniqueness is now that the space, the set of connected social applications, the hardware and software that support them, and the set of interconnected maximalist experiences, in its latest version the one presented by Zuckerberg (Newton, June 2021), would be managed by the company that manages to impose its metaverse, which obviously will not be just one. The pedagogy and study of learning possible with metaverse is something that is starting now.

Lastly, we wanted to provide a space to talk about the symbolic systems of communication and symbolic representation, taking into account that one of the stakes, and challenges is that the metaverse replaces or complements the existing codes to support and transmit knowledge and it becomes the means of relation and communication, just as reading, writing, arithmetic and, more recently, computational thinking are now.

Symbolic codes and literacies, including those that support reading, writing, and arithmetic and computational thinking, have already been already discussed (Pérez-Paredes & Zapata-Ros, 2018; Moreira Teixeira and Zapata-Ros, 2021; Zapata-Ros, 2015). Now it would be worth debating which of these features are equally attributable to the role of mediation in the same way that these visions of three-dimensional or virtual work spaces can contribute or counterpose as an alternative.

Today we present the results.

In summary, it can be said that, although this special issue collected ten papers of adequate quality, most of the original objectives have not been achieved. It would be lengthy and the analysis would go beyond the objectives of a presentation. However, we will point out some notes.

We launched the call for contributions exactly one year ago. In the time since then, the call has been widely disseminated through the usual means to the international and Hispanic scientific community in education and technology, with direct and personalized calls to colleagues who we know work on these issues. Therefore, it cannot be said outright that dissemination has been limited or insufficient. It could be argued, however, that the journal lacks sufficient quality or entity. However, the publication of quality evaluations and indicators from agencies in May-June, with Q2 in SJR (p73), JCR-JCI and Q1 in CiteSacore, classification by index, do not clearly support this hypothesis.

Therefore, one might think that we do not have a sufficient amount of research, or even a theoretical elaboration based on it, beyond what is speculative or what is biased to support any of the assumptions made. Nevertheless, the results are still interesting. Therefore, in the end, ten works are being published, among which some  indeed do address the metaverse.

There is a systematic review of the literature by López-Belmonte et al (2023), which is exhaustive and covers17 articles, of which only a few provide empirical evidence on the use of metaverse. The objectives of the studies are related to the implementation of the resource and the educational design, but not clearly to the learning results in any case:

Regarding which have been the most relevant objectives in the documents on the educational metaverse (RQ2), the objectives presented in the various research studies on the metaverse in education are varied. On the one hand, they are about analyzing the problems and challenges that arise when designing, developing and implementing virtual worlds in educational environments (Díaz et al., 2020). On the other hand, they focus on the development of concrete and specific resources, such as avatars (Schlemmer et al., 2009), virtual laboratories (Clark, 2012; Schaf et al., 2012; Tarouco et al., 2013), platforms (García, 2011b), prototypes of 3D environments (Arcila, 2014) or pedagogical methods (Díaz et al., 2020). The rest of the research focuses on identifying the impact of the metaverse on students (figure 2).

 In the best case:

To observe the effect (sic) of metaverse on the comprehension of a subject as well as identifying the difficulties that students and teachers may experience during the integration of metaverse into the educational process (Rodríguez-García et al., 2020)


The results are as follows (Belmonte et al, 2023):

In empirical research, there is a contribution at the limit of what could be the metaverse, though not declared as such, and immersive virtual reality, the object of the work by Lorenzo Lledó, Lorenzo-Lledó, Lledó Carreres and Pérez-Vázquez (2023) on “creación de un entorno de realidad virtual inmersiva para la comunicación e interacción social en alumnado con trastorno del espectro autista” (“the creation of an immersive virtual reality environment for communication and social interaction in students with autism spectrum disorder.”

In the same sense, there is a contribution that is a case study of implementation of a resource and its analysis. This is an exploratory study on a metaverse created specifically to teach a subject, which analyzes particular aspects of how that metaverse affects collaborative work (López Solórzano and Ángel Rueda, 2023).

The work by Valdés Godínes and Angel Rueda (2023) is especially remarkable since it does not deal with the educational implementation of immersive virtual reality or the metaverse in education, but instead with the design of tools for teaching programming. The article falls within learning engineering applied to the teaching of programming. It is a very useful contribution in this field.

 The six remaining articles do not deal with the metaverse or with immersive three-dimensional virtual reality environments.They address the option included in the call for proposals on virtual reality and computational thinking. These exceptional works could have originated a fourth RED monograph on computational thinking.

Finally, it is worth highlighting an aspect where our objective has not been achieved at all, and that could make us reflect on some proposals that have been made in terms of speculation about the metaverse. Despite what has been said above, there has been no contribution among the accepted contributions or among the many that have been rejected that has proposed the metaverse as a new form, a new code, capable of supporting communication and representation of thought and ideas similar to the key codes, the basis of communication and learning, alphabetic writing, writing through numerical codes, and program codes,   computational thinking.

 

References

López-Belmonte, J., Pozo-Sánchez, S., Moreno-Guerrero, A.J., & Lampropoulos, G. (2023). Metaverse in Education: a systematic review. RED. Revista de Educación a Distancia, 23(73). http://dx.doi.org/10.6018/red.511421

Karlsson, J. (2008). Taking Care of Xerox Business—Virtually. Research-Technology Management51(1), 15-18. https://www.tandfonline.com/doi/abs/10.1080/08956308.2008.11657479

Lee, E. A. L., Wong, K. W., & Fung, C. C. (2010). How does desktop virtual reality enhance learning outcomes? A structural equation modeling approach. Computers & Education55(4), 1424-1442.

López-Belmonte,  J.,  Pozo-Sánchez,  S.,  Moreno-Guerrero,  A.J.,  &  Lampropoulos,  G.(2023). Metaverse  in  Education:  a  systematic  review. RED.  Revista  de  Educación  a Distancia, 23(73). http://dx.doi.org/10.6018/red.511421

López Solórzano, J.G. y Ángel Rueda,C.J.(2023). Revisión sistemática de los entornos digitales inmersivos tridimensionales en la enseñanza de la programación. RED. Revista de Educación a Distancia, 23(73). http://dx.doi.org/10.6018/red.540731

Lorenzo, G.,Lorenzo-Lledó, A., Lledó, A., &Pérez-Vázquez, A.(2023). Creación de un entorno de  realidad  virtual  inmersiva  para  la  comunicación  e  interacción  social:  estudio  piloto  en alumnado con trastorno del espectro autista. RED. Revista de Educación a Distancia, 23(73).http://dx.doi.org/10.6018/red.539141

Merrill, M. D. (2007). First principles of instruction: A synthesis. In R. A. Reiser & J. V. Dempsey (Eds.), Trends and issues in instructional design and technology (2nd ed., pp. 62-71). Upper Saddle River, NJ: Merrill/Prentice-Hall.

Merrill, M. D. (2009). First principles of instruction. In C. M. Reigeluth & A. A. CarrChellman (Eds.), Instructional-design theories and models: Building a common knowledge base (Vol. III, pp. 41-56). New York: Routledge.

Moreira Teixeira, A. y Zapata-Ros, M. (2021). Introducción / presentación al número especial de RED “Transición de la educación convencional a la educación y al aprendizaje en línea, como consecuencia del COVID19”. Revista Educación a Distancia (RED), 21(65). https://doi.org/10.6018/red.462271

Newton, C. (June 2021) MARK IN THE METAVERSE. The Verge. https://www.theverge.com/22588022/mark-zuckerberg-facebook-ceo-metaverse-interview

Onrubia, J. (2005). Aprender y enseñar en entornos virtuales: actividad conjunta, ayuda pedagógica y construcción del conocimiento. Revista de Educación a distancia (RED).

Pérez-Paredes, P., & Zapata-Ros, M. (2018). El pensamiento computacional como alfabetización de la cultura digital. RED. Revista de Educación a Distancia. Núm. 58 DOI: http://dx.doi.org/10.6018/red/58/0 https://www.um.es/ead/red/58/Presentacion_pensamiento_computacional.pdf

Reigeluth, C. M. (2012). Instructional theory and technology for the new paradigm of education. RED. Revista de Educación a distancia.

Rodríguez-García, A.-M., Moreno-Guerrero, A.-J., & López-Belmonte, J. (2020). Nomophobia: An Individual’s Growing Fear of Being without a Smartphone—A Systematic Literature Review. International Journal of Environmental Research and Public Health17(2), 1-19. https://doi.org/10.3390/ijerph17020580

Stephenson, N. (1992). Snow Crash. Penguin.

Valdés Godínes, J. C., & Ángel Rueda, C. J. (2023). El trabajo colaborativo en los EDIT, explorando el aprendizaje inmersivo en el metaverso. RED. Revista de Educación a Distancia, 23(73). http://dx.doi.org/10.6018/red.539671

Zapata-Ros, M. (2015). Pensamiento computacional: Una nueva alfabetización digital. Revista de Educación a Distancia (RED), (46). Recuperado a partir de https://revistas.um.es/red/article/view/240321

 

Miguel Zapata Ros

Profesor Honorario en el Centro de Formación y Desarrollo Profesional de la Universidad de Murcia. Investigador en el Instituto Interuniversitario de Economía Internacional. Profesor Externo en la Universidad de Alcalá de Henares, miembro del programas de doctorado en Ingeniería de la Información y del Conocimiento, distinguido con Mención hacia la Excelencia por el Ministerio de Educación (Referencia: MEE2011-0159). Editor de RED, Revista de Educación a Distancia y de Docencia Universitaria. Miembro de INTCODE, agencia consultiva de ONU sobre educación a distancia, y representante en la sede de New York. Doctor en Ingeniería Informática.

More Posts - Website

Follow Me:
TwitterFacebookLinkedInGoogle Plus

Visiones de espacios de trabajo tridimensionales o virtuales, metaversos, y educación. Realidad virtual y aprendizaje.



Pierre Lévy
Université d’Ottawa.Otawa. Canadá
Miguel Zapata-Ros
Universidad de Murcia. Murcia, España

DOI http://dx.doi.org/10.6018/red.554591 (activo a partir de febrero)

 

Presentación del número especial de RED

Visiones de espacios de trabajo tridimensionales o virtuales y educación. Realidad virtual y aprendizaje. El aprendizaje y la adquisición de la escritura y de otros sistemas simbólicos.

Resumen

Cuando se convocó, la idea de este número era dar espacio a contribuciones que esencialmente incluyesen alguna investigación empírica, o el desarrollo de tecnologías, como la realidad virtual inclusiva, analizando su influencia en el aprendizaje, o en su mejora. Pensábamos en metaverso, con la tecnología que se nos presenta o con las hipotéticas nuevas plataformas que fuesen surgiendo. La perspectiva era la de mejorar y ampliar posibilidades pedagógicas en aspectos concretos, donde era más difícil obtener mejora, como son las que ofrecen los sistemas simbólicos tradicionales. Cuyas ventajas son obvias y depuradas por la tradición y la cultura: las relacionadas con el aprendizaje y adquisición de la lectura y de la escritura, el aprendizaje y adquisición de habilidades para producir códigos informáticos (pensamiento computacional) y, por último, las relacionadas con el aprendizaje y la adquisición de la escritura simbólica matemática.

Analizamos sucintamente los problemas y vicisitudes para superar la novedad del planteamiento y posibles dudas sobre la validez de la convocatoria.

Se puede decir que, si bien el monográfico ha conseguido reunir diez trabajos de calidad suficiente, la mayor parte de los objetivos planteados no han sido conseguidos.

De los trabajos publicados, cuatro son exclusivamente sobre metaverso. Uno muy interesante que nos da idea, tras unas condiciones que garantizan su fiabilidad, acerca del estado de lo que se hace con metaverso en la práctica de aula en las fases de diseño e implementación.

Por último, ha habido un aspecto donde el objetivo no ha sido en absoluto conseguido, y eso podría hacernos reflexionar sobre algunas propuestas que en el plano de las especulaciones sobre metaverso se han hecho. No ha habido ninguna aportación, ni entre las contribuciones aceptadas ni entre las numerosas que se han rechazado, de metaverso como un nuevo código capar de soportar la comunicación y la representación del pensamiento y de las ideas similar a como lo hacen los códigos claves, base de la comunicación y del aprendizaje: La escritura alfabética, la escritura a través de códigos numéricos y la de códigos de programas, el pensamiento computacional.

Palabras clave: metaverso, realidad virtual, realidad inclusiva, pensamiento computacional, lenguajes simbólicos

 

ARTÍCULO

Cuando hace unos meses presentamos la convocatoria del presente número especial tuvimos en cuenta, entre otras, para convocarlo varias razones.

La primera es la irrupción con fuerza del metaverso, o lo que, de forma más precisa y rigurosa, se ha definido como visiones de espacios de trabajo tridimensionales o virtuales, un ejemplo de los cuales puede ser metaverse, originalmente definido por Stephenson (1992) a través de Karlsson (2008). Irrupción que ha llevado aparejada una conceptualización de recurso fuertemente enfatizado como una opción de nuevo medio de comunicación, inclusivo y de interacción, que sustituye o entra en competencia con códigos simbólicos cuyos aprendizajes y adquisiciones constituyen y han constituido competencias clave para el aprendizaje.

Pues bien, éste es el primer reto y el primer tema que nos llevó a proponer el número especial.

Originalmente se planteó como un espacio de debate teórico, avalado por prácticas e investigaciones empíricas, que donde se confrontaran y se discutiesen las limitaciones de los códigos a los que hipotéticamente iban a sustituir, así como los progresos que, sobre ellos, el nuevo espacio proporcionaba.  Se trataba pues de comparar los códigos que en sucesivas revoluciones han configurado los medios y habilidades clave de comunicación y de inculturación, con sus sucesivas alfabetizaciones, y, de otra parte, un hipotético sistema de representación y de comunicación, con su inevitable alfabetización. Que es lo que se plantea con el nuevo soporte de comunicación y de interacción.

Con este monográfico, se pretendía dar espacio pues a contribuciones que esencialmente incluyesen alguna investigación empírica, el desarrollo y prueba de unas tecnologías, en particular de la realidad virtual inclusiva, y sobre su influencia en aprendizaje, o en su mejora. Bien con esta tecnología o con las hipotéticas nuevas plataformas que fuesen surgiendo. Citábamos aspectos concretos, donde era más difícil obtener mejora, como son los sistemas simbólicos tradicionales. Cuyas ventajas son obvias y depuradas por la tradición y la cultura, las relacionadas con el aprendizaje y adquisición de la lectura y de la escritura, el aprendizaje y adquisición de habilidades para producir códigos informáticos (pensamiento computacional) y, por último, las relacionadas con el aprendizaje y la adquisición de la escritura simbólica matemática.

A pesar del poco tiempo trascurrido desde la presentación de metaverso también nos planteamos al principio aceptar ensayos teóricos y críticas a la política y a la cultura de innovación educativa acerca de estos temas. Lo hicimos pensando que las aportaciones iban a ser escasas, e íntimamente ligadas con el primer y con el segundo tema señalados, ofrecimos un espacio para el debate y presentación de investigaciones sobre la realidad virtual como factor de aprendizaje y su integración en esquemas de diseño instruccional.

Según estudios recientes (Lee et al, 2010), la realidad virtual (RV) de escritorio, y no solo esa modalidad, mejoran el aprendizaje e influyen en él. Más allá del entusiasmo inicial, se han identificado algunos constructos relevantes y varios factores de medición para examinar cómo la realidad virtual mejora el aprendizaje; además se han analizado algunos modelos y propuestas hipotéticas y se ha procedido, en los casos en que era posible y conveniente para el aprendizaje, a un adecuado ajuste y modelado. En esos casos, los resultados respaldaron el efecto indirecto de las funciones de RV en los resultados del aprendizaje, que estuvo mediado por la experiencia de interacción y por la experiencia de aprendizaje. Queríamos aprovechar pues para conocer ahora qué nuevos resultados hay acerca de la Realidad Virtual como factor de aprendizaje y su integración en esquemas de diseño instruccional.

También deseábamos, con este monográfico, presentar experiencias de aprendizaje en las que se midan individualmente los factores que influyan en el aprendizaje, como la presencialidad, la motivación, algunos aspectos cognitivos, el control y el aprendizaje activo, y el pensamiento reflexivo. En casos anteriores ocuparon un lugar central al afectar los resultados en el entorno de aprendizaje basado en realidad virtual. 

Con estas ideas, quizá excesivamente ambiciosas, también planteamos analizar el efecto moderador de las características de los estudiantes, como la capacidad espacial y sus rasgos de aprendizaje. Los resultados además podrán servir a los diseñadores instruccionales y a los desarrolladores de software de realidad virtual para mejorar la eficacia del aprendizaje y fortalecer una implementación basada en la realidad virtual y eventualmente de las nuevas visiones de espacios de trabajo tridimensionales o virtuales. Es decir, de los metaversos.

Se ha dicho que aprender es un fenómeno social (Onrubia, 2005) y situado (Reigeluth, 2012; Merrill, 2007, 2009). Pensemos en cómo es Internet ahora. Interactuamos con más personas de forma virtual que de forma física. Tal como lo conciben sus creadores (Stephenson, 1992, através de Karlsson, 2008), metaverso sería dar un paso más para unir, cuando no identificar, el mundo físico y el virtual, mezclándolos ambos en un universo nuevo. Lo singular es, ahora, que el espacio, el conjunto de aplicaciones sociales conectadas, el hardware y el software que las respaldarla y el conjunto de experiencias maximalistas interconectadas, en su última versión, la presentada por Zuckerberg (Newton, June 2021) serían gestionadas por la empresa que consiga imponer su metaverso, que obviamente no será una sola. La pedagogía y el estudio del aprendizaje posible con metaverso es algo que se abre ahora.

Por último, queríamos dar un espacio para hablar de los sistemas simbólicos de comunicación y de representación simbólica, teniendo en cuenta que una de las apuestas y de los retos en presencia es que metaverso sustituya o complemente a los códigos existentes para soportar y trasmitir el conocimiento y que sea un medio de relación y comunicación, como lo son ahora la lectura, la escritura, la aritmética y más recientemente el pensamiento computacional.

Acerca de códigos simbólicos y sobre alfabetizaciones, incluidas aquellas que sirven de soporte a la lectura, la escritura, la aritmética y el pensamiento computacional ya se han tratado suficientemente (Pérez-Paredes & Zapata-Ros, 2018; Moreira Teixeira y Zapata-Ros, 2021; Zapata-Ros, 2015). Ahora cabría debatir cuáles de estos rasgos son igualmente atribuibles al papel de mediación que estas visiones de espacios de trabajo tridimensional o virtual puedan aportar o contraponer como una alternativa.

Hoy presentamos el resultado.

En resumen, se puede decir que, si bien el monográfico ha conseguido reunir diez trabajos de calidad suficiente, la mayor parte de los objetivos planteados no han sido conseguidos.

Sería prolijo y rebasaría los objetivos de una presentación su análisis. Sin embargo, sí vamos a señalar algunas notas.

La llamada a contribuciones la lanzamos hace justamente un año. En el tiempo transcurrido fue difundida ampliamente, por los medios habituales, a la comunidad científica internacional e hispana de educación y tecnología, con apelación directa y personalizada a colegas que sabíamos trabajaban en estos temas. De manera que no se puede decir con rotundidad que la difusión ha sido limitada o insuficiente. Se podría alegar no obstante que la revista carece de calidad o entidad suficiente. Sin embargo, la publicación de las evaluaciones de calidad y los indicadores de las agencias en mayo junio, con Q2 en SJR (p73), JCR-JCI y Q1 en CiteSacore, clasificación por el índice, no avalan claramente tampoco esa hipótesis.

Por tanto, cabría pensar que realmente no tenemos una cantidad suficiente de investigaciones, ni menos una elaboración teórica basada en ellas, más allá de lo especulativo o de lo interesado, que avale ninguno de los supuestos planteados. Si bien los resultados no dejan de ser interesantes. Así finalmente se han publicado diez trabajos entre los que hay efectivamente algunos sobre metaverso:

Hay una revisión sistemática de la literatura, de López-Belmonte et al (2023), que es exhaustiva y detecta 17 artículos, de los cuales sólo unos pocos son evidencias empíricas sobre su uso. Los objetivos de los estudios tienen que ver con la implementación del recurso y el diseño educativo, pero no claramente en ningún caso con los resultados de aprendizaje:


Regarding which have been the most relevant objectives in the documents on the educational metaverse (RQ2), the objectives presented in the various research studies on the metaverse in education are varied. On the one hand, they are about analyzing the problems and challenges that arise when designing, developing and implementing virtual worlds in educational environments (Díaz et al., 2020). On the other hand, they focus on the development of concrete and specific resources, such as avatars (Schlemmer et al., 2009), virtual laboratories (Clark, 2012; Schaf et al., 2012; Tarouco et al., 2013), platforms (García, 2011b), prototypes of 3D environments (Arcila, 2014) or pedagogical methods (Díaz et al., 2020). The rest of the research focuses on identifying the impact of the metaverse on students (figure 2).

Todo lo más a:

To observe the effect (sic) of metaverse on the comprehension of a subject as well as identifying the difficulties that students and teachers may experience during the integration of metaverse into the educational process (Rodríguez-García et al., 2020)


Con el resultado siguiente (Belmonte et al, 2023):

Directamente en investigaciones empíricas hay una contribución en el límite de lo que podría ser metaverso, no declarado como tal, y realidad virtual inmersiva objeto del trabajo de Lorenzo Lledó, Lorenzo-Lledó, Lledó Carreres y Pérez-Vázquez (2023), sobre “creación de un entorno de realidad virtual inmersiva para la comunicación e interacción social en alumnado con trastorno del espectro autista”.

En el mismo sentido hay una contribución, no específicamente de análisis de resultados de aprendizaje, sino un estudio de caso de implementación de un recurso y su análisis. Se trata de un estudio exploratorio sobre un metaverso creado exprofeso para impartir la materia, en el que se analizan aspectos particulares de cómo afecta al trabajo colaborativo (López Solórzano y Ángel Rueda, 2023).

Mención aparte merece el trabajo de Valdés Godínes y Angel Rueda (2023) que no trata implementación educativa de realidad virtual inmersiva ni de metaverso en educación, sino de diseño de herramientas para la enseñanza de la programación. Se trata de un trabajo que cae dentro de la ingeniería del aprendizaje aplicado a la enseñanza de la programación. Tratándose de una aportación de gran utilidad en este ámbito.

Los seis restantes trabajos no tienen que ver directamente con metaverso o con entornos de realidad virtual tridimensional inmersiva. Se acogen a la opción que planteaba la convocatoria de propuestas sobre realidad virtual y pensamiento computacional. Se trata de excepcionales trabajos que podrían haber dado lugar a un cuarto monográfico de RED sobre pensamiento computacional.

Por último cabe destacar un aspecto donde el objetivo no ha sido en absoluto conseguido, y eso podría hacernos reflexionar sobre algunas propuestas que en el plano de las especulaciones sobre metaverso se han hecho: A pesar de lo que se ha dicho no ha habido ninguna aportación ni entre las contribuciones aceptadas ni entre las numerosas que se han rechazado de metaverso como una nueva forma, un nuevo código, capaz de soportar la comunicación y la representación del pensamiento y de las ideas similar a como lo hacen los códigos claves, base de la comunicación y del aprendizaje: La escritura alfabética, la escritura a través de códigos numéricos y la de códigos de programas, el pensamiento computacional.

Referencias

López-Belmonte, J., Pozo-Sánchez, S., Moreno-Guerrero, A.J., & Lampropoulos, G. (2023). Metaverse in Education: a systematic review. RED. Revista de Educación a Distancia, 23(73). http://dx.doi.org/10.6018/red.511421

Karlsson, J. (2008). Taking Care of Xerox Business—Virtually. Research-Technology Management51(1), 15-18. https://www.tandfonline.com/doi/abs/10.1080/08956308.2008.11657479

Lee, E. A. L., Wong, K. W., & Fung, C. C. (2010). How does desktop virtual reality enhance learning outcomes? A structural equation modeling approach. Computers & Education55(4), 1424-1442.

López-Belmonte,  J.,  Pozo-Sánchez,  S.,  Moreno-Guerrero,  A.J.,  &  Lampropoulos,  G.(2023). Metaverse  in  Education:  a  systematic  review. RED.  Revista  de  Educación  a Distancia, 23(73). http://dx.doi.org/10.6018/red.511421

López Solórzano, J.G. y Ángel Rueda,C.J.(2023). Revisión sistemática de los entornos digitales inmersivos tridimensionales en la enseñanza de la programación. RED. Revista de Educación a Distancia, 23(73). http://dx.doi.org/10.6018/red.540731

Lorenzo, G.,Lorenzo-Lledó, A., Lledó, A., &Pérez-Vázquez, A.(2023). Creación de un entorno de  realidad  virtual  inmersiva  para  la  comunicación  e  interacción  social:  estudio  piloto  en alumnado con trastorno del espectro autista. RED. Revista de Educación a Distancia, 23(73).http://dx.doi.org/10.6018/red.539141

Merrill, M. D. (2007). First principles of instruction: A synthesis. In R. A. Reiser & J. V. Dempsey (Eds.), Trends and issues in instructional design and technology (2nd ed., pp. 62-71). Upper Saddle River, NJ: Merrill/Prentice-Hall.

Merrill, M. D. (2009). First principles of instruction. In C. M. Reigeluth & A. A. CarrChellman (Eds.), Instructional-design theories and models: Building a common knowledge base (Vol. III, pp. 41-56). New York: Routledge.

Moreira Teixeira, A. y Zapata-Ros, M. (2021). Introducción / presentación al número especial de RED “Transición de la educación convencional a la educación y al aprendizaje en línea, como consecuencia del COVID19”. Revista Educación a Distancia (RED), 21(65). https://doi.org/10.6018/red.462271

Newton, C. (June 2021) MARK IN THE METAVERSE. The Verge. https://www.theverge.com/22588022/mark-zuckerberg-facebook-ceo-metaverse-interview

Onrubia, J. (2005). Aprender y enseñar en entornos virtuales: actividad conjunta, ayuda pedagógica y construcción del conocimiento. Revista de Educación a distancia (RED).

Pérez-Paredes, P., & Zapata-Ros, M. (2018). El pensamiento computacional como alfabetización de la cultura digital. RED. Revista de Educación a Distancia. Núm. 58 DOI: http://dx.doi.org/10.6018/red/58/0 https://www.um.es/ead/red/58/Presentacion_pensamiento_computacional.pdf

Reigeluth, C. M. (2012). Instructional theory and technology for the new paradigm of education. RED. Revista de Educación a distancia.

Rodríguez-García, A.-M., Moreno-Guerrero, A.-J., & López-Belmonte, J. (2020). Nomophobia: An Individual’s Growing Fear of Being without a Smartphone—A Systematic Literature Review. International Journal of Environmental Research and Public Health17(2), 1-19. https://doi.org/10.3390/ijerph17020580

Stephenson, N. (1992). Snow Crash. Penguin.

Valdés Godínes, J. C., & Ángel Rueda, C. J. (2023). El trabajo colaborativo en los EDIT, explorando el aprendizaje inmersivo en el metaverso. RED. Revista de Educación a Distancia, 23(73). http://dx.doi.org/10.6018/red.539671

Zapata-Ros, M. (2015). Pensamiento computacional: Una nueva alfabetización digital. Revista de Educación a Distancia (RED), (46). Recuperado a partir de https://revistas.um.es/red/article/view/240321

Miguel Zapata Ros

Profesor Honorario en el Centro de Formación y Desarrollo Profesional de la Universidad de Murcia. Investigador en el Instituto Interuniversitario de Economía Internacional. Profesor Externo en la Universidad de Alcalá de Henares, miembro del programas de doctorado en Ingeniería de la Información y del Conocimiento, distinguido con Mención hacia la Excelencia por el Ministerio de Educación (Referencia: MEE2011-0159). Editor de RED, Revista de Educación a Distancia y de Docencia Universitaria. Miembro de INTCODE, agencia consultiva de ONU sobre educación a distancia, y representante en la sede de New York. Doctor en Ingeniería Informática.

More Posts - Website

Follow Me:
TwitterFacebookLinkedInGoogle Plus

Análisis sobre la citación de documentos en WoS, Scopus y Google Scholar y su relación con los instrumentos de investigación  

 

Carmen Yazveth García-Almeida

carmen.garcia@uaz.edu.mx

Universidad Autónoma de Zacatecas

 

Introducción

 

Como investigadores tenemos la necesidad de evaluar el comportamiento de la ciencia, las tendencias que existen en cuanto a citaciones, como menciona Zapata-Ros (2022) conocer el estado de los artículos, su impacto y citas para, de ser necesario reorientar las investigaciones, siempre con el objetivo de una vez culminado un estudio comenzar la difusión de los resultados, para ello es preciso analizar el comportamiento de las citaciones en las tres principales bases de datos Google Scholar, Scopus y Web of Science (WoS). Cabe decir que muchas de las publicaciones de acceso abierto de las distintas ciencias o disciplinas se encuentran en Google Scholar.

 

Sobre esto, la página oficial de WoS menciona la existencia de diferencias entre las publicaciones encontradas en esta base de datos respecto a Google Scholar (GS) y esto se debe a que mientras en la primera el contenido es seleccionado de acuerdo a estándares estrictos y revisión por pares, -lo mismo para Scopus-, en GS son conjuntos de publicaciones con mayor inclusión de distintos tipos de documentos  como artículos de revista, disertaciones de tesis, capítulos de libros, preprints, entre otros, lo cual según Bustos-Gonzalez (2015) no se consideran investigaciones científicas o documentos citables.

 

Sobre esto último, Orduna-Malea et al. (2015) y Martín-Martín et al. (2018) mencionan que GS indexa documentos con una estructura académica lo cual otorga una mayor cobertura de literatura científica y académica comparada con Scopus y WoS cuyas políticas de inclusión son más selectivas, basadas en “journals”. Además, es considerada la base de datos sobre publicaciones científicas más amplia e incluyente que existe, indexa fuentes de múltiples sitios, incluyendo literatura gris, convirtiéndose en una de las principales bases de datos que permite al investigador potenciar su visibilidad y reputación científica (García- Peñalvo, 2018). Mientras que según Santa y Herrero-Solana (2010), Scopus es una de las principales bases de datos multidisciplinar que existe; sin embargo, tanto esta base de datos como WoS tienen poca cobertura en disciplinas como las Ciencias Sociales y Humanidades (Chavarro et al., 2018).

 

Cabe decir, que los datos de citación están determinados por la cobertura de cada una de las bases de datos en las disciplinas del campo de conocimiento (Bar-Ilan et al. (2007); Neuhaus y Daniel (2007)), esto pudiera estar relacionado con los instrumentos utilizados por investigadores para la recolección de datos, pues mientras GS tiene criterios más flexibles de aceptación de contribuciones, revistas indexadas a Scopus y WoS consideran normas explícitas y criterios de evaluación de contribuciones rigurosos que determinan su aceptación. Además, según Rozemblum et al. (2021) existen disciplinas como las Ciencias Sociales poco representadas en estas bases de datos, lo que pudiera estar relacionado con la evaluación que hace el editor de determinada revista sobre la metodología utilizada, concretamente los instrumentos de recolección, aspecto evaluado rigurosamente para garantizar la objetividad y verdadero aporte al campo científico no aceptando los llamados self reports para comprobación de hipótesis, pero ampliamente utilizados en la disciplina mencionada (Avello, 2022); entonces, esto pudiera repercutir en la tasa de aceptación de documentos de esta categoría en dichas bases de datos.

 

En el presente documento se analiza el trabajo de Martín-Martín, Orduna- Malea, Thelwall y López- Cózar (2018) respecto a la comparación de las citaciones encontradas en Google Schoolar, WoS y Scopus de varias de las disciplinas o categorías del conocimiento y a partir de los datos encontrados por estos autores se ofrece una reflexión sobre la relación entre los instrumentos de recolección de información utilizados en las investigaciones y las citaciones de las publicaciones de estas. Cabe resaltar que no se pretende aseverar un hecho sino llegar a un análisis y reflexión a partir de datos encontrados por los autores.

 

 

La visibilidad del autor

 

En el siglo XXI gracias al Internet la manera de difundir ciencia ha cambiado, la difusión no es exclusiva de los medios impresos y con ello la visibilidad de un autor y por ende la institución de la que forma parte se amplían de manera significativa. De manera que, al estar presente una publicación en varias bases de datos se amplía y diversifica su visibilidad repercutiendo tanto al autor como al grupo académico y ranking de la institución educativa a la que pertenece mejorando además su reputación como investigador (Rozemblum et al., 2021). Al respecto García Peñalvo (2018) asevera que uno de los factores que determinan la visibilidad y capacidad de recibir citas es tener perfiles públicos en las principales bases de datos científicas Google Scholar, Scopus y WoS.

 

Sobre esto, la reputación científica es entendida como el prestigio que tiene un investigador gracias a la calidad e impacto de sus resultados de investigación y se encuentra estrechamente relacionada con la identidad digital, concepto que tiene mayor peso cuando se establecen evidencias que permiten identificar indicadores para medir el impacto de la producción científica y que forman parte de un sistema de evaluación para ranking de instituciones e investigadores pertenecientes a estas (García-Peñalvo, 2018); esto se encuentra estrechamente relacionado con la citación.

 

Sin embargo, es importante tomar en cuenta la selección de la revista en la que se pretende difundir los resultados producto de la investigación. pues esto puede tener relación con los índices de impacto y citación y por ende el reconocimiento que como investigadores se obtendrá ante la comunidad científica. Cabe decir, que muchas publicaciones no producen el impacto esperado pues las vías de difusión no son las más adecuadas (Reyes Rodríguez y Moraga Muñoz, 2020). Por ello, es importante que la revista elegida tenga criterios de evaluación para garantizar la calidad de las publicaciones y sus mecanismos de validación de instrumentos que de manera consecuente generan los resultados a difundir y con ello mayor confiabilidad por parte de la comunidad científica. Sobre esto, Macias-Chapala (1998) considera que la evaluación científica es un elemento indispensable para las comunidades de investigación.

 

Cabe decir, que para que una contribución pueda considerarse científica debe contar con las siguientes características: ser original con aporte al campo del conocimiento que se aborda, los resultados presentados deben ser válidos y fidedignos, generalizables y cuyos instrumentos utilizados tengan posibilidad de réplica en otros contextos, por lo que la información presentada en la contribución debe ser clara y suficiente para reproducir los resultados. Tal como menciona Hernando (2019), quien expresa que las contribuciones científicas deben aportar al campo de conocimiento y sus resultados han de ser válidos y fidedignos, escritos en un lenguaje claro y preciso y utilizar una metodología con instrumentos científicamente válidos sea cual fuere el enfoque –cuantitativo, cualitativo o mixto-. Por lo que, es de suma importancia elegir cuidadosamente las técnicas e instrumentos a utilizar en una investigación.

 

En este sentido, existen diferentes instrumentos de investigación como cuestionarios, test, escalas de Likert, de Gutman, guías de entrevista, de observación, diarios de campo, entre otros, pero todos con la finalidad de recolectar la información necesaria para dar respuesta a determinado fenómeno de estudio y alcanzar los objetivos de investigación (Hernández-Sampieri y Mendoza Torres, 2018). Aunque, no todos son vistos con la misma objetividad para el carácter científico de una publicación e incluso las revistas científicas indexadas lo expresan en sus pautas; tal es el caso de los self-reports o autoreporte, entendidos como toda aquella evaluación, encuesta, escala o cuestionario que se utilice para recabar información de un sujeto con la particularidad que es el mismo individuo quien debe responder preguntas sobre sí mismo (Avello, 2022). Es decir, cada sujeto se entrevista a sí mismo.

 

Sin embargo, pese a esto en las ciencias sociales es muy común este tipo de instrumentos, generalmente escalas tipo Likert con varias opciones de respuesta donde el sujeto le brinda al investigador una valoración subjetiva de sus niveles en cuanto a habilidades, conocimientos, competencias, opiniones o perspectivas sobre determinado hecho. Y Aunque estos métodos presentan beneficios para la investigación también otorgan desventajas derivadas de sus características, tales como la subjetividad y esto ha provocado que revistas de prestigio, indexadas a bases de datos como Scopus y WoS con altos estándares de calidad, tomen en cuenta estos elementos en su tasa de aceptación y no admitan artículos que incluyan estos instrumentos como los principales o únicos en la investigación.

 

Reflexiones sobre las citaciones en WoS, Scopus y Google Scholar

 

Actualmente han proliferado las revistas de acceso abierto, pero también aquellas que carecen de procesos estrictos de revisión de artículos, con tasas de aceptación muy altas generalmente indexadas a Google Scholar, con criterios de evaluación de documentos menos rigurosos que las pertenecientes a WoS y Scopus. Determinando con esto posiblemente la elección de la revista tanto por sus criterios de evaluación del manuscrito, como de métodos de comprobación de hipótesis de investigación.

 

Aun así, existe interés en los investigadores de consultar los recuentos que ofrecen estas tres bases de datos para orientar sobre el comportamiento de las citas en las diferentes disciplinas o áreas del conocimiento, aunque según Zapata –Ros (2022) no hay estudios sobre la consistencia de los datos de las fuentes, tampoco evidencia sobre las diferencias entre ellas.  Sin embargo, Martín-Martín et al.  (2018) analizaron 2448 055 citas de 2299 documentos de 252 categorías estableciendo comparaciones entre las tres bases de datos, Google Scholar, Scopus y WoS entre lo que se determina son fuentes y documentos científicos, encontrando mayor porcentaje de citaciones en GS en todas las categorías.

 

Entonces, en el presente documento se realiza una comparación entre los datos encontrados por los autores de la categoría de las Ciencias Sociales (campo ampliamente investigado) respecto a Física y Matemáticas para revisar el comportamiento dadas las diferencias entre ambas disciplinas o campos de conocimiento, así como el solapamiento existente de citaciones en GS, Scopus y WoS, y de manera individual; apreciando que las publicaciones del área de las Ciencias Sociales, la cual según el diagrama de Venn mostrado en la figura 1, el 53.5 % de las citas se encuentran solo en Google Scholar, lo que representa un gran porcentaje respecto a la totalidad de citas (299, 788). El solapamiento entre las tres bases de datos es solo del 29.8%.

Figura 1. Citaciones de la disciplina de las Ciencias sociales (Tomado de Martín-Martín et al., 2018).

 

Lo presentado en la figura 1 sirve de guía sobre cómo se orientan las citas de las contribuciones enviadas a distintas revistas y medios científicos, pues la idea es comunicar conocimiento descubierto, pero llama la atención la gran cantidad que existe solo en Google Scholar, esto, aunque no se puede aseverar, pudiera deberse a que para Ciencias Sociales frecuentemente se utilizan instrumentos y técnicas de recolección de datos subjetivos o no comprobatorios estadísticamente o bien los llamados self-report studios que como se mencionó anteriormente utilizan ampliamente instrumentos de autopercepción como las escalas de Likert, lo que puede restarle objetividad y que además, según Avello (2022) no son aceptados para publicarse en revistas indexadas en Scopus o WoS,  pues una de las características a tomar en cuenta una investigación científica, es que la recolección de datos se lleve a cabo mediante un método científico riguroso y objetivo, donde los resultados puedan ser comprobados y con posibilidad de réplica en otros contextos, esto para obtener resultados que abonen al campo del conocimiento y sean candidatos mediante una contribución para publicación en revista académica de calidad.

 

Esto puede ser apoyado por lo mostrado en la figura 2, donde se aprecia el solapamiento que existe entre las tres bases de datos el cual es de un 54.5 % para el área de Física y Matemáticas, indicando con esto que se tiene un gran porcentaje respecto a la totalidad de citas existentes en Google Schoolar, Scopus y WoS. Es decir, hay mayor consistencia en los documentos porque existen mayor convergencia en las tres bases de datos, en las tres se encuentran los documentos citables y que han sido citados.

 

Figura 2. Solapamiento de Google Schoolar, Scopus y WoS para el área de Fisica y Matemáticas (Tomado de Martín-Martín et al., 2018).

 

 

Entonces, tomando en cuenta lo presentado en la figura 2, se puede argumentar que los artículos que se envían a revistas indexadas en Scopus y WoS cuentan con instrumentos considerados de mayor rigor científico, con posibilidad de ser replicados a otros contextos y generalmente con un carácter experimental. Por ello se tiene mayor solapamiento en las tres bases de datos respecto al encontrado en las Ciencias Sociales, en el caso de la categoría de Física y Matemáticas existe un 54.5 %. La tabla 1 puede representar mejor estos resultados para apreciar más detalladamente estos argumentos.

 

 

Categoría

Solapamiento (GS, Scopus y WoS)

Google Scholar

Ciencias Sociales

(n= 299,788)

29.8 %

89, 337 citas

 

53.5 %

160,376

Física y Matemáticas

(n= 271, 609)

54.5 %

148,027 citas

32.2%

87, 458 citas

 

Tabla 1. Comparación de citas entre las categorías de Ciencias Sociales y Física y Matemáticas.

 

De acuerdo a lo expuesto anteriormente, es necesario reflexionar en la necesidad como investigadores de conocer y comprender las ventajas y desventajas de los instrumentos mencionados para efectuar mejores decisiones metodológicas y considerar el alcance de los resultados obtenidos en el estudio. Pues, aunque los métodos de auto-informe o percepción son útiles para capturar información y describir un concepto o corroborar o refutar una hipótesis, son infructuosos para generar nuevas ideas o teorías (Del Valle y Zamora, 2021). Además, al ser el mismo sujeto quien se “evalúa” puede dar lugar a información errónea que como consecuencia se generen resultados y conclusiones equívocas por la poca objetividad poniendo en tela de juicio la validez y confiabilidad de estos  y por ende los resultados de una investigación científica.

 

Esto es de suma importancia pues el objetivo último de un proceso de investigación es comunicar hallazgos, conclusiones a las que se llega después del proceso de análisis de los datos, pero la elección de la revista donde se publicarán esos resultados es clave para la difusión, la réplica y utilidad para la comunidad científica, por lo que es posible expresar que la elección de los métodos para la recolección de datos es determinante para la valoración del manuscrito, y tener mayores posibilidades de pasar por el flujo de edición para su publicación en una revista científica indexada a bases de datos de Scopus y WoS, que puede repercutir en la reputación y visibilidad del autor.

 

Sobre esto, revistas como RED (indexada a Scopus y WoS) expresan que no se publicarán artículos que utilicen los self-reports como opción principal para validar una propuesta o hipótesis, solo en caso de ser utilizado como secundario para apoyar matizar o triangular un primer método, además Elsevier incluye este criterio en las guías para autores, recomendando que este tipo de contribuciones se rechacen sin revisión (Avello, 2022). Esto sin duda es un aspecto importante a considerar por investigadores, quienes buscan revistas de alto perfil ubicadas en los primeros cuartiles para posicionar su contribución científica.

 

Además, según lo analizado en los diagramas presentados es un elemento que puede ser determinante en el comportamiento de la cantidad de documentos que convergen en las tres bases de datos, pues guarda relación con la aceptación de investigaciones en revistas indexadas en Scopus y WoS.

 

Finalmente, a manera de conclusión de acuerdo a los datos mostrados en las figuras 1 y 2 (tomadas de Martín-Martín et al., 2018), es posible reflexionar en que estos resultados pueden deberse a que las revistas indexadas aceptan contribuciones con datos experimentales o de ciencias exactas o experimentales como las Ingenierías, Ciencias de la Tierra y Química, así como Física y Matemáticas, donde se desarrollan experimentos o se hace uso de instrumentos con un alto grado de objetividad, omitiendo los self-reports como parte de ellos o bien como opción complementaria de comprobación de hipótesis; de ahí que existan gráficas como la mostrada en la figura 2 donde existen solapamientos de hasta el 54.5 % respecto a las tres bases de datos.

 

Entonces, en categorías como Física y Matemáticas, Ciencias Médicas y de la Salud, Ingeniería y Ciencias Computacionales se tiene mayor solapamiento, contrario a las Ciencias Sociales y de las Humanidades, lo que pudiera deberse a los tipos de investigaciones que se realizan, ya que estas se orientan más a lo cualitativo con un uso general de instrumentos como los self report, entrevistas u observaciones para la recolección de información y puede existir un sesgo en el investigador, además no pueden ser replicables y comprobatorios como el caso de las investigaciones cuantitativas con datos experimentales y/o de laboratorio incluso.

 

Conclusiones

 

Al realizar una investigación se debe tomar en cuenta la intención final del investigador y del proceso mismo, comunicar a la comunidad científica los hallazgos, de lo contrario el flujo queda inconcluso, por ello la importancia de las decisiones metodológicas donde se debe tomar en cuenta las técnicas e instrumentos a utilizar para recolectar los datos y dar respuesta al planteamiento del problema, recordando la imperiosa necesidad que sean contribuciones originales, que abonen a la ciencia, con resultados válidos y fidedignos, generalizables y cuyos instrumentos utilizados tengan posibilidad de réplica en otros contextos, con técnicas de recolección objetivas y comprobatorias estadísticamente; lo cual le va a otorgar objetividad y carácter científico y con mayor probabilidad de ser aceptados en revistas indexadas en Scopus o WoS, donde el comité editorial considera determinantes los métodos de recolección de datos para comprobación de hipótesis.

 

Cabe decir, que la posibilidad de publicar en una revista indexada a Scopus o WoS permite indicadores de citación e impacto reconocidos internacionalmente, por lo que estas revistas cuentan con altos niveles de calidad, impacto y citación que permitirá en consecuencia mayor visibilidad y divulgación del conocimiento encontrado y con ello, aumento en la reputación del autor y ranking de la institución de la que forma parte.

 

Por esto es de suma importancia para investigadores conocer y comprender las ventajas, desventajas y posibilidades de los instrumentos de recolección en una investigación, que en definitiva van a determinar el medio en el cual será posible divulgar sus resultados.

 

 

Referencias

Avello, R. (2022). El artículo y otros documentos de difusión de la ciencia, su estructura y naturaleza. Formatos. Proceso de revisión. Editores, revisores, autores. En M. Zapata-Ros La edición y la publicación: Procesos y actores en presencia. La edición en la sociedad del conocimiento.

Bar-Ilan, J., Levene, M., y Lin, A., (2007). Some measures for comparing citation databases, Journal of Informetrics, 1(1), 26-34. https://doi.org/10.1016/j.joi.2006.08.001

 

Bustos-Gonzalez, A. (2015, septiembre 9). Taller para autores el proceso de publicar artículos [Seminario]. Buenas prácticas de comunicación y publicaciones científicas, Perú. http://hdl.handle.net/20.500.12390/87

 

Chavarro, D., Ràfols, I., & Tang, P. (2018). To what extent is inclusion in the Web of Science an indicator of journal ‘quality’? Research Evaluation, 27(2), 106–118. https://doi.org/10.1093/reseval/rvy001

Del Valle, M. V., y Zamora, E. V. (2021). El uso de las medidas de auto-informe: ventajas y limitaciones en la investigación en Psicología. Alternativas en Psicología, 47. https://alternativas.me/attachments/article/264/El%20uso%20de%20las%20medidas%20de%20auto-informe.pdf

 

García-Peñalvo, F. (2018). Identidad digital como investigadores. La evidencia y la transparencia de la producción científica. EKS, 19(2), 7-28. https://doi.org/10.14201/eks2018192728

Hernández-Sampieri, R., y Mendoza-Torres, C. P. (2018). Metodología de la investigación. Las rutas cuantitativa, cualitativa y mixta. México: McGrawHill.

 

Hernando, A. (2019). ¿Qué es y qué no es un artículo científico?. https://doi.org/10.3916/escuela-de-autores-089

 

Macias-Chapala, C. (1998). Papel de la informetría y de la cienciometría y su perspectiva  nacional e internacional. http://scielo.sld.cu/pdf/aci/v9s4/aci06100.pdf

 

Martín-Martín, A., Orduna-Malea, E., Thelwall, M., &Emilio Delgado López-Cózar, E. (2018). Google Scholar, Web of Science, and Scopus: A systematic comparison of citations in 252 subject categories. Journal of Informetrics,12(4), 1160-1177 https://doi.org/10.1016/j.joi.2018.09.002.

 

Neuhaus, C., y Daniel, H., (2008). Data sources for performing citation analysis: An overview. Journal of Documentation, 64 (2), 193-210. https://doi.org/10.1108/00220410810858010

 

Orduna-Malea, E., Ayllón, J. M., Martín-Martín, A., & Delgado López-Cózar, E. (2015). Methods for estimating the size of Google Scholar. Scientometrics, 104(3), 931–949. https://doi.org/10.1007/s11192-015-1614-6

 

Reyes Rodríguez, A., y Moraga Muñoz, R. (2020). Criterios de selección de una revista científica para postular un artículo: breve guía para no ‘quemar’ un paper. Sophia16(1), 93-109. https://doi.org/10.18634/sophiaj.16v.1i.977

 

Rozemblum, C., Alperin, J. y Unzurrunzaga, C. (2021). Las limitaciones de Scopus como fuente de indicadores: Buscando una visibilidad integral para revistas argentinas en ciencias sociales. E-ciencias de la información 11(2). http://dx.doi.org/10.15517/eci.v11i2.44300

Santa, S., y Herrero-Solana, V. (2010). Cobertura de la ciencia de América latina y el caribe en Scpus vs WoS. Investigación Bibliotecológica, 24 (52), 13-27

Zapata-Ros, M. (2022). Edición científica. Situación actual, crisis y cambio. 10.13140/RG.2.2.31615.48800

 

 

 

Miguel Zapata Ros

Profesor Honorario en el Centro de Formación y Desarrollo Profesional de la Universidad de Murcia. Investigador en el Instituto Interuniversitario de Economía Internacional. Profesor Externo en la Universidad de Alcalá de Henares, miembro del programas de doctorado en Ingeniería de la Información y del Conocimiento, distinguido con Mención hacia la Excelencia por el Ministerio de Educación (Referencia: MEE2011-0159). Editor de RED, Revista de Educación a Distancia y de Docencia Universitaria. Miembro de INTCODE, agencia consultiva de ONU sobre educación a distancia, y representante en la sede de New York. Doctor en Ingeniería Informática.

More Posts - Website

Follow Me:
TwitterFacebookLinkedInGoogle Plus

La evaluación del Pensamiento Computacional

Miguel Zapata Ros.

Capítulo 9 del libro El pensamiento computacional, la competencia clave de una nueva alfabetización (preprint).

DOI10.13140/RG.2.2.19594.95680

ISBN-13: 978-1718987739

ISBN-10: 1718987730

CC 4.0

En el transcurso de los últimos años, desde los primeros artículos en 2014 (Zapata-Ros, 2014 y 2015) hasta la primera edición del presente libro (Pérez-Paredes y Zapata-Ros, 2018), se han producido multitud de experiencias aisladas, sin supervisión, y de experiencias controladas, pero sin validación. Y, sobre todo, lo que es realmente importante, muchos países en Europa, América y Asia han revisado su currículo de educación obligatoria preceptiva, introduciendo conceptos básicos de informática, prácticas para la adquisición de habilidades y el tratamiento de contenidos. Esto, por un lado, ha servido en alguna medida para que un buen número de estudiantes hayan adquirido algunas habilidades del PC y para que se hayan concienciado la comunidad educativa, los gestores y la sociedad de la necesidad  de una regulación más completa que establezca un estatus de naturaleza propia en la educación y en el currículo.

Sin embargo, esa situación no ha conllevado al desarrollo de un corpus propio de diseño instruccional y sobre todo de evaluación de los resultados de aprendizaje, incluyendo destrezas especificas de PC y habilidades en otras áreas con el uso del PC. Como veremos, el desarrollo más elaborado en esta línea ha consistido en establecer procedimientos similares a los que ya había para otras disciplinas y habilidades de carácter similar en el currículo: Es decir, para la evaluación del PC

Bocconi et al (2022) en su segundo informe señalan que

En educación primaria y secundaria obligatoria, la evaluación formativa de competencias de estudiantes en el pensamiento computacional se basa principalmente en la observación de los estudiantes por parte de los profesores durante el desarrollo de proyectos, resolución de problemas y el uso de cuestionarios (por ejemplo, Bebras tasks[1]), ejercicios y encuestas. En el nivel secundario inferior, la evaluación sumatoria de habilidades de pensamiento computacional (por ejemplo, exámenes, monederos e-wallet) juega un papel más importante y se centra en el dominio del estudiante de las tareas de programación y la comprensión de soluciones que ofrecen.

Esta evolución es positiva, y a través de ella se han desarrollado de forma espontánea algunas buenas prácticas que se han manifestado adecuadas para otras competencias clave y para otros desarrollos trasversales. Pero hace falta regularizarlo y, lo que es más importante, hacer que la evaluación del PC tenga un tratamiento pedagógico e instruccional especifico de acuerdo con sus requerimientos y principios.

De esta forma, como primera cuestión, estos enfoques de enseñanza y ahora de evaluación requieren unos conocimientos pedagógicos y de contenidos que aún no ha sido adquirido por la mayoría de los docentes involucrados en la implementación de la enseñanza de informática en los niveles obligatorios.

Así, para la docencia del PC y sobre todo para su evaluación, la evaluación del aprendizaje como componente instruccional que responde al principio de demostración, en educación infantil, primaria general y en secundaria obligatoria, hay  tres grandes desafíos que intentaremos abordar aquí: el más importante, y de lejos, está en el desarrollo y apoyo de los maestros; el segundo, la relación con otras competencias y con otras prioridades curriculares, y sobre todo, a lo que nos referiremos aquí, la adopción de métodos de evaluación apropiados. Las principales recomendaciones de política para un pensamiento computacional de calidad giran en torno a estas tres dimensiones o dominios.

En este capitulo veremos pues el tercero, pero en íntima relación con los dos primeros.

Pero antes de entrar en ello, veamos cual es el panorama. En primer lugar, trataremos datos generales sobre la evaluación que se han constatado.

Para ello utilizaremos el interesante documento, Assessing computational thinking: A systematic review of empirical studies, de Tang, Yin, Lin, Hadad y Zhai (2020). Se trata de una revisión de las evaluaciones actuales de PC, sobre su contexto, el propio constructo, tipo de evaluación y evidencia psicométrica sobre su eficiencia.

En él se establecen las siguientes conclusiones generales que marcan fuertemente y definen la realidad de la evaluación del aprendizaje en PC:

  • Se encontraron menos propuestas de evaluación de Pensamiento Computacional en educación secundaria (obligatoria y no obligatoria), en la educación universitaria y en formación profesional que en la educación primaria.
  • La mayoría de las propuestas de evaluación de Pensamiento Computacional se centraron en las habilidades informáticas o de programación que poseían los estudiantes.
  • En una gran mayoría de los casos se utilizan métodos de evaluación tradicionales y portfolio, para evaluar PC, y se utilizaban encuestas (cuestionarios de opinión) para medir la disposición y la actitud hacia el PC
  • Solo la mitad de los estudios aportaron evidencias de confiabilidad y validez en sus estudios sobre la evaluación de PC.

A partir de la segunda década del siglo XXI, aprovechando el creciente interés en integrar el Pensamiento Computacional, no solo STEM pero principalmente, han proliferado multitud de estudios en diversos ámbitos, pero sobre todo en Educación. Particular interés han tenido las investigaciones cuyos esfuerzos se han encaminado a  promover y examinar las habilidades de PC en los estudiantes. 

Entre estos esfuerzos se incluyen, pero no se limitan, los siguientes temas, que ilustramos con ejemplos que hemos obtenido revisando la literatura, especialmente el trabajo de Tang, Yin, Lin, Hadad y Zhai (2020). Son los tendentes:

  • A desarrollar un plan de estudios integrado de PC.

Señalamos los trabajos de  Rich, Spaepen, Strickland y Moran (2019) sobre cómo se usa el pensamiento computacional (PC) dentro de disciplinas distintas a las ciencias de la computación, y los de Sung (2017 ), sobre cómo llevar el pensamiento computacional a la educación ya existente de matemáticas y programación en las aulas de primaria; 

  • A inventar herramientas de enseñanza y aprendizaje inspirándolas en PC.

Citamos como ejemplo el trabajo de Bers (2010) que describe el programa de robótica TangibleK para niños pequeños; el de Grover (2017) describe un plan de estudios de computación introductorio de escuela intermedia incluyendo especificaciones de programación dirigidas y abiertas en Scratch,. ; y el de Weintrop et al. (2014 ) presenta un par de evaluaciones interactivas en línea diseñadas para medir las habilidades de pensamiento computacional de los estudiantes. Las evaluaciones son parte de un proyecto más amplio para llevar el pensamiento computacional a las aulas STEM de la escuela secundaria. 

  • Para crear un entorno de aprendizaje integrado en PC.

Citamos el trabajo de García-Valcárcel-Muñoz-Repiso y Caballero-González (2019) cuyo objetivo es verificar la repercusión de las actividades de robótica educativa en
estudiantes de educación infantil para la adquisición de habilidades de pensamiento computacional y programación.

  • Y también para desarrollar evaluaciones, pero centradas en las habilidades de PC como computación y no trasversales o claves.

Citamos como ejemplo el trabajo de  González (2015) presenta el diseño de un Test de Pensamiento Computacional dirigido a estudiantes españoles de entre 12 y 13 años ; y el de Korkmaz, Çakir y Özden (2017) que desarrolla una escala con el fin de determinar los niveles de habilidades de pensamiento computacional de los alumnos. 

Se han investigado, además de lo dicho, otros temas singulares relacionados con el Pensamiento Computacional. Así, por ejemplo:

 Lockwood y Mooney (2018) hicieron una revisión sistemática con el resumen de investigaciones del uso de Pensamiento Computacional en Secundaria dando información sobre temas como :

  • los temas utilizados como enseñanzas propias del PC
  • herramientas utilizadas para enseñar y evaluar PC,
  • beneficios y barreras de la incorporación de PC en la educación secundaria. 

Hsu, Chang y Hung (2018) investigaron que actividades se proponían y qué estrategias de enseñanza y de aprendizaje se utilizaban para favorecer el PC. 

En fin, todos estos años, desde 2006 para unos y desde 2014 para otros, se han investigado y difundido multitud de temas vinculados con el PC. Se ha investigado de todo, herramientas, temas, modalidades de inclusión y de docencia, excepto de un tema esencial que motiva este trabajo: No hemos encontrado una reflexión sistemática sobre instrumentos y criterios de evaluación de las habilidades y del rendimiento en PC de los estudiantes. Instrumentos y criterios que se están utilizando y que se pueden utilizar, bajo el prisma de lo que se sabe sobre evaluación de aprendizajes y de ella en el contexto del diseño instruccional que se utilizan en estos estudios.

Esta situación hace que las direcciones futuras de investigación sobre evaluación de las prácticas de PC, y la promoción a partir de ellas, no estén claras. 

Esto, la ausencia de estudios, creemos que es cierto si hablamos de una evaluación del aprendizaje, de sus resultados, y de la eficiencia de métodos y actividades para desarrollar las destrezas vinculadas al PC. Pero e más cierta aún, si cabe, bajo el prisma del principio de activación y de la eficiencia del pensamiento computacional desenchufado adquirido en las primeras etapas para ser activado en etapas posteriores o en estudios profesionales o universitarios.

Estamos hablando de la evaluación del PC considerándolo como una alfabetización, orientado para la resolución de problemas en otros ámbitos distintos de la computación o de la propia adquisición del PC, del PC como competencia clave y como habilidades trasversales.

Sin embargo, sí se han hecho estudios sobre la evaluación para determinar la consecución de los objetivos propios del PC, y de los resultados de aprendizaje establecido como meta para cada caso, en qué medida se han cumplido y sobre la evaluación formativa. Hay distintos planteamientos. Veamos algunos.

Sobre la cuestión central, la evaluación de los aprendizajes propios del PC, se han hecho apuntes sobre su carácter y necesidad. Así se ha dicho que la evaluación juega un papel fundamental cuando los educadores introducen el PC en las aulas de secundaria obligatoria (K-12). De este tenor son las aportaciones que hace la propia Grover y Pea (2013). 

En la misma línea Kalelioglu et al. (2016) también plante la necesitad de estudiar y discutir más acerca de cómo evaluar la maestría y la aplicación de las habilidades de PC que poseen los estudiantes para aplicar en situaciones de la vida real. Pero más como ejercicios prácticos de fin de lección que como otra cosa. Es como cuando en matemáticas se hacen problemas con edades de padres e hijos para que los alumnos aprendan a plantear ecuaciones o sistemas de ecuaciones. El objetivo no es resolver un ejercicio, de dudosa utilidad en la vida real, sino aprender a plantear ecuaciones y sistemas.

Pero, aún en estos, como en otros casos, no se ha ido más allá de enunciados generales.

Además de sobre la cuestión central, evaluación del aprendizaje propio del PC, en el terreno de lo concreto, se han ofrecido propuestas, en algunos casos de implementación de PC, para la evaluación de esas propuestas con medios convencionales. Así:

  • en algunos casos se emplearon pruebas de respuesta múltiple[2] y/o de respuesta construida[3], por ejemplo, Shell y Soh (2013)
  • otros desarrollaron pruebas convencionales de redactar texto abierto con papel y lápiz para evaluar el conocimiento de CS y las habilidades de PC de los estudiantes, particularmente de estudiantes universitarios (Tang, X et al, 2020); 
  • algunos (como Chen et al. (2017) diseñaron, para responder con papel y lápiz, cuestionarios con preguntas de opción múltiple o con preguntas abiertas, para evaluar la aplicación de las habilidades de PC que poseían los estudiantes para resolver problemas de la vida diaria. Es decir, para algo que sí parecía razonable desde la perspectiva  que Grover & Pea (2013 ) señalaba.

La evaluación a través del desempeño o de los logros es otra forma muy importante de evaluación, a la que hemos hecho referencia en numerosos casos mediante su versión clásica, Mastery learning (Zapata-Ros, 2013a y 2018), o a través de la herramienta con que tan frecuentemente se implementa y confunde: el portafolios. Este caso también se ha dado. Ha habido investigadores e innovadores de implementaciones de PC que han diseñado actividades para desarrollar el PC, y o para que las completaran, y luego empleaban una rúbrica de calificación (portafolios) donde congregaban los productos de sus trabajos de forma sistematizada para evaluarlos. Pero esto se hizo para iniciativas particulares fuera del currículo. Éste es el caso, por ejemplo, de Werner, Denner, Campe y Kawamoto (2012 ) que usaron Fairy Assessment de Alice[4], un entorno que permite a los usuarios construir mundos virtuales en 3D

y mediante su construcción evaluar la supuesta adquisición de comprensión, dominio de diseño o de habilidad resolución de problemas.

para lo cual va dotado el sistema de instrumentos de evaluación y de sus indicadores.

Pero, sin embargo, le falta la validez y capacidad para validar el dominio en situaciones de problemas concretos donde se precisen esas habilidades.

Otro ejemplo de esta misma modalidad es el análisis de portafolios digitales diseñados por estudiantes para completar proyectos en los que se usa PC. Este trabajo fue presentado por Fields, Shaw y Kafai (2018) por un lado y por Lui et al (2019 ) por otro.

Otro caso e evaluación de logros fue la que hicieron Garneli y Chorianopoulos (2018) en la evaluación de proyectos Scratch, hechos por estudiantes, basándose ​​en un entorno de programación visual.

Somos bastantes los que consideramos que los self report studies no son métodos de investigación que validen métodos educativos y su evaluación. Así sucede con la revista RED, por ejemplo. No obstante creemos que en un sucinto repaso sobre lo que se ha hecho, merece la pena señalar, aunque sólo sea para incluirlo en esta categoría, el trabajo de Sáez-López et al. (2016). En el caso objeto de estudio se han utilizado cuestionarios y entrevistas. Por ejemplo,  se ha utilizado un cuestionario para examinar las percepciones de los estudiantes de primaria sobre los conceptos computacionales, después de aprender el lenguaje de programación visual en la plataforma Scratch.

Todo esto está visto desde la perspectiva de la evaluación para determinar la consecución de los objetivos propios del PC. Es decir, en qué medida se han cumplido los resultados de aprendizaje establecido como meta para cada caso o bien como evaluación en progreso, evaluación formativa, para reorientar el proceso.

Aún así, sería interesante, incluso en estos casos de actividades y programas no integrados en un diseño instruccional, averiguar

¿Cuáles son los contextos educativos en los que se han aplicado las evaluaciones?

¿Qué constructos y qué conceptualizaciones de PC se miden mediante estos tipos de evaluaciones del PC?

¿Qué herramientas de evaluación se utilizan para evaluar los constructos de CT?

¿Cuál es la evidencia de confiabilidad y validez de estos métodos  de evaluación del PC?

Esto lo hemos echado en falta.

Pero la cuestión central, la verdaderamente importante en una perspectiva de integración normal, es cómo establecer un diseño completo que, en el contexto de una actividad programada con unas características curriculares determinadas, evalúe el dominio en la adquisición de esas habilidades, teniendo como referencia los rasgos y grados de consecución que debe tener un resultado de aprendizaje para decir que se ha adquirido: Comprensión, atribución de sentido (incorporación), autonomía en su realización y capacidad de transferencia a situaciones distintas y originales. Así como la correspondiente metodología para conseguirlo. Y sólo en ese contexto poder asegurar ese dominio.

No hace falta pensar en diseños muy complejos o tecnológicamente muy sofisticados, o en conceptos teóricamente muy elaborados. Si aceptamos el carácter de competencia clave del PC, tenemos una referencia concreta y muy útil, o mejor dos: pensar cómo los alumnos adquieren los rudimentos de la lecto escritura o de la aritmética y el cálculo elementales. Para estos casos, paradigmáticos, existen métodos y experiencias muy vartiadas y extensas que se han desarrollado en toda la historia de la pedagogía, desde los métodos, espacios de aprendizaje y materiales Montessori, hasta lo sque se basan en el Mastery learning (Zapata-Ros, 2013a y 2013b), desarrollados teórica e investigativamente por Bloom (May 68, 1976, 1984a y 1984b) y ampliados después hasta los materiales de la Fundación Cavendish (Har & Edge, 2011). Eso en una horquilla de visiones innovadoras o de actualización de métodos y teorías ya existentes (Bellas durmientes pedagógicas (Zapata-Ros, 2013d)). Pero pensemos, sobre todo, en una dinámica de desarrollo curricular generalizado y aplicable de forma normal en un sistema educativo determinado

Pensemos en un caso canónico de ello, el recogido por el curriculum ingles, en el Statutory guidance National curriculum in England: computing programmes of study (England, N. C., 2013). En él vienen detallados los objetivos generales (Aims) y los logros de la etapa (Attainment targets) para las Key stages 1, 2, 3 and 4 perfectamente explicados.

Sin embargo, no hemos encontrado directrices concretas para evaluar aprendizajes o habilidades adquiridas de pensamiento computacional en el documento desarrollado The national curriculum in England Framework (DfE (Department for Education), 2014). Documento oficial que publica las directrices de evaluación para el currículo inglés, donde aparecen directrices para evaluar las habilidades y resultados de aprendizaje de las distintas materias, pero no de Computación, de la cual dice sin embargo:

A high-quality computing education equips pupils to use computational thinking and creativity to understand and change the world. [5]

Esto en cuanto se refiere a pautas para la evaluación de la adquisición de los contenidos y de los resultados de aprendizaje que aparece en el currículo nacional. Sin embargo, los métodos y directrices para la evaluación de resultados de aprendizaje de las áreas clave (Inglés y Matemáticas), que aparecen en el currículo nacional, se corresponden con lo que ya conocemos sobre métodos y pruebas tradicionales. Así en el documento de referencia (GOV.UK, 2019), en la Collection. National curriculum assessments: practice materials. Practice materials for the phonics screening check, key stage 1 and key stage 2 national curriculum tests, including past test papers, vemos que están los documentos, pruebas para lengua inglesa (lestura y escritura) y para  matemáticas (aritmética) de la etapa

De entre ellos podemos considerar estereotipo los materiales para matemáticas (aritmética) que además tienen el sentido de material para la alfabetización y su evaluación.

Fuente 2019 national curriculum tests Key stage 2. Mathematics Paper 1: arithmetic https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/804053/STA198216e_2019_ks2_mathematics_Paper1_arithmetic.pdf

Sin embargo, en pensamiento computacional, o computación considerada como PC, no aparece nada semejante. Pero podríamos pensar que el tratamiento dado, de haberlo, podría ser similar si se considerase como una serie de competencias clave.

Obviamente no sería esta nuestra propuesta, a pesar de considerar ejemplar el trato dado en los contenidos del Currículo Nacional al PC. Pero sí la cuestión de fondo: Un tratamiento para la evaluación del pensamiento computacional semejante al que se da a las otras habilidades clave en esa y en otras etapas. Que consecuentemente no podría ser otro que el que hemos propuesto para el resto de habilidades y adquisición de resultados de aprendizaje: La conocida como “Mastery learning”, “Learning for Mastery” o “Dominio del aprendizaje” que ya hemos desarrollado en otros trabajos (Zapata-Ros, 2013a y 2013b), basadas en las investigaciones de Bloom (May 68, 1976, 1984a y 1984b) y que han servido para fundamentar otros sistemas educativos (Har & Edge, 2011; Zapata-Ros, Junio 2018).

Para avanzar en esa línea, sin pormenorizar en detalles específicos del PC que siempre habría que tenerlos en cuenta como primera referencia, si habría que tener en cuenta algunos rasgos generales de la propuesta que hacemos, que en todo caso habrían de concrtarse en los diseños que se hagan de la implementación de enseñanzas del PC.

La evaluación es un complejo de procedimientos que, en condiciones normales, se distribuyen a lo largo de todo el proceso educativo y difícilmente, para que sea una evaluación de calidad, en un único momento o en unos pocos momentos a lo largo del curso. Si se hace así, como aún se hace con demasiada frecuencia con la evaluación, se corre el riesgo de tomar decisiones sesgadas o arbitrarias. Además de crear en los alumnos una ansiedad que los desmotiva y perturba el aprendizaje.

Actualmente tenemos el conocimiento de cómo se produce el aprendizaje y de cómo se realizan las prácticas pedagógicas en las mejores condiciones. Lo hemos obtenido a través de investigaciones que ha aportado resultados y evidencias. También lo tenemos para organizar una evaluación de manera confiable sin necesidad de recurrir a las consabidas pruebas de conocimiento durante o a final de curso, ciclo, trimestre, cuatrimestre o materia. Todo lo que se ha publicado en la literatura, como consecuencia de esas investigaciones y de esa elaboración científica, nos proporciona esos procedimientos y esos métodos. Es papel de los diseñadores de la instrucción en todos sus niveles el conocerlos y el aplicarlos en TODOS LOS ESCENARIOS. Y su responsabilidad el no hacerlo así.

Recientemente, la pandemia ha tenido la virtualidad de poner de relieve hábitos, tradiciones y procesos que estaban pasando desapercibidos y que han manifestado por un lado su vulnerabilidad, sus insuficiencias y las alternativas que la teorías pedagógicas nos venían suministrando, siendo muchas veces ignoradas, y por otro el papel que la tecnología y las redes digitales con sus affordances nos estaban suministrando para la implementación de esos enfoque teóricos así como la oportunidad de validarlos con la práctica.

Con respecto a la evaluación, la segunda cuestión clave que se ha de tener en cuenta es que desde siempre la evaluación ha sido un proceso que, para ser de calidad, difícilmente se puede desvincular del quehacer cotidiano del alumno. Pues bien, si siempre ha sido así, ahora es más vital ese factor: Es en esta situación, en la que no hay una presencia directa de alumnos y profesores, cuando esa interacción debe ser especialmente detallada y frecuente, de forma casi continua, en la medida en que la tecnología lo permita. Y la tecnología lo permite bastante. La tecnología sustituye la presencia directa en la evaluación continua. Alguien planteará que eso es imposible o muy difícil. Hoy no es así. Y no por la eficiencia de las herramientas tecnológicas, que también, sino porque hay metodologías docentes que lo permiten. Desde hace ya tiempo. Y entre ellas, como después veremos, la principal es la de Mastery learning (Zapata-Ros, Junio 2018).

Se trata pues de una cuestión de metodología docente, de cómo los maestros hacemos las cosas, y no tanto de tecnología.

La primera conclusión que he sacado, en toda mi experiencia, es que la evaluación e incluso la acreditación de conocimientos o de habilidades no debe abordarse como algo aislado, condicionado exclusivamente por variables limitadas a la coyuntura o por otros factores recientes y directos, ni tan siquiera en un contexto de emergencia como éste. Si lo hacemos así se pueden derivar más males que beneficios, y además los resultados van a ser irreparables.

La evaluación en todos sus aspectos debe de estar, en todas sus facetas y ejecuciones, integrada en un proceso de diseño instruccional amplio y detallado lo más posible.

Pero, ¿qué es el diseño instruccional?:

Un diseño es, en general, un proyecto o un plan que configura algo antes de su realización o de su desarrollo. Pero que también permite saber en qué punto de él estamos en su ejecución, y cómo relacionar lo que estamos haciendo con los resultados últimos de lo que hagamos. Pudiendo retomar y modificar decisiones, en progreso, para cambiar la ejecución y que ésta se ajuste con nuestros objetivos en un feedback continuo.

Los procesos y programas formativos, y la educación, también se diseñan.

En general el diseño instruccional, como veremos, se define como “un proceso sistemático que se emplea para desarrollar programas de educación y capacitación de manera continua y confiable”.

Existe una amplia base de modelos de diseño instruccional y de desarrollos teóricos considerados como marcos para el desarrollo de módulos formativos o clases que aumenten, haciéndolo de acuerdo con sus pautas y preceptos, la posibilidad de aprender, de fomentar la participación de los alumnos para que aprendan más rápido, y obtener de esta forma niveles más profundos de entendimiento.

Los principales creadores e impulsores del diseño instruccional y de sus bases teóricas ha sido David Merrill (2002 y 2012) y Charles M. Reigeluth.

Así la Teoría del Diseño Instruccional clásica de Reigeluth se considera, en general, como un instrumento con un doble fin: facilitar el aprendizaje y el desarrollo humano, o mejor dicho facilitar el desarrollo humano en la medida que se consigue un mejor aprendizaje. Es en esencia una teoría situacional. Sostiene que los métodos y situaciones de aprendizaje son esenciales para que el aprendizaje tenga lugar de forma efectiva. Está constituida por 

una serie de principios para organizar la enseñanza en un esquema complejo de elementos más pequeños, y por tanto más cerca de la comprensión individual, que posteriormente son insertados en estructuras conceptuales interrelacionadas.

 

Los métodos del diseño instruccional suponen un ciclo continuo y una evaluación formativa (Zapata-Ros, 2013e) que permiten introducir mejoras sobre el proceso en el diseño del programa educativo, sin necesidad de concluir.

El diseño instruccional permite pues partir, en un proceso inverso, desde la consideración de cuáles son los resultados deseados del proceso de aprendizaje para organizar las pautas, para distribuir en el tiempo todo lo demás, incluida la secuencia de acciones y de contenidos. Permite distribuir no solo la entrega de materiales, de actividades y de ayuda, sino de establecer cuáles son los logros parciales que, en una cadena, lleven al alumno a conseguir los logros de la unidad didáctica, el módulo o la materia. De forma que su consecución sea gradual, continua, sin saltos. 

El diseño instruccional consiste también en la aplicación de los principios teóricos que se conocen sobre como los individuos aprenden para organizar la educación. Veamos particularmente cómo funciona esto, la aplicación de los principios teóricos, en un punto concreto, el de la evaluación, que es el tema de este post.

Lo hace a través del principio de demostración.

Antes de abordarlo, expliquemos un poco más qué son los principios del aprendizaje. Como referencia teórica, hemos utilizado el trabajo de M. David Merrill (2002 y 2012) conocido como los “Primeros [o principales] principios de la instrucción” (First principles of instruction, Prentice Hall). Todo ello, en un trabajo más específico, se podría ampliar con más detalle, así como con la lectura de las referencias, que contienen enlaces a los documentos originales.

Estos principios son una constante de la educación en todas las investigaciones, son aceptados por todos los teóricos, hay un consenso sobre ellos.

Merrill estableció cinco principios: El aprendizaje ha de ser centrado en el problema, el principio de activación, el de demostración, el de aplicación y el principio de integración o de transferencia.

El principio que fundamenta la evaluación es el principio de demostración. Y es el que debiéramos tener presente en todo momento en que hablásemos de ella.

¿Qué dice?

En primer lugar, y para entender lo que sigue, hemos de tener en cuenta que los principios de la instrucción están enunciados en forma de criterios que ha de cumplir la enseñanza para que el aprendizaje sea eficiente, de calidad. Hemos de recordar que la evaluación forma parte de la instrucción.

 

Principio 3-Demostración.-

El aprendizaje se promueve cuando la instrucción demuestra lo que se debe aprender en lugar de simplemente decir información sobre lo que se debe aprender.

Así la demostración es un factor de consistencia: El aprendizaje se promueve cuando la demostración es coherente con el objetivo de aprendizaje, con:

(a) ejemplos y contraejemplos de conceptos,

(b) demostraciones para procedimientos,

(c) visualización (evidenciar visualmente) para los procesos, y

(d) el modelado (presentación de modelos) para adquisición de valores y conductas

Fig. 1. Fases de la instrucción

La repercusión del diseño instruccional en la evaluación tiene otro punto clave: La cuestión inmaterial, pero sobre la que gira la docencia, el entregar ayuda y contenidos cuando el alumno esté receptivo y los perciba como útiles, estriba en distribuir los logros parciales y evaluar su consecución, y únicamente entonces proseguir. En esto juega un papel central el diseño y sobre todo, si finalmente los hay, el papel de los Teaching Assistant (TA).

Por último, se trata también de una cuestión de confianza. En una educación de estándares se han establecido medidas iguales para todos, que en su consecución acreditan al alumno para superar el curso o la asignatura. Es un sistema basado en estándares iguales para todos, de superación de pruebas y de exámenes iguales para todos. Esta dinámica permite trasladar la eficiencia al escrutinio de las pruebas y de sus resultados por padres, familias e inspección, donde además con esa supuesta objetividad los docentes se sienten seguros, aunque por contrapartida lo que se hace es sembrar la semilla de la desconfianza, de que no haya equidad en el proceso.

En la nueva educación, la basada en logros personales, el entorno social del alumno debe depositar la confianza en el modelo, personalizado a través de los TA y del método de dominio, pero sobre todo en el maestro y en la expertise docente, de igual forma como la deposita en el método, en su capacidad de diagnóstico y de decidir un tratamiento adecuado.

Todo esto está desarrollado en numerosos documentos y en dos o tres libros. Así de Reigeluth podemos citar Teoría instruccional y tecnología para el nuevo paradigma de la educación (Instructional Theory and Technology for the New Paradigm of Education) y Reinventing Schools: It’s Time To Break The Mold, de Merrill First principles of instruction y en el capítulo siete, dedicado a Reigeluth, de Pensadores de ayer para problemas de hoy: Teóricos de las ciencias sociales (Albert & Carreras, 2014). 

 

Referencias

 

Albert, M. E., & Carreras, J. S. (2014). Pensadores de ayer para problemas de hoy: Teóricos de las Ciencias Sociales (Vol. 6). Editorial UOC.

Bers, M. U. (2010). The TangibleK robotics program: Applied computational thinking for young children. Early Childhood Research & Practice12(2), n2.

Bloom, B. (May 68). Learning for Mastery. Instruction and Curriculum. https://files.eric.ed.gov/fulltext/ED053419.pdf

Bloom, B. S. (1976). Human characteristics and school learning. McGraw-Hill.

Bloom, B. (1984a). The 2 Sigma Problem: The Search for Methods of Group Instruction as ffective as One-to-One Tutoring, Educational Researcher, 13:6(4-16). http://www.comp.dit.ie/dgordon/Courses/ILT/ILT0004/TheTwoSigmaProblem.pdf

Bloom, B. S. (1984b). The 2 sigma problem: The search for methods of group instruction as effective as one-to-one tutoring. Educational researcher, 13(6), 4-16. https://www.jstor.org/stable/pdf/1175554.pdf

Bocconi, S., Chioccariello, A., Kampylis, P., Dagienė, V., Wastiau, P., Engelhardt, K., Earp, J., Horvath, MA, Jasutė, E., Malagoli, C., Masiulionytė -Dagienė, V. and Stupurienė, G. (2022) Reviewing Computational Thinking in Compulsory Education, Oficina de Publicaciones de la Unión Europea , , doi:10.2760/126955. https://publications.jrc.ec.europa.eu/repository/handle/JRC128347

Bocconi, S., Chioccariello, A., Dettori, G., Ferrari, A., Engelhardt, K. (2016). Developing computational thinking in compulsory education – Implications for policy and practice; EUR 28295 EN; doi: 10.2791/792158

Chen, G., Shen, J., Barth-Cohen, L., Jiang, S., Huang, X., & Eltoukhy, M. (2017). Assessing elementary students’ computational thinking in everyday reasoning and robotics programming. Computers & education109, 162-175.

England, N. C. (2013). National curriculum in England: computing programmes of study. Gov. Uk. https://www.gov.uk/government/publications/national-curriculum-in-england-computing-programmes-of-study/national-curriculum-in-england-computing-programmes-of-study

DfE (Department for Education). (2014). The national curriculum in England: Framework document. https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/381344/Master_final_national_curriculum_28_Nov.pdf

García-Valcárcel-Muñoz-Repiso, A., & Caballero-González, Y. A. (2019). Robotics to develop computational thinking in early Childhood Education. Comunicar. Media Education Research Journal27(1).

González, M. R. (2015, July). Computational thinking test: Design guidelines and content validation. In Proceedings of EDULEARN15 conference (pp. 2436-2444).

GOV.UK (2019) Guidance Key stage 2 tests: 2019 mathematics test materials. Mathematics test materials were administered to eligible pupils at the end of key stage 2 in May 2019. https://www.gov.uk/government/publications/key-stage-2-tests-2019-mathematics-test-materials

Grover, S., & Pea, R. (2013). Computational thinking in K–12: A review of the state of the field. Educational researcher42(1), 38-43.

Har, Y. B., & Edge, D. (2011). Teaching to Mastery Mathematics: Teaching of Whole Numbers: from Research to Practice Based on the Singapore Approach. Marshall Cavendish Education.

Hsu, T. C., Chang, S. C., & Hung, Y. T. (2018). How to learn and how to teach computational thinking: Suggestions based on a review of the literature. Computers & Education126, 296-310.

Kalelioglu, F., Gülbahar, Y., & Kukul, V. (2016). A framework for computational thinking based on a systematic research review. Baltic Journal of Modern Computing4(3), 583.

Korkmaz, Ö., Çakir, R., & Özden, M. Y. (2017). A validity and reliability study of the computational thinking scales (CTS). Computers in human behavior72, 558-569.

Lockwood, J., & Mooney, A. (2017). Computational Thinking in Education: Where does it fit? A systematic literary review. arXiv preprint arXiv:1703.07659.

Merrill, M. D. (2002). First principles of instruction. Educational technology research and development, 50(3), 43-59. http://csapoer.pbworks.com/f/First+Principles+of+Instruction+(Merrill,+2002).pdf

Merrill, M. D. (2012). First principles of instruction. John Wiley & Sons.

Merrill, M. D. (1991). Constructivism and instructional design. Educational technology, 31(5), 45-53.

Merrill, M. D. (2002). First principles of instruction. Educational Technology Research and Development, 50(3), 43-59.  Instructional-Design Theories and Models, Volume III: Building a Common Knowledge Base.

Merrill, M. D. (2009). First Principles of Instruction. In C. M. Reigeluth & A. Carr (Eds.), Instructional Design Theories and Models: Building a Common Knowledge Base (Vol. III). New York: Routledge Publishers.

Perez Paredes, P. & Zapata Ros, M.. (2018). El pensamiento computacional, análisis de una competencia clave. New York: Create Space Independent Publishing.

Reigeluth, C. M., Ed. (1999). Instructional-Design Theories and Models: A New Paradigm of Instructional Theory. Mahwah, NJ, Lawrence Erlbaum Associates Publishers.

Reigeluth, C. (2012).  Teoría instruccional y tecnología para el nuevo paradigma de la educación. RED, Revista de Educación a Distancia. Número 32. 30 de septiembre de 2012. Consultado el (dd/mm/aaa) en http://www.um.es/ead/red/32

Rich, K. M., Spaepen, E., Strickland, C., & Moran, C. (2020). Synergies and differences in mathematical and computational thinking: Implications for integrated instruction. Interactive Learning Environments28(3), 272-283.

Sáez-López, J. M., Román-González, M., & Vázquez-Cano, E. (2016). Visual programming languages integrated across the curriculum in elementary school: A two year case study using “Scratch” in five schools. Computers & Education97, 129-141.

Shell, D. F., & Soh, L. K. (2013). Profiles of motivated self-regulation in college computer science courses: Differences in major versus required non-major courses. Journal of Science Education and Technology22(6), 899-913.

Suskie, L. (2018). Assessing student learning: A common sense guide. (3rd Ed.). San Francisco, CA: Jossey-Bass

Tang, X., Yin, Y., Lin, Q., Hadad, R., & Zhai, X. (2020). Assessing computational thinking: A systematic review of empirical studies. Computers & Education148, 103798. https://www.sciencedirect.com/science/article/abs/pii/S0360131519303483

Werner, L., Denner, J., Campe, S., & Kawamoto, D. C. (2012, February). The fairy performance assessment: Measuring computational thinking in middle school. In Proceedings of the 43rd ACM technical symposium on Computer Science Education (pp. 215-220). https://users.soe.ucsc.edu/~linda/pubs/SIGCSE2012Fairy.pdf

Weintrop, D., Beheshti, E., Horn, M. S., Orton, K., Trouille, L., Jona, K., & Wilensky, U. (2014, July). Interactive assessment tools for computational thinking in high school STEM classrooms. In international conference on intelligent Technologies for interactive entertainment (pp. 22-25). Springer, Cham.

Zapata-Ros, M. (2013a). La evaluación en el nuevo paradigma de la educación en la Sociedad Postindustrial del Conocimiento.

Zapata-Ros, M. (2013b). El “problema de 2 sigma” y el aprendizaje ayudado por la tecnología en la Educación Universitaria. http://cuedespyd.hypotheses.org/115

Zapata-Ros, M. (2013c). El “problema de 2 sigma” y el aprendizaje ayudado por la tecnología.http://eprints.rclis.org/18866/

Zapata-Ros, M. (2013d) El “problema de las dos sigmas” y el aprendizaje ayudado por la tecnología en la Educación Universitaria.

Zapata-Ros, M. (2013e). La evaluación en el nuevo paradigma de la educación en la Sociedad Postindustrial del Conocimiento. Eprint de Rclis. http://eprints.rclis.org/20157/

Zapata-Ros, M. (2014). Pensamiento computacional y alfabetización digital (I). Blog RED de Hypotheses. https://red.hypotheses.org/776

Zapata-Ros, M. (2015). Pensamiento computacional: Una nueva alfabetización digital. Revista de Educación a Distancia (RED), (46). https://revistas.um.es/red/article/view/240321

Zapata Ros, M. (2018). La universidad inteligente: La transición de los LMS a los Sistemas Inteligentes de Aprendizaje en Educación Superior. RED. Revista de educación a distancia.

Zapata Ros, M. (Junio 2018). El modelo educativo de Singapur y el “mastery learning” de Bloom. RED de Hypotheses.


 

 

[1] Bebras es una iniciativa internacional que tiene como objetivo promover la Informática  y el pensamiento computacional entre estudiantes escolares de todas las edades. Los participantes suelen estar supervisados ​​por profesores que pueden integrar el desafío Bebras en sus actividades de enseñanza. El desafío se realiza en las escuelas utilizando computadoras o dispositivos móviles. https://www.bebras.org/

[2] A veces se denominan pruebas objetivas (Suskie, 2018), pero siempre se componen de preguntas para las que normalmente hay una mejor respuesta.

 

[3] En el caso de respuesta construida se pide que el evaluado cree la respuesta, en lugar de simplemente elegirla de una lista. La respuesta requerida puede ser tan simple como escribir una sola palabra o tan compleja como el diseño de un experimento de laboratorio para probar una hipótesis científica.

Estos tipos de preguntas de prueba, en conjunto, se conocen como preguntas de respuesta construida.

 

[4]  Fairy Assessment como un programa de Alice para analizar dos de las tres partes de PC identificadas por el Carnegie Mellon Center for Computational Thinking (CMCCT): pensar algorítmicamente y hacer un uso efectivo de la abstracción y el modelado.

[5] Una educación informática de alta calidad equipa a los alumnos para utilizar el pensamiento computacional y la creatividad para comprender y cambiar el mundo (Traducción del autor)

 

Miguel Zapata Ros

Profesor Honorario en el Centro de Formación y Desarrollo Profesional de la Universidad de Murcia. Investigador en el Instituto Interuniversitario de Economía Internacional. Profesor Externo en la Universidad de Alcalá de Henares, miembro del programas de doctorado en Ingeniería de la Información y del Conocimiento, distinguido con Mención hacia la Excelencia por el Ministerio de Educación (Referencia: MEE2011-0159). Editor de RED, Revista de Educación a Distancia y de Docencia Universitaria. Miembro de INTCODE, agencia consultiva de ONU sobre educación a distancia, y representante en la sede de New York. Doctor en Ingeniería Informática.

More Posts - Website

Follow Me:
TwitterFacebookLinkedInGoogle Plus

Moodle Offline Analytics: a web application to monitor student activity

 

Raidell Avello Martínez and Marcos Carrera Ramos

ravellom@gmail.com

Universidad de Cienfuegos

 

Introduction

Learning Management Systems (LMS) are the main computerized educational systems today. In particular, Moodle is one of the most widely used LMS today, which was adopted by the Cuban Ministry of Higher Education to deploy and use in the universities of the system. Like other LMS tools, Moodle collects a large amount of data including all the ratings and interactions of the participants allowing the application of a complete set of Learning analytics (LA) techniques.

The relevance of LA is palpable given its increase in scientific publications and international projects. It is impossible to ignore these techniques as something fundamental embedded in the learning process and in higher education, to manage actions to improve learning. The large volume of data (records) of each participant, from the interaction of hundreds of students, with more than a dozen qualifying activities, show the need to apply specialized tools in LA.

Moodle does not include visual learning analysis functionalities in its modules that it installs by default. There are functional plugin-based extensions to Moodle, which support visual exploration of student activity and performance. But the decision to make a new extension available to teachers depends on multiple factors of the academic institution: size, organization chart, economy, etc. That are beyond the scope of the teacher’s decision (Ji et al, 2020).

There are several pluings (Luna et al, 2017) and external tools (Sáiz-Manzanares et al, 2021) to analyze and monitor the participants of a course in Moodle, including advanced Machine Learning analyzes to predict the performance of students, classify them according to different variables extracted from their interaction and completion of activities among other analyzes (Ahmed & Khan, 2019). However, few of these applications analyse the reports provided by Moodle, that is, they work by connecting directly to the server and extracting the information online.

The goal of the Moodle Offline Analytics web application is to provide a simple and basic solution for analyzing Moodle course logs and providing useful interactive graphs to describe student activity.

App description

Moodle Offline Analytics is a web application for teachers or managers, developed in python and using the Django framework, which analyzes the records of one or more Moodle courses. Faced with more common solutions, such as Moodle plugins or blocks, a web application lacks the bureaucratic, technical and economic problems of installing and updating versions on an institutional server decision (Ji et al, 2020). This application follows an open source and free use policy, under the MIT license, with the latest version available in the GitHub repository (https://github.com/ravellom/moodle_csv_prof).

 

Basic functionality

In order to use the application, it is necessary to enter the course in question and download the records as explained in the help section of the application. Then in the “Load data” section you can upload the file and exclude participants who do not want to be part of the analysis, as well as set the date range to analyse.

Figure 1. Load data and filters

In the general analysis section there is a description of the accesses for the days analysed, a heatmap that provides the accesses by day of the week and time using color intensity to indicate more or less number of accesses, a graph with the amount of access by type of activity and another by specific activities, that is, the most popular activities. Finally, a world map is provided with a color scale according to the amount of access by country.

Figure 2. General analysis

In the participants section, 2 graphs are shown, one with an analysis of the number of participants for the main activities of the course and a cluster analysis that classifies the students into two groups according to the variables presented in the table below of the graphics. This table has 5 variables that describe the contributions of the participants in the main knowledge-building activities that Moodle provides.

Figure 3. Participants analysis

Evaluation

 The tool is being evaluated during this course (2020-2021), using the institutional Moodle server for undergraduate students at our University of Cienfuegos (moodle versions 3.7 and 3.11 latest as of the date of this publication). In a first phase, it is being tested by 5 teachers (3 from the Computer Science area and 2 from Social Sciences) checking the tool with their own courses and reporting errors or proposing improvements.

In addition, it was used for the analysis of the pre-congress courses of the 3rd Scientific Conference of the University of Cienfuegos (cursos.ucf.edu.cu) with 17 courses, with a real data load. The results obtained were highly accepted and useful for teachers and conference coordinators.

 

Conclusions

 In this paper, the Moodle Offline Analytics web application is presented as a basic and simple solution to analyse the records of Moodle courses and provide useful interactive graphics to describe the activity of the students, with great acceptance by managers and teachers who tested the first version available in the national network of Cuban Universities (moodlestats.ucf.edu.cu).

 

References

 Ahmed, S.A.; Khan, S.I. A Machine Learning Approach to Predict the Engineering Students at Risk of Dropout and Factors Behind: Bangladesh Perspective. In Proceedings of the 10th International Conference on Computing, Communication and Networking Technologies (ICCCNT), Kanpur, India, 6–8 July 2019; pp. 1–6.

Ji, Y.P., Marticorena, R., Pardo, C., López, C., Juez, M. (2020). Monitorización de la actividad y rendimiento de los alumnos en Moodle para su análisis visual. Actas de las Jenui, vol. 5. Páginas: 261-268

Luna, J.M.; Castro, C.; Romero, C. (2017). MDM tool: A data mining framework integrated into Moodle. Comput. Appl. Eng. Educ, 25, 90–102.

Sáiz-Manzanares, M.C.; Rodríguez-Díez, J.J.; Díez-Pastor, J.F.; Rodríguez-Arribas, S.; Marticorena-Sánchez, R.; Ji, Y.P. (2021). Monitoring of Student Learning in Learning Management Systems: An Application of Educational Data Mining Techniques. Appl. Sci., 11, 2677. https://doi.org/10.3390/ app11062677

 

 

Miguel Zapata Ros

Profesor Honorario en el Centro de Formación y Desarrollo Profesional de la Universidad de Murcia. Investigador en el Instituto Interuniversitario de Economía Internacional. Profesor Externo en la Universidad de Alcalá de Henares, miembro del programas de doctorado en Ingeniería de la Información y del Conocimiento, distinguido con Mención hacia la Excelencia por el Ministerio de Educación (Referencia: MEE2011-0159). Editor de RED, Revista de Educación a Distancia y de Docencia Universitaria. Miembro de INTCODE, agencia consultiva de ONU sobre educación a distancia, y representante en la sede de New York. Doctor en Ingeniería Informática.

More Posts - Website

Follow Me:
TwitterFacebookLinkedInGoogle Plus

El Principio de Activación en el Pensamiento Computacional, las Matemáticas y el STEM

José Miguel Zapata, University College of Dublin. Dublin. Irlanda.
Ellen Jameson, University of Cambridge. Cambridge. UK
Miguel Zapata-Ros, profesor honorífico en la Universidad de Murcia. Murcia. España.
David Merrill,  professor emeritus at Utah State University. Logan. EE UU

 

 

Preprint con la presentación del número especial de RED “La educación en Matemáticas, Pensamiento Computacional y STEM apoyada por la tecnología digital. Su diseño instruccional. El principio de activación”

 

 

El presente número monográfico de RED se convocó con el título La educación en Matemáticas, Pensamiento Computacional y STEM apoyada por la tecnología digital. Su diseño instruccional. El principio de activación.

Hay numerosas destrezas y conceptos, propios de Pensamiento Computacional, Matemáticas y STEM, que son necesarios como base para los estudios de grado. Frecuentemente estos conceptos y procedimientos no constan de forma explícita en el currículo de los niveles anteriores a la universidad o, constando, no se garantizado su dominio.  En estos casos no podemos esperar que aparezcan de forma espontánea, en el mismo momento en que se necesitan para los contenidos de grado o de secundaria superior. Es necesaria una sólida base cognitiva para que puedan ser evocados.

El presente número monográfico está convocado con el objetivo de dar oportunidad de difundir investigaciones y casos que parcial o totalmente tengan como referencia esas ideas. E investiguen si efectivamente el uso del principio de activación (Merrill, 2002; 2020 revised edition) convenientemente utilizado en un diseño instruccional adecuado, con métodos, actividades y recursos, consigue una mejora en la calidad de los resultados de aprendizaje cuando lo aprendido en las etapas anteriores es evocado y reactivado convenientemente en los estudios de grado.

Finalmente, sólo se han recibido dos trabajos con ese fin. Ello no exime a la revista a justificar la importancia de ese planteamiento y a dar la bienvenida a esos primeros trabajos, de los cuales no dudamos habrá continuación en el futuro.

Las habilidades que son necesarias para la programación de algoritmos complejos, las destrezas del pensamiento computacional en todo su vigor (análisis descendente, análisis ascendente, métodos de aproximaciones sucesivas, ensayo-error, ….) y las que entraña la operatividad lógica o abstracta que son necesarias para la programación de ordenadores, para resolver problemas, no podemos esperar a que aparezcan, o a que se manifiesten de forma espontánea. Y que lo hagan en el mismo momento de necesitarlas en los estudios de grado de Matemáticas, Computación o Ingeniería, en la etapa de madurez del alumno que corresponde a esa edad, ni tan siquiera en la etapa de desarrollo del pensamiento abstracto, en la secundaria postobligatoria o incluso en Secundaria.

En esto, estas habilidades no son distintas de otras habilidades complejas que tienen que ver con el desarrollo de los individuos, que se adquieren de forma progresiva y que solo son utilizables en forma operativa en su última fase.

Esta naturaleza del aprendizaje, el enlace de las situaciones en que se produce, o se debiera producir, con los objetivos finales a través de etapas, niveles y condiciones de aprendizaje, es la que justifica el diseño instruccional y de ello no se libra la adquisición de las habilidades de STEM ni, siendo distinto, el pensamiento computacional. Los aprendizajes complejos se dividen, se fraccionan en aprendizajes más simples, más cercanos a las capacidades de los individuos y más lejanos del momento que adquieren su mayor eficiencia u operatividad práctica, o incluso que nunca lo alcancen porque no exista, como sucede en el caso que no lo alcancen ese punto en su dominio propio, por sí mismas, sino como habilidades auxiliares a otras. Así pasa con los conocimientos y las habilidades básicas y con las competencias clave, entre las que tradicionalmente se encuentras la escritura, la lectura y la aritmética (las “tres erres”)

En este punto es donde obtienen su justificación en las teorías del aprendizaje, en el principio de activación, y en la forma en como transitar desde que se adquieren las habilidades hasta que son útiles en su destino final. Este tránsito y la forma de organizarlo es lo que constituye la base del diseño instruccional. Por tanto, son dos núcleos clave que está en la justificación en la teoría del aprendizaje y en la base de una pedagogía del STEM: El principio de activación y el diseño instruccional.

En este caso nos vamos a dedicar exclusivamente al principio de activación.

Así pues, vamos a justificar con este principio la necesidad y la conveniencia de trabajar aspectos del aprendizaje previos para todos los contenidos de STEM en la Educación Superior, y que son necesarios desde las primeras etapas del desarrollo cognitivo de los individuos.

Esto es lo que va a justificar después qué actividades constituyen el currículo (Por ejemplo, entre ellas incluiremos juegos, tarjetas, escarabajos robots, etc.) y cómo se organizan. También nos informa cómo lo hacemos para que los conceptos y preconceptos (Piaget, 1973 y Piaget & Herborth, 1973 a través de Burgmann, C., & Wille, R., 2006) se activen y fluyan en la fase de resolver problemas en las etapas de enseñanza universitaria.

Esto obviamente sería una ejemplificación extrema. En un caso más normal, la adquisición se produciría de una forma más progresiva. A través de las distintas etapas educativas, de los niveles. E incluso en el trascurrir de estos y de los módulos y unidades instruccionales que los componen.

En su trabajo, Merrill (2002) desarrolla lo que llama unos principios fundamentales del aprendizaje (first priciples) lo hace decantando los principios subyacentes en los que hay consensos, hay un acuerdo esencial, en todas las teorías y que previamente ha identificado.

Ese trabajo está expuesto y desarrollado en su artículo First principles of instruction (Merrill, 2002), en Educational technology research and development, incluido también como capítulo en el tercer volumen de los libros de Reigueluth  Instructional-design theories and models: Building a common knowledge base (Merrill, 2009). Y de forma resumida en First principles of instruction: A synthesis (Merrill, 2007). También son glosados como base del nuevo paradigma instruccional de Reigeluth, cuya versión oficial pueden encontrar en RED número 50, en el artículo Teoría instruccional y tecnología para el nuevo paradigma de la educación (Reigeluth, 2016).

En este último trabajo, Reigeluth (2016) distingue entre principios universales y escenarios particulares. Cuando aplicamos con mayor precisión un principio o un método instruccional, por lo general descubrimos que hace falta que éste sea diferente para diferentes situaciones y perfiles de aprendizaje o, en una mayor precisión, para obtener objetivos contextualizados y personalizados. Reigeluth ( 1999a ) referred to the contextual factors that influence the effects of methods as “situationalities.” Reigeluth (1999) se refirió a los factores contextuales que influyen en los efectos de los métodos como “escenarios”.

Los principios fundamentales de instrucción (first priciples) los propone y los define Merrill (2002) en First principles of instruction. Este documento se refiere a los métodos variables como programas y prácticas. Un principio fundamental (Merrill, 2002), o un método básico según Reigueluth (1999a), es un aserto que siempre es verdadero bajo las condiciones apropiadas independientemente del programa o de la práctica en que se aplique, que de  esta forma dan lugar a un método variable. Teniendo en cuenta como el mismo Merrill (2002) las define:

Una práctica es una actividad instruccional específica. Un programa es un enfoque que consiste en un conjunto de prácticas prescritas. Las prácticas siempre implementan o no implementan los principios subyacentes ya sea que estos principios se especifiquen o no. Un enfoque de instrucción dado solo puede enfatizar la implementación de uno o más de estos principios de instrucción. Los mismos principios pueden ser implementados por una amplia variedad de programas y prácticas.

De esta forma Merrill propuso un conjunto de cinco principios instruccionales prescriptivos (o “principios fundamentales”) que mejoran la calidad de la enseñanza en todas las situaciones (Merrill, 2007, 2009). Esos principios tienen que ver con la centralidad de la tarea, la activación, la demostración, la aplicación y la integración.

Para ello Merrill (2002) propone un esquema en fases como el más eficiente para el aprendizaje, de manera que centran el problema y crean un entorno que implica al alumno  para la resolución de cualquier problema En cuatro fases distintas, cuando habitualmente solo se hace en una: la de demostración, reduciendo todo el problema a que el alumno pueda demostrar su conocimiento o su habilidad en la resolución del problema en una última fase. Son las FASES DE INSTRUCCIÓN (ver Figura 1).

Figura 1. Fases de la instrucción según Merrill (2002)

Las fases son (a) activación de experiencia previa, (b) demostración de habilidades, (c) aplicación de habilidades, y (d) integración de estas habilidades en actividades del mundo real.

Así la figura anterior proporciona un marco conceptual para establecer y relacionar los principios fundamentales de la instrucción. De ellos uno tiene que ver con la implicación y la naturaleza real del problema, así percibida por el alumno, y los cuatro restantes para cada una de las fases. Así estos cinco principios enunciados en su forma más concisa (Merrill 2002) son:

  1. El aprendizaje se promueve cuando los estudiantes se comprometen a resolver problemas del mundo real. Es decir, el aprendizaje se promueve cuando es un aprendizaje centrado en la tarea.
  2. El aprendizaje se favorece cuando existen conocimientos que se activan como base para el nuevo conocimiento.
  3. El aprendizaje se promueve cuando se centra en que el alumno debe demostrar su nuevo conocimiento. Y el alumno es consciente de ello.
  4. El aprendizaje se promueve igualmente cuando se centra en que el aprendiz aplique el nuevo conocimiento.
  5. El aprendizaje se favorece cuando el nuevo conocimiento se tiende a que se integre en el mundo del alumno.

Pero, de todos estos principios, el que justifica sobremanera la inclusión del pensamiento computacional, como pensamiento computacional desenchufado en las primeras etapas, es el principio de activación. En él nos vamos a centrar, y no solo en su aplicación para el diseño instruccional en la fase de activación, en la que el conocimiento existente se activa, sino en las fases en las que se crean los conocimientos y habilidades que son activados, y en cómo hacerlo para que la activación sea más eficiente.

En su trabajo Teoría instruccional y tecnología para el nuevo paradigma de la educación, Reigeluth (2016 pág. 4) caracteriza el principio de activación de manera que:

  • El diseño educativo de actividades, organización, recursos, etc. debe ser tendente a activar en los alumnos estructuras cognitivas relevantes, haciéndoles recordar, describir o demostrar conocimientos o experiencias previas que sean relevantes para él.
  • La activación puede ser social. La instrucción debe lograr que los estudiantes compartan sus experiencias anteriores entre ellos.
  • La instrucción debe hacer que los estudiantes recuerden o adquieran una estructura para organizar los nuevos conocimientos.

Los trabajos de Merrill (2002) y Reigeluth (2016) hacen énfasis en la fase de activación, pero no en la fase de crear estructuras cognitivas, experiencias y en general conocimientos y habilidades que puedan ser evocados. Ni tampoco en crear una pedagogía o un diseño educativo que incluya, o tendente a favorecer, elementos cognitivos de enlace que promuevan la  activación. Tampoco a fomentar la investigación sobre estos temas, o a investigar qué tipos de enlaces fortalecen más las estructuras cognitivas de enlace y de evocación.

A partir de lo que dicen, sobre las características del diseño instruccional que implica el principio de activación, los ítems anteriores, podemos concluir que la instrucción, en la fase de crear elementos para ser evocadora, debe:

  • Crear estructuras cognitivas que incluyan conocimientos, habilidades, elementos de reconocimiento que permitan distinguir al alumno y otorgar relevancia en su momento de forma fluida a esas habilidades para conseguir su efectividad en ese momento a partir de elementos contextuales, metáforas, etc.
  • Otorgar a esas habilidades elementos de reconocimiento que permitan la activación.
  • Asociar esas habilidades a tareas que tengan similitud con las que se en su momento sean necesarias para resolver los problemas a los que ayuda la activación. En nuestro caso, a los problemas computacionales, o habilidades propias a los elementos que constituyen el pensamiento computacional.
  • Diseñar instruccionalmente las actividades que sean relevantes para evocar los elementos de pensamiento computacional (Pérez-Paredes y Zapata-Ros, 2018).
  • Propiciar experiencias de aprendizaje compartido en las primeras etapas y hacer que esos grupos y experiencias sociales sean estables a lo largo del tiempo. Las experiencias compartidas crean elementos de activación a través de grupos o de pares alumnos. El propiciar grupos y claves de comunicación, de lenguaje, y que esos grupos sean estables a lo largo del tiempo aumenta la potencia de activación.
  • Crear estructuras cognitivas en los alumnos capaces de recomponerse y aumentar en el futuro. Dotar a los conocimientos y habilidades de referencias y de metadatos que permitan ser recuperados mediante evocación.

Debe pues potenciarse una pedagogía que establezca valores en estas ideas y principios para las primeras etapas.

El principio de activación es pues clave para tenerlo en cuenta cuando se diseña la educación infantil y del primer ciclo de primaria teniendo en el horizonte los aprendizajes futuros, incluidos los de STEM.

Además de Merrill ha habido más aportaciones sobre el principio de activación y el aprendizaje STEM.

Como señalamos en otro trabajo (Zapata-Ros, 2018b), Bawden (2008) refiriéndonos a Pensamiento Computacional, se habla de habilidades de recuperación, y se remite a lo expuestas en otro trabajo anterior (Bawden, 2001). En las habilidades que señala se constatan ideas como la de construir un “bagaje de información fiable” de diversas fuentes, la importancia de las habilidades de recuperación, utilizando una forma de “pensamiento metacognitivo” para hacer juicios informados sobre la información recuperada, y para asegurar la validez e integridad de las fuentes de Internet, leer y comprender de forma dinámica y cambiante material no secuencial.

Para concluir, no podemos finalizar esta presentación sin agradecer a Chales M. Reigeluth su participación y aliento en todas las fases del monográfico. Primero con su producción teórica poniendo en relación los principios principales del aprendizaje con el diseño instruccional en todas las fases niveles y programas educativos, y particularmente en Pensamiento Computacional. Y luego con su implicación en la elaboración del número, invitando a quien hoy es autor de esta presentación, Dave Merrill, a participar. También propiciando la participación de autores con su implicación personal en la difusión y valoración de las ideas que se quieren potenciar sobre el principio de activación y el pensamiento computacional.

También agradecemos al Profesor Richard West, de la BYU, su apoyo difundiendo la iniciativa y animando a investigadores no sólo en participar en este número, lo cual era difícil si previamente esta idea no contaba, como ha sucedido, con la suficiente tradición y producción, sino sobre todo a sembrar inquietudes para propiciar futuras investigaciones.

Citar como

Zapata, J.M.,  Jameson, E.,  Zapata-Ros, M. y Merrill, M.  (2021). El Principio de Activación en el Pensamiento Computacional, las Matemáticas y el STEM.   RED. Revista de Educación a Distancia. Núm. 68, DOI: http://dx.doi.org/10.6018/red.498531

Financiación

Este trabajo no ha recibido ninguna subvención específica de los organismos de financiación en los sectores públicos, comerciales o sin fines de lucro

 

Referencias

Bawden, D. (2001). Information and digital literacies: a review of concepts. Journal of Documentation57(2), 218–259.

Bawden, D. (2008). Origins and concepts of digital literacy. Digital literacies: Concepts, policies and practices, 17-32. http://sites.google.com/site/colinlankshear/DigitalLiteracies.pdf#page=19

Burgmann, C., & Wille, R. (2006). The basic theorem on preconcept lattices. In Formal Concept Analysis (pp. 80-88). Springer, Berlin, Heidelberg. https://link.springer.com/chapter/10.1007/11671404_5 https://link.springer.com/content/pdf/10.1007%2F11671404.pdf

Merrill, M. D. (2002). First principles of instruction. Educational technology research and development, 50(3), 43-59. https://link.springer.com/article/10.1007/BF02505024 y https://mdavidmerrill.com/Papers/firstprinciplesbymerrill.pdf

Merrill, M. D. (2007). First principles of instruction: A synthesis. In R. A. Reiser & J. V. Dempsey (Eds.), Trends and issues in instructional design and technology (2nd ed., pp. 62-71). Upper Saddle River, NJ: Merrill/Prentice-Hall.

Merrill, M. D. (2009). First principles of instruction. In C. M. Reigeluth & A. A. Carr-Chellman (Eds.), Instructional-design theories and models: Building a common knowledge base (Vol. III, pp. 41-56). New York: Routledge.

Merrill, D. (2020). First principles of instruction (revised edition). Association for Educational Communications and Technology.

Piaget J. (1973)  Einf¨uhrung in die genetische Erkenntnistheorie. suhrkamp taschenbuch wissenschaft 6. Suhrkamp.

Piaget, J., & Herborth, F. (1973). Einführung in die genetische Erkenntnistheorie. Frankfurt am Main: Suhrkamp.

Reigeluth, C. M. (1999). What is instructional-design theory and how is it changing? In C. M. Reigeluth (Ed.), Instructional-design theories and models: A new paradigm of instructional theory (Vol. II, pp. 5-29). Mahwah, NJ: Lawrence Erlbaum Associates.

Reigeluth, C. M. (2016). Teoría instruccional y tecnología para el nuevo paradigma de la educación. RED. Revista de Educación a Distancia. Número 50. http://www.um.es/ead/red/50

Zapata-Ros, M. (2018b). Pensamiento computacional. Una tercera competencia clave. (I) Blog RED El aprendizaje en la Sociedad del Conocimiento. https://red.hypotheses.org/1059

 

Miguel Zapata Ros

Profesor Honorario en el Centro de Formación y Desarrollo Profesional de la Universidad de Murcia. Investigador en el Instituto Interuniversitario de Economía Internacional. Profesor Externo en la Universidad de Alcalá de Henares, miembro del programas de doctorado en Ingeniería de la Información y del Conocimiento, distinguido con Mención hacia la Excelencia por el Ministerio de Educación (Referencia: MEE2011-0159). Editor de RED, Revista de Educación a Distancia y de Docencia Universitaria. Miembro de INTCODE, agencia consultiva de ONU sobre educación a distancia, y representante en la sede de New York. Doctor en Ingeniería Informática.

More Posts - Website

Follow Me:
TwitterFacebookLinkedInGoogle Plus

COVID19: La transición pedagógica de la docencia universitaria hacia el modo en pandemia y hacia la educación de la postpandemia

INTRODUCCIÓN DE URGENCIA

Esta entrada constituye la primera versión pública de la introducción de lo que, normalmente, ha de ser un libro sobre diseño instruccional de la educación en la pandemia y después de ella. Por otro lado constituye parte del material utilizado sobre esos temas en cursos y estudios de postgrado que el autor está impartiendo para distintas universidades e instituciones. El identificador que debe utilizarse cuando se cite o para cualquier mención es el que sirve para referenciar todos los materiales de este proyecto  DOI: 10.13140/RG.2.2.21911.29605   

I.

La irrupción de la pandemia COVID 19 y el impacto que tuvo, está teniendo y tendrá en la educación, en todos los niveles, es un hecho suficientemente tratado en muy diversos lugares. No cansaremos a los lectores repitiendo descripciones y datos. Lo que sea relevante para el tema que nos concierne, el diseño instruccional de la enseñanza en estas condiciones, así como el de la educación que salga de ella, estará tratado en el desarrollo del punto que en cada momento estemos tratando.

Remitimos en todo caso a los informes de las entidades oficiales que tienen competencia en la educación y a los informes de las agencias de reputación (UNESCO, 2021) (World Economic Forum, 2021).

Sobre la particular percepción de esos hechos que tiene el autor, basado en sus experiencias, estudios e investigaciones los podemos encontrar en la presentación del número especial sobre el tema de la revista RED (Teixeira y Zapata-Ros, 2021),

Lo importante es asegurar pues, en estas condiciones, que la transición a este modo sea pedagógicamente lo más eficiente posible. No tendría sentido por otra parte el esfuerzo y el desembolso que todos estos años se ha hecho en equipamientos y en capacitación docente, no siempre eficiente ni efectiva, para la enseñanza y el aprendizaje en línea.

La idea que debe prevalecer, en todo caso, es favorecer las iniciativas y la flexibilidad de los profesores, grupos y departamentos académicos. Debe predominar sobre la iniciativa institucional, ante la que en ningún caso deben de quedar expectantes y paralizados.

Dame Minouche Shafik (2020), directora de LSE, nos da la referencia en su post de THE. La frase clave del artículo es “Se aconseja a los colegas que haya flexibilidad en términos de la evaluación que decidan establecer, con una gama de opciones disponibles. Los métodos de evaluación quedarán a discreción del profesorado académico y deberán ser aprobados por el presidente de su comité de enseñanza departamental”.

Este es un post de urgencia que induce algunas preguntas que en parte desarrollaremos mínimamente, pero a las cuales este libro también quiere dar respuesta en el capítulo de temas prioritarios en situaciones como esta.

¿Cuál es la prioridad? ¿Qué es lo que hay que hacer ya para que los alumnos no se escapen? ¿Cómo mantener el vínculo?

¿Qué es lo mínimo imprescindible para asegurar que la entrega de materiales y tareas lleguen a todos oportuna y dosificadamente? Y ¿cómo asegurar la ayuda oportuna, la revisión de las tareas y el feedback?

Pero, en todo caso, desde el principio, queremos dejar constancia de LA PRIORIDAD DE LAS GUIAS. Que haya una cultura de las guías. Fomentándola, LAS GUÍAS DIDÁCTICAS hacen que los alumnos sepan lo que han de hacer en cada momento y regulan la entrega y la devolución en todos los escenarios con un mínimo de recursos. Sólo unas hijas impresas o un sencillo fichero PDF o Word.

II. Prioridad.- Lo que hay que hacer ya. Mantener el vínculo.

La conmoción del estado de alarma y las medidas que impone, entre ellas el cierre físico de espacios y edificios universitarios, ha conmocionado a la comunidad universitaria que no sabe qué hacer, o no tiene  directrices claras.

Es un momento de mucha responsabilidad. Los alumnos y, lo que es más grave, los profesores pueden quedar desconectados. Los servicios técnicos y de computación también, por atender a lo que creen las autoridades que son las prioridades.

En estos posts trataré con más profundidad temas como son los elementos del diseño instruccional: Epítome, cómo establecer competencias u objetivos de aprendizaje, actividades, entrega de contenidos y recursos, métodos docentes, evaluación,… Pero el tema de urgencia ahora es QUE LOS ALUMNOS NO QUEDEN DESCONECTADOS, MANTENER EL VÍNCULO. Y después, que sepan qué hacer en su tiempo. Mantener la tensión de la actividad.

Hay distintos complejos tecnológicos: Los LMS de las universidades, los que ofrecen las corporaciones de forma gratuita, pero que son nuevos y desconocidos para la mayoría de eventuales usuarios en este caso, y que por tanto necesitan una inversión de aprendizaje nuevo y posiblemente sólo para esta ocasión y los que habitualmente utilizan los estudiantes y la mayoría de profesores para su vida de forma habitual, de los que después hablaremos.

Si sus servicios de informática para la docencia, los que su universidad le provee, siguen funcionando y manteniéndose, enhorabuena. Los LMS siempre tienen un sistema de correo y avisos que están conectados con el correo corporativo de alumnos y profesores. También los foros y con ellos los servicio de envíos y descargas están conectados con los correos. Y siempre hay un chat, o una affordance de chat para trabajo colaborativo y en grupos.

Sólo con estos elementos ya se puede constituir un entorno de aprendizaje muy completo y cognitivamente muy potente. Si además dispone de gestión de vídeos, genial.

Pero si todo esto no es así, una red social también cumple estas condiciones y es capaz de prestar estos servicios y dar soporte para una rica y compleja actividad docente y discente. Además, siempre tenemos Youtube. Pero no atribuyamos expectativas a un medio poco interactivo como es el vídeo y, reconozcámoslo, poco elaborativo. Los alumnos tienen que procesar ideas y datos, y la forma cognitivamente más potente de hacerlo es la escritura, en la redacción de trabajos y proyectos, y en la interacción grupal. Y la lectura.

De todo esto podemos disponer ya, sin más, alumnos y profesores (casi todos saben manejar una red como Facebook o Whatsapp).

Por tanto ¿qué hay que hacer?

1.- Que los alumnos no se escapen. Mantener el vínculo.

Para ello es indispensable tener una lista con las direcciones de email (institucionales o las que utilizan de forma personal, y a veces más eficientescomo gamail), También direciones y perfiles: Facebook, Twitter y sobre todo Whatsap y Skype.

Y tener una mínima organización por grupo de aula, o de otro tipo, por trabajos y proyectos, por ejemplo. No son incompatibles. Se impone por lo menos crear un grupo por aula en Facebook, Whatsap, Linkedin,…

2.- Dejar bien claro que esto, lo que se haga aquí, en este entorno, improvisado o no, decidirá muy significativamente en quién aprueba y quién no. Se trata de la evaluación del aprendizaje, y todo lo que se haga aquí será relevante para la evaluación y para acreditar los logros. En las guías didácticas se dice como se conseguirá: PRIORIDAD DE LAS GUÍAS.

2.- Con dos o tres vínculos se puede hacer mucho: Correo y grupo de Facebook o de Linkedin.

3.- Que sepan lo que tienen que hacer en cada momento y regular la entrega: LAS GUÍAS DIDÁCTICAS.

Éste último elemento es clave. Después veremos cómo hacer y cómo poner en marcha unas guías didácticas.

De momento me permito poner a su disposición, la de usted profesor, las guías didácticas que utilicé en mi curso abierto online de la Universidad de Alcalá de Henares. Lo hago como todo lo demás en el espacio que he creado en Google Drive con este enlace.

Cuando se publicó este contenido como post, señalamos que éste, los siguientes y el anterior, es decir la serie completa, se irán actualizando y adaptando progresivamente. Por tanto, es conveniente que lo visite frecuentemente. El repositorio de Google Drive también. En un futuro crearé uno más estable e independiente en el servidor de la Universidad de Murcia.

 

III. Los Teaching Assistant en la urgencia.

La primera disrupción necesaria de esta nueva y desconcertante situación es el papel inédito, de urgencia, que cumple la educación abierta y en línea. Pero conviene bajar al detalle de disrupciones concretas. Mas abajo veremos el concepto de disrupción tal como lo estableció el teórico Christensen. Lo que tienen de común estas situaciones es su novedad, en un contexto distinto, como enfoques necesarios e impuestos por la realidad frente a las situaciones o prácticas existentes, consolidadas por los años, la necesidad anterior y la tradición. Esta irrupción se hace generalmente con la resistencia y con la inercia de los hábitos humanos consolidados.

Así pues, el coronavirus crea un contexto nuevo y distinto para una práctica como la educación on line, su diseño instruccional y para todas sus componentes.

Vamos a tratar pues el diseño instruccional de la enseñanza online en estas circunstancias. Pero, por razones de urgencia y oportunidad, alternaremos la secuencia natural de temas. Abordamos ahora el tema de los Teaching Assistant, los profesores que asisten, que ayudan, en el aprendizaje a los alumnos.

El Prof. Días Figueiredo se ha dado cuenta de algunas de estas disrupciones que en otros contextos propicia la situación del COVID19.  

Así habla de la Innovación Disruptiva que se produce en los supermercados por el COVID-19. Con la perspectiva del principio de la distancia social que se va a instalar durante varios meses, aparee una innovación rápida en ganar auge y fuerza: Traer a los domicilios las compras del supermercado. Se presenta primero como hecho aislado y voluntario, y después como estrategia. Estratégica que posiblemente sea asumida por las grandes superficies que puedan adaptarse y hacer con ello, tal vez, un hábito definitivo para muchos consumidores. En este momento, el tiempo de entrega se ha vuelto innecesariamente largo para la comida, sobre todo, situación que la hace innecesaria para competir con el hábito de compra directa hasta ahora, pero las empresas que se adapten finalmente habrán reinventado el modelo del negocio y quedarán en la memoria de los consumidores como las que los ayudaron en un momento difícil.

Ese mismo esquema puede repetirse con las universidades que se adapten a la situación de confinamiento de alumnos y profesores con una adaptación flexible y útil de la educación abierta en línea. Pero sobre todo estamos pensando como factor clave de la eficiencia en los profesores asistentes en el aprendizaje, los famosos Teaching Assistant del diseño instruccional que otras veces hemos tratado y los de la metodología de Mastery learning. Además en un marco cambiante de oferta y necesidad de trabajo, estos nuevos empleos, los de Teaching assistant, como salvando todas las distancias, los logísticos y repartidores del suministro de alimentos, pueden dar respuesta a la caída de empleo que se puede producir en otros nichos ahora inestables, como la hostelería, donde hay muchos graduados universitarios de educación y otras carreras subempleados.

Una solución que con ser provisional puede devenir en estratégica a fuer del razonamiento que hace el Dr. Figueiredo “el modelo del negocio quedarán en la memoria de los consumidores (padres y alumnos) como las universidades que los ayudaron en un momento difícil”. Y lo hicieron bien.

Hace tiempo dije que la política de edificios y espacios universitarios debe cambiar con las disrupciones universitarias. Lo venimos diciendo desde 2012, aquí y aquí. Perdonen que me extienda en este tema, pero este escrito es como una especie bloc de notas donde vuelco en bruto mis ideas, luego trataré de refinarlo:

Decía entonces que “se están produciendo cambios no solo de metodologías docentes sino en el complejo mundo que rodea la actividad educativa en la universidad.  Los cambios son estructurales y sistémicos, y en consecuencia todos los elementos que configuran el sistema se ven afectados” evidentemente en esa época solo era por pioneros e innovadores, pero el cambio e auguraba.

Sin embargo, se está produciendo una línea de desarrollo que posiblemente conduzca a una vía muerta. Se están utilizando criterios, medios, configuración de espacios y de tiempos, de una etapa anterior, a sistemas de naturaleza distinta.

Las referencias siguen siendo las mismas, se habla, se utilizan expresiones y metáforas de la fase anterior. Así se habla de espacios, de aulas virtuales y de campus virtuales, pensando en los de ladrillo, se habla de libros y de revistas digitales pensando en el papel, y esto limita no solo las affordances de estas herramientas y soportes, sino incluso sus funciones y las de los actores en los procesos que se desarrollan.

Pensamos en espacios y en edificios. La universidad siempre los ha tenido y han sido su referencia.

Por un momento pensemos, como un ejemplo para situarnos, en la prensa digital, y que en los periódicos digitales tuvieran que construirse edificios para almacenar el papel, y que hubiese algo en la edición a lo que se llamase rotativas digitales, pensemos en hora de cierre y en hora de salida. Pensar así es una limitación que lastra muchas funciones que constituyen la esencia del periodismo digital.

Otro tanto sucede con espacios, tiempos y funciones de la universidad. Habrá que pensar en funciones de los distintos actores, en sus roles, en las posibilidades que ofrecen los entornos, en las que aparecen.

En definitiva, habrá que pensar en las formas de ubicarse los actores en función de las emergentes posibilidades, y ahora obligados por el coronavirus.

La ubicación de profesores y alumnos es distinta y variante para la enseñanza y para el aprendizaje, es distinta de la única existente en la fase anterior, y de la única de posicionarse en los entornos tecnológicos que existe en la educación virtual tradicional.

Pero esto transciende de la situación actual y quedara para después de forma irreversible. Ahora estamos confinados, pero después, cada vez más, el aprendizaje será ubicuo (Zapata-Ros, 2012a y b) se produce anywhere y anytime (Zapata-Ros, julio 2013), por tanto lo actual se perpetuará favorecido por estas otras variables, a pesar de que ahora estamos constreñidos en el espacio. También habrá que considerar que aparecen ganancias del aprendizaje en las situaciones y usos con los dispositivos personales (Los que el alumno utiliza en su vida real y en sus relaciones personales). De esta forma la posición relativa, la ubicación física en que pueden situarse universidad, alumno y profesores es cada vez más relativa. Afecta menos al resultado del aprendizaje o según en qué casos puede mejorarlo incluso. La confinación tampoco nos debe hacer olvidar esta oportunidad.

Hasta aquí hablamos del aprendizaje. Pero otro tanto sucede con los recursos: Bibliotecas digitales, revistas online, OER y en general los recursos en red. En el confinamiento la biblioteca estará accesible desde nuestra casa y los libros en bits, bytes y electrones. Habrá todo lo más un ejemplar en papel guardado en alguna parte, pero el resto estará en la red ¿Hacen falta para esto edificios de ladrillo y cemento?

Todo ello determina una nueva economía de espacios en la universidad. No se pueden crear aulas masivas o de gran grupo simplemente como hasta ahora si la van a utilizar una vez a la semana o al mes.

Esto, digámoslo así, pone a la universidad en una tesitura por la urgencia: Cerrar inmuebles, reconvertirlos o venderlos para, si no queremos desequilibrar el presupuesto comprometiendo otros gastos igualmente prioritarios, contratar Teaching Assistant (TA), editores de guías didácticas y documentalistas instruccionales. También diseñadores instruccionales, editores, realizadores, etc. de vídeos.

Hay mucha gente que va a pasar al paro desde la industria turística y la de sus servicios periféricos, la hostelería,… que son subempleados. Muchos de ellos son maestros graduados y pedagogos, pero no sólo ni exclusivamente. Es una buena oportunidad para cualificar el empleo de estos especialistas y pasar a sectores realmente estratégicos y menos vulnerables, a estas crisis y a otras contingencias, como es la educación.

Todo lo concerniente a la figura del TA lo podemos encontrar en distintos sitios. 

Pero qué es el Teaching Assistant (TA). Esta es la descripción que sucintamente he incluido en el material referenciado. En época de emergencia, y desde su casa, las iniciativas de la transicion al sistema online deben proveerse de nutridos grupos de TA, bien voluntarios, o en la modalidad que las universidades determinen, pero siempre con el máximo reconocimiento. Son la pieza clave del sistema, bajo la perspectiva de dominio (Mastering learning)  que se ha manifestado como la más eficiente en esta modalidad (ver todos los documentos que he publicado sobre el tema):

Hay unos únicos profesores instructores que deben participar y tener competencias en todas las funciones educativas de las asignaturas. Son los especialistas en la materia, en los recursos, en su organización, en la enseñanza (estrategias docentes, actividades, objetivos y evaluación) deben conocer a los alumnos en la medida de lo posible e interactuar con ellos y entre ellos. Cualquier división de esta figura y en su responsabilidad supone una fragmentación en el sistema pedagógico con el consiguiente deterioro de la calidad. Para decir esto nos basamos en el problema 2 sigma y en otras investigaciones que validan las teorías en las que nos basamos, descritas al principio.

Sin embargo la metodología docente de Mastery learning supone la existencia de unos Profesores Asistentes (asistentes del alumno, no del profesor, si bien actúan coordinados y supervisados por él y bajo su responsabilidad) o TA (de Teaching Assinstant) que verifican el progreso hasta dominio de la tarea de los alumnos. 

Antes de la organización del curso, pero sobre todo antes del inicio del curso, los instructores deben determinar las funciones de los ayudantes del curso. Tanto para los alumnos implicados en el Mastery learning como para el resto. 

La función del TA en el dominio de la tarea es clave y su responsabilidad máxima, deben asegurar que cada alumno supera cada nivel para pasar al siguiente, deben atenderlos en las dificultades, proponer ritmos distintos y problemas o tareas alternativas, y hacerlo de forma flexible, personal e interactuando con ellos. En definitiva deben de ser profesores especializados en esta tarea cuya complejidad no se debe menospreciar. 

El TA también puede ayudar a los alumnos no implicados en el Mastey learning, alumnos a los que podemos llamar libres. Pero en este caso el papel de TA lo pueden cumplir otros alumnos (alumnos asistentes, o LA) y también deben estar coordinados por el instructor. 

Todos ellos deben de coordinarse para supervisar el material que producen los estudiantes en los foros y en la web social: Mensajes, post, comentarios, etc. detectando de forma temprana posibles déficits o frustraciones. 

Tenga en cuenta que este monitoreo proporciona una inestimable retroalimentación.Se ha de dejar claro que el instructor no puede atender todas las interacciones, Los TA cumplen esta función como la de filtro para las interacciones que deba atender el instructor. 

Los alumnos aceptan con satisfacción esto.

Recuerdo que el material de referencia, al que hago alusión continuamente, considerado desde la perspectiva del diseño instruccional de la enseñanza abierta online universitaria, lo podemos encontrar incluido, en este repositorio de Google Drive, como proyecto de un capítulo del libro. Está en el capítulo dedicado a los TA y también está descrito como componente de la metodología de Mastery learning, central en nuestro proyecto.

De momento me permito poner a su disposición, la de usted profesor, las guías didácticas que utilicé en mi curso abierto online de la Universidad de Alcalá de Henares, en Open Education de BlackBoard. Lo hago como todo lo demás en el espacio que he creado en Google Drive con este enlace.

Ahora también están en una web de urgencia que ha puesto en marcha la CRUE y el Ministerio de Universidades en colaboración con la UNED y la UOC. 

En ellas podrán ver ejemplos prácticos de cómo funcionan los Teaching Assistant a partir del papel que desempeñaron en el curso investigativo que impartí y coordiné en la Universidad de Alcalá de Henares, con Open Education.

Todo este material será constitutivo, convenientemente organizado y depurado, de este libro sobre diseño instruccional de la enseñanza en la pandemia y tras ella.

 

Pero antes, como he prometido al principio diré algo sobre innvaciones disruptivas, Christensen y la Universidad. En parte lo he obtenido de documentos publicados en distintas partes desde 2012

Clayton Christensen [2], profesor de administración de empresas en Harvard Business School, es conocido por su teoría de la “innovación disruptiva” en los negocios. Esta teoría  sostiene que los rivales advenedizos generalmente desplazan a los participantes ya existentes en el mercado, estableciendo primero un punto de apoyo con productos de bajo costo, dentro de las ofertas posibles, tema en el que los titulares están dispuestos a ceder. Con el tiempo, los rivales que ya no son neófitos consiguen aumentar la calidad sin dejar de mantener los costos bajos. De esta forma van asumiendo progresivamente las franjas de  mercado de mayor margen, hasta que finalmente lo dominan en su conjunto. 

Christensen añade un hecho importante en su discurso. Si bien este patrón se repite, no siempre es así. Y analizó cual es la diferencia. El patrón se ha repetido en la industria del acero, en la industria del automóvil, en la industria de las computadoras – y después se produjo en la industria de la tecnología móvil. Pero, añade, nunca se ha producido en la industria hotelera. En este caso los rivales que llegan no pueden competir por el negocio de alto nivel, sin adoptar el modelo del costo de los titulares: Si Holiday Inn quiere competir contra Ritz-Carlton, no tiene más remedio que contratar conserjes en número y calidad adecuados, poner el piso de mármol y maderas nobles. En los hoteles no hay lo que llama un “núcleo extensible” (extendable core). Lo que en nuestro post “MOOC, el modelo de negocio“ llamábamos “el ejemplar” (algo que se puede reproducir sin elevar el coste ostensiblemente). Es decir, poner en marcha un nuevo enfoque tecnológico que puede ser mejorado de manera constante a bajo costo.

La educación superior está en el mismo caso que los primeros ejemplos, los de la innovación disruptiva. Tiene un amplio “núcleo extensible”. Al menos hasta ahora. El conjunto de tecnologías que los disruptores (EDX y otros) han introducido – video conferencias, foros de discusión en línea, los algoritmos de clasificación automatizada, programas de texto de anotación comunales, laboratorios virtuales y similares – constituyen el “núcleo extensible” de la educación. El ejemplar, lo que apenas cuesta dinero o no, es una función lineal del número de participantes. Estas tecnologías ya están en el origen del modelo en igual coste. Pero Christensen dice que hay algo que está también en el origen del negocio, o de la actividad, que es factor que hace que el valor aumente de forma constante.

 

IV. La evaluación

La evaluación es un complejo de procedimientos que en condiciones normales se distribuyen a lo largo de todo el proceso educativo y difícilmente para que sea una evaluación de calidad en un único momento o en unos pocos momentos a lo largo del curso. Si se hace así, como se hacía, y aún se hace con demasiada frecuencia, con la evaluación se corre el riesgo de tomar decisiones sesgadas o arbitrarias. Además de crear en los alumnos una ansiedad que los desmotiva y perturba el aprendizaje.

Actualmente el conocimiento de cómo se produce el aprendizaje y de las prácticas pedagógicas a través de investigaciones ha aportado resultados y evidencias para organizar una evaluación de manera confiable sin necesidad de recurrir a las consabidas pruebas de conocimiento a final de curso, ciclo, trimestre, cuatrimestre o materia. Todo lo que se ha publicado en la literatura científica nos proporciona esos procedimientos y esos métodos.

Lo que se preveía para marzo, abril y mayo de 2020 se ha prolongado un año y es posible que se prolongue en igual situación bastante más tiempo. En cualquier caso las condiciones comunes de la docencia han cambiado de forma estratégica. Hay cuestiones latentes en cuanto a la evaluación y a otros componentes de la instrucción que han emergido con la situación nueva.

Si como hemos dicho, la evaluación es un proceso que para ser de calidad difícilmente se puede desvincular del quehacer cotidiano del alumno, es este caso en el que no hay una presencia directa esa interacción debe ser especialmente detallada y frecuente, de forma casi continua, en la medida que la tecnología lo permita.

Así, la tecnología sustituye la presencia directa en la evaluación continua. Alguien planteará que eso es imposible o muy difícil. Hoy no es así, y no por la eficiencia de las herramientas tecnológicas sino porque hay metodologías docentes que lo permiten y entre ellas, como después veremos, la principal es la de Mastery learning.

Se trata pues de una cuestión de metodología docente, de cómo los maestros hacemos las cosas, y no tanto de tecnología.

Para abordar la cuestión empezaremos por recordar cuál es la esencia del diseño instruccional.

En conjunto se trata de una serie de procedimientos que permiten, de forma inversa a como se desarrolla en el tiempo, establecer a partir de la definición de los resultados deseados en el aprendizaje establecer todo lo demás. Crear una secuencia de acciones en la que se distribuye no solo la entrega de materiales, la realización de de actividades y la ayuda pedagógica,  sino que además se distribuyen en el tiempo los logros parciales que, en una cadena, lleven al alumno a conseguir los logros globales de la unidad didáctica, el módulo o la materia. De forma que su consecución sea gradual y continua sin saltos. Todo ello está explicado en el material de los capítulos del libro que ahora comenzamos.

En esa tarea de distribuir los logros parciales, juega un papel clave la evaluación, determinar cuáles son las señales que nos digan que se han conseguido los logros por los alumnos y la determinación del avance o de las correcciones que hagan falta. En esto juega un papel central el diseño y sobre todo, si finalmente los hay, el papel de los TA. Más adelante describiremos, como ejemplo, lo que hicimos en el curso investigativo de Alcalá.

Por último, se trata también de una cuestión de confianza. En una educación de estándares se han establecido medidas iguales para todos, que en su consecución acreditan al alumno para superar el curso o la asignatura. Es un sistema basado en estándares de superación de pruebas y de exámenes. Estándares que son iguales para todos. Esta dinámica permite trasladar la eficiencia al escrutinio de las pruebas y de sus resultados por parte de padres, familias e inspección, de manera que aparentemente se obtiene una confianza basada en una supuesta equidad que les asegura el sistema, basado en una tradición de muchos años, los de la sociedad industrial de los estándares. Situación en la que además, con esa supuesta objetividad, los docentes se sienten seguros. Aunque como contrapartida lo que se hace es admitir un factor de discordia social, la semilla de la desconfianza, de que no haya equidad en el proceso simplemente por no tratar de forma igual a los que en realidad tienen distintas formas y ritmos de aprender y representarse lo aprendido.

Así pues, como consecuencia de este nuevo planteamiento, en la nueva educación, la basada en logros personales, el entorno social del alumno debe depositar la confianza en el modelo, personalizado. Debe de tener confianza en los dictámenes y en las orientaciones que le llegan a través de los TA y del método de dominio, pero sobre todo en los maestros, en los profesores titulares y en su expertise docente, de igual forma como la deposita en el médico, en su capacidad de diagnóstico y para decidir un tratamiento adecuado.

Todas estas ideas y principios están desarrolladas y fundadas de forma extensa en los trabajos sobre la nueva educación de Reigeluth (2013 y 2016, ) y en las que de forma, obviamente, más limitada he ido haciendo estos años (Zapata-Ros, 2014 ).

Pero la prioridad ahora está, no en la discusión de fondo, cosa que se debiera haber producido anteriormente peo como tantas cosas en este país no se hace merced a estar enredado en cuestiones ideológicas con un nivel mínimo de profundidad y de cientificidad.

Así las preguntas que la gente hace y he recogido en mis redes son más o menos:

En julio de 2020, la CRUE, el sistema universitario y en general el sistema educativo tuvieron un desafía enorme con la EBAU, la prueba de acceso a la universidad española, y que tiene un amplio efecto sobre el presente y el futuro de los alumnos y de las familias de España. Particularmente supuso un gran desafío el organizarla y sobre todo cómo hacerlo. Finalmente se hizo de forma presencial con las medidas sanitarias de mascarillas, distanciamiento social y un número mayor de sedes y de profesores. El número de aprobados fue con variaciones superior al de los años anteriores.

 Un sector muy grande creía o aportaba por su no realización. Sin embargo, de haberse producido ello se hubiera enfrentado con graves perjuicios. No es el menor de ellos el retraso en un año al menos del sistema universitario, con la consiguiente demora en la salida al mercado profesional de graduados, técnicos y científicos en una época clave. Obviamente resultaba contradictorio pedir que la ciencia siga la investigación contra el coronavirus y por otro lado retrasar o diferir la investigación general del país de forma subsiguiente, con su repercusión en  varias generaciones.

En cualquier caso no se debió suspender la EBAU, y en general no se debe negar a quien quiera o pueda, si así lo desea, seguir el progreso en su aprendizaje en consonancia  con sus expectativas de desarrollo personales.

De esta forma se debieran crear las condiciones para que quien lo desease la hiciera. La EBAU o la evaluación de sus logros.

Pero la mayor fuente de información y la más fiable para conocer tanto el nivel de logro y de adquisición de nuevos aprendizajes por los alumnos como para tener una cabal idea de cómo va la instrucción para conseguir esos logros, no proviene de los exámenes ni en general de las llamadas pruebas de conocimiento. Recordemos, a este fin, una investigación seminal ya clásica y que siempre cito como fundamento del mastery learning. En ella se obtuvieron, entre otras cosas el efecto producido por distintas variables y fuentes que intervienen en los procesos de aprendizaje, como son la acción tutorial, el refuerzo de lo aprendido, el feed-back, la interacción en el ambiente de clase y otras.

De todo esto no proporcionan evidencia directa los exámenes, ni las pruebas de conocimiento. Y sí lo hacen la supervisión y el seguimiento individualizado.

Veamos pues cual es la ponderación de la influencia en la adquisición según os distintos factores analizados por Bloom:

Observamos, por un lado que la mayor fuente de información procede de la acción tutorial, cuyo resultado se evalúa directamente por la supervisión de la tarea, y a partir de ella, del reforzamiento que, como vemos, ocupa el segundo lugar en la ponderación. En fin, esta misma consideración la podemos aplicar al resto de factores.

Como cuestión lateral, pero muy importante, observamos que la influencia de aspectos que sólo se desarrollan en ambiente de clase ocupan un lugar muy relegado en la tabla. En particular la influencia de los pares alumnos afecta hasta un 58% de la población (percentil 58), y con una ponderación de 0,20, mientras que la acción tutorial afecta al 98% de la clase, con una ponderación de 2. Hay un salto de cuarenta percentiles y la ponderación de la tutoría es diez veces más.

Esto justifica que la campana de Gauss del aprendizaje de desplace en el caso de la mentorización en dos desviaciones típicas (dos sigmas) con respecto a las metodologías expositivas y una sigma con respecto a la metodología de mastery learning.

Es decir, una instrucción que utilice la metodología de Mastery learning puede aumentar la curva de rendimiento en dos desviaciones típicas (2 sigmas) en un caso extremo (1×1), y de una sigma para el caso de Mastery learning con respecto a la metodología tradicional (expositiva con exámenes):

Por tanto, es falso el dilema según el cual si se suspenden las actividades presenciales, las clases y los exámenes, se suspende la actividad educativa, y lo que es peor LA EVALUACIÓN.

Se pueden suspender las clases presenciales y los exámenes como instrumento de evaluación y no por ello tener pérdida de aprendizaje o de acreditación de resultados de aprendizaje, si se utilizan los medios y métodos de que potencialmente disponemos y nos ofrece la investigación y la ciencia del aprendizaje, con un diseño instruccional adecuado. Incluso, según los casos, y según lo que hemos estado estudiando estos años atrás, podríamos salir ganado. Eso es algo que al día de la fecha han comprobado muchos docentes. De los cuales muchos han asegurado que, tras la pandemia, seguirán utilizando los medios y métodos docentes puestos en marcha durante ella.

Por el contrario, si con motivo de la pandemia, se suspenden las pruebas, o al supenderlas no se ponen en marcha formas de evaluación alternativas o incluso más eficaces, estaríamos restando posibilidades a un porcentaje muy alto de estudiantes y lo que, desde el punto de vista social es más grave, la marcha del progreso e la investigación y en el desarrollo del país.

Debemos pues aplicar estas metodologías docentes y estas formas de evaluación. Bajo este punto de vista no podemos olvidarnos de las consecuencias negativas del cierre de las escuelas según la UNESCO Unesco:

Tendencia al incremento de las tasas de abandono escolar: Es muy difícil lograr que los niños y jóvenes regresen a la escuela y que permanezcan en el sistema cuando los centros escolares vuelven a abrir. Es algo que sucede en particular tras cierres prolongados.

Un enunciado de este tipo está avalado por expertos y estos a su vez por investigaciones sobre la relación que se establece entre interrupción y abandono escolar. Como podemos ver en este estudio, éste o éste. Sin discriminar en niveles.

Una razón frecuente que se alega para suspender las pruebas es que “los chavales están perdidos”. Obviamente están perdidos los alumnos entrenados para superar unos estándares, en cuando se modifican las condiciones del entrenamiento o de los estándares surge el desconcierto, pero eso es un defecto propio de una educación basada en estándares y en esa superación y no para el rendimiento y el logro personal.

Ese conflicto y esta deficiencia de la enseñanza industrial, basada en estándares, más tarde o más temprano tendría que salir. Y la pandemia como en tantas disrupciones, lo que ha hecho ha sido acelerar, en este caso abruptamente, el proceso. Aflora el planteamiento que estaba en el fondo de las disrupciones emergentes hasta ahora: Los logros de los aprendices son consustanciales a las habilidades a desarrollar no a las pruebas a las que van a ser sometidos para superarlas. Para las cuales han estado entrenándose hasta ahora.

Con este nuevo planteamiento, el de la evaluación basada en el dominio, la atención personalizada, la supervisión, si los alumnos, con una ayuda adecuada, como se ve en la tabla de variables de Bloom, están capacitados porque han trabajado de una forma no dependiente de la mecánica del proceso, se le dan las condiciones adecuadas para demostrarlo, podrán manifestar esos logros y sus condiciones para seguir.

Otra cuestión la constituyen los que lamentablemente centran todo lo concerniente a la evaluación en la mecánica del proceso. En este caso, cuando esa mecánica falla o no se dan las condiciones para que funcione (caso de los exámenes presenciales) cunde el estrés entre estudiantes. Entonces la idea que surge entre alumnos y padres es que lo mejor es no presentarse o que no se hagan los exámenes hasta haber conseguido la seguridad que supone el dominio. Pero el hecho de que esto ocurra a algunos alumnos, incluso el que esto ocurra a la mayoría no debiera en ningún caso suponer una imposición para todos, sobre todo para las expectativas vitales de los que incluso en esta situación, o quizá por ella se sientan capaces o incluso estimulados.

Además como hemos dicho que ponen de manifiesto las recomendaciones de la UNESCO sobre las consecuencias negativas de la suspensión de clases y de otras actividades lectivas, y ponen de manifiesto numerosos estudios, psicológicamente esto favorece condiciones para abandonos masivos. Por tanto las alternativas deberían ser graduales y adaptadas para los distintos perfiles de alumnos, desde tareas adaptadas a la situación de cada uno, restando importancia a la presentación a las pruebas, hasta ofrecer condiciones, aprovechando la tecnología, a que los alumnos que se sientan en condiciones de manifestar sus logros y validarlos el que puedan hacerlo, sin merma del dominio en el aprendizaje.

Esto por lo demás supone un pacto tácito, que ojalá las condiciones de esta situación traigan como valor añadido para el futura, y es un pacto tácito de confianza en el papel del profesor como autoridad capaz de validar la maestría d ellos alumnos y el otorgamiento de su acreditación.

Si así fuera, esta validación se podría conseguir con mecanismos tecnológicamente elementales, como pueden ser entrevistas mediante videoconferencia o validación de pruebas de conocimiento o de habilidades por este mismo método, videoconferencia mediante Zoom, Hangout, Skipe, etc. Como precedente de esto tenemos la experiencia que desarrollamos en unos cursos de postgrado a distancia, exclusivamente en Internet, organizados por la Universidad de Murcia y en las evaluaciones (procedimientos de evaluación mediante proyectos con entrevistas) del que presentamos el ejmplo de participantes de Rio Gallegos (Argentina) evaluados en La Plata (Argentina) desde Murcia (https://revistas.um.es/red/article/view/25681 ) con supervisores en México y Buenos Aires.

En cualquier caso, la validación o la acreditación de aprendizajes o de habilidades es una parte más de todo el proceso de evaluación en el contexto de diseño instruccional donde forma un todo holístico con resultados de aprendizaje, actividades y metodología docente, incluida entrega de recursos y de ayuda.

En todo caso para centrarnos en puntos de vista más sustantivos, habría que deslindar aspectos relativos a la evaluación normativa, la evaluación que se hace actualmente por estándares y con las componentes y características actuales, que son las socialmente aceptadas, que sean compatibles con las propuestas que hacemos, ahora para la pandemia, pero que posiblemente se consoliden como las habituales después.

Así, habría que deslindar cuestiones muchas de ellas formales, pero otras culturales, como las siguientes y ver cómo se encuadran o como se afrontan. Así por ejemplo , en el caso de la EBAU:

Hasta qué punto los alumnos no se presentan para subir la nota media presionados por el entorno familiar y social

Por qué, si el fin no es asegurar unas competencias mínimas para el ingreso en la universidad, no se contemplen distintas opciones más adaptativas

Estudiar y tener en cuenta qué van a hacer en países con más experiencia en combatir el COVID19 u otras experiencias similares anteriores de interrupciones. Por ejemplo, Israel, Singapur, etc.

Está entre las posibles opciones que se contemplen una posible EBAU virtual, o con alguna componente virtual, ¿cuál sería?

Esto estaría muy bien pero la infraestructura hay que planificarla, y más allá armarla pedagógicamente ¿cómo se evalúan competencias en consonancia con lo actual de esta forma? ¿es ello posible? ¿qué habría que cambiar?

Estoy recibiendo testimonios muy buenos, ejemplares y con un diseño muy depurado y adaptado a las actuales circunstancias, pero son sesgados porque proceden de un sector próximo a la modalidad online. Sin embargo, cuando he indagado por otro lado, amigos y familiares y sobre todo sus hijos he descubierto que hay un gran vacío. Muchos profesores se limitan a dar clases expositivas grabadas en vídeo o a través de webinar, hangouts, u ootro tipo de video conferencias. E incluso algunos que se limitan a enviar Power Points. No es criticable, es una manifestación de lo que está pasando y cuál es el nivel de competencia digital docente de los profesores. El nivel de capacitación es muy incipiente. Y sobre todo carente de una evaluación real.

Hay un modelo conceptual y cultural de la EBAU y también, por qué no decirlo de la enseñanza online convencional. Existen esquemas muy consolidados de la función y representación social de la Universidad y del acceso.

Todas estas son cuestiones con las que habría que contar a la hora de implementar este tipo de evaluaciones y de metodologías docentes basadas en la individualización, el dominio y la confianza.

No quisiera concluir este documento de trabajo e introducción al libro sin tener en cuenta, al menos como referencia, dos aspectos

Primero. Las plataformas tecnológicas y otras affordances para la educación abierta.

La tesis que sostenemos es que lo importante no es la plataforma tecnológica, casi cualquiera vale, lo importante es el diseño instruccional.

En este punto recomiendo lo dicho en el artículo sobre los LMS Por qué las universidades empiezan a no utilizar los campus virtuales (los LMS) de forma relevante ¿Cómo y por qué sistemas están siendo sustituidos? (Zapata-Ros, Julio 2019)

Antes de la pandemia estaba sucediendo el fenómeno o la constelación de fenómenos que analizo en el trabajo citado ¿Qué ha sucedido después? ¿Qué instrumentos y affordances utilizan los profesores con sus alumnos después? Quiero decir además de Zoom, Met o equivalente. Cómo distribuyen y entregan los recursos. Cómo se comunican con ellos ¿Utilizan los foros?

Segundo, sobre el vídeo y las lecciones en Zoom.

Hay una cosa que no es obvia, lamentablemente, y es que nunca, nunca, los complejos procesos de elaboración que culminan, en un momento determinado, en una unidad didáctica, una lección, son fruto de experiencia y estudio de años, así como de infinidad de interacciones, y no pueden ser sustituidos por una videoconferencia en un ordenador portátil. No es suficiente ni mucho menos.

Es necesaria cuanto menos una pedagogía de las videoconferencias, integrada en un adecuado diseño instruccional.  Una pedagogía en línea que, para ser buena, tiene que ver con legibilidad, pero también con comprobaciones de comprensión y con infinidad de interacciones infinitamente diversas basadas en el conocimiento experto sobre los contenidos y con la experiencia docente del profesor.  Ver Lecturing into your laptop is not nearly enough

Y, por supuesto, tener en cuenta las consecuencias negativas del cierre de colegios y universidades expuestas por la UNESCO.

 

 

Referencias.-

Christensen, C. M. (2012) Disruptive innovation.  Consultado el 29/05/2014 en  Accedido en http://www.christenseninstitute.org/key-concepts/disruptive-innovation-2/ el 01/08/14.

Christensen, C. M. (2013). The innovator’s dilemma: when new technologies cause great firms to fail. Harvard Business Review Press.

Reigeluth, C. M. (Ed.). (2013). Instructional-design theories and models: A new paradigm of instructional theory (Vol. 2). Routledge.

 Reigeluth, C. M. (2016). Teoría instruccional y tecnología para el nuevo paradigma de la educación. Revista de Educación a Distancia (RED), (50).

Teixeira, A. M., & Zapata-Ros, M. (2021) Presentación del número especial de RED Transición de la educación convencional a la educación y al aprendizaje en línea, como consecuencia del COVID19. https://revistas.um.es/red/article/download/461041/297851/1577541

UNESCO (2021). Education: From disruption to recovery. https://en.unesco.org/covid19/educationresponse

World Economic Forum (2021). COVID-19 has transformed education – here are the 5 innovations we should keep. https://www.weforum.org/agenda/2021/02/covid-19-pandemic-higher-education-online-resources-students-lecturers-learning-teaching/

Zapata-Ros, M (2012a) Calidad en entornos ubicuos de aprendizaje. Revista de Educación a Distancia (RED), (31). http://www.um.es/ead/red/31/zapata_ros.pdf

Zapata-Ros, M. (2012b). Teorías y modelos sobre el aprendizaje en entornos conectados y ubicuos. Bases para un nuevo modelo teórico a partir de una visión critica del “conectivismo”. Preprint eLis. http://eprints.rclis.org/17463/

Zapata-Ros, M. (julio 2013) Any time and anywhere. BLOGCUED. http://blogcued.blogspot.com.es/2013/07/any-time-and-anywhere.html

Zapata-Ros, M (2014). Charles Reigeluth: la personalización del aprendizaje y el nuevo paradigma de la educación para la sociedad postindustrial del conocimiento. En Pensadores de ayer para problemas de hoy: Teóricos de las Ciencias Sociales (Vol. 6). Manuel Esteban Albert (coord.), Juan Sáez Carreras (coord.)

Zapata-Ros, M (febrero 2014). BYOT, aprendiendo con el móvil.  http://redesabiertas.blogspot.com.es/2014/02/byot-aprendiendo-con-el-movil.html.

Zapata-Ros, M. (julio 2019). Por qué las universidades empiezan a no utilizar los campus virtuales (los LMS) de forma relevante ¿Cómo y por qué sistemas están siendo sustituidos? Preprint Research Gate. DOI: 10.13140/RG.2.2.21039.69286 y https://www.researchgate.net/publication/334480074_Por_que_las_universidades_empiezan_a_no_utilizar_los_campus_virtuales_los_LMS_de_forma_relevante_Como_y_por_que_sistemas_estan_siendo_sustituidos_Why_do_universities_start_not_to_use_virtual_campuses_

Zapata-Ros, M. (agosto 2019). Por qué las universidades empiezan a no utilizar los campus virtuales (los LMS) de forma relevante ¿Cómo y por qué sistemas están siendo sustituidos? Post de RED El aprendizaje en la Sociedad del Conocimiento. https://red.hypotheses.org/1883  


[1] Este tema lo pueden encontrar desarrollado más extensamente en La configuración de espacios y de entornos físicos y tecnológicos en la nueva Enseñanza Superior (II).

[2] A principios de marzo, en el MIT Media Lab, y convocados por el MIT, la Universidad de Harvard y los fundadores de la online-learning initiative, convocaron a un grupo de líderes académicos y otros expertos en esta línea de learning para una reunión cumbre de un día de duración titulado “Online Learning and the Future of Residential Education”  Allí estuvieron de la mano expertos, presidentes y peces gordos de MIT y Harvard, los prebostes de la Universidad de California en Berkeley, la Universidad de Cornell, la Universidad Carnegie Mellon y la Universidad McGill.

 

 

Miguel Zapata Ros

Profesor Honorario en el Centro de Formación y Desarrollo Profesional de la Universidad de Murcia. Investigador en el Instituto Interuniversitario de Economía Internacional. Profesor Externo en la Universidad de Alcalá de Henares, miembro del programas de doctorado en Ingeniería de la Información y del Conocimiento, distinguido con Mención hacia la Excelencia por el Ministerio de Educación (Referencia: MEE2011-0159). Editor de RED, Revista de Educación a Distancia y de Docencia Universitaria. Miembro de INTCODE, agencia consultiva de ONU sobre educación a distancia, y representante en la sede de New York. Doctor en Ingeniería Informática.

More Posts - Website

Follow Me:
TwitterFacebookLinkedInGoogle Plus