Marianela Parodi 

Ph.D. in Electronic Engineering

National University of Rosario: Rosario, Santa Fe, AR

 

 

 

Introducción

De acuerdo con Clarivate (2023), la colección principal de Web of Science (WoS), la WoS Core Collection, es el resultado de un constante proceso de curación llevado a cabo para asegurar que cada revista esté en la colección adecuada. Basado en tres pilares fundamentales: objetividad, selectividad y dinámica, Clarivate evalúa 24 criterios de calidad y cuatro criterios de impacto de las revistas. Aquellas que cumplen con los primeros son indexadas en Emerging Sources Citation Index (ESCI), mientras que las que, además, cumplen con los segundos son indexadas en lo que Clarivate denomina su “barco insignia”: Science Citation Index Expanded (SCIE), Social Sciences Citation Index (SSCI) y Arts & Humanities Citation Index (AHCI), según corresponda.

Hasta 2020, solo las revistas incluidas en SCIE y SSCI recibían un Impact Factor (IF) y eran incluidas en el Journal Citation Report (JCR). En 2021, Clarivate incorporó el cálculo del Journal Citation Index (JCI), un índice de citación normalizado que, de acuerdo con Martin Szomszor —Director del Instituto de Información Científica de Clarivate—, fue diseñado para complementar al IF (Martin Szomszor, 2021). No obstante, su creación supuso mucho más que eso. Por un lado, después de 40 años de exclusividad del IF —ampliamente criticado por su opacidad y relativamente fácil manipulación (Paulus et al., 2018; Larivière y Sugimoto, 2019)—, el JCI, calculado en base al Category Normalized Citation Impact (CNCI) (cuyo cálculo está públicamente accesible en http://help.prod-incites.com/inCites2Live/indicatorsGroup/aboutHandbook/usingCitationIndicatorsWisely/normalizedCitationImpact.html), supuso un paso hacia una mayor transparencia. Por el otro lado, por primera vez las revistas indexadas en ESCI y AHCI se incluyeron en los JCRs, suponiendo un reconocimiento de su calidad en términos de los altos estándares evaluados por Clarivate, otorgándoles mayor visibilidad y permitiéndoles compararse con “fuentes de publicaciones científicas [revistas/actas de conferencia/libros] más consolidadas [las pertenecientes a SCIE y SSCI]” (Martin Szomszor, 2021). Esto último es lo que haremos en este artículo, poniendo de manifiesto que revistas que están indexadas en SSCI son superadas en términos de un índice normalizado por categoría como el JCI por revistas que no lo están, siendo, incluso, algunas de las primeras, citadas por debajo de la media esperada de la categoría. A su vez, discutiremos las posibles implicancias de lo observado y de la extensión —a partir de junio de 2023— del cálculo del IF a todas las revistas de la colección principal de WoS en su curaduría. En particular, abordaremos el caso de las revistas españolas de educación.

Revistas indexadas en Social Sciences Citation Index (SSCI) vs. revistas indexadas en Emerging Sources Citation Index (ESCI): ¿qué nos muestra el Journal Citation Index (JCI)?

De acuerdo con la Master Journal List de Clarivate (https://mjl.clarivate.com/home), de las 75 revistas españolas incluidas en el JCR en la categoría “Educación e Investigación Educativa”, 10 están indexadas en SSCI, a las que se les computa el IF, mientras que 65 están indexadas en ESCI, a las que (hasta 2022) solo se les computaba el JCI. La Tabla 1 muestra el ranking de las 10 revistas indexadas en SSCI en términos de su IF.

Tabla 1. Ranking de las 10 revistas españolas de educación indexadas en Social Sciences Citation Index (SSCI) según su Impact Factor (IF)

	Revista	IF 2021*	JCI 2021**
1	INTERNATIONAL JOURNAL OF EDUCATIONAL TECHNOLOGY IN HIGHER EDUCATION	7.611	3.25
2	COMUNICAR	5.725	2.94
3	REVISTA DE PSICODIDACTICA	3.775	1.84
4	EDUCACIÓN XX1	3.077	1.99
5	RIED-REVISTA IBEROAMERICANA DE EDUCACION A DISTANCIA	2.689	1.65
6	PSICOLOGIA EDUCATIVA	1.632	0.58
7	REVISTA ESPAÑOLA DE PEDAGOGIA	1.417	0.89
8	ENSEÑANZA DE LAS CIENCIAS	1.217	0.63
9	REVISTA DE EDUCACION	1.217	0.35
10	PORTA LINGUARUM	0.792	0.79

*Datos extraídos de las páginas web de las revistas.

**Datos extraídos de la Master Journal List de Web of Science (WoS).

Nota. JCI: Journal Citation Index

Ahora bien, si ordenamos esas mismas revistas según el JCI, obtenemos lo que se muestra en la Tabla 2.

Tabla 2. Ranking de las 10 revistas españolas indexadas en Social Sciences Citation Index (SSCI) según su Journal Citation Index (JCI)

	Revista	IF 2021*	JCI 2021**
1	INTERNATIONAL JOURNAL OF EDUCATIONAL TECHNOLOGY IN HIGHER EDUCATION	7.611	3.25
2	COMUNICAR	5.725	2.94
3	EDUCACIÓN XX1	3.077	1.99
4	REVISTA DE PSICODIDACTICA	3.775	1.84
5	RIED-REVISTA IBEROAMERICANA DE EDUCACION A DISTANCIA	2.689	1.65
6	REVISTA ESPAÑOLA DE PEDAGOGIA	1.417	0.89
7	PORTA LINGUARUM	0.792	0.79
8	ENSEÑANZA DE LAS CIENCIAS	1.217	0.63
9	PSICOLOGIA EDUCATIVA	1.632	0.58
10	REVISTA DE EDUCACION	1.217	0.35

*Datos extraídos de las páginas web de las revistas.

**Datos extraídos de la Master Journal List de Web of Science (WoS).

Nota. IF: Impact Factor

En primer lugar, vemos que el orden de las revistas en la Tabla 1 y la Tabla 2 se ha modificado. Por ejemplo, dentro del “top 5”, el orden de Educación XX1 y Revista de Psicodidáctica se invierte. Esto, probablemente, no revista mayor relevancia, ya que tanto el IF como el JCI de ambas revistas son similares, con lo que es posible que un pequeño cambio en el número de citas o publicaciones haga que una esté por encima de la otra o viceversa.

Sí resulta destacable, sin embargo, el caso de la revista Porta Linguarum, que del décimo puesto en el ranking según el IF escala hasta el séptimo cuando las revistas se ordenan según el JCI. Aquí podemos hacer dos observaciones. En primer lugar, para esta revista, el IF y el JCI no presentan, al menos para el año 2021, una fuerte correspondencia. Por otra parte, aunque en términos de impacto (IF), Porta Linguarum está por debajo de las otras nueve revistas de su especialidad indexadas en SSCI, recibe más citas respecto de la media esperada para la categoría (JCI) que tres de ellas.

Si bien la falta de acceso al algoritmo de cálculo del IF no nos permite determinar las causas exactas de tal discrepancia, podemos, de manera simplificada, analizar los fundamentos del cálculo de cada uno de los indicadores involucrados. Por un lado, las ventanas de cálculo del IF y el JCI son distintas. Mientras el IF recoge citas durante el año actual a las publicaciones de los dos años anteriores, el JCI recoge citas durante cuatro años (el actual y los tres anteriores) a las publicaciones de los tres años anteriores. Este análisis favorece a consolidar la posición adquirida por el JCI, ya que es un índice más estable que el IF. Por el otro lado, mientras el cálculo del JCI está basado en la cantidad de citas por artículo —teniendo en cuenta todo tipo de documentos (citables y no citables)—, en el cálculo del IF intervienen otras variables, ya que el numerador considera todo tipo de documentos (Hubbard y Mcveigh, 2011), pero el denominador solo tiene en cuenta artículos citables: artículos de revistas, artículos publicados en actas de conferencia y revisiones (Mcveigh y Mann, 2009). He en la conformación de este último el principal componente asociado al impacto del IF. En particular, si una revista publica muy pocos artículos no citables, tales como editoriales, reportes, etc., o directamente no cuenta con ellos, su IF será mayor que el de una revista con igual cantidad de citas pero con mayor cantidad de artículos no citables. De igual manera ocurre con una revista que publica muy pocos artículos que no consiguen citas, es decir, que la gran mayoría de sus artículos acumulan citas. En cualquiera de estos casos, una revista como Porta Linguarum puede recibir más citas que otras (Enseñanza de las Ciencias, Psicología Educativa y Revista de Educación), pero tener un IF mucho menor.

Finalmente, si bien el criterio para incluir revistas en SSCI es el impacto (como paso posterior al aseguramiento de la calidad), el indicador principal de tal impacto es la cantidad de citas recibidas (Clarivate, 2023), por lo que resulta llamativo que, de acuerdo con la Tabla 2, la mitad de las revistas indexadas en esa colección sean citadas por debajo de la media esperada para su categoría (JCI < 1). En este escenario, nos proponemos comparar el nivel de citación de las revistas indexadas en SSCI y las indexadas en ESCI.

La Tabla 3 muestra el ranking según el JCI de las 65 revistas españolas de educación que no están indexadas en SSCI, junto con las 10 que sí lo están. En primer lugar, vemos que 27 revistas pertenecientes a ESCI (resaltadas en amarillo en la Tabla 3) tienen su JCI en el rango expandido por el JCI de las revistas indexadas en SSCI (JCI_SSCI = [0.35, 3.25]). Luego, las 10 revistas que forman parte del buque insignia de Clarivate, al ordenarlas según su JCI, integran ya no un top 10, sino un top 37 (ver recuadro rojo en la Tabla 3).

Al ser un índice normalizado, el JCI nos permite clasificar las revistas según sean citadas por encima (JCI > 1) o por debajo (JCI < 1) de la media esperada para la categoría. En el ranking según JCI de la Tabla 3, las principales desplazadas por las revistas indexadas en ESCI son las indexadas en SSCI con JCI < 1, las cuales corresponden al Q4 en términos del IF (Q4 [IF]), habiendo seis revistas pertenecientes a ESCI con JCI > 1. A su vez, hay 21 revistas indexadas en ESCI con JCI < 1, pero mayor al menor de los JCI correspondientes a una revista con IF (JCI = 0.35).

Dentro del top 11 de revistas con JCI > 1, cinco pertenecen a SSCI y seis pertenecen a ESCI. Las primeras cinco se corresponden (aunque no en el mismo orden) con el top 5 de revistas ordenadas según el IF (Tabla1). Entre ellas, tres pertenecen al Q1 (IF) (International Journal of Educational Technology in Higher Education, Comunicar y Revista de Psicodidáctica) y dos al Q2 (IF) (Educación XX1 y RIED-Revista Iberoamericana de Educación a Distancia). Sin embargo, entre las cinco revistas del Q1 (IF) y el Q2 (IF), se “cuelan” el Journal of New Approaches in Educational Research, la revista Education in the Knowledge Society y la revista Campus Virtuales. En otras palabras, estas tres revistas pertenecientes a ESCI reciben más citas que las dos revistas en Q2 (IF) indexadas en SSCI. Más aún, una de ellas, el Journal of New Approaches in Educational Research, ha obtenido, en 2021, más citas que una de las revistas de Q1 (IF).

Revistas indexadas en Social Sciences Citation Index (SSCI) vs. revistas indexadas en Emerging Sources Citation Index (ESCI): ¿cada una en su lugar?

Hasta 2021, Clarivate reevaluaba las revistas pertenecientes a ESCI que tuvieran un IF estimado (no se les calculaba explícitamente) que los ubicara en Q1 (IF) o Q2 (IF) en el ranking correspondiente a su categoría (Clarivate, 2023). Si bien los cuartiles son asignados conforme al total de las revistas de la categoría (de las que las revistas españolas son solo un subconjunto), y el cálculo del IF no solo se basa en el nivel de citación (Hubbard y Mcveigh, 2011; Mcveigh y Mann, 2009), el hecho de que tres revistas pertenecientes a ESCI (Journal of New Approaches in Educational Research, Education in the Knowledge Society y Campus Virtuales) estén ubicadas por encima de las revistas Q2 (IF) pertenecientes a SSCI en términos de citación, las señala como posibles candidatas a, de estimarse el IF, ocupar alguno de los dos primeros cuartiles. En especial, el Journal of New Approaches in Educational Research, cuya citación supera en un 50 % a la última revista perteneciente a SSCI en Q2 (IF) (RIED-Revista Iberoamericana de Educación a Distancia).

Lamentablemente, Clarivate no realizó reevaluaciones en 2022 ni lo hará en 2023, ya que su actual prioridad es la evaluación de la calidad de sus revistas no de su impacto (Clarivate, 2023). Por un lado, estará enfocado en la evaluación de nuevas revistas para su admisión en ESCI, es decir, en ampliar la base de datos de WoS. Por el otro, trabajará para eliminar las revistas que ya no cumplan con los estándares de calidad. En este aspecto, es de público conocimiento la desvinculación que tuvo lugar en marzo de 2023 de más de 50 revistas de la WoS, mientras que alrededor de 500 más están “bajo la lupa” (Quaderi, 2023).

En este escenario, las posibilidades de las revistas actualmente indexadas en ESCI —aún en las condiciones favorables que se han destacado aquí para (al menos) tres revistas españolas de educación— de ser reevaluadas y reasignadas a SSCI, queda pendiente. Sin embargo, cuando en junio de 2023 se publique el JCR 2022, todas las revistas, inclusive las pertenecientes a ESCI y AHCI, tendrán calculado su IF.

De acuerdo con Quaderi (2022), el cálculo del IF de las revistas indexadas en ESCI y AHCI —cuya calidad ya ha sido comprobada— otorgará mayor visibilidad a aquellos artículos publicados en tales revistas que contribuyen al impacto, ayudándolos a demostrar su valor para la comunidad científica. A su vez, les dará la posibilidad de ser asociados con los estándares más altos de evaluación, junto con los artículos publicados en las revistas más citadas (entendiendo estas últimas como las pertenecientes a SCIE y SSCI). En este sentido, se destaca, por un lado, el impacto que tendrá la extensión del cálculo del IF para los artículos publicados en revistas indexadas en ESCI y AHCI. Por otro lado, se reconoce la relevancia de dicho índice para la evaluación, casi exclusiva y, en ciertos casos erróneamente extendida a la calidad de artículos e investigadores (Paulus et al., 2018), de la excelencia en el mundo académico. Finalmente, Quaderi (2022) resalta la “democratización” del IF a nivel de revistas, con casi 9000 revistas —3000 de ellas de editoriales de países en desarrollo— recibiendo el índice por primera vez.

De acuerdo con lo expuesto en Quaderi (2022), aunque promisoria, la extensión del IF a las revistas pertenecientes a ESCI y AHCI no necesariamente representa un reconocimiento de su impacto, sino de sus artículos de impacto. De hecho, tal reconocimiento aún queda supeditado a su reevaluación e inclusión (de corresponder) a SCIE o SSCI.

En el caso particular de las revistas españolas de educación, la publicación del IF en junio de 2023 revelará la posición real de las revistas indexadas en ESCI respecto de las indexadas en SSCI en términos de impacto. De haberlas, como sería esperable a partir de lo analizado aquí, aquellas que estén en Q1 (IF) o Q2 (IF) estarán públicamente (no ya supeditadas a una estima interna del IF) en posición de ser reevaluadas para su inclusión en SSCI.

Finalmente, al lanzamiento del JCI, que puso de manifiesto que revistas con IF eran superadas en términos del nivel de citación normalizado por categoría por revistas sin él, le siguió (solo dos años después) la extensión del cálculo del IF a todas las revistas de la colección principal de WoS. En la misma línea, sería sensato esperar repercusiones de esta nueva iniciativa de Clarivate con respecto a aquellas revistas que ostenten públicamente el derecho a ser reevaluadas para su inclusión en SCIE o SSCI por pertenecer al Q1 (IF) o Q2 (IF).

Conclusiones

A pesar de las constantes críticas recibidas, y de la promisoria irrupción del JCI, el IF ha sido y sigue siendo el índice de impacto por excelencia dentro de la comunidad científica y académica, llegando incluso, en muchos casos, a regir exclusivamente las evaluaciones de calidad. En este escenario, su democratización supone un avance hacia la transparencia, dándole mayor visibilidad y prestigio a los artículos publicados en revistas pertenecientes a ESCI y AHCI.

A su vez, si bien esta actualización de Clarivate no reconoce directamente el impacto de las revistas indexadas en ESCI y AHCI, contribuye indirectamente con el proceso de curación de las colecciones de WoS. El análisis llevado a cabo aquí para el caso de las revistas españolas de educación ha mostrado cómo a partir de la inclusión del JCI se ha puesto de manifiesto que revistas pertenecientes a SSCI son citadas por debajo de la media esperada para la categoría, y que revistas indexadas en ESCI no solo las superan a ellas —que están en Q4 (IF)—, sino que algunas, incluso, superan a las que están en Q2 (IF). La publicación en junio del 2023 del IF confirmará o refutará la posición esperada para dichas revistas a partir del análisis realizado. En caso de confirmarla, será su ubicación en Q1 (IF) o Q2 (IF) —ahora pública— la que proclame el derecho a la reevaluación de la revista para ser incluida en SSCI. Si tenemos en cuenta la aceleración de los últimos años en dirección a la transparencia, primero con la inclusión del JCI, luego con la expulsión de revistas que incurrían en malas prácticas y ahora con la democratización del cálculo del IF, podríamos esperar que esto último ponga de manifiesto la necesidad de retomar el proceso de reevaluación para que, finalmente, cada revista esté en la colección adecuada.

Referencias

Clarivate (2023). Web of Science Journal Evaluation Process and Selection Criteria. Recuperado el 28 de abril de 2023 de https://clarivate.com/products/scientific-and-academic-research/research-discovery-and-workflow-solutions/web-of-science/core-collection/editorial-selection-process/editorial-selection-process/

Hubbard, S. y Mcveigh, M. (2011). Casting a wide net: the Journal Impact Factor numerator. Learned Publishing, 24, 133-137. https://doi.org/10.1087/20110208

Larivière, V. y Sugimoto, C. R. (2019). The Journal Impact Factor: A Brief History, Critique, and Discussion of Adverse Effects. En: Glänzel, W., Moed, H.F., Schmoch, U., Thelwall, M. (eds) Springer Handbook of Science and Technology Indicators. Springer Handbooks. Springer, Cham. https://doi.org/10.1007/978-3-030-02511-3_1

Mcveigh, M. y Mann, S. (2009). The Journal Impact Factor Denominator Defining Citable (Counted) Items. Journal of the American Medical Association. 302, 1107-9. https://doi.org/10.1001/jama.2009.1301

Paulus, F. M., Cruz, N. y Krach, S. (2018). The Impact Factor Fallacy. Front. Psychol., 9(1487). https://doi.org/10.3389/fpsyg.2018.01487

Quaderi, N. (26 de junio de 2022). Announcing changes to the 2023 Journal Citation Reports. Clarivate. https://clarivate.com/blog/clarivate-announces-changes-to-the-2023-journal-citation-reports-release/#_ftn1

Quaderi, N. (20 de marzo, 2023). Supporting integrity of the scholarly record: Our commitment to curation and selectivity in the Web of Science. Clarivate. https://clarivate.com/blog/supporting-integrity-of-the-scholarly-record-our-commitment-to-curation-and-selectivity-in-the-web-of-science/

 

 

II. Evaluación formativa: La auténtica evaluación educativa es inmune al ChatGPT

^{Fuente: Imagen generada con el texto “the assessment. Students. Hopper style” por Miguel × DALL·E Human & AI}

La evaluación es un complejo de procedimientos que, en condiciones normales, se distribuyen a lo largo de todo el proceso educativo a través de distintos recursos y procedimientos y difícilmente, para que sea una evaluación de calidad, se hace en un único momento o en unos pocos momentos a lo largo del curso, o utilizando una única técnica o instrumento. Si se hace así, como se hacía, y aún se hace con demasiada frecuencia con la evaluación, fiándola a un examen o a un proyecto, se corre el riesgo de tomar decisiones sesgadas o arbitrarias. Además de crear en los alumnos una ansiedad que los desmotiva y perturba su aprendizaje.

Actualmente tenemos el conocimiento de cómo se produce el aprendizaje y de cómo se realizan las prácticas pedagógicas en las mejores condiciones. Lo hemos obtenido a través de investigaciones que ha aportado resultados y evidencias. También lo tenemos para organizar una evaluación de manera confiable sin necesidad de recurrir exclusivamente a las consabidas pruebas de conocimiento o ensayos, a final de curso, ciclo, trimestre, cuatrimestre o materia. Todo lo que se ha publicado en la literatura, como consecuencia de esas investigaciones y de esa elaboración científica, nos proporciona esos procedimientos y esos métodos. Es papel de los diseñadores de la instrucción en todos sus niveles el conocerlos y el aplicarlos en TODOS LOS ESCENARIOS. Y su responsabilidad el no hacerlo así.

Como en otros casos y en otros procesos, ahora con ChatGPT y antes con la pandemia, se están poniendo de relieve hábitos, tradiciones y procesos que estaban pasando desapercibidos y que han manifestado por un lado su vulnerabilidad, sus insuficiencias y por otro las alternativas que la teorías pedagógicas nos venían suministrando, siendo muchas veces ignoradas, y por otro el papel que la tecnología y las redes digitales con sus affordances nos estaban suministrando para la implementación de esos enfoque teóricos así como la oportunidad de validarlos con la práctica.

Con respecto a la evaluación, la segunda cuestión clave que se ha de tener en cuenta es que desde siempre la evaluación ha sido un proceso que, para ser de calidad, difícilmente se puede desvincular del quehacer cotidiano del alumno. Pues bien, si siempre ha sido así, ahora es más vital ese factor: Ahora con la amenaza de ChatGPT y Transformers IA y antes con la pandemia, cuando no hay una interacción directa entre alumnos y profesores, es cuando debemos ser conscientes de su importancia, de que  esa interacción debe ser especialmente detallada, en su práctica y programación, así como frecuente, de forma casi continua, en la medida en que las condiciones físicas de presencia directa mediante entrevistas y supervisiones o a través de la  tecnología, lo permitan. Alguien planteará que eso es imposible o muy difícil. Hoy no es así. Y no por la eficiencia de las herramientas tecnológicas, que también, sino porque hay metodologías docentes que lo permiten. Desde hace ya tiempo. Y entre ellas, como después veremos, la principal es la de Mastery learning (Zapata-Ros, 2018).

Se trata pues de una cuestión de metodología docente, de cómo los profesores hacemos las cosas.

La primera conclusión que he sacado, en toda mi experiencia, es que la evaluación e incluso la acreditación de conocimientos o de habilidades no debe abordarse como algo aislado, condicionado exclusivamente por variables limitadas a la coyuntura o por otros factores recientes y directos. Si lo hacemos así se pueden derivar más males que beneficios, y además los resultados van a ser irreparables.

La evaluación en todos sus aspectos debe de estar, en todas sus facetas y ejecuciones, integrada en un proceso de diseño instruccional amplio y detallado lo más posible.

Pero, ¿qué es el diseño instruccional?:

Un diseño es, en general, un proyecto o un plan que configura algo antes de su realización o de su desarrollo. Pero que también permite saber en qué punto de él estamos en su ejecución, y cómo relacionar lo que estamos haciendo con los resultados últimos de lo que hagamos. Pudiendo retomar y modificar decisiones, en progreso, para cambiar la ejecución y que ésta se ajuste con nuestros objetivos en un feedback continuo.

Los procesos y programas formativos, y la educación, también se diseñan.

En general el diseño instruccional, como veremos, se define como “un proceso sistemático que se emplea para desarrollar programas de educación y capacitación de manera continua y confiable”. 

Existe una amplia base de modelos de diseño instruccional y de desarrollos teóricos considerados como marcos para el desarrollo de módulos formativos o clases que aumenten, haciéndolo de acuerdo con sus pautas y preceptos, la posibilidad de aprender, de fomentar la participación de los alumnos para que aprendan más rápido, y obtener de esta forma niveles más profundos de entendimiento.

Los principales creadores e impulsores del diseño instruccional y de sus bases teóricas ha sido David Merrill (2002 y 2012) y Charles M. Reigeluth.

Así la Teoría del Diseño Instruccional clásica de Reigeluth se considera, en general, como un instrumento con un doble fin: facilitar el aprendizaje y el desarrollo humano, o mejor dicho facilitar el desarrollo humano en la medida que se consigue un mejor aprendizaje. Es en esencia una teoría situacional. Sostiene que los métodos y situaciones de aprendizaje son esenciales para que el aprendizaje tenga lugar de forma efectiva. Está constituida por 

una serie de principios para organizar la enseñanza en un esquema complejo de elementos más pequeños, y por tanto más cerca de la comprensión individual, que posteriormente son insertados en estructuras conceptuales interrelacionadas.

Los métodos del diseño instruccional suponen un ciclo continuo y una evaluación formativa (Zapata-Ros, 2013) que permiten introducir mejoras sobre el proceso en el diseño del programa educativo, sin necesidad de concluir.

El diseño instruccional permite pues partir, en un proceso inverso, desde la consideración de cuáles son los resultados deseados del proceso de aprendizaje para organizar las pautas, para distribuir en el tiempo todo lo demás, incluida la secuencia de acciones y de contenidos. Permite distribuir no solo la entrega de materiales, de actividades y de ayuda, sino de establecer cuáles son los logros parciales que, en una cadena, lleven al alumno a conseguir los logros de la unidad didáctica, el módulo o la materia. De forma que su consecución sea gradual, continua, sin saltos. 

Hemos dicho que el diseño instruccional consiste también en la aplicación de los principios teóricos que se conocen sobre como los individuos aprenden para organizar la educación. Veamos particularmente cómo funciona esto, la aplicación de los principios teóricos, en un punto concreto, el de la evaluación, que es el tema de este post.

Lo hace a través del principio de demostración.

 

La evaluación y el Principio de Demostración.

Pero antes expliquemos un poco más qué son los principios del aprendizaje. Como referencia teórica, hemos utilizado, en todo lo que hemos escrito aquí y en material que he ofrecido en estas circunstancias para ayudar al diseño de enseñanza online y para la evaluación, el trabajo de M. David Merrill (2002 y 2012) conocido como los “Primeros [o principales] principios de la instrucción” (First principles of instruction, Prentice Hall). Todo ello está desarrollado en el capítulo 2 y se puede ampliar allí con más detalle y en las referencias que contienen enlaces a los documentos originales.

Estos principios son una constante de la educación en todas las investigaciones, son aceptados por todos los teóricos, hay un consenso sobre ellos.

Merrill estableció cinco principios: El aprendizaje ha de ser centrado en el problema, el principio de activación, el de demostración, el de aplicación y el principio de integración o de transferencia.

El principio que fundamenta la evaluación es el principio de demostración. Y es el que debiéramos tener presente en todo momento en que hablásemos de ella. Simlificando consiste en que el alumno ha de aportar evidencias de su aprendizaje, en un sentido pedagógico, es decir ha de demostrar quecomprende que atribuye sentido, que aplica las habilidades conseguidas de forma autónoma y las transfiere a contextos distintos.

¿Qué dice?

En primer lugar, y para entender lo que sigue, hemos de tener en cuenta que los principios de la instrucción están enunciados en forma de criterios que ha de cumplir la enseñanza para que el aprendizaje sea eficiente, de calidad. Hemos de recordar que la evaluación forma parte de la instrucción.

Principio 3-Demostración.-

El aprendizaje se promueve cuando la instrucción demuestra lo que se debe aprender en lugar de simplemente decir información sobre lo que se debe aprender.

Así la demostración es un factor de consistencia: El aprendizaje se promueve cuando la demostración es coherente con el objetivo de aprendizaje, con:

(a) ejemplos y contraejemplos de conceptos,

(b) demostraciones para procedimientos,

(c) visualización (evidenciar visualmente) para los procesos, y

(d) el modelado (presentación de modelos) para adquisición de valores y conductas

Obviamente ninguna de estas exigencias de la demostración se cumplen con el ChatGPT ni el propio GPT las demuestra.

Presentar un informe o un proyecto, por sí mismo no demuestra nada.

La repercusión del diseño instruccional en la evaluación tiene otro punto clave: La cuestión inmaterial, pero sobre la que gira la docencia, el entregar ayuda y contenidos cuando el alumno esté receptivo y los perciba como útiles, estriba en distribuir los logros parciales y evaluar su consecución, y únicamente entonces proseguir. En esto juega un papel central el diseño y sobre todo, si finalmente los hay, el papel de los Teaching Assistant (TA). Más abajo describiremos como ejemplo lo que hicimos en el curso investigativo de Alcalá.

 

La confianza

Por último, se trata también de una cuestión de confianza. En una educación de estándares, a la que estamos acostumbrados y donde el ChatGPT, los proyectos a los que sustituye y los exámenes,  se han establecido medidas iguales para todos, los estándares, que en su consecución acreditan al alumno para superar el curso o la asignatura. Es un sistema basado en estándares iguales para todos, de superación de pruebas y de exámenes iguales para todos.

Esta dinámica permite trasladar la eficiencia al escrutinio de las pruebas y de sus resultados por padres, familias e inspección, donde además con esa supuesta objetividad los docentes se sienten seguros, aunque por contrapartida lo que se hace es sembrar la semilla de la desconfianza, de que no haya equidad en el proceso. Esto es un caldo abonado para la industria del fraude y la del ChatGPT como impostor del alumno para demostrar capacidades y aprendizajes en general.

Este hecho viene a confirmar algo que planteamos desde hace tiempo , la necesidad de una nueva educación, la basada en logros personales. En ese marco el entorno social del alumno debe depositar la confianza en el modelo, personalizado a través de sistemas que como el de Mastery learnig otorge en los maestros la confianza en valorar que se alcanza el dominio en el aprendizaje. De confiar en el maestro y en su expertise docente, de igual forma como la deposita en el médico, en su capacidad de diagnóstico y de decidir un tratamiento adecuado.

La evaluación formativa

En lo que sigue haremos un repaso de lo que se entiende por evaluación formativa,  de cómo la podemos relacionar con lo que está sucediendo con ChatGPT y lo que hemos dicho sobre él. Es conveniente que todo ello lo tengamos en mente cuando veamos todo esto.

También veremos otros conceptos y otras formas de evaluación. Por último, haremos un sucinto repaso de actividades que tienen un fuerte carácter de evaluación formativa y que se sugieren como algo que proporciona información sobre el estudiante y sobre su progreso en el camino hacia aprender y obtener el dominio en las destrezas que se pretende que consiga. Pero no nos quedaremos en el mero enunciado o la sugerencia de actividades, veremos qué procesos y que logros son los más importantes en ese camino.

Leer sólo lo que proporciona un informe o un ensayo, prescindiendo de todo lo que estamos viendo y de lo que en general se sabe y se ha investigado, para evaluar a un estudiante, aunque sepamos mucho sobre, él puede ser injusto por insuficiente. En definitiva, evaluar teniendo en cuenta únicamente el texto, en el que como hemos visto, ahora con Chat GPT, es imposible discernir entre un humano y un programa transformer, nos lleva al fracaso y al malestar por vernos, como profesor4es, indefensos y desamparados en ese camino. Y lo que, sin ser tan grave es muy negativo, a perder la confianza en la tecnología y en una visión positiva de ella como apoyo nuevo e imprescindible para muchos aprendizajes.

Definiciones y validez de la evaluación formativa

Un trabajo básico pero muy completo es el que Terry Crooks (2001, September) hizo parta la Unidad de Investigación en Evaluación Educativa en la Universidad de Otago ( Dunedin, Nueva Zelanda), presentado en la Conferencia Anual de la Asociación Británica de Investigación Educativa, Universidad de Leeds, 13-15 de septiembre de 2001, en la sección de Educación online, titulado The Validity of Formative Assessments.

Así Crooks (2001) define evaluación como

Cualquier proceso que proporcione información sobre el pensamiento, los logros o el progreso de los estudiantes.

 Para ello se valió de un importante concepto previo, el de validez Utilizó el trabajo y definición de Messick (1989, p.13 Vigency)

La validez es un juicio evaluativo integrado del grado en que la evidencia empírica y los fundamentos teóricos apoyan la idoneidad y pertinencia de las inferencias y acciones basadas en los puntajes de las pruebas u otros modos de evaluación.

 Frecuentemente se utiliza el concepto de evaluación sumativa, más acorde con lo que habitualmente se hace y cómo se entiende la evaluación

De esta forma, la evaluación sumativa tiene la intención de resumir el logro del estudiante en un momento particular, mientras que la evaluación formativa tiene como objetivo promover una mayor mejora del logro del estudiante, además de asegurar, obviamente, lo anterior.

Es decir, se trata de contraponer evaluación de lo aprendido y evaluación para aprender (Assessment OF learning versus assessment FOR learning) en el sentido más simple de las dos expresiones:

Evaluación de lo aprendido

Evaluación para aprender

Veamos ahora en este contexto algunas de las definiciones que hemos encontrado más precisas de  evaluación formativa

Para el Ministerio de Educación, Nueva Zelanda, 1994 (Assessment: policy to practice) se trata de:

Una gama de procedimientos de evaluación formales e informales (por ejemplo, el seguimiento del desarrollo de la escritura de los niños, registros de hechos concretos y observaciones [igual puede generalizarse a procedimientos seguidos en otros niveles y etapas][1]) realizados por los profesores en el aula [o en la actividad en línea] como parte integral del proceso normal de enseñanza y aprendizaje para modificar y mejorar el aprendizaje comprensión.

 Para Bronwen Cowie & BeverleyBell (1999) (A model of formative assessment in science education) es:

El proceso utilizado por profesores y estudiantes para reconocer y dar respuesta al proceso de aprendizaje de los estudiantes con el fin de mejorar ese aprendizaje durante el aprendizaje.

Para Black & Wiliam, 1998a, p. 2 (Inside the black box) la

Evaluación ‘se refiere a todas aquellas actividades realizadas por los profesores, y por los estudiantes en la autoevaluación, que proporcionan información que se utilizará como retroalimentación para modificar las actividades de enseñanza y aprendizaje en las que participan. Dicha evaluación se convierte en “evaluación formativa” cuando la evidencia obtenida se utiliza en la práctica docente para adaptar la enseñanza a las necesidades detectadas.

Pero quizá la más completa es la definición que hacen Black & Wiliam (2009), de evaluación formativa, acompañada de otra sobre lo que es instrucción.

Para lo primero se basa en sus definiciones (Black y Wiliam, 1998b) y la definición del Grupo de Reforma de la Evaluación (ARG, 2002):

La práctica en el aula es formativa en la medida en que la evidencia sobre el rendimiento del estudiante sea suscitada, interpretada y utilizada por los profesores, los alumnos o sus compañeros, para tomar decisiones sobre los próximos pasos en la instrucción. Próximos pasos que probablemente sean mejores, o mejor fundamentados, que las decisiones que se tomarían se han tomado en ausencia de la evidencia que de esa forma se ha obtenido.

Pero ¿qué es instrucción e instruccional? Aquí y en varios lugares más utilizamos este término. Procede pues definirlo:

En gran parte del mundo académico, este término tiene una connotación de formación, o de enfoques didácticos de la enseñanza. Sin embargo, en otros y de forma mayoritariamente aceptado, el término “instrucción” significa la combinación de enseñanza y aprendizaje, y es este último sentido el que utilizaremos aquí. En esta definición, “instrucción” se refiere a cualquier actividad que vaya destinada a crear aprendizaje. En España el término equivalente sería pedagogía. Pero actualmente también, además de que el enfoque tradicional tiene inconvenientes al sugerir una visión más limitada de la práctica de la enseñanza, no se ajusta demasiado bien a términos y conceptos de la sociedad digital y del conocimiento. Por ejemplo, parecería extraño referirse a los estudiantes como ‘recursos pedagógicos unos para otros’, parece que hablamos de textos, pizarras, retroproyector, etc. No así si decimos “alumnos como recursos instruccionales unos para otros”.

A esto podemos añadir una particular aportación de quien suscribe (Zapata-Ros, 2012):

La evaluación formativa o de proceso se exige para entender no sólo si un alumno ha conseguido aprendizaje o no, sino por qué. Comprender las razones para el éxito o para el fracaso depende de la profundidad del conocimiento que existe de lo que se ha hecho o se está haciendo, y también de la relación apropiada entre el uso de la tecnología, las actividades que se han hecho con ella y el área de conocimiento. Entendiendo como tal la metodología docente para el área (las ideas pedagógicas) y los conocimientos propios de la materia.

Por lo tanto, podemos concluir que, aunque el desarrollo de la evaluación formativa no es la única manera, o incluso la mejor manera, para abrir una gama más amplia de cambios deseables en el aprendizaje en el aula, puede ser particularmente eficaz, en parte porque la calidad de la retroalimentación interactiva es un factor crítico característica para determinar la calidad de la actividad de aprendizaje y, por lo tanto, es una característica central de pedagogía [2]

Después de esto creemos que el lector se habrá formado una idea cabal y actualizada de lo que es la evaluación formativa. Pero no es sólo importante saber qué es sino cómo se practica: las actividades.

En base a la literatura[3], las prácticas, en condiciones normales de trabajo en aula y online, comunicadas por docentes y en base a la propia experiencia en la docencia de secundaria, grado y postgrado y formación del profesorado en activo, también en condiciones normales online, podemos establecer una clasificación en los principales tipos de actividad que señalamos.

Resumiendo lo consultado sobre evaluación formativa podemos ver que hay ocho tipos principales de actividades o de prácticas docentes, sugeridos por evidencias (limitadas a la propia experiencia) de su eficacia potencial, y desarrollado con y por profesores en condiciones normales de trabajo en el aula, también sugeridos por la literatura sobre el tema (Wiliam, 2000, Black et al., 2003; Wiliam, 2007):

• Compartir criterios de éxito con los alumnos
• Preguntar en el aula, o en el chat, o verbalmente en Zoom o similar, con anotaciones.
• Marcado de sólo comentarios
• Autoevaluación, con criterios explícitos
• Uso formativo de pruebas sumativas (muy importante).
• Revisiones, con observaciones y marcado de comentarios
• Supervisiones de los alumnos, con reuniones presenciales, videorreuniones o sesiones de videollamada.
• Intervenciones en los foros con comentarios personales, otorgamiento de relevancia en relación con la formatividad y con relación a los objetivos de aprendizaje, a los logros esperados y a las habilidades desarrolladas, sobre todo conceptuales, en este caso.

De estos ocho, cinco se proponen y están estudiadas en Developing the theory of formative assessment por Paul Black, King’s College London, and Dylan Wiliam, Institute of Education, University of London

Objeto aparte de estudio y de desarrollo puede ser el tratamiento de cada uno de estos tipos de actividades.

Particular importancia tiene la evaluación de marcado sólo con comentarios (pruebas comentadas) y la evalución formativa a partir de la evaluación sumativa (ver Using comment only marking in a mathematics classroom in the Republic of Ireland: experience and learning of a student teacher, por O’ Mahoney and Heinz (2016).

La calificación de sólo comentario es un método de evaluación formativa. Implica que el profesor brinde retroalimentación constructiva y metas parciales vinculadas a los objetivos para alentar y apoyar a los estudiantes a desarrollar los objetivos de aprendizaje establecidos independientemente y sus habilidades de autoevaluación.

Este tipo de evaluación se considera una estrategia clave de aprendizaje, también y sobre todo, en el aula.

Como resultado, la información proporcionada por esta evaluación puede utilizarse como retroalimentación para influir y modificar las actividades de enseñanza y aprendizaje. Según Petty (2009), se puede utilizar esta forma de evaluación para motivar y animar al alumno al mismo tiempo que mejora él y mejora su trabajo. Hay dos formas principales de evaluación, evaluación sumativa y evaluación formativa.

Sobre lo segundo, las evaluaciones acumulativas se dan periódicamente para determinar la comprensión de un estudiante del tema en un momento particular en relación con los estándares de contenido. La frecuencia aumenta proporcionalmente la comprensión y la adquisición, debido al dominio en aspecto parciales que aumenta la capacidad para aprender lo siguiente.

El marcado de sólo comentarios y la relevancia suficiente de intervenciones en foros y chats tienen, aparte de lo visto, una importancia determinante y clave en la metodología docente y de evaluación conocida como mastery learning, como podemos ver en otros documentos.

Cuestiones muy importantes que nos planteamos a propósito de esta modalidad de evaluación, sobre todo en su práctica:

¿Hasta cuándo haremos marcado de comentarios, durante qué tiempo o cuántas rondas haremos? ¿en cuántas revisiones? ¿cómo sustituiremos la nota, la puntuación numérica clásica, por la calificación, obviamente textual, para señalar la superación del módulo o de la unidad de contenidos o la consecución [dominio] de la habilidad que tratemos?

A todas estas preguntas se da respuesta en la modalidad de “dominio del aprendizaje” (Mastery learning). Modalidad en la que sucintamente se dice que sólo se pasara a la parte siguiente cuando se consiga un dominio de la actual. Obviamente, en este contexto tienen un papel esencial los Teaching Assistant.

Hay otra cuestión que también es clave: Este método, esta modalidad de evaluación, supone la confianza y la conformidad en la capacidad del docente, su auctoritas, para determinar cuándo se ha alcanzado el dominio. No en balde se llama maestría, evocando la relación entre maestro y aprendiz que se establecía en otras etapas de la historia de la educación y de la instrucción.

La evaluación sumativa es la que sólo proporciona los criterios de promoción del alumno al final del módulo, la asignatura o el curso.

Por tanto, hay básicamente dos formas de evaluación, evaluación sumativa y evaluación formativa.

Las evaluaciones acumulativas se ofrecen periódicamente para determinar el grado la comprensión del tema de un estudiante en un momento particular en relación con los estándares de contenido. Otra cuestión es si coincide con la evaluación del aprendizaje. Aprendizaje no siempre supone sólo comprensión, para muchos de nosotros supones dominio[4].

De acuerdo con Garrison y Ehringaus (2007), la evaluación sumativa ocurre demasiado poco y de forma distanciada en el camino de aprendizaje del estudiante para que pueda producir ajustes instructivos durante el proceso de aprendizaje.

La evaluación formativa ocurre cuando los resultados de la evaluación se consideran y se utilizan para modificar la enseñanza para satisfacer las necesidades de los estudiantes casi instantáneamente. También se conoce como evaluación para el aprendizaje (Black y William, 1998). La evaluación formativa es útil tanto para estudiantes como para profesores. Proporciona retroalimentación a los docentes sobre la efectividad de sus estrategias y enfoques de enseñanza, que luego pueden ajustar para mejorar el aprendizaje de los estudiantes. En segundo lugar, la evaluación formativa puede ser útil para los estudiantes ya que la retroalimentación es enfocada y precisa para que tengan la capacidad de identificar áreas específicas que necesitan trabajar y si necesitan ajustar su forma de pensar (Phelan et al., 2011).

 

Por último, más allá de definiciones, conceptos y actividades, conviene señalar el sentido de los procesos y de otros aspectos de la evaluación formativa en un contexto más amplio.

Para proporcionar una base amplia de la evaluación formativa, tres procesos son centrales: establecer dónde se encuentran los estudiantes en su aprendizaje, establecer hacia dónde se dirigen y establecer lo que se debe hacer para lograrlo y cómo ayudarlos a llegar allí (Thompson y William, 2007 a partir de Ramaprasad (1983)). Con referencia a estos tres procesos estableceremos los principales aspectos a considerar en la evaluación formativa en todos los casos:

 

	A dónde va el alumno	Dónde está el alumno ahora mismo	Cómo llegar allí
El profesor	1 Aclarar el aprendizaje: las intenciones y los criterios para el éxito.	2 Construir una arquitectura efectiva de la clase: Fomentar discusiones en el aula y proponer tareas de aprendizaje que provoquen la evidencia del estudiante propia de la comprensión.	3 Proporcionar comentarios y estímulos que mueve a los alumnos hacia adelante, que hagan que progresen.
El igual	Comprender y compartir intenciones de aprendizaje y criterios para el éxito	4 Activar a los estudiantes como recursos educativos entre sí.
El alumno	Entender el aprendizaje, las intenciones y los criterios para el éxito	5 Activar a los estudiantes como dueños de su propio aprendizaje

Figura 1: Aspectos de la evaluación formativa

 

Conclusiones. –

Un sistema educativo, que implemente estas ideas, es absolutamente inmune al uso de ChatGPT como sustituto total o parcialmente en la demostración del aprendizaje. Otra cuestión es su uso de forma crítica como recurso educativo, con un carácter similar al que tiene actualmente cualquier buscador o enciclopedia digital.

 

 

Referencias.-

ARG (2002) Assessment for Learning: 10 principles. Available on the Assessment Reform Group web-site : www.assessment-reform-group.org.uk

Black, E. (1995). Behaviorism as a learning theory. Retrieved from http://129.7.160.115/inst5931/Behaviorism.html

Black, P., & Wiliam, D. (2003). ‘In praise of educational research’: Formative assessment. British educational research journal, 29(5), 623-637.

Black, P., & Wiliam, D. (1998a). Assessment and classroom learning. Assessment in Education, 5, 7-74.

Black, P., & Wiliam,D. (1998b). Inside the black box: Raising standards through classroom assessment. Phi Delta Kappan, 80, 139-149.

Black, P., & Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability (formerly: Journal of Personnel Evaluation in Education), 21(1), 5-31. https://kclpure.kcl.ac.uk/portal/files/9119063/Black2009_Developing_the_theory_of_formative_assessment.pdf y https://link.springer.com/article/10.1007/s11092-008-9068-5

Bloom, B. S. (1984). The 2 sigma problem: The search for methods of group instruction as effective as one-to-one tutoring. Educational researcher, 13(6), 4-16. https://www.jstor.org/stable/pdf/1175554.pdf

Bloom, B. (May 68). Learning for Mastery. Instruction and Curriculum. https://files.eric.ed.gov/fulltext/ED053419.pdf

Bloom, B. S. (1976). Human characteristics and school learning. McGraw-Hill.

Bloom, B. (1984). The 2 Sigma Problem: The Search for Methods of Group Instruction as effective as One-to-One Tutoring, Educational Researcher, 13:6 (4-16). https://inst.eecs.berkeley.edu//~cs375/sp15/resources/Bloom_The2SigmaProblem.pdf

CIT (Center for Intructional Technologie) (2013) Building a Coursera Course  Version 2.0 https://docs.google.com/document/d/1ST44i6fjoaRHvs5IWYXqJbiI31muJii_iqeJ_y1pxG0/edit?pli=1

Cowie, B., & Bell, B. (1999). A model of formative assessment in science education. Assessment in Education: Principles, Policy & Practice, 6(1), 101-116.

Crooks, T. (2001, September). The validity of formative assessments. In British Educational Research Association Annual Conference, University of Leeds (pp. 13-15). http://www.leeds.ac.uk/educol/documents/00001862.htm (en documentos http://www.leeds.ac.uk/bei/Education-line/browse/all_items/119155.html )

Crosslin, M (2014 May).  Designing a Dual Layer cMOOC/xMOOC. http://www.edugeekjournal.com/2014/05/04/designing-a-dual-layer-cmoocxmooc/

Driscoll, M. (1994). Gagne’s theory of instruction. Psychology of Learning for Instruction. Boston, MA, Allyn and Bacon, 329-358. https://psycnet.apa.org/record/1993-99148-000 http://ocw.metu.edu.tr/pluginfile.php/9013/mod_resource/content/1/driscoll-ch10%20(1).pdf

Driscoll, M. (2000). Psychology of learning for instruction. Needham Heights, MA: Allyn & Bacon.

Fink, L.D. (2003), A Self-Directed Guide to Designing Courses for Significant Learning.http://www.deefinkandassociates.com/GuidetoCourseDesignAug05.pdf

Fink, L.D. (2003), A Self-Directed Guide to Designing Courses for Significant Learning. http://www.deefinkandassociates.com/GuidetoCourseDesignAug05.pdf

Gagné, R. M. (1965). The conditions of learning and theory of instruction ( 1st ed.). New York, NY: Holt, Rinehart & Winston.

Gagné, R. M., & Briggs, L. J. (1974). The principles of instructional design ( 1st ed.). New York, NY: Holt.

Gagné, R. M. (1985). The conditions of learning and theory of instruction ( 4th ed.). New York, NY: Holt, Rinehart & Winston.

Gagne, R. M.,& Medsker, K. L. (1996). The conditions of learning: Training applications. Fort Worth, TX: Harcourt Brace College Publishers.

Garrison, C., & Ehringhaus, M. (2007). Formative and summative assessments in the classroom.

Merrill, M. D. (2002). First principles of instruction. Educational technology research and development, 50(3), 43-59. http://csapoer.pbworks.com/f/First+Principles+of+Instruction+(Merrill,+2002).pdf

Merrill, M. D. (2012). First principles of instruction. John Wiley & Sons.

Merrill, M. D. (1991). Constructivism and instructional design. Educational technology, 31(5), 45-53.

Merrill, M. D. (2002). First principles of instruction. Educational Technology Research and Development, 50(3), 43-59.  Instructional-Design Theories and Models, Volume III: Building a Common Knowledge Base.

Merrill, M. D. (2009). First Principles of Instruction. In C. M. Reigeluth & A. Carr (Eds.), Instructional Design Theories and Models: Building a Common Knowledge Base (Vol. III). New York: Routledge Publishers.

Messick, S. (1989). Validity. In R. L. Linn (Ed.), Educational measurement (3rd ed., pp. 13–103). New York, NY: Macmillan.

Ministry of Education, New Zealand. (1994). Assessment: policy to practice. Wellington, New Zealand: Learning Media.

O’Mahoney, K. & Heinz, M. (2016). Using comment only marking in a mathematics classroom in the Republic of Ireland: experience and learning of a student teacher. Journal of Teacher Action Research, 2(2), 58-69. http://www.practicalteacherresearch.com/uploads/5/6/2/4/56249715/mahoney1-12.pdf, https://aran.library.nuigalway.ie/bitstream/handle/10379/6045/JTARSubmissionfinal20Dec2015.pdf  y https://www.researchgate.net/profile/Manuela_Heinz/publication/309985621_Using_Comment_Only_Marking_in_a_Mathematics_Classroom_in_the_Republic_of_Ireland_Experience_and_Learning_of_a_Student_Teacher/links/58272da608ae254c508311f3.pdf

Petty, G., (2009). Evidence Based Teaching – a practical approach (2nd edition). Cheltenham: Nelson Thornes. http://155.0.32.9:8080/jspui/bitstream/123456789/91/1/%5BGeoff_Petty%5D_Evidence-based_Teaching_A_Practical%28BookFi.org%29.pdf

Phelan, J., Choi, K., Vendlinski, T., Baker, E. y Herman, J. (2011). Mejora diferencial en la comprensión de los estudiantes de los principios matemáticos después de una intervención de evaluación formativa. The Journal of Educational Research , 104 (5), 330-339. https://www.tandfonline.com/doi/full/10.1080/00220671.2010.484030?casa_token=AXwD-EDEdK4AAAAA%3AVepQ_WIb2P5CsPMgo004X4Gw_8v-mPGw1P2kgsfYqqglhfvTDbmqbnVGeGsP4X-4uRmbqJuUPZZWS4E

Ramaprasad, A. (1983). “On the definition of feedback.” Behavioral Science 28(1): 4-13.

Reigeluth, C. M., Ed. (1999). Instructional-Design Theories and Models: A New Paradigm of Instructional Theory. Mahwah, NJ, Lawrence Erlbaum Associates Publishers.

Reigeluth, C. (2012).  Teoría instruccional y tecnología para el nuevo paradigma de la educación. RED, Revista de Educación a Distancia. Número 32. 30 de septiembre de 2012. Consultado el (dd/mm/aaa) en http://www.um.es/ead/red/32

Shepard, L. A. (2005, October). Formative assessment: Caveat emptor. In ETS Invitational Conference The Future of Assessment: Shaping Teaching and Learning, New York. https://web.archive.org/web/20111007220347/http://www.cpre.org/ccii/images/stories/ccii_pdfs/shepard%20formative%20assessment%20caveat%20emptor.pdf

Siemens, G. (2014, May). Multiple pathways: Blending xMOOCs & cMOOCs. http://www.elearnspace.org/blog/2014/05/06/multiple-pathways-blending-xmoocscmoocs/

Tennyson, R. D., Schott, F., Dijkstra, S., & Seel, N. M. (Eds.). (1997). Instructional Design: International Perspectives. Theory, research, and models. Vol. 1 (Vol. 1). Routledge.

Thompson, M., & Wiliam, D. (2007, April). Tight but loose: A conceptual framework for scaling up school reforms. In annual meeting of the American Educational Research Association. Chicago, IL. https://cpb-ap-se2.wpmucdn.com/global2.vic.edu.au/dist/d/30223/files/2017/01/Tight-but-Loose-AERA-07-2di57v1.pdf

Weller, M. (2013) Good post by Martin Weller [@mweller] on Coursera’s new plans – The Ed Techie: You can stop worrying about MOOCs now http://ow.ly/1WTQCf, http://nogoodreason.typepad.co.uk/no_good_reason/2013/05/you-can-stop-worrying-about-moocs-now.html

Wiliam, D. (2000). Integrating summative and formative functions of assessment. https://discovery.ucl.ac.uk/id/eprint/1507176/1/Wiliam2000IntergratingAEA-E_2000_keynoteaddress.pdf

Wiliam, D. (2007). Keeping learning on track: Formative assessment and the regulation of learning. nature, 1, 20. https://www.researchgate.net/profile/Dylan_Wiliam/publication/252646685_Keeping_learning_on_track_Formative_assessment_and_the_regulation_of_learning/links/53f495b00cf2fceacc6e8f5b.pdf

Zapata-Ros, M. (2012). Calidad en entornos ubicuos de aprendizaje. Revista de Educación a Distancia (RED), (31). https://revistas.um.es/red/article/view/232871

Zapata-Ros, M. (2012) Teorías y modelos sobre el aprendizaje en entornos conectados y ubicuos. Bases para un nuevo modelo teórico a partir de una visión critica del “conectivismo”. http://eprints.rclis.org/17463/

Zapata-Ros, M. (2013) Charles Reigeluth: la personalización del aprendizaje y el nuevo paradigma de la educación para la sociedad postindustrial del conocimiento., http://eprints.rclis.org/19406/

 Zapata-Ros, M. (2013). Enseñanza Universitaria en línea, MOOC y aprendizaje divergente. Academia.edu (preprint) https://www.academia.edu/6190225/Ense%C3%B1anza_Universitaria_en_l%C3%ADnea_MOOC_aprendizaje_divergente_y_creatividad_Online_Higher_Education_MOOC_divergent_learning_and_creativity

Zapata-Ros, M. (2013). La evaluación en el nuevo paradigma de la educación en la Sociedad Postindustrial del Conocimiento. http://eprints.rclis.org/20157/

Zapata-Ros, M. (2013b). El “problema de 2 sigma” y el aprendizaje ayudado por la tecnología. E-Lis Repository. http://eprints.rclis.org/18866/8/MOOCs.pdf

Zapata-Ros, M. (2013b2). Las teorías del aprendizaje y el diseño instruccional. El esquema incompleto. http://redesabiertas.blogspot.com.es/2013/04/las-teorias-del-aprendizaje-y-el-diseno.html

Zapata-Ros, M. (2015). El diseño instruccional de los MOOC y el de los nuevos cursos abiertos personalizados. Revista de Educación a Distancia, (45). https://revistas.um.es/red/article/download/238661/181351

Zapata-Ros, M. (2018). La universidad inteligente. RED. Revista de Educación a Distancia, 57(10). Consultado el (dd/mm/aaaa) en http://www.um.es/ead/red/57/zapata2.pdf

Zapata-Ros, M. (2018).  El modelo educativo de Singapur y el «mastery learning» de Bloom. Blog académico RED. El aprendizaje en la sociedad del conocimiento. https://red.hypotheses.org/1261

Zapata-Ros, M. (2020). ¿Qué tienen de común Jeff Bezos y Benjamin Bloom? / What do Jeff Bezos and Benjamin Bloom have in common? 10.13140/RG.2.2.14749.26085

[2] El diseño instruccional de los cursos abiertos on-line https://openeducation.blackboard.com/mooc-catalog/courseDetails/view?course_id=_1684_1

[3] http://cursosabiertos.blogspot.com.es/

[4] Para figurar en esta lista ha sido necesario que esas habilidades hayan redundado en un cambio relevante en enseñanzas de grado, de postgrado o en estudios propios en línea.

[5] Sintesis de Gagné’s Conditions of Learning para  habilidades intelectuales y estrategias cognitivas.

 

 

 

 

[1] El añadido entre corchetes es mío.

[2]

Developing the theory of formative assessment. Paul Black, King’s College London, and

Dylan Wiliam, Institute of Education, University of London

To appear in Educational Assessment, Evaluation and Accountability (formerly the Journal of Personnel Evaluation in Education), 1(1) (2009).

https://kclpure.kcl.ac.uk/portal/files/9119063/Black2009_Developing_the_theory_of_formative_assessment.pdf y https://link.springer.com/article/10.1007/s11092-008-9068-5

[3]  Crooks, T. (2001, September), Wiliam, 2000, Black et al., 2003; Wiliam, 2007. Black, P., & Wiliam, D. (2009).

[4] En otro punto de este trabajo y en otros lugares hacemos una recesión y una interpretación de las condiciones del aprendizaje según Gagné y de los principales principios del aprendizaje de Merrill y decimos que para que haya aprendizaje han de concurrir al menos cuatro condiciones o hechos: Que efectivamente haya comprensión, que haya atribución de sentido, que haya autonomía en su aplicación y que haya transferencia, que se pueda utilizar lo aprendido en situaciones distintas a las que se aprende y cambiantes.

Ensayos. – TFM, TFG, tesis doctorales y artículos científicos. La evaluación con informes, ensayos y proyectos.

 

^{Fuente: Imagen generada con el texto “the assessment. Students. Hopper style” por Miguel × DALL·E Human & AI}

Los ensayos, trabajos o informes han formado parte de la evaluación educativa, y principalmente académica y universitaria, desde principios del siglo XIX, cuando los estudiantes de algunas universidades europeas debían escribir artículos académicos para su discusión en seminarios (Kruse, 2006 ). 

Hoy los ensayos académicos continúan siendo un pilar de la evaluación en escuelas, colegios y universidades muy aceptables porque superan las limitaciones de los exámenes, restringidos a lo que un alumno sabe o es capaz de recordar en un momento determinado. Han triunfado y constituyen los conocidos TFM, TFG y trabajo final de cualquier curso o asignatura. Incluso una disertación de tesis doctoral no escapa a este formato. Son fáciles de establecer, permiten evaluar la profundidad de la comprensión e hipotéticamente demuestran la capacidad de los estudiantes sobre cómo expresar un argumento. En los últimos años, el alcance de los trabajos escritos se ha ampliado para incluir trabajos narrativos, argumentativos, reflexivos, expresivos, receptivos y analíticos.

Sin embargo no todo es bueno, la práctica generalizada de establecer tareas escritas como trabajo de curso ha sido criticada como laboriosa e injusta (Race, 2018). Pero sobre todo está sujeto a trampas, imposturas y fraudes en general. Prácticas que actualmente se han constituido en un lucrativo negocio con contratos de encargo a través de “fábricas de TFM, TFG y trabajos en general”, que venden tareas de este tipo escritas por encargo, a tarifas de hasta 500 euros por escribir un ensayo de 20 páginas (ver anuncios y tarifas). Un estudio de Newton (2018) encontró que el 15,7% de los estudiantes encuestados admitió haber pagado a otra persona para que escribiera una tarea. 

Ahora la cosa con ChatGPT da un salto cualitativo: Una consecuencia, no deseada ni perseguida como objetivo, de estos sistemas es que democratizan el fraude. Un estudiante puede generar un ensayo completo en segundos, a un costo de alrededor de 50 centavos de dólar.

Peor aún, si cabe, es que los aspirantes a investigadores científicos puedan recurrir a estos sistemas para generar artículos y enviarlos a congresos y revistas.

Desde el lanzamiento de ChatGPT, los investigadores han estado lidiando con los problemas éticos que rodean su uso, porque según Holly Else en Nature, “gran parte de su producción puede ser difícil de distinguir del texto escrito por humanos”. 

Se pueden citar distinto casos y experimentos:

Uno es el de los investigadores Blanco-González, A. et al. (2022) y O’Connor, S. & ChatGPT (2023) han publicado un preprint y un editorial escritos por ChatGPT. 

Otro es un grupo dirigido por Catherine Gao en la Universidad Northwestern en Chicago, que ha utilizado ChatGPT para generar resúmenes de trabajos de investigación artificiales para probar si los científicos pueden detectarlos. Son interesantes los planteamientos y resultados.

Los investigadores le pidieron a ChatGPT que escribiera 50 resúmenes de investigación médica basados ​​en una selección publicada en JAMA , The New England Journal of Medicine , The BMJ , The Lancet y Nature Medicine . Luego los compararon con los resúmenes originales pasándolos  por un detector de plagio y un detector de salida de IA, también le pidieron a un grupo de investigadores médicos que detectaran los resúmenes artificiales.

El resultado que dio sobre los resúmenes generados por ChatGPT el verificador de plagio sobre la originalidad fue del 100 %, lo que indica que no se detectó plagio. El detector de salida de IA detectó el 66 % de los resúmenes generados. Pero los revisores humanos no lo hicieron mucho mejor: identificaron correctamente sólo el 68 % de los resúmenes generados y el 86% de los resúmenes genuinos. Identificaron incorrectamente el 32 % de los resúmenes generados como reales y el 14 % de los resúmenes genuinos como generados. Todo ello muy elocuente.

Las conclusiones de los autores del preprint, Gao y sus colegas, son 

• “ChatGPT escribe resúmenes científicos creíbles”
• “Quedan por determinarse los límites del uso ético y aceptable de grandes modelos lingüísticos para ayudar a la redacción científica”.

Otros trabajos sobre el tema los podemos encontrar en

AI bot ChatGPT writes smart essays — should professors worry?

The ChatGPT revolution of academic research has begun

En enero de 2023, Nature informó sobre dos preprints y dos artículos en los campos de la ciencia y la salud que incluyeron a ChatGPT como autor firmado. Cada uno de estos incluye una afiliación para ChatGPT, y uno de los artículos incluye una dirección de correo electrónico para el “autor” no humano. Según Nature, la inclusión de ChatGPT en ese artículo en la firma del autor fue un “error que pronto se corregirá” ⁽Stokel-Walker, 2023). Sin embargo, estos artículos y sus “autores” no humanos ya han sido indexados en PubMed y Google Scholar.

Experiencias como ésta han llevado a las instituciones, revistas y editoriales a tomar medidas. De entre las más importantes podemos destacar lo que sigue.

Nature ha definido una política para guiar el uso de modelos de transformadores de lenguaje a gran escala en la publicación científica: prohíbe nombrar herramientas como “autor acreditado en un artículo de investigación” porque “la atribución de autoría conlleva responsabilidad por el trabajo, y Las herramientas de IA no pueden asumir tal responsabilidad”. 

La política editorial también aconseja a los investigadores que utilizan estas herramientas que documenten este uso en las secciones Métodos o Agradecimientos de los manuscritos. 

Otras revistas (Science y Taylor & Francis) y organizaciones (WAME) están desarrollando urgentemente políticas que prohíben la inclusión de estas tecnologías no humanas como “autores”. Van desde prohibir la inclusión de texto generado por ChatGPT o similares en los originales, a exigir total transparencia, responsabilidad y rendición de cuentas sobre cómo se utilizan y se informan dichas herramientas en publicaciones académicas. 

La Conferencia Internacional sobre Aprendizaje Automático (ICML Fortieth International Conference on Machine Learning) también ha anunciado una nueva política: “Los artículos que incluyen texto generado a partir de un modelo de lenguaje a gran escala (LLM) como ChatGPT están prohibidos a menos que el texto producido se presente como parte del análisis experimental del artículo”. 

Y así sucesivamente.

Un ejemplo de normas concretas nos lo presenta JAMA, sobre responsabilidades de autores, materiales a publicar, etc. (Instructions for Authors. JAMA. Updated January 30, 2023.)

En conclusión con todo lo anterior, será difícil ignorar el creciente número de estudiantes e investigadores que envían tareas escritas por ChatGPT o los programas similares que vengan. 

En el caso de estudiantes, ¿podrá hacerlo Turnitin u otros productos similares? Aquél ha admitido que “ya estamos viendo los comienzos de la próxima ola de IA… cuando los estudiantes pueden presionar un botón y la computadora escribe su trabajo” (Turnitin, 2020 ). Se adivina un horizonte donde no es descartable que resistirse a los trabajos generadas por ChatGPT y similares y detectar cuáles están escritas por máquina sea un ejercicio inútil. Entonces, ¿cómo podemos delimitar el uso de estas nuevas herramientas?

Ya hemos hablado de restringir la asignación en las ponderaciones por puntajes en estos temas. Alternativamente, se podrían establecer tareas escritas reflexivas y contextualizadas que la IA no podría generar. Pero esto requiere mucho tiempo y esfuerzo por los profesores

En todo caso, los profesores podrían y deberían explorar y penetrar con los estudiantes en la ética y los límites de la IA generativa y hacerlo con cuestiones tales como:

• ¿Qué calificación y qué efectos tiene en los conceptos morales y por qué interactuar con un agente experto en palabras que no tiene moral intrínseca ni experiencia del mundo? 
• ¿Escribir con ChatGPT equivale a plagio?

Pero más allá de esto hay una cuestión clave. Si restringimos la evaluación a lo que es la lectura y la revisión de proyectos o ensayos en el marco exclusivo de esa lectura, damos la entrada a la impostura porque en ese marco, como dice la revista Nature, es imposible distinguir lo que escribe un transformer de lo que escribe un humano. O, en todo caso, la resolución de ese problema nos remite a una futura IA que discerniera que es un autor humano a través del estilo, inflexiones y giros propios y en otros rasgos personales, y en todo caso abundaría en algo que la inteligencia humana le lleva años luz a la IA, como sucede con la psicología cognitiva con respecto al conductismo y al aprendizaje por refuerzo: el análisis de la experiencia, la atribución de sentido  través de la expresión escrita y la interacción que, de ella, se pueda producir, como lo son las que se producen en la revisión y supervisión.

Se hace pues hoy más necesaria que nunca una visión de lo que ha de ser una evaluación centrada en el aprendizaje, en los efectos que produce, en cuales son deseables y, sobre todo, en cuáles de sus manifestaciones presentan una demostración de que el fenómeno de aprender (comprender, atribuir sentido, incorporar, ejecutar autónomamente y transferir) se ha producido. Y hacerlo en el transcurso del proceso. En definitiva, hoy es más urgente que nunca contar con una buena evaluación educativa centrada en el aprendizaje y formativa.

 

 Cómo citar este trabajo:

Zapata-Ros, M. (2023). Los programas generativos “Transformer” AI, entre los que está ChatGPT, ¿una oportunidad para la evaluación formativa? Preprint DOI 10.13140/RG.2.2.18669.46565

 

Referencias

Barrow, B. (2019 Apr) Bayesian Analysis in Natural Language Processing: Cohen. https://linguistlist.org/issues/30/30-1843/

Blanco-González, A. et al. Preimpresión en arXiv https://doi.org/10.48550/arXiv.2212.08104 (2022).

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P. … Amodei, D. (2020). Language models are few-shot learners. Advances in Neural Information Processing Systems, 33, 1877–1901 Clark, D. (2023) Twitter. https://twitter.com/DonaldClark/status/1618422817590243333

Bundy, A. 2007 Computational thinking is pervasive. J. Scient. Pract. Comput.1, 67–69. 

Clark, D. (2023). OpenAI releases massive wave of innovation. https://donaldclarkplanb.blogspot.com/2023/02/

Clark, D. (2023b). https://twitter.com/DonaldClark/status/1618422817590243333

Cohen, S. (2019). Bayesian analysis in natural language processing. Synthesis Lectures on Human Language Technologies, 12(1), 1-343.

Drury, B.(2019 Aug). Bayesian Analysis in Natural Language Processing, in Review: Computational Linguistics; Text/Corpus Linguistics: Cohen (2019). https://linguistlist.org/issues/30/30-4380/

Gao, CA et al. Preimpresión en bioRxiv https://doi.org/10.1101/2022.12.23.521610 (2022).

Graves, A. (2012). Sequence transduction with recurrent neural networks. arXiv preprint arXiv:1211.3711. https://arxiv.org/abs/1211.3711 Graves, 2012

Garcez, ADA y Lamb, LC (2020). IA neurosimbólica: la tercera ola. preimpresión de arXiv arXiv:2012.05876

Graves, A. (2012). Sequence transduction with recurrent neural networks. arXiv preprint arXiv:1211.3711. https://arxiv.org/abs/1211.3711

Gunning, D., Stefik, M., Choi, J., Miller, T., Stumpf, S. y Yang, GZ (2019). XAI—Inteligencia artificial explicable. Ciencia Robótica , 4 (37), eaay7120

Kruse, O. (2006). The origins of writing in the disciplines: Traditions of seminar writing and the Humboldtian ideal of the research university. Written Communication, 23(3), 331–352

Newton, P. M. (2018, August). How common is commercial contract cheating in higher education and is it increasing? A systematic review. Frontiers in Education, 3(67), doi: https://doi.org/10.3389/feduc.2018.00067

O’Connor, S. & ChatGPT Educación en enfermería. Practica 66 , 103537 (2023).

Pedreño. A. (2023) ChatGPT y las universidades.  https://www.universidadsi.es/chatgpt-y-las-universidades/

Race, P. (2018). Is the ‘time of the assessed essay’ over? University of Sussex blog article, November 14, 2018. https://blogs.sussex.ac.uk/business-school-teaching/2018/11/14/is-the-time-of-the-assessed-essay-over/

Saul, D. (2023). ‘AI Is The New Electricity’: Bank Of America Picks 20 Stocks To Cash In On ChatGPT Hype. Forbes BUSINESS. https://www.forbes.com/sites/dereksaul/2023/03/01/ai-is-the-new-electricity-bank-of-america-picks-20-stocks-to-cash-in-on-chatgpt-hype/

Science, Technology, and Public Policy (2022) Parthasarathy discusses implications of Large Language Models. https://stpp.fordschool.umich.edu/news/2022/parthasarathy-discusses-implications-large-language-models

Sharples, M. Automated Essay Writing: An AIED Opinion. Int J Artif Intell Educ 32, 1119–1126 (2022). https://doi.org/10.1007/s40593-022-00300-7 Utiizado como un documento base él y sus referencias. https://link.springer.com/article/10.1007/s40593-022-00300-7

Sharples (2023) Twitter https://twitter.com/sharplm/status/1615607290320519169

Stokel-Walker  C.  ChatGPT listed as author on research papers: many scientists disapprove.   Nature. 2023;613(7945):620-621. doi:10.1038/d41586-023-00107-z

Surden H. (2019), “Inteligencia artificial y derecho: una descripción general”, Revista de derecho de la Universidad Estatal de Georgia, vol. 35, disponible en https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3411869# .

Turnitin (2020). How Teachers Can Prepare for AI-Based Writing. Turnitin blog article, May 21, 2020. https://www.turnitin.com/blog/how-teachers-can-prepare-for-ai-based-writing

 Wing, J.M. (2006) Computational thinking. it represents a universally applicable attitude and skill set everyone, not just computer scientists, would be eager to learn and use. Commun. ACM 49(3). https://doi.org/10.1109/vlhcc.2011.6070404

Wing, J.M. (July 2008) Computational thinking and thinking about computing. The Royal Society Publishing. https://doi.org/10.1098/rsta.2008.0118 https://royalsocietypublishing.org/doi/10.1098/rsta.2008.0118 https://royalsocietypublishing.org/doi/pdf/10.1098/rsta.2008.0118

 Zapata-Ros, M. & Palacios, Y. B. (2021). El pensamiento bayesiano, un pensamiento computacional omnipresente. Revista de Educación a Distancia (RED), 21(68)

Miguel Zapata-Ros

Universidad de Murcia. Murcia. España.

mzapata@um.es

http://dx.doi.org/10.13140/RG.2.2.18669.46565

Resumen

Cada vez hay más evidencia de que las improvisaciones estadísticas de programas como ChatGPT producen textos aparentemente creíbles pero que no tienen ninguna sustentación. El problema no es tanto que permitan el fraude en proyectos y artículos, como que hagan pasar por correctos lo que sólo son generación de textos “sin alma”, sin beingness, o simplemente escritos sin validar teórica o empíricamente, que se aceptan como ciertos acríticamente.

El aprendizaje no es dar cuenta sólo mediante exámenes y proyectos, de datos o de textos describiendo conceptos o hechos. Supone según los clásicos (Gagne, Merrill, Reigeluth) comprender, atribuir sentido, aplicar autónomamente lo aprendido y transferirlo a entornos distintos y cambiantes.

Para eso tiene que haber procesos de interacción y de retroalimentación. Y, si se utilizan proyectos, deben, en la evaluación, ser supervisados en su realización, en la comprensión y en la atribución de sentido que el prendiz hace.

Toda esta constelación de ideas, métodos y prácticas constituye, en el contexto del diseño instruccional, la evaluación formativa.

La evaluación formativa (formative assesment) es evaluación continua + feedback. En ese sentido debería haber actividades de evaluación continua que ofrezcan a los estudiantes comentarios formativos sobre su progreso o para ayudarles a autoevaluar el desarrollo y la calidad del diseño

La evaluación para el aprendizaje (comúnmente conocida como evaluación formativa se centra en la retroalimentación tanto para profesores como para estudiantes.

En un mundo donde la IA aprende y nos supera en una lista creciente de dominios cognitivos, *Beingness* es el dominio final del esfuerzo intelectual humano y debe ser el núcleo de la educación. Y la evaluación formativa debe ser un instrumento para ello.

Palabras claves: ChatGPT, evaluación formativa.

 

I. ChatGPT

 

Programas generativos y ChatGPT

 La aparición del ChatGPT y su impacto. 

     

 

En los últimos días los medios de comunicación y la banca se han hecho eco, con gran alarde de titulares, del impacto del ChatGPT, así Forbes y NBC se hacen eco del último informe del Bank of American sobre la importancia de la IA, que compara con la de la electricidad. Y lo hace a partir de un hecho: La aparición de este programa generador y transformador de textos.

Fuente: Forbes. Suplementó de negocios del 1 de marzo de 2023.

 Por otra parte, la aparición de ChatGPT ha llevado a reputados expertos en la sociedad digital, y en la tecnología educativa en particular, a un gran entusiasmo y a la manifestación de expresiones de arrebato como hace tiempo no se habían visto. Así en el campo de la educación digital, Donald Clark ha llegado a decir (2023):

 

ChatGPT podría pasar a ser tutor, profesor, formador, instructor, experto, mentor, entrenador sobre cualquier tema imaginable. Tendrán fines educativos específicos; personalizado, experiencia en el tema, apropiado para la edad, sensibilidad cultural y ser infinitamente útil y paciente las 24 horas del día, los 7 días de la semana. 

Ideas que ha ampliado en su blog:

Lo que hace ChatGPT es permitirte usar la herramienta para enseñar y aprender. Una vez que haya dominado la ‘ingeniería rápida’, sabiendo cómo construir la entrada correcta, comprendiendo que ChatGPT es un sistema de diálogo y no solo un productor de piezas de texto monolíticas, puede producir cosas maravillosas. Esta es una nueva habilidad para los diseñadores de aprendizaje: la IA generativa permite todo tipo de indicaciones complejas mediante iteraciones, lógica y parámetros que mejoran el resultado. 

Le permite mejorar el diseño inicial, hacer funcionar los trabajos y proyectos con sólo las partes interesantes, producir objetivos, competencias y habilidades deseadas, planes de estudio e incluso títulos para sus iniciativas de aprendizaje. Para crear contenido, uno puede solicitar contenido completo con el nivel adecuado de detalle y matiz, resúmenes, imágenes, todo en diferentes estilos y voces, adecuado para diferentes audiencias. Puede crear evaluaciones y tareas con rúbricas completas para corregir, también actividades de aprendizaje para debates, escenarios y juegos de roles. Más allá de esto, puede solicitar correos electrónicos, contenido de redes sociales y marketing. Hemos elaborado una lista de 100 ideas rápidas para profesionales del aprendizaje para permitir que los profesionales del aprendizaje amplíen su perspectiva sobre esta tecnología que utilizaremos en charlas y talleres planificados.

…

Recuerde que este es solo el comienzo de las herramientas de IA que mejorarán drásticamente la productividad de los docentes, los diseñadores de aprendizaje y los alumnos.

Pero no es sólo Donald Clark, son otros autores. Entre ellos, es igualmente optimista, en un aspecto más amplio, Andrés Pedreño que llega a decir como ideas fundamentales para la enseñanza universitaria las siguientes:

1)Herramientas de un enorme potencial a corto plazo.

ChatGPT basado en GPT3 es solo el inicio de una serie de herramientas con un enorme potencial para la docencia y la investigación

2) La docencia con ChatGPT es objeto de disrupción. 

Los alumnos llevan en sus bolsillos una herramienta que puede superar al profesor que está en la tarima si éste se limita a dar información convencional sobre los temas de la asignatura. La IA obliga a redefinir la enseñanza. (…) Los exámenes y los sistemas de evaluación convencional también deberán ser profundamente revisados. La educación personalizada se erige como fundamental para impedir brechas relevantes entre alumnos (incluso entre profesores).

 Oportunidad y reto

En conclusión, ChatGPT representa una oportunidad para transformar la educación en las universidades y mejorar la experiencia de los estudiantes. Al utilizar tecnología avanzada para procesar y comprender el lenguaje humano, ChatGPT también abre la puerta a nuevos horizontes en la educación, brindando a los estudiantes la oportunidad de aprender de manera más personalizada y adaptativa. A los investigadores les puede ayudar a romper los límites para procesar y asimilar grandes cantidades de información.

 

Más allá de lo que diremos extensamente en este trabajo, cabe plantearse si han meditado estos autores sobre la gran responsabilidad de atribuir en una fase tan temprana unos juicios a mi modo de ver injustificados y temerarios sobre la atribución de todos esos “poderes” y capacidades a ChatGPT

Hicimos una prueba muy elemental. Una pregunta textual, no estrictamente matemática que evidentemente podría ser generativa, pero con un proceso de atribución muy sencillo, por una persona, de sentido a cada una de las partes del texto que puede hacer un alumno de primaria (por aproximaciones sucesivas) y secundaria (de forma algebraica elemental). Se trata de la siguiente pregunta:

1. A) A fish measures 1.5 meters. The body is 1 m longer tan head. How long is the body and how longi s the head?

En español:

Un pez mide 1,5 metros. El cuerpo mide un metro más que la cabeza ¿Cuánto mide el cuerpo y cuanto mide la cabeza?

La respuesta es un absurdo y da un resultado contradictorio tanto en inglés como en español:

 

Unos días después y tras haber publicado tuits y haber debatido en Twitter con @OpenIA y #ChatGPT, #ChatGPT_Education, aparece una respuesta con un planteamiento algebraico, no textual, adecuado y la respuesta correcta.

Alguien podría decir que éste es un problema matemático y que ChatGPT no está entrenado para este tipo de problemas. No es así, además de ser un enunciado exclusivamente textual se puede resolver por mecanismos cognitivos no algebraicos y tiene que ver con capacidades que en otros sitios hemos denominado aproximaciones sucesivas o métodos de ensayo error. Por ejemplo, hablando de pensamiento computacional y de pensamiento computacional desenchufado, que nada tienen que ver con las matemáticas, el algebra o la computación pura y dura, a pesar del nombre.

Son métodos y formas de pensar que perfectamente puede desarrollar un niño en edad prealgebraica, anterior a la del pensamiento abstracto. Un niño, de esta forma, puede comprobar mentalmente que 1 y 0,5 no pueden ser porque contradirían la condición de que el cuerpo midiese un metro más que la cabeza y que si fuese 1, 5 y 0,5 como dice ChatGPT  contradirían que la suma es 1,5. Luego la cabeza debe estar entre 0 y 0,5. Puede ensayar mentalmente algún valor, hasta llegar a la conclusión de que ese 0,5 debe repartirse por igual entre el cuerpo y la cabeza. A qué aquel debe ser 1,25 y ésta 0,25.

 

Otro ejercicio fue el conocido problema de ingenio de las respuestas verdaderas y falsas:

Pregunta

A tourist is lost in New York. He comes to a crossroads where he must choose one of two paths. One leads to a marginal neighborhood where chaos reigns and his life will be in danger. The other leads directly to his hotel. He knows that there are two urban tribes, the one with the hard heads and the one with the soft heads. Hard heads always tell the truth and soft heads always tell lies. At the crossroads there are two of them. He knows that one is hard-headed and the other is soft-headed. He can only ask one question of one of them. What question must he ask to get safely to the hotel?

Respuesta

 The tourist can ask the following question: “Are you a soft head?” If the person he asks responds “yes”, then that person is a soft head and everything they say is a lie, so the path they indicate leads to the marginal neighborhood. If they respond “no”, then that person is a hard head and everything they say is the truth, so the path they indicate leads to the hotel.

EN ESPAÑOL

Pregunta:
Un turista se encuentra perdido en New York. Llega a una encrucijada donde debe optar por uno de dos caminos. Uno conduce a un barrio marginal donde reina el caos y su vida peligrará. El otro conduce directamente a su hotel. Sabe que hay dos tribus urbanas, la de los cabezas duras y la de los cabezas blandas. Los cabezas duras siempre dicen la verdad y los cabezas blandas siempre dicen mentira. En la encrucijada hay dos de ellos. Sabe que uno es cabeza dura y el otro es cabeza blanda. Sólo puede hacer una pregunta a uno de ellos. Qué pregunta debe hacer para llegar a salvo al hotel?

Respuesta

El turista puede hacer la siguiente pregunta: “¿Eres un cabeza blanda?”. Si el interlocutor responde “sí”, entonces es un cabeza blanda y todo lo que dice es una mentira, por lo que el camino que indica lleva al barrio marginal. Si responde “no”, entonces es un cabeza dura y todo lo que dice es verdad, por lo que el camino que indica lleva al hotel.

Unos días después hice la misma pregunta. El resultado fue un poco más fino pero casi igual el desarrollo. Y lo que es peor, no percibe la contradicción entre la primera y la segunda parte de su respuesta, ni une lógicamente las dos premisas contenidas entre la primera (If the person being asked is hard-headed, they will tell the truth and correctly identify which road the other person (who is soft-headed) would point to ) y la segunda parte (If the person being asked is soft-headed, they will lie and mistakenly point to the road that the other person (who is hard-headed) would point to) del segundo párrafo, para establecer una conclusión. Cosa que haría elementalmente cualquier desarrollo de programación lógica de los años ochenta y noventa, como Prolog. Éste fue el resultado:

Pregunta:

“A tourist is lost in New York. He comes to a crossroads where he must choose one of two paths. One leads to a marginal neighborhood where chaos reigns and his life will be in danger. The other leads directly to his hotel. He knows that there are two urban tribes, the one with the hard heads and the one with the soft heads. Hard heads always tell the truth and soft heads always tell lies. At the crossroads there are two of them. He knows that one is hard-headed and the other is soft-headed. He can only ask one question of one of them. What question must he ask to get safely to the hotel?”

Respuesta

“The tourist should ask either of the two people at the crossroads the following question: “If I were to ask the other person which road leads to my hotel, which road would they point me to?”

If the person being asked is hard-headed, they will tell the truth and correctly identify which road the other person (who is soft-headed) would point to. If the person being asked is soft-headed, they will lie and mistakenly point to the road that the other person (who is hard-headed) would point to.

Therefore, regardless of which person the tourist asks, the answer to the question will always point to the road that leads to the hotel. The tourist can then take that road and arrive safely at the hotel.

 

Contrastan las proclamas iniciales, con unas declaraciones tan ampulosa de visiones tan grandilocuentes, y la humildad de estas pruebas con unos resultados francamente mejorables, sobre sencillas preguntas de texto, fáciles incluso por niños de primaria o secundaria. Hechas siempre sobre enunciados textuales. para que el programa procese, transforme y genere texto.

 Ante ello, las cuestiones que de forma inmediata se nos suscitan, ante el salto que suponen los enunciados y proclamas iniciales de reputados expertos, y la realidad del programa con las respuestas a preguntas tan sencillas, son: 

¿Cómo ChatGPT va a enseñar? ¿Cómo va tutelar, evaluar, … y hacer todo eso que presuponen esos autores en sus visiones? 

¿Cómo va a realizar esas tareas (tutoría, evaluación, diseño instruccional, …),  una aplicación que responde así a este simple problema de primaria, secundaria, k-12? 

Obviamente Clark y otros lo hacen no sólo sin ninguna evidencia en que apoyarse, sino de una forma harto precipitada ¿Qué y quién está detrás de estas situaciones. Clark anuncia una amplia gira internacional para explicar las ventajas de ChatGPT ,  pero no es el único ni el más importante? ¿Quién paga esto?

 

¿Qué son los programas generativos “Transformer” AI, o los generadores de texto a partir de estadísticas de grandes cantidades de datos?

 

Para lo que nos ocupa conviene destacar en primer lugar que cuando se habla de ChatGPT se habla de dos cosas. Aunque de forma banal, en nuestro entorno casi todos, incluso insignes catedráticos, hablan de la primera e ignoran, se supone que no deliberadamente, la segunda. Lo cual es grave, sobre todo cuando se habla desde una perspectiva educativa.

En primer lugar, se trata de un modelo de predicción de texto transformador y generativo. Es una enciclopedia. Pero también es un modelo conversacional basado en un modelo instruccional. Es decir, es un modelo que se basa en la conversación para su  su aprendizaje propio, mediante el cual incorpora criterios. Esto es lo que todo el mundo desconoce u olvida.

En la primera acepción, GPT son las siglas de Generative Pre-trained Transformer. Es un modelo de predicción de texto gigante. Está entrenado por OpenAI en el uso de 500 mil millones de palabras. Su precedente, el GPT-3, y él no solo son capaces de escribir correctamente en varios idiomas, sino que sobre todo es un modelo enciclopédico, en esta acepción, que integra una gran cantidad de referencias y datos del mundo real (personas, eventos, conocimiento científico). Hasta ahora, su precedente GPT-3 nunca se abrió al público en general por razones de riesgo. GPT-3 no tenía un mecanismo de inhibición real basado en experiencia y valores humanos y podía generar cualquier disparate, siempre que el texto sea solo superficialmente coherente.

Según la segunda acepción, ChatGPT se basa en InstructGPT, un modelo conversacional de aprendizaje. Lo importante, para nuestro propósito y nuestro enfoque del tema, es que está basado en el aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF). Es una affordance creada a partir de la anotación de textos generados. Pero lo importante es que el modelo incorpora toda una serie de recompensas y penalizaciones con la función de reforzar la coherencia del texto generado, evitar falsedades flagrantes, pero también moderar por anticipación de posibles derivas tóxicas.  Mediante estas funciones, ChatGPT, de entre todo inmenso repertorio de de respuestas lingüísticamente correctas que se podrían generar, ChatGPT opta por aquellas que son más correctas en un contexto de chat: esto se llama “alineación de IA”. Basado en este mismo principio, ChatGPT a veces también se niega rotundamente a responder.

Esta doble naturaleza condiciona y hace comprender la esencia y las limitaciones de ChatGPT. La distinción entre modelo textual y modelo conversacional es fundamental para entender cómo funciona:

• El modelo lingüístico no está actualizado y no se alimenta de las sugerencias de los usuarios. La formación, la actualización de las bases de datos es muy cara y solo se renovará una vez al año por término. Esta es la razón por la que no hace referencias al mundo después de 2021 ¹
• El modelo conversacional continúa refinándose en función de las contribuciones de los usuarios cada 3 o 4 semanas en promedio. Con ellas OpenAI mejora la alineación del modelo con la intención del usuario o la plataforma. Ante la paralización del modelo textual, el modelo conversacional hace generaciones de mayor calidad y, como      consecuencia, de su metodología de refuerzo, penaliza más a las generaciones no deseadas. La última versión, fechada el 30 de enero último, penaliza más “alucinaciones”. Término utilizado para designar generaciones puramente poco o nada reales o posibles). 

 

Qué son

Los programas transformadores en IA son una modalidad de arquitectura de redes neuronales que ha ido ganando popularidad. A su vez, las redes neuronales son redes de nodos que simulan las redes de neuronas biológicas (no necesariamente humanas). Y tienen la virtud de aprender de una determinada forma: Las redes neuronales aprenden (o son entrenadas) procesando ejemplos, cada uno de los cuales contiene una “entrada” y un “resultado” computables como sucesos probabilísticos, de manera que se pueden establecer asociaciones ponderadas de probabilidad entre los dos (en esto tiene mucha importancia el análisis bayesiano), que se almacenan dentro de la estructura de datos de la propia red. 

Los transformadores han sido puestos de moda por OpenAI en los modelos de lenguaje precedentes de ChatGPT, la serie GPT, y en el propio ChatGPT, pero también fueron utilizados antes sin tanta resonancia, como por ejemplo por DeepMind para AlphaStar, su programa que derrotó a un jugador profesional de Starcraft.

En general los programas transformadores IA se desarrollaron para resolver el problema conocido como de la transducción de secuencias (Graves, 2012) (transdution sequence en inglés) o traducción automática neuronal. Eso tiene que ver con cualquier tarea automática de dispositivo digital que transforme una secuencia de entrada en una secuencia de salida de carácter distinto. Esto incluye reconocimiento de voz, transformación de texto a voz, reconocimiento de imágenes, etc.

El transformador IA GPT-3, y después ChatGPT, no suponen ninguna novedad conceptual más allá de la potencia de sus bases de datos y la capacidad de sus algoritmos para procesar esa gran cantidad de datos rápidamente. De ahí lo de grande en large language models (LLM) como de otra forma se llaman^[1]. Funcionan como un completador de texto altamente capacitado, similar al que se encuentra en los teléfonos móviles y las interfaces de correo electrónico. Lo que sucede es que en lugar de mirar hacia atrás a los últimos caracteres y usarlos para predecir la próxima palabra o dos, presta atención a las 700 u 800 palabras anteriores que ha escrito, para continuar escribiendo una historia corta completa, un blog o un ensayo de estudiante. Ese mismo tipo de programa también puede resumir un artículo científico en un lenguaje más simple, escribir una reseña, traducir idiomas y responder preguntas generales. En resumen, un Transformer AI es una herramienta de lenguaje de propósito general.

Y éste va a ser su gran déficit para lo que estamos tratando, la educación.

 “Los grandes modelos de lenguaje preentrenados no se basan en otros dominios de la experiencia, como el video o la interacción física del mundo real, y por lo tanto carecen de una gran cantidad de contexto sobre el mundo” (Brown, et al. , 2020 , p.34). Los transformadores son modelos de lenguaje, no de conocimiento a través de la experiencia, la asignación de sentido o los valores. No están diseñados para ser humanos reflexivos, ecuánimes y éticos, o en particular para ser académicos, para verificar referencias académicas y garantizar que la evidencia esté basada en hechos. En términos humanos, son esencialmente inexpertos, irreflexivos y amorales. No tienen la capacidad de reflexionar sobre lo que han escrito, ni de juzgar si es exacto y decente.

 

Conclusiones generales sobre ChapGPTG y otros Large language models

 

Coincidiendo con Sharples (2022) pensamos que las características enunciadas en el apartado anterior harán que ChatGPT tenga poco futuro en la Educación. No podemos poner en las manos de un agente deseablemente educativo, sea chatbot u otro, la posibilidad de que suministre a los alumnos un contenido hipotéticamente inapropiado o del que no podemos garantizar que no lo sea. En todo caso lo podríamos poner en manos de profesionales consolidados con un juicio, capacidad profesional y experiencia que le permita discernir y evaluar los contenidos ofrecidos por ChatGTP más allá de lo que ofrece como resultado de una consulta.

Consciente de ello, OpenAI ha proporcionado un complemento para GPT-3 que filtra el lenguaje inapropiado. Sin embargo, es poco probable por el costo que supone en relación con la rentabilidad que la empresa produzca herramientas para verificar la precisión de los resultados en relación en todo caso con la exactitud de las fuentes de donde se toman los datos o las afirmaciones evaluando su rigor como lo podría hacer un humano. De esta manera, como hemos dicho, el enfoque y la aplicación estaría en la inteligencia artificial general apoyando trabajos profesionales, no en la educación. 

Quizás otras empresas, en un futuro, podrían suministrar herramientas para verificar la precisión y la fiabilidad de las referencias generadas o para agregar referencias específicas para un artículo. Pero en todo caso estas herramientas no superarían la limitación fundamental de los modelos de los lenguajes Transformer, como ChatGPT: que no tienen un modelo interno evaluable y accesible para modificar en función de cómo funciona el mundo, proporcionando una base de conocimientos para que el sistema reflexione sobre la precisión y la sapiencia de su trabajo generado. 

Gunning et al (2019) están realizando investigaciones para desarrollar una IA neuronal explicable y Garcez & Lamb (2020) están investigando sistemas híbridos de IA neuronal/simbólica que podrían abordar este problema.

En todo caso coincidimos con Sharples (2023) cuando en un tuit dice:

He visto a algunos académicos desconcertados sobre por qué ChatGPT inventa referencias académicas y por qué su “base de datos” se detiene en 2021. Ese es un malentendido fundamental de cómo funciona. Es un modelo de lenguaje, no una base de conocimiento. Produce “continuaciones” no “hechos”. Necesitamos una nueva alfabetización en IA.[2]

Como ideas generales pensamos que además de lo dicho esta línea de desarrollo, para ser realmente eficiente y para su puesta en práctica de forma generalizada, más allá de las intenciones enunciadas por los posts y notas de prensa de sus departamentos de comunicación y marketing, debe profundizar en

1. A) Utilizar como herramientas más finas las que se derivan del nuevo pensamiento bayesiano que expusimos (Zapata-Ros, M. & Palacios, Y. B., 2021), para seleccionar en función de una analítica de datos, para la cual tienen ya potentes bases, las respuestas en los informes a las preguntas que se les hacen.
2. B) Tener presente elementos más finos de lo que son procesos cognitivos de aprender y sobre qué es aprender.

Respecto de lo primero, el análisis y razonamiento probabilístico es un subcampo del aprendizaje automático aplicado al procesamiento del lenguaje natural (PNL). Y, en su contexto, un campo de Probabilidad, la estadística bayesiana, puede ofrecer técnicas únicas para el PNL.

Como en el resto de la tradición bayesiana, pero ahora apoyada por el análisis de grandes conjuntos de datos, la asignación de probabilidad a un suceso se basa en la probabilidad de su inverso (probabilidad a priori), a través del resultado en experimentos conocidos (probabilidad inversa, probabilidad compuesta y teorema de Bayes). En contraposición a la otra gran escuela clásica, la asignación a través de la frecuencia (probabilidad determinista o frecuentista) (Drury, agosto 2019):

Cohen (2019) afirma que el objetivo de la estimación puntual bayesiana es: “resumir la parte posterior de los parámetros en un conjunto fijo de parámetros”, y vincula este objetivo a un enfoque frecuentista conocido como estimación de máxima verosimilitud. 

En otro trabajo Barrow (2019 Apr), glosando el libro de Cohen (2019) dice:

El procesamiento del lenguaje natural (PNL) experimentó una profunda transformación a mediados de la década de 1980 cuando cambió para hacer un uso intensivo de corpora y de técnicas basadas en datos orientadas al análisis del lenguaje. Desde entonces, el uso de técnicas estadísticas en PNL ha evolucionado de varias formas. Un ejemplo de evolución tuvo lugar a finales de la década de 1990 o principios de la de 2000, cuando se introdujeron las herramientas bayesianas, en toda regla, en el PNL. Este enfoque bayesiano del PNL ha llegado a suplir resolviendo varias deficiencias en el enfoque frecuentista enriqueciéndolo, especialmente en el entorno no supervisado, donde el aprendizaje estadístico se realiza sin ejemplos de predicción de objetivos.

 

En esquema, este proceso de asignación bayesiana de la probabilidad apoyada con analítica de grandes datos sería

Fig. 1 Imagen obtenida de Zapata-Ros, M. & Palacios, Y. B. (2021)

 Hemos visto este uso de la probabilidad bayesiana en la pandemia, en modelos de epidemiología, para determinar modelos de evolución de datos sobre contagio y fallecimientos en el COVID y en el procesamiento del lenguaje natural. Pero igualmente podríamos verlo en multitud de casos en los más variados ampos científicos y de análisis de procesos. De esta forma, con la automatización de los métodos bayesianos y el uso de modelos gráficos probabilísticos es posible identificar patrones y anomalías en voluminosos conjuntos de datos en campos tan diversos como son los corpus lingüísticos, los mapas astronómicos, añadir funcionalidades a la práctica de la resonancia magnética, o a los hábitos de compra con tarjeta, online o smartphones. Esto por señalar sólo algunos casos, como son los que se asocian con el análisis de grandes datos y la teoría bayesiana. Pero hay muchos más (Bundy, 2007 y Wing, 2008, a través de Zapata-Ros, 2020 agosto).

Este esquema está presente en multitud de casos. A lo dicho en anteriores ocasiones hay que añadir ahora la idea de pensamiento computacional generalizado (pervasive computational thinking) como avance y desarrollo de lo tratado en el pensamiento computacional simple, el que Wing (2006) plantea en su primera aproximación.

Abundan evidencias sobre la influencia del pensamiento computacional apoyado por el análisis bayesiano en otros campos: Está transformando las estadísticas, donde con el aprendizaje automático, la automatización de los métodos bayesianos y el uso de modelos gráficos probabilísticos es posible identificar patrones y anomalías en voluminosos conjuntos de datos. Esto sería deseable que se incorporase también en futuros Large language models y otros modelos de transformadores de lenguaje

Respecto de lo segundo, y a propósito del ejemplo del pez y de su cabeza, convendría tener presente y como base de estudios y desarrollos un tratamiento más riguroso y detallado  de los avances de la psicología cognitiva, y no quedarse en teorías obsoletas como son las del aprendizaje por refuerzo, y de las teorías instruccionales sobre lo que son procesos cognitivos de aprender y sobre qué es aprender y cómo se utilizan en el diseño educativo. Lo hemos visto antes y también lo veremos más adelante, cuando hablemos de condiciones del aprendizaje, comprender, atribuir sentido, incorporación, autonomía y transferencia. Y de cómo ello debe ser garantizado por una autentica evaluación, de manera formativa y con dominio en el aprendizaje.

 

Repercusiones para la educación y para el aprendizaje.

 

Repercusiones positivas

Bastantes cosas de las que se han dicho sobre las ventajas del ChatGPT en educación, matizadas y contextualizadas adecuadamente, son ciertas.

Así por ejemplo es obvio que este transformer como el resto forman parte de la IA de asistencia educativa tutorizada. De cuya naturaleza educativos participan. También es previsible que compartan esa naturaleza las versiones sucesivas ChatGPT-n. Lo que se dice de esta AI es cierto para ellos: proporcionarían acceso de forma sistematizada a la información existente y a autoservicios de ese tipo, de forma permanente las 24 horas del día, los 7 días de la semana. Todo ello si no entramos más en detalle de como lo hacen, con qué fiabilidad, etc tal como lo hemos visto y lo seguiremos viendo.

También serán útiles para cierto tipo de evaluación.  Sobre todo, si consideramos que unas pruebas “objetivas” del tipo de respuesta múltiple o de verdadero y falso, más sofisticadas que las actuales en el sentido de tener más en cuenta condiciones de contexto, se pueden considerar evaluación de aprendizajes y de logros.

Así, a lo largo de muchos años, la IA que apoya a los estudiantes se ha desarrollado para incluir, por ejemplo, herramientas de aprendizaje adaptativo “para dominios complejos como lenguajes de programación, matemáticas, medicina, física, solución de problemas de aviónica y electrónica” (Wasson 1997 : 572); también para la captura y el análisis de una amplia gama de señales en el aula (por ejemplo, medir la atención, la empatía y la emoción), el uso de una gama cada vez mayor de hardware (desde teléfonos móviles hasta auriculares EEG), en cuyo contexto y con cuya ayuda se han diseñado chatbots para brindar a los alumnos soporte todo el tiempo, y por último , para incluir organizadores de redes de aprendizaje diseñados para construir comunidades de estudiantes, evaluación automática de escritura, etc.

En general en las últimas tres décadas, la mayor parte del enfoque de investigación sobre IA y Educación (AIED) se ha centrado en el apoyo que la IA puede suministrar al del alumno, pensando en aquella que, por definición, tiene como objetivo automatizar las funciones del docente, de modo que los alumnos puedan aprender independientemente de que tengan profesor o no. Es decir, que tengan su propio tutor personal artificial y puedan aprovechar en sentido muy relajado lo que se sostiene acerca de la enseñanza mentorizada  a partir de las conclusiones del estudio conocido como problema de dos sigmas de Bloom.

Sin embargo, gran parte de todo esto adopta un enfoque bastante tosco y primitivo de la pedagogía y, con demasiada frecuencia, se centra en la automatización de prácticas pedagógicas poco eficientes para satisfacer a usuarios poco exigentes, cuando no banales, en lugar de la esforzarse por una innovación de pedagogía científica de calidad, como es por ejemplo de idear formas innovadoras de evaluar y acreditar el aprendizaje, en lugar de facilitar exámenes sin abandonar la idea del propio examen como verificación de registro memorístico o de información, pero cada vez con recursos de verificación de esa información, en vez de considerar la verificación como evaluación del aprendizaje real.

Un beneficio claro está siendo la emergencia y la constatación de la necesidad de otras ideas positivas alternativas para utilizar los transformers o con ellos. Así podemos ver que en los próximos tiempos podrían ocurrir algunas de estas cosas:

El ensayo, trabajo fin de máster (TFM), de Grado (TFG), de asignatura, o como quiera que se le llame o se utilice, perdería vigencia. Los profesores podrían restringir las asignaciones por estos conceptos, en las ponderaciones que se hagan para superar estudios, a los trabajos informes o de ensayos, en favor de otro tipo de pruebas como son exámenes supervisados, o trabajos y prácticas muy supervisadas con entrevistas. El problema es que estos procedimientos no generan pruebas, son poco formales, y consumen mucho tiempo. 

Otra alternativa que podría generarse es la de establecer tareas escritas reflexivas y contextualizadas que la IA no podría generar. Para esto es clave la interacción. De manera que los sucesivos refinamientos tengan que hacer alusión a las propuestas de mejora específicas de profesor.  Por ejemplo, el tutor podría asignarle a cada estudiante un proyecto de investigación independiente, luego solicitar un informe escrito sobre ese proyecto concreto, dar retroalimentación al estudiante sobre el informe y luego pedirle que escriba una reflexión crítica sobre la retroalimentación y los problemas planteados por el proyecto a los que aludió en su primer informe de revisión.

En fin, existen muchas formas imaginativas y nuevas, algunas de las cuales pueden integrar incluso los programas Transformers. La cuestión es que en todas estas como en las anteriores se exigen un considerable esfuerzo por los profesores y un pacto tácito de confianza y de colaboración por parte de alumnos y familias.

Así, una forma imaginativa de incorporar texto generado por estos procedimientos en las tareas educativas, podría ser que el profesor emplee un Transformer AI para generar un conjunto de ensayos alternativos sobre un tema, luego pida a los estudiantes que los critiquen y escriban sus propias versiones mejores. 

O que establezca una pregunta compleja y luego pida a cada estudiante que genere respuestas de IA a la pregunta y que sea el estudiante el que evalúe estas respuestas en relación con los criterios de evaluación. 

Seguro que en la literatura y en las prácticas experimentales aparecerán opciones de uso educativo de los Transformers, pero nunca tendrán los efectos taumatúrgicos que ahora se les otorgan.

 

Repercusiones negativas

Se puede decir que tiene tantas repercusiones negativas como positivas hemos visto, siempre que no se no se satisfagan unas mínimas condiciones de intervención educativa humana.

Así cuando hablamos de acceso de forma sistematizada a información existente o de proporcionar autoservicios que funcionan las 24 horas del día, los 7 días de la semana las consecuencias pueden no ser educativas sino que se pueden incluso derivar en aprendizajes no deseados o perjudiciales, a consecuencia de ausencia de metacognición o de criterios adecuados de administrar la información y de valorarla críticamente. Este efecto también puede producirse a consecuencia de una ausencia de elaboración propia del alumno, con la falta de una adecuada atribución de sentido y, la ya señalada, de interacción que valide la corrección de las respuestas. Cuestión que, como hemos visto, en sentido educativo, ChatGPT no tiene ni se espera que lo tenga próximamente, por no estar en la agenda y ser muy caro. Lo primero como consecuencia de lo segundo.

 

Cuestiones en las que ChapGPT participa de las características de la IA educativa:

Por último, no conviene olvidar que los Transformers y el ChatGPT participan de todos aquellos factores que hacen criticables la IA por tomar decisiones basadas en resultados algorítmicos. Es decir, de todos los inconvenientes que en general tienen que ver con la IA como generadora de ideas sin mediación ni validación humana intermedia.

En educación, esto es aplicable igualmente a ChatGPT

Surden (2019) identifica problemas de la sociedad contemporánea que incluyen el sesgo en la toma de decisiones algorítmicas, en la interpretabilidad de sistemas de muy variada naturaleza a través de la IA. Y que son derivados de la falta de transparencia sobre cómo los sistemas de IA toman sus decisiones y en la deferencia que se hace hacia ellos como con una especie de respeto y de reverencia que los hace como no cuestionables. Todos ellos considerados como problemas en línea con los desafíos reconocidos para la IA y su aplicación en general.

Este razonamiento y estas conclusiones las hace Surden cuando describe la aplicación de la IA en el uso y estudio de las leyes. Pero cada uno de estos temas contemporáneos es, de forma análoga, extremadamente relevante para comprender y evaluar el uso de la IA en la educación, en particular a la luz de lo que pueda surgir con ChatGPT

 

No olvidemos que en su origen es un producto de la psicología conductista más pura, del aprendizaje por refuerzo

Cuando creíamos que los modelos simplistas y mecanicistas de la psicología conductista y del aprendizaje humano por refuerzo ya se habían extinguido y se consideraban como una cosa del pasado, ahora resucitan con los Transformers GPT.

Recordemos que, según toda la literatura suministrada por Open AI, ChatGPT se basa en InstructGPT, un modelo conversacional de aprendizaje por refuerzo a partir de la retroalimentación humana ( RLHF ) ). Es una versión “rectificada” de GPT-3, creada a partir de procesos de anotación genérica de textos, que genera otros textos. De esta forma, el modelo incorpora para ello toda una serie de recompensas y penalizaciones que cumplen varias funciones: reforzar la coherencia del texto generado, evitar falsedades flagrantes, pero también moderar por anticipación  posibles derivas tóxicas. 

Así pues, el avance de ChatGPT sobre los GPT3 y anteriores se basa en que, de todo el universo de respuestas lingüísticamente correctas que podrían generar los predecesores, chatGPT opta por aquellas que son más correctas en un contexto de chat: esto se llama “alineación de IA”. Utilizando este mismo principio, chatGPT a veces también se niega rotundamente a responder.

Éste es el esquema:

Imagen 1. Fuente y original: Ryan Lowe & Jan Leike (January 27, 2022) Aligning language models to follow instructions.  Language, Human feedback, Safety & Alignment, Responsible AI, Milestone, Publication. https://openai.com/research/instruction-following

Texto del esquema traducido

Paso 1

Izquierda:

 

Recopile datos de demostración y entrene una política supervisada.

Se muestrea un aviso de nuestro conjunto de datos de avisos.

Una etiquetadora demuestra el comportamiento de salida deseado.

Estos datos se utilizan para afinar GPT-3.5 con aprendizaje supervisado.

 

Derecha:

 

Explique el aprendizaje por refuerzo a un niño de 6 años.

Damos golosinas y castigos para enseñar…

SFT

 

Paso 2

 

Izquierda

 

Recopile datos de comparación y entrene un modelo de recompensa.

Se muestrean un aviso y varias salidas del modelo.

Una etiquetadora clasifica los resultados de mejor a peor.

Estos datos se utilizan para entrenar nuestro modelo de recompensa.

 

Derecha

Explique el aprendizaje por refuerzo a un niño de 6 años.

 

 

Paso 3

 

Izquierda

 

Optimice una política contra el modelo de recompensa utilizando el algoritmo de aprendizaje por refuerzo de PPO.

Se muestrea un nuevo aviso del conjunto de datos.

El modelo PPO se inicializa desde la póliza supervisada.

Explique las recompensas…

Damos golosinas y castigos a

La política genera una salida.

El modelo de recompensa calcula una recompensa por la salida.

La recompensa se utiliza para actualizar la póliza mediante PPO.

 

Derecha

 

Escribe una historia sobre las nutrias.

OPP

Érase una vez…

RM

RM

 

Este trabajo (Ryan Lowe & Jan Leike, January 27, 2022)  enlaza con otro documento del propio Open IA que hace referencia al aprendizaje por refuerzo: InstructGPT.

En este documento y en otros se señala que, para enseñar a los tres modelos (Chap GPT, GPT 3 e InstructGPT), se utilizaron formas semejantes a las conductistas o de aprendizaje por condicionamiento o por refuerzo para enseñar a los programas, para que aprendiesen por estos métodos desfasados.

Dando por supuesto eso, nos podemos plantear ¿se puede enseñar sin saber aprender? ¿Podrían estos programas actuar como educadores si están hechos sin conocer los modelos y teorías vigentes y probadas del aprendizaje? ¿Qué garantías ofrecen?
Eso cuestionaría todo el uso educativo o al menos como tutor o instructor o evaluador de ChatGPT

De hecho, el aprendizaje por refuerzo hace que el ChatGPT esté en una fase histórica del desarrollo del aprendizaje previa a las ideas y a los planteamientos cognitivos.

Al programa se le enseña por refuerzo, pero carece de habilidades, métodos o formas de operar (de hecho, los programadores ni se lo plantean en sus algoritmos, no hay una pedagogía y mucho menos una pedagogía cognitivista) que tengan en cuenta:

•  La atribución de sentido
• La experiencia o experiencias vividas e incorporadas.
• Los valores.

Tampoco cuestiones, desarrollos y condiciones que implican considerar el conocimiento estructurado por relaciones de significación necesarias para ensamblar, integrar y cohesionar los nuevos conocimientos con los previos. Es lo que se llama el andamiaje cognitivo, los conceptos inclusores, los conceptos previos, las relaciones de significación, etc.

En definitiva, a ChatGPT le falta el alma o lo que Siemens consideraba el “beingness”^[1]

 

Este procedimiento, el de recurrir a la imitación humana del aprendizaje por refuerzo, lo podemos ver en las propias declaraciones de OpenIA:

En Introducing ChatGPT dice, en el apartado “métodos”:

Entrenamos este modelo usando Aprendizaje por refuerzo a partir de retroalimentación humana (RLHF), usando los mismos métodos que  InstructGPT , pero con ligeras diferencias en la configuración de recopilación de datos. Entrenamos un modelo inicial mediante un ajuste fino supervisado: los entrenadores humanos de IA proporcionaron conversaciones en las que jugaron en ambos lados: el usuario y un asistente de IA. Les dimos a los capacitadores acceso a sugerencias escritas en modelos para ayudarlos a redactar sus respuestas. Mezclamos este nuevo conjunto de datos de diálogo con el conjunto de datos InstructGPT, que transformamos en un formato de diálogo.

Para crear un modelo de recompensa para el aprendizaje por refuerzo, necesitábamos recopilar datos de comparación, que consistían en dos o más respuestas del modelo clasificadas por calidad. Para recopilar estos datos, tomamos conversaciones que los entrenadores de IA tuvieron con el chatbot. Seleccionamos al azar un mensaje escrito por un modelo, probamos varias finalizaciones alternativas e hicimos que los entrenadores de IA las clasificaran. Usando estos modelos de recompensa, podemos ajustar el modelo usando la  Optimización de Política Proximal . Realizamos varias iteraciones de este proceso.

 

En la descripción que se hace de InstructGPT en el documento Aligning language models to follow instructions de OpenIA, dice:

Para hacer que nuestros modelos sean más seguros, más útiles y más alineados, utilizamos una técnica existente llamada  aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) . En las solicitudes enviadas por nuestros clientes a la API, nuestros etiquetadores brindan demostraciones del comportamiento deseado del modelo y clasifican varios resultados de nuestros modelos. Luego usamos estos datos para ajustar GPT-3.

Los modelos InstructGPT resultantes son mucho mejores para seguir instrucciones que GPT-3. También inventan hechos con menos frecuencia y muestran pequeñas disminuciones en la generación de productos tóxicos. Nuestras etiquetadoras prefieren las salidas de nuestro modelo 1.3B InstructGPT a las salidas de un modelo 175B GPT-3, a pesar de tener más de 100 veces menos parámetros. Al mismo tiempo, demostramos que no tenemos que comprometer las capacidades de GPT-3, según lo medido por el rendimiento de nuestro modelo en las evaluaciones académicas de PNL.”

Y también, en ese mismo documento, sobre InstructGPT () dice

“Para entrenar modelos de InstructGPT, nuestra técnica central es  el aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) , un método que ayudamos a ser pionero en nuestra investigación de alineación anterior. Esta técnica utiliza las preferencias humanas como una señal de recompensa para ajustar nuestros modelos, lo cual es importante ya que los problemas de seguridad y alineación que buscamos resolver son complejos y subjetivos, y no se capturan completamente mediante métricas automáticas simples.”

Por último, en el documento “Learning from human preferences“. dan una vuelta de tuerca más al decir que se basan en los mecanismos simples, que utilizan los humanos para discernir entre dos procedimientos, que utilizan los juegos de Atari, en un alarde de conductismo primario:

Hemos probado nuestro método en una serie de tareas en los dominios de robótica simulada y Atari (sin tener acceso a la función de recompensa: en Atari, sin tener acceso a la puntuación del juego). Nuestros agentes pueden aprender de los comentarios humanos para lograr un rendimiento sólido y, a veces, sobrehumano en muchos de los entornos que probamos. En la siguiente animación puedes ver agentes entrenados con nuestra técnica jugando a una variedad de juegos de Atari.

Para a continuación ilustrar el tema con animaciones de juegos elementales del tipo:

Imagino que tanto Clark como Pedreño habrán visto esto antes de realizar las declaraciones que señalábamos al principio de este documento (serie de posts).

No todo es descartable, en “aprender de las preferencias humana” hay un esquema interesante al menos la parte suficiente para justificar que es compendio de métodos e ideas conductistas los que se utilizan para enseñar a ChatGPT. Es un ciclo de retroalimentación de 3 pasos entre el ser humano, la comprensión del objetivo por parte del agente y la capacitación por RL (aprendizaje por refuerzo restringido al mundo de los videojuegos, Reinforcement Learning RL^[2])

Imagen 2

Que nos sugiere este otro:

Imagen 3

 

  

[1] “Beingness is the final domain of human intellectual effort and should be the core of schooling.” — George Siemens, 2023. Twitter.

[2] Reinforcement Learning is a study of an agent learning through interactions with the environment. Thus, to test and compare results of different reinforcement learning algorithms, we need testbed environments. By far the most commonly used testbed has been 57 Atari 2600 games. However, different environments require different exploration schemes and different algorithms. Thus, it is important to have various environments.

Referencias

Barrow, B. (2019 Apr) Bayesian Analysis in Natural Language Processing: Cohen. https://linguistlist.org/issues/30/30-1843/

Blanco-González, A. et al. Preimpresión en arXiv https://doi.org/10.48550/arXiv.2212.08104 (2022).

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P. … Amodei, D. (2020). Language models are few-shot learners. Advances in Neural Information Processing Systems, 33, 1877–1901 Clark, D. (2023) Twitter. https://twitter.com/DonaldClark/status/1618422817590243333

Bundy, A. 2007 Computational thinking is pervasive. J. Scient. Pract. Comput.1, 67–69. 

Clark, D. (2023). OpenAI releases massive wave of innovation. https://donaldclarkplanb.blogspot.com/2023/02/

Clark, D. (2023b). https://twitter.com/DonaldClark/status/1618422817590243333

Cohen, S. (2019). Bayesian analysis in natural language processing. Synthesis Lectures on Human Language Technologies, 12(1), 1-343.

Drury, B.(2019 Aug). Bayesian Analysis in Natural Language Processing, in Review: Computational Linguistics; Text/Corpus Linguistics: Cohen (2019). https://linguistlist.org/issues/30/30-4380/

Gao, CA et al. Preimpresión en bioRxiv https://doi.org/10.1101/2022.12.23.521610 (2022).

Graves, A. (2012). Sequence transduction with recurrent neural networks. arXiv preprint arXiv:1211.3711. https://arxiv.org/abs/1211.3711 Graves, 2012

Garcez, ADA y Lamb, LC (2020). IA neurosimbólica: la tercera ola. preimpresión de arXiv arXiv:2012.05876

Graves, A. (2012). Sequence transduction with recurrent neural networks. arXiv preprint arXiv:1211.3711. https://arxiv.org/abs/1211.3711

Gunning, D., Stefik, M., Choi, J., Miller, T., Stumpf, S. y Yang, GZ (2019). XAI—Inteligencia artificial explicable. Ciencia Robótica , 4 (37), eaay7120

Kruse, O. (2006). The origins of writing in the disciplines: Traditions of seminar writing and the Humboldtian ideal of the research university. Written Communication, 23(3), 331–352

Newton, P. M. (2018, August). How common is commercial contract cheating in higher education and is it increasing? A systematic review. Frontiers in Education, 3(67), doi: https://doi.org/10.3389/feduc.2018.00067

O’Connor, S. & ChatGPT Educación en enfermería. Practica 66 , 103537 (2023).

Pedreño. A. (2023) ChatGPT y las universidades.  https://www.universidadsi.es/chatgpt-y-las-universidades/

Race, P. (2018). Is the ‘time of the assessed essay’ over? University of Sussex blog article, November 14, 2018. https://blogs.sussex.ac.uk/business-school-teaching/2018/11/14/is-the-time-of-the-assessed-essay-over/

Saul, D. (2023). ‘AI Is The New Electricity’: Bank Of America Picks 20 Stocks To Cash In On ChatGPT Hype. Forbes BUSINESS. https://www.forbes.com/sites/dereksaul/2023/03/01/ai-is-the-new-electricity-bank-of-america-picks-20-stocks-to-cash-in-on-chatgpt-hype/

Science, Technology, and Public Policy (2022) Parthasarathy discusses implications of Large Language Models. https://stpp.fordschool.umich.edu/news/2022/parthasarathy-discusses-implications-large-language-models

Sharples, M. Automated Essay Writing: An AIED Opinion. Int J Artif Intell Educ 32, 1119–1126 (2022). https://doi.org/10.1007/s40593-022-00300-7 Utiizado como un documento base él y sus referencias. https://link.springer.com/article/10.1007/s40593-022-00300-7

Sharples (2023) Twitter https://twitter.com/sharplm/status/1615607290320519169

Stokel-Walker  C.  ChatGPT listed as author on research papers: many scientists disapprove.   Nature. 2023;613(7945):620-621. doi:10.1038/d41586-023-00107-z

Surden H. (2019), “Inteligencia artificial y derecho: una descripción general”, Revista de derecho de la Universidad Estatal de Georgia, vol. 35, disponible en https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3411869# .

Turnitin (2020). How Teachers Can Prepare for AI-Based Writing. Turnitin blog article, May 21, 2020. https://www.turnitin.com/blog/how-teachers-can-prepare-for-ai-based-writing

 Wing, J.M. (2006) Computational thinking. it represents a universally applicable attitude and skill set everyone, not just computer scientists, would be eager to learn and use. Commun. ACM 49(3). https://doi.org/10.1109/vlhcc.2011.6070404

Wing, J.M. (July 2008) Computational thinking and thinking about computing. The Royal Society Publishing. https://doi.org/10.1098/rsta.2008.0118 https://royalsocietypublishing.org/doi/10.1098/rsta.2008.0118 https://royalsocietypublishing.org/doi/pdf/10.1098/rsta.2008.0118

 Zapata-Ros, M. & Palacios, Y. B. (2021). El pensamiento bayesiano, un pensamiento computacional omnipresente. Revista de Educación a Distancia (RED), 21(68)

 

Carmen Yazveth García-Almeida

carmen.garcia@uaz.edu.mx

Universidad Autónoma de Zacatecas

 

Introducción

 

Como investigadores tenemos la necesidad de evaluar el comportamiento de la ciencia, las tendencias que existen en cuanto a citaciones, como menciona Zapata-Ros (2022) conocer el estado de los artículos, su impacto y citas para, de ser necesario reorientar las investigaciones, siempre con el objetivo de una vez culminado un estudio comenzar la difusión de los resultados, para ello es preciso analizar el comportamiento de las citaciones en las tres principales bases de datos Google Scholar, Scopus y Web of Science (WoS). Cabe decir que muchas de las publicaciones de acceso abierto de las distintas ciencias o disciplinas se encuentran en Google Scholar.

 

Sobre esto, la página oficial de WoS menciona la existencia de diferencias entre las publicaciones encontradas en esta base de datos respecto a Google Scholar (GS) y esto se debe a que mientras en la primera el contenido es seleccionado de acuerdo a estándares estrictos y revisión por pares, -lo mismo para Scopus-, en GS son conjuntos de publicaciones con mayor inclusión de distintos tipos de documentos  como artículos de revista, disertaciones de tesis, capítulos de libros, preprints, entre otros, lo cual según Bustos-Gonzalez (2015) no se consideran investigaciones científicas o documentos citables.

 

Sobre esto último, Orduna-Malea et al. (2015) y Martín-Martín et al. (2018) mencionan que GS indexa documentos con una estructura académica lo cual otorga una mayor cobertura de literatura científica y académica comparada con Scopus y WoS cuyas políticas de inclusión son más selectivas, basadas en “journals”. Además, es considerada la base de datos sobre publicaciones científicas más amplia e incluyente que existe, indexa fuentes de múltiples sitios, incluyendo literatura gris, convirtiéndose en una de las principales bases de datos que permite al investigador potenciar su visibilidad y reputación científica (García- Peñalvo, 2018). Mientras que según Santa y Herrero-Solana (2010), Scopus es una de las principales bases de datos multidisciplinar que existe; sin embargo, tanto esta base de datos como WoS tienen poca cobertura en disciplinas como las Ciencias Sociales y Humanidades (Chavarro et al., 2018).

 

Cabe decir, que los datos de citación están determinados por la cobertura de cada una de las bases de datos en las disciplinas del campo de conocimiento (Bar-Ilan et al. (2007); Neuhaus y Daniel (2007)), esto pudiera estar relacionado con los instrumentos utilizados por investigadores para la recolección de datos, pues mientras GS tiene criterios más flexibles de aceptación de contribuciones, revistas indexadas a Scopus y WoS consideran normas explícitas y criterios de evaluación de contribuciones rigurosos que determinan su aceptación. Además, según Rozemblum et al. (2021) existen disciplinas como las Ciencias Sociales poco representadas en estas bases de datos, lo que pudiera estar relacionado con la evaluación que hace el editor de determinada revista sobre la metodología utilizada, concretamente los instrumentos de recolección, aspecto evaluado rigurosamente para garantizar la objetividad y verdadero aporte al campo científico no aceptando los llamados self reports para comprobación de hipótesis, pero ampliamente utilizados en la disciplina mencionada (Avello, 2022); entonces, esto pudiera repercutir en la tasa de aceptación de documentos de esta categoría en dichas bases de datos.

 

En el presente documento se analiza el trabajo de Martín-Martín, Orduna- Malea, Thelwall y López- Cózar (2018) respecto a la comparación de las citaciones encontradas en Google Schoolar, WoS y Scopus de varias de las disciplinas o categorías del conocimiento y a partir de los datos encontrados por estos autores se ofrece una reflexión sobre la relación entre los instrumentos de recolección de información utilizados en las investigaciones y las citaciones de las publicaciones de estas. Cabe resaltar que no se pretende aseverar un hecho sino llegar a un análisis y reflexión a partir de datos encontrados por los autores.

 

 

La visibilidad del autor

 

En el siglo XXI gracias al Internet la manera de difundir ciencia ha cambiado, la difusión no es exclusiva de los medios impresos y con ello la visibilidad de un autor y por ende la institución de la que forma parte se amplían de manera significativa. De manera que, al estar presente una publicación en varias bases de datos se amplía y diversifica su visibilidad repercutiendo tanto al autor como al grupo académico y ranking de la institución educativa a la que pertenece mejorando además su reputación como investigador (Rozemblum et al., 2021). Al respecto García Peñalvo (2018) asevera que uno de los factores que determinan la visibilidad y capacidad de recibir citas es tener perfiles públicos en las principales bases de datos científicas Google Scholar, Scopus y WoS.

 

Sobre esto, la reputación científica es entendida como el prestigio que tiene un investigador gracias a la calidad e impacto de sus resultados de investigación y se encuentra estrechamente relacionada con la identidad digital, concepto que tiene mayor peso cuando se establecen evidencias que permiten identificar indicadores para medir el impacto de la producción científica y que forman parte de un sistema de evaluación para ranking de instituciones e investigadores pertenecientes a estas (García-Peñalvo, 2018); esto se encuentra estrechamente relacionado con la citación.

 

Sin embargo, es importante tomar en cuenta la selección de la revista en la que se pretende difundir los resultados producto de la investigación. pues esto puede tener relación con los índices de impacto y citación y por ende el reconocimiento que como investigadores se obtendrá ante la comunidad científica. Cabe decir, que muchas publicaciones no producen el impacto esperado pues las vías de difusión no son las más adecuadas (Reyes Rodríguez y Moraga Muñoz, 2020). Por ello, es importante que la revista elegida tenga criterios de evaluación para garantizar la calidad de las publicaciones y sus mecanismos de validación de instrumentos que de manera consecuente generan los resultados a difundir y con ello mayor confiabilidad por parte de la comunidad científica. Sobre esto, Macias-Chapala (1998) considera que la evaluación científica es un elemento indispensable para las comunidades de investigación.

 

Cabe decir, que para que una contribución pueda considerarse científica debe contar con las siguientes características: ser original con aporte al campo del conocimiento que se aborda, los resultados presentados deben ser válidos y fidedignos, generalizables y cuyos instrumentos utilizados tengan posibilidad de réplica en otros contextos, por lo que la información presentada en la contribución debe ser clara y suficiente para reproducir los resultados. Tal como menciona Hernando (2019), quien expresa que las contribuciones científicas deben aportar al campo de conocimiento y sus resultados han de ser válidos y fidedignos, escritos en un lenguaje claro y preciso y utilizar una metodología con instrumentos científicamente válidos sea cual fuere el enfoque –cuantitativo, cualitativo o mixto-. Por lo que, es de suma importancia elegir cuidadosamente las técnicas e instrumentos a utilizar en una investigación.

 

En este sentido, existen diferentes instrumentos de investigación como cuestionarios, test, escalas de Likert, de Gutman, guías de entrevista, de observación, diarios de campo, entre otros, pero todos con la finalidad de recolectar la información necesaria para dar respuesta a determinado fenómeno de estudio y alcanzar los objetivos de investigación (Hernández-Sampieri y Mendoza Torres, 2018). Aunque, no todos son vistos con la misma objetividad para el carácter científico de una publicación e incluso las revistas científicas indexadas lo expresan en sus pautas; tal es el caso de los self-reports o autoreporte, entendidos como toda aquella evaluación, encuesta, escala o cuestionario que se utilice para recabar información de un sujeto con la particularidad que es el mismo individuo quien debe responder preguntas sobre sí mismo (Avello, 2022). Es decir, cada sujeto se entrevista a sí mismo.

 

Sin embargo, pese a esto en las ciencias sociales es muy común este tipo de instrumentos, generalmente escalas tipo Likert con varias opciones de respuesta donde el sujeto le brinda al investigador una valoración subjetiva de sus niveles en cuanto a habilidades, conocimientos, competencias, opiniones o perspectivas sobre determinado hecho. Y Aunque estos métodos presentan beneficios para la investigación también otorgan desventajas derivadas de sus características, tales como la subjetividad y esto ha provocado que revistas de prestigio, indexadas a bases de datos como Scopus y WoS con altos estándares de calidad, tomen en cuenta estos elementos en su tasa de aceptación y no admitan artículos que incluyan estos instrumentos como los principales o únicos en la investigación.

 

Reflexiones sobre las citaciones en WoS, Scopus y Google Scholar

 

Actualmente han proliferado las revistas de acceso abierto, pero también aquellas que carecen de procesos estrictos de revisión de artículos, con tasas de aceptación muy altas generalmente indexadas a Google Scholar, con criterios de evaluación de documentos menos rigurosos que las pertenecientes a WoS y Scopus. Determinando con esto posiblemente la elección de la revista tanto por sus criterios de evaluación del manuscrito, como de métodos de comprobación de hipótesis de investigación.

 

Aun así, existe interés en los investigadores de consultar los recuentos que ofrecen estas tres bases de datos para orientar sobre el comportamiento de las citas en las diferentes disciplinas o áreas del conocimiento, aunque según Zapata –Ros (2022) no hay estudios sobre la consistencia de los datos de las fuentes, tampoco evidencia sobre las diferencias entre ellas.  Sin embargo, Martín-Martín et al.  (2018) analizaron 2448 055 citas de 2299 documentos de 252 categorías estableciendo comparaciones entre las tres bases de datos, Google Scholar, Scopus y WoS entre lo que se determina son fuentes y documentos científicos, encontrando mayor porcentaje de citaciones en GS en todas las categorías.

 

Entonces, en el presente documento se realiza una comparación entre los datos encontrados por los autores de la categoría de las Ciencias Sociales (campo ampliamente investigado) respecto a Física y Matemáticas para revisar el comportamiento dadas las diferencias entre ambas disciplinas o campos de conocimiento, así como el solapamiento existente de citaciones en GS, Scopus y WoS, y de manera individual; apreciando que las publicaciones del área de las Ciencias Sociales, la cual según el diagrama de Venn mostrado en la figura 1, el 53.5 % de las citas se encuentran solo en Google Scholar, lo que representa un gran porcentaje respecto a la totalidad de citas (299, 788). El solapamiento entre las tres bases de datos es solo del 29.8%.

Figura 1. Citaciones de la disciplina de las Ciencias sociales (Tomado de Martín-Martín et al., 2018).

 

Lo presentado en la figura 1 sirve de guía sobre cómo se orientan las citas de las contribuciones enviadas a distintas revistas y medios científicos, pues la idea es comunicar conocimiento descubierto, pero llama la atención la gran cantidad que existe solo en Google Scholar, esto, aunque no se puede aseverar, pudiera deberse a que para Ciencias Sociales frecuentemente se utilizan instrumentos y técnicas de recolección de datos subjetivos o no comprobatorios estadísticamente o bien los llamados self-report studios que como se mencionó anteriormente utilizan ampliamente instrumentos de autopercepción como las escalas de Likert, lo que puede restarle objetividad y que además, según Avello (2022) no son aceptados para publicarse en revistas indexadas en Scopus o WoS,  pues una de las características a tomar en cuenta una investigación científica, es que la recolección de datos se lleve a cabo mediante un método científico riguroso y objetivo, donde los resultados puedan ser comprobados y con posibilidad de réplica en otros contextos, esto para obtener resultados que abonen al campo del conocimiento y sean candidatos mediante una contribución para publicación en revista académica de calidad.

 

Esto puede ser apoyado por lo mostrado en la figura 2, donde se aprecia el solapamiento que existe entre las tres bases de datos el cual es de un 54.5 % para el área de Física y Matemáticas, indicando con esto que se tiene un gran porcentaje respecto a la totalidad de citas existentes en Google Schoolar, Scopus y WoS. Es decir, hay mayor consistencia en los documentos porque existen mayor convergencia en las tres bases de datos, en las tres se encuentran los documentos citables y que han sido citados.

 

Figura 2. Solapamiento de Google Schoolar, Scopus y WoS para el área de Fisica y Matemáticas (Tomado de Martín-Martín et al., 2018).

 

 

Entonces, tomando en cuenta lo presentado en la figura 2, se puede argumentar que los artículos que se envían a revistas indexadas en Scopus y WoS cuentan con instrumentos considerados de mayor rigor científico, con posibilidad de ser replicados a otros contextos y generalmente con un carácter experimental. Por ello se tiene mayor solapamiento en las tres bases de datos respecto al encontrado en las Ciencias Sociales, en el caso de la categoría de Física y Matemáticas existe un 54.5 %. La tabla 1 puede representar mejor estos resultados para apreciar más detalladamente estos argumentos.

 

 

Categoría	Solapamiento (GS, Scopus y WoS)	Google Scholar
Ciencias Sociales (n= 299,788)	29.8 % 89, 337 citas	53.5 % 160,376
Física y Matemáticas (n= 271, 609)	54.5 % 148,027 citas	32.2% 87, 458 citas

 

Tabla 1. Comparación de citas entre las categorías de Ciencias Sociales y Física y Matemáticas.

 

De acuerdo a lo expuesto anteriormente, es necesario reflexionar en la necesidad como investigadores de conocer y comprender las ventajas y desventajas de los instrumentos mencionados para efectuar mejores decisiones metodológicas y considerar el alcance de los resultados obtenidos en el estudio. Pues, aunque los métodos de auto-informe o percepción son útiles para capturar información y describir un concepto o corroborar o refutar una hipótesis, son infructuosos para generar nuevas ideas o teorías (Del Valle y Zamora, 2021). Además, al ser el mismo sujeto quien se “evalúa” puede dar lugar a información errónea que como consecuencia se generen resultados y conclusiones equívocas por la poca objetividad poniendo en tela de juicio la validez y confiabilidad de estos  y por ende los resultados de una investigación científica.

 

Esto es de suma importancia pues el objetivo último de un proceso de investigación es comunicar hallazgos, conclusiones a las que se llega después del proceso de análisis de los datos, pero la elección de la revista donde se publicarán esos resultados es clave para la difusión, la réplica y utilidad para la comunidad científica, por lo que es posible expresar que la elección de los métodos para la recolección de datos es determinante para la valoración del manuscrito, y tener mayores posibilidades de pasar por el flujo de edición para su publicación en una revista científica indexada a bases de datos de Scopus y WoS, que puede repercutir en la reputación y visibilidad del autor.

 

Sobre esto, revistas como RED (indexada a Scopus y WoS) expresan que no se publicarán artículos que utilicen los self-reports como opción principal para validar una propuesta o hipótesis, solo en caso de ser utilizado como secundario para apoyar matizar o triangular un primer método, además Elsevier incluye este criterio en las guías para autores, recomendando que este tipo de contribuciones se rechacen sin revisión (Avello, 2022). Esto sin duda es un aspecto importante a considerar por investigadores, quienes buscan revistas de alto perfil ubicadas en los primeros cuartiles para posicionar su contribución científica.

 

Además, según lo analizado en los diagramas presentados es un elemento que puede ser determinante en el comportamiento de la cantidad de documentos que convergen en las tres bases de datos, pues guarda relación con la aceptación de investigaciones en revistas indexadas en Scopus y WoS.

 

Finalmente, a manera de conclusión de acuerdo a los datos mostrados en las figuras 1 y 2 (tomadas de Martín-Martín et al., 2018), es posible reflexionar en que estos resultados pueden deberse a que las revistas indexadas aceptan contribuciones con datos experimentales o de ciencias exactas o experimentales como las Ingenierías, Ciencias de la Tierra y Química, así como Física y Matemáticas, donde se desarrollan experimentos o se hace uso de instrumentos con un alto grado de objetividad, omitiendo los self-reports como parte de ellos o bien como opción complementaria de comprobación de hipótesis; de ahí que existan gráficas como la mostrada en la figura 2 donde existen solapamientos de hasta el 54.5 % respecto a las tres bases de datos.

 

Entonces, en categorías como Física y Matemáticas, Ciencias Médicas y de la Salud, Ingeniería y Ciencias Computacionales se tiene mayor solapamiento, contrario a las Ciencias Sociales y de las Humanidades, lo que pudiera deberse a los tipos de investigaciones que se realizan, ya que estas se orientan más a lo cualitativo con un uso general de instrumentos como los self report, entrevistas u observaciones para la recolección de información y puede existir un sesgo en el investigador, además no pueden ser replicables y comprobatorios como el caso de las investigaciones cuantitativas con datos experimentales y/o de laboratorio incluso.

 

Conclusiones

 

Al realizar una investigación se debe tomar en cuenta la intención final del investigador y del proceso mismo, comunicar a la comunidad científica los hallazgos, de lo contrario el flujo queda inconcluso, por ello la importancia de las decisiones metodológicas donde se debe tomar en cuenta las técnicas e instrumentos a utilizar para recolectar los datos y dar respuesta al planteamiento del problema, recordando la imperiosa necesidad que sean contribuciones originales, que abonen a la ciencia, con resultados válidos y fidedignos, generalizables y cuyos instrumentos utilizados tengan posibilidad de réplica en otros contextos, con técnicas de recolección objetivas y comprobatorias estadísticamente; lo cual le va a otorgar objetividad y carácter científico y con mayor probabilidad de ser aceptados en revistas indexadas en Scopus o WoS, donde el comité editorial considera determinantes los métodos de recolección de datos para comprobación de hipótesis.

 

Cabe decir, que la posibilidad de publicar en una revista indexada a Scopus o WoS permite indicadores de citación e impacto reconocidos internacionalmente, por lo que estas revistas cuentan con altos niveles de calidad, impacto y citación que permitirá en consecuencia mayor visibilidad y divulgación del conocimiento encontrado y con ello, aumento en la reputación del autor y ranking de la institución de la que forma parte.

 

Por esto es de suma importancia para investigadores conocer y comprender las ventajas, desventajas y posibilidades de los instrumentos de recolección en una investigación, que en definitiva van a determinar el medio en el cual será posible divulgar sus resultados.

 

 

Referencias

Avello, R. (2022). El artículo y otros documentos de difusión de la ciencia, su estructura y naturaleza. Formatos. Proceso de revisión. Editores, revisores, autores. En M. Zapata-Ros La edición y la publicación: Procesos y actores en presencia. La edición en la sociedad del conocimiento.

Bar-Ilan, J., Levene, M., y Lin, A., (2007). Some measures for comparing citation databases, Journal of Informetrics, 1(1), 26-34. https://doi.org/10.1016/j.joi.2006.08.001

 

Bustos-Gonzalez, A. (2015, septiembre 9). Taller para autores el proceso de publicar artículos [Seminario]. Buenas prácticas de comunicación y publicaciones científicas, Perú. http://hdl.handle.net/20.500.12390/87

 

Chavarro, D., Ràfols, I., & Tang, P. (2018). To what extent is inclusion in the Web of Science an indicator of journal ‘quality’? Research Evaluation, 27(2), 106–118. https://doi.org/10.1093/reseval/rvy001

Del Valle, M. V., y Zamora, E. V. (2021). El uso de las medidas de auto-informe: ventajas y limitaciones en la investigación en Psicología. Alternativas en Psicología, 47. https://alternativas.me/attachments/article/264/El%20uso%20de%20las%20medidas%20de%20auto-informe.pdf

 

García-Peñalvo, F. (2018). Identidad digital como investigadores. La evidencia y la transparencia de la producción científica. EKS, 19(2), 7-28. https://doi.org/10.14201/eks2018192728

Hernández-Sampieri, R., y Mendoza-Torres, C. P. (2018). Metodología de la investigación. Las rutas cuantitativa, cualitativa y mixta. México: McGrawHill.

 

Hernando, A. (2019). ¿Qué es y qué no es un artículo científico?. https://doi.org/10.3916/escuela-de-autores-089

 

Macias-Chapala, C. (1998). Papel de la informetría y de la cienciometría y su perspectiva  nacional e internacional. http://scielo.sld.cu/pdf/aci/v9s4/aci06100.pdf

 

Martín-Martín, A., Orduna-Malea, E., Thelwall, M., &Emilio Delgado López-Cózar, E. (2018). Google Scholar, Web of Science, and Scopus: A systematic comparison of citations in 252 subject categories. Journal of Informetrics,12(4), 1160-1177 https://doi.org/10.1016/j.joi.2018.09.002.

 

Neuhaus, C., y Daniel, H., (2008). Data sources for performing citation analysis: An overview. Journal of Documentation, 64 (2), 193-210. https://doi.org/10.1108/00220410810858010

 

Orduna-Malea, E., Ayllón, J. M., Martín-Martín, A., & Delgado López-Cózar, E. (2015). Methods for estimating the size of Google Scholar. Scientometrics, 104(3), 931–949. https://doi.org/10.1007/s11192-015-1614-6

 

Reyes Rodríguez, A., y Moraga Muñoz, R. (2020). Criterios de selección de una revista científica para postular un artículo: breve guía para no ‘quemar’ un paper. Sophia, 16(1), 93-109. https://doi.org/10.18634/sophiaj.16v.1i.977

 

Rozemblum, C., Alperin, J. y Unzurrunzaga, C. (2021). Las limitaciones de Scopus como fuente de indicadores: Buscando una visibilidad integral para revistas argentinas en ciencias sociales. E-ciencias de la información 11(2). http://dx.doi.org/10.15517/eci.v11i2.44300

Santa, S., y Herrero-Solana, V. (2010). Cobertura de la ciencia de América latina y el caribe en Scpus vs WoS. Investigación Bibliotecológica, 24 (52), 13-27

Zapata-Ros, M. (2022). Edición científica. Situación actual, crisis y cambio. 10.13140/RG.2.2.31615.48800

 

 

 

 

Raidell Avello Martínez and Marcos Carrera Ramos

ravellom@gmail.com

Universidad de Cienfuegos

 

Introduction

Learning Management Systems (LMS) are the main computerized educational systems today. In particular, Moodle is one of the most widely used LMS today, which was adopted by the Cuban Ministry of Higher Education to deploy and use in the universities of the system. Like other LMS tools, Moodle collects a large amount of data including all the ratings and interactions of the participants allowing the application of a complete set of Learning analytics (LA) techniques.

The relevance of LA is palpable given its increase in scientific publications and international projects. It is impossible to ignore these techniques as something fundamental embedded in the learning process and in higher education, to manage actions to improve learning. The large volume of data (records) of each participant, from the interaction of hundreds of students, with more than a dozen qualifying activities, show the need to apply specialized tools in LA.

Moodle does not include visual learning analysis functionalities in its modules that it installs by default. There are functional plugin-based extensions to Moodle, which support visual exploration of student activity and performance. But the decision to make a new extension available to teachers depends on multiple factors of the academic institution: size, organization chart, economy, etc. That are beyond the scope of the teacher’s decision (Ji et al, 2020).

There are several pluings (Luna et al, 2017) and external tools (Sáiz-Manzanares et al, 2021) to analyze and monitor the participants of a course in Moodle, including advanced Machine Learning analyzes to predict the performance of students, classify them according to different variables extracted from their interaction and completion of activities among other analyzes (Ahmed & Khan, 2019). However, few of these applications analyse the reports provided by Moodle, that is, they work by connecting directly to the server and extracting the information online.

The goal of the Moodle Offline Analytics web application is to provide a simple and basic solution for analyzing Moodle course logs and providing useful interactive graphs to describe student activity.

App description

Moodle Offline Analytics is a web application for teachers or managers, developed in python and using the Django framework, which analyzes the records of one or more Moodle courses. Faced with more common solutions, such as Moodle plugins or blocks, a web application lacks the bureaucratic, technical and economic problems of installing and updating versions on an institutional server decision (Ji et al, 2020). This application follows an open source and free use policy, under the MIT license, with the latest version available in the GitHub repository (https://github.com/ravellom/moodle_csv_prof).

 

Basic functionality

In order to use the application, it is necessary to enter the course in question and download the records as explained in the help section of the application. Then in the “Load data” section you can upload the file and exclude participants who do not want to be part of the analysis, as well as set the date range to analyse.

Figure 1. Load data and filters

In the general analysis section there is a description of the accesses for the days analysed, a heatmap that provides the accesses by day of the week and time using color intensity to indicate more or less number of accesses, a graph with the amount of access by type of activity and another by specific activities, that is, the most popular activities. Finally, a world map is provided with a color scale according to the amount of access by country.

Figure 2. General analysis

In the participants section, 2 graphs are shown, one with an analysis of the number of participants for the main activities of the course and a cluster analysis that classifies the students into two groups according to the variables presented in the table below of the graphics. This table has 5 variables that describe the contributions of the participants in the main knowledge-building activities that Moodle provides.

Figure 3. Participants analysis

Evaluation

 The tool is being evaluated during this course (2020-2021), using the institutional Moodle server for undergraduate students at our University of Cienfuegos (moodle versions 3.7 and 3.11 latest as of the date of this publication). In a first phase, it is being tested by 5 teachers (3 from the Computer Science area and 2 from Social Sciences) checking the tool with their own courses and reporting errors or proposing improvements.

In addition, it was used for the analysis of the pre-congress courses of the 3rd Scientific Conference of the University of Cienfuegos (cursos.ucf.edu.cu) with 17 courses, with a real data load. The results obtained were highly accepted and useful for teachers and conference coordinators.

 

Conclusions

 In this paper, the Moodle Offline Analytics web application is presented as a basic and simple solution to analyse the records of Moodle courses and provide useful interactive graphics to describe the activity of the students, with great acceptance by managers and teachers who tested the first version available in the national network of Cuban Universities (moodlestats.ucf.edu.cu).

 

References

 Ahmed, S.A.; Khan, S.I. A Machine Learning Approach to Predict the Engineering Students at Risk of Dropout and Factors Behind: Bangladesh Perspective. In Proceedings of the 10th International Conference on Computing, Communication and Networking Technologies (ICCCNT), Kanpur, India, 6–8 July 2019; pp. 1–6.

Ji, Y.P., Marticorena, R., Pardo, C., López, C., Juez, M. (2020). Monitorización de la actividad y rendimiento de los alumnos en Moodle para su análisis visual. Actas de las Jenui, vol. 5. Páginas: 261-268

Luna, J.M.; Castro, C.; Romero, C. (2017). MDM tool: A data mining framework integrated into Moodle. Comput. Appl. Eng. Educ, 25, 90–102.

Sáiz-Manzanares, M.C.; Rodríguez-Díez, J.J.; Díez-Pastor, J.F.; Rodríguez-Arribas, S.; Marticorena-Sánchez, R.; Ji, Y.P. (2021). Monitoring of Student Learning in Learning Management Systems: An Application of Educational Data Mining Techniques. Appl. Sci., 11, 2677. https://doi.org/10.3390/ app11062677

 

 

José Miguel Zapata, University College of Dublin. Dublin. Irlanda.
Ellen Jameson, University of Cambridge. Cambridge. UK
Miguel Zapata-Ros, profesor honorífico en la Universidad de Murcia. Murcia. España.
David Merrill,  professor emeritus at Utah State University. Logan. EE UU

 

 

Preprint con la presentación del número especial de RED “La educación en Matemáticas, Pensamiento Computacional y STEM apoyada por la tecnología digital. Su diseño instruccional. El principio de activación”

 

 

El presente número monográfico de RED se convocó con el título La educación en Matemáticas, Pensamiento Computacional y STEM apoyada por la tecnología digital. Su diseño instruccional. El principio de activación.

Hay numerosas destrezas y conceptos, propios de Pensamiento Computacional, Matemáticas y STEM, que son necesarios como base para los estudios de grado. Frecuentemente estos conceptos y procedimientos no constan de forma explícita en el currículo de los niveles anteriores a la universidad o, constando, no se garantizado su dominio.  En estos casos no podemos esperar que aparezcan de forma espontánea, en el mismo momento en que se necesitan para los contenidos de grado o de secundaria superior. Es necesaria una sólida base cognitiva para que puedan ser evocados.

El presente número monográfico está convocado con el objetivo de dar oportunidad de difundir investigaciones y casos que parcial o totalmente tengan como referencia esas ideas. E investiguen si efectivamente el uso del principio de activación (Merrill, 2002; 2020 revised edition) convenientemente utilizado en un diseño instruccional adecuado, con métodos, actividades y recursos, consigue una mejora en la calidad de los resultados de aprendizaje cuando lo aprendido en las etapas anteriores es evocado y reactivado convenientemente en los estudios de grado.

Finalmente, sólo se han recibido dos trabajos con ese fin. Ello no exime a la revista a justificar la importancia de ese planteamiento y a dar la bienvenida a esos primeros trabajos, de los cuales no dudamos habrá continuación en el futuro.

Las habilidades que son necesarias para la programación de algoritmos complejos, las destrezas del pensamiento computacional en todo su vigor (análisis descendente, análisis ascendente, métodos de aproximaciones sucesivas, ensayo-error, ….) y las que entraña la operatividad lógica o abstracta que son necesarias para la programación de ordenadores, para resolver problemas, no podemos esperar a que aparezcan, o a que se manifiesten de forma espontánea. Y que lo hagan en el mismo momento de necesitarlas en los estudios de grado de Matemáticas, Computación o Ingeniería, en la etapa de madurez del alumno que corresponde a esa edad, ni tan siquiera en la etapa de desarrollo del pensamiento abstracto, en la secundaria postobligatoria o incluso en Secundaria.

En esto, estas habilidades no son distintas de otras habilidades complejas que tienen que ver con el desarrollo de los individuos, que se adquieren de forma progresiva y que solo son utilizables en forma operativa en su última fase.

Esta naturaleza del aprendizaje, el enlace de las situaciones en que se produce, o se debiera producir, con los objetivos finales a través de etapas, niveles y condiciones de aprendizaje, es la que justifica el diseño instruccional y de ello no se libra la adquisición de las habilidades de STEM ni, siendo distinto, el pensamiento computacional. Los aprendizajes complejos se dividen, se fraccionan en aprendizajes más simples, más cercanos a las capacidades de los individuos y más lejanos del momento que adquieren su mayor eficiencia u operatividad práctica, o incluso que nunca lo alcancen porque no exista, como sucede en el caso que no lo alcancen ese punto en su dominio propio, por sí mismas, sino como habilidades auxiliares a otras. Así pasa con los conocimientos y las habilidades básicas y con las competencias clave, entre las que tradicionalmente se encuentras la escritura, la lectura y la aritmética (las “tres erres”)

En este punto es donde obtienen su justificación en las teorías del aprendizaje, en el principio de activación, y en la forma en como transitar desde que se adquieren las habilidades hasta que son útiles en su destino final. Este tránsito y la forma de organizarlo es lo que constituye la base del diseño instruccional. Por tanto, son dos núcleos clave que está en la justificación en la teoría del aprendizaje y en la base de una pedagogía del STEM: El principio de activación y el diseño instruccional.

En este caso nos vamos a dedicar exclusivamente al principio de activación.

Así pues, vamos a justificar con este principio la necesidad y la conveniencia de trabajar aspectos del aprendizaje previos para todos los contenidos de STEM en la Educación Superior, y que son necesarios desde las primeras etapas del desarrollo cognitivo de los individuos.

Esto es lo que va a justificar después qué actividades constituyen el currículo (Por ejemplo, entre ellas incluiremos juegos, tarjetas, escarabajos robots, etc.) y cómo se organizan. También nos informa cómo lo hacemos para que los conceptos y preconceptos (Piaget, 1973 y Piaget & Herborth, 1973 a través de Burgmann, C., & Wille, R., 2006) se activen y fluyan en la fase de resolver problemas en las etapas de enseñanza universitaria.

Esto obviamente sería una ejemplificación extrema. En un caso más normal, la adquisición se produciría de una forma más progresiva. A través de las distintas etapas educativas, de los niveles. E incluso en el trascurrir de estos y de los módulos y unidades instruccionales que los componen.

En su trabajo, Merrill (2002) desarrolla lo que llama unos principios fundamentales del aprendizaje (first priciples) lo hace decantando los principios subyacentes en los que hay consensos, hay un acuerdo esencial, en todas las teorías y que previamente ha identificado.

Ese trabajo está expuesto y desarrollado en su artículo First principles of instruction (Merrill, 2002), en Educational technology research and development, incluido también como capítulo en el tercer volumen de los libros de Reigueluth  Instructional-design theories and models: Building a common knowledge base (Merrill, 2009). Y de forma resumida en First principles of instruction: A synthesis (Merrill, 2007). También son glosados como base del nuevo paradigma instruccional de Reigeluth, cuya versión oficial pueden encontrar en RED número 50, en el artículo Teoría instruccional y tecnología para el nuevo paradigma de la educación (Reigeluth, 2016).

En este último trabajo, Reigeluth (2016) distingue entre principios universales y escenarios particulares. Cuando aplicamos con mayor precisión un principio o un método instruccional, por lo general descubrimos que hace falta que éste sea diferente para diferentes situaciones y perfiles de aprendizaje o, en una mayor precisión, para obtener objetivos contextualizados y personalizados. Reigeluth ( 1999a ) referred to the contextual factors that influence the effects of methods as “situationalities.” Reigeluth (1999) se refirió a los factores contextuales que influyen en los efectos de los métodos como “escenarios”.

Los principios fundamentales de instrucción (first priciples) los propone y los define Merrill (2002) en First principles of instruction. Este documento se refiere a los métodos variables como programas y prácticas. Un principio fundamental (Merrill, 2002), o un método básico según Reigueluth (1999a), es un aserto que siempre es verdadero bajo las condiciones apropiadas independientemente del programa o de la práctica en que se aplique, que de  esta forma dan lugar a un método variable. Teniendo en cuenta como el mismo Merrill (2002) las define:

Una práctica es una actividad instruccional específica. Un programa es un enfoque que consiste en un conjunto de prácticas prescritas. Las prácticas siempre implementan o no implementan los principios subyacentes ya sea que estos principios se especifiquen o no. Un enfoque de instrucción dado solo puede enfatizar la implementación de uno o más de estos principios de instrucción. Los mismos principios pueden ser implementados por una amplia variedad de programas y prácticas.

De esta forma Merrill propuso un conjunto de cinco principios instruccionales prescriptivos (o “principios fundamentales”) que mejoran la calidad de la enseñanza en todas las situaciones (Merrill, 2007, 2009). Esos principios tienen que ver con la centralidad de la tarea, la activación, la demostración, la aplicación y la integración.

Para ello Merrill (2002) propone un esquema en fases como el más eficiente para el aprendizaje, de manera que centran el problema y crean un entorno que implica al alumno  para la resolución de cualquier problema En cuatro fases distintas, cuando habitualmente solo se hace en una: la de demostración, reduciendo todo el problema a que el alumno pueda demostrar su conocimiento o su habilidad en la resolución del problema en una última fase. Son las FASES DE INSTRUCCIÓN (ver Figura 1).

Figura 1. Fases de la instrucción según Merrill (2002)

Las fases son (a) activación de experiencia previa, (b) demostración de habilidades, (c) aplicación de habilidades, y (d) integración de estas habilidades en actividades del mundo real.

Así la figura anterior proporciona un marco conceptual para establecer y relacionar los principios fundamentales de la instrucción. De ellos uno tiene que ver con la implicación y la naturaleza real del problema, así percibida por el alumno, y los cuatro restantes para cada una de las fases. Así estos cinco principios enunciados en su forma más concisa (Merrill 2002) son:

1. El aprendizaje se promueve cuando los estudiantes se comprometen a resolver problemas del mundo real. Es decir, el aprendizaje se promueve cuando es un aprendizaje centrado en la tarea.
2. El aprendizaje se favorece cuando existen conocimientos que se activan como base para el nuevo conocimiento.
3. El aprendizaje se promueve cuando se centra en que el alumno debe demostrar su nuevo conocimiento. Y el alumno es consciente de ello.
4. El aprendizaje se promueve igualmente cuando se centra en que el aprendiz aplique el nuevo conocimiento.
5. El aprendizaje se favorece cuando el nuevo conocimiento se tiende a que se integre en el mundo del alumno.

Pero, de todos estos principios, el que justifica sobremanera la inclusión del pensamiento computacional, como pensamiento computacional desenchufado en las primeras etapas, es el principio de activación. En él nos vamos a centrar, y no solo en su aplicación para el diseño instruccional en la fase de activación, en la que el conocimiento existente se activa, sino en las fases en las que se crean los conocimientos y habilidades que son activados, y en cómo hacerlo para que la activación sea más eficiente.

En su trabajo Teoría instruccional y tecnología para el nuevo paradigma de la educación, Reigeluth (2016 pág. 4) caracteriza el principio de activación de manera que:

• El diseño educativo de actividades, organización, recursos, etc. debe ser tendente a activar en los alumnos estructuras cognitivas relevantes, haciéndoles recordar, describir o demostrar conocimientos o experiencias previas que sean relevantes para él.
• La activación puede ser social. La instrucción debe lograr que los estudiantes compartan sus experiencias anteriores entre ellos.
• La instrucción debe hacer que los estudiantes recuerden o adquieran una estructura para organizar los nuevos conocimientos.

Los trabajos de Merrill (2002) y Reigeluth (2016) hacen énfasis en la fase de activación, pero no en la fase de crear estructuras cognitivas, experiencias y en general conocimientos y habilidades que puedan ser evocados. Ni tampoco en crear una pedagogía o un diseño educativo que incluya, o tendente a favorecer, elementos cognitivos de enlace que promuevan la  activación. Tampoco a fomentar la investigación sobre estos temas, o a investigar qué tipos de enlaces fortalecen más las estructuras cognitivas de enlace y de evocación.

A partir de lo que dicen, sobre las características del diseño instruccional que implica el principio de activación, los ítems anteriores, podemos concluir que la instrucción, en la fase de crear elementos para ser evocadora, debe:

• Crear estructuras cognitivas que incluyan conocimientos, habilidades, elementos de reconocimiento que permitan distinguir al alumno y otorgar relevancia en su momento de forma fluida a esas habilidades para conseguir su efectividad en ese momento a partir de elementos contextuales, metáforas, etc.
• Otorgar a esas habilidades elementos de reconocimiento que permitan la activación.
• Asociar esas habilidades a tareas que tengan similitud con las que se en su momento sean necesarias para resolver los problemas a los que ayuda la activación. En nuestro caso, a los problemas computacionales, o habilidades propias a los elementos que constituyen el pensamiento computacional.
• Diseñar instruccionalmente las actividades que sean relevantes para evocar los elementos de pensamiento computacional (Pérez-Paredes y Zapata-Ros, 2018).
• Propiciar experiencias de aprendizaje compartido en las primeras etapas y hacer que esos grupos y experiencias sociales sean estables a lo largo del tiempo. Las experiencias compartidas crean elementos de activación a través de grupos o de pares alumnos. El propiciar grupos y claves de comunicación, de lenguaje, y que esos grupos sean estables a lo largo del tiempo aumenta la potencia de activación.
• Crear estructuras cognitivas en los alumnos capaces de recomponerse y aumentar en el futuro. Dotar a los conocimientos y habilidades de referencias y de metadatos que permitan ser recuperados mediante evocación.

Debe pues potenciarse una pedagogía que establezca valores en estas ideas y principios para las primeras etapas.

El principio de activación es pues clave para tenerlo en cuenta cuando se diseña la educación infantil y del primer ciclo de primaria teniendo en el horizonte los aprendizajes futuros, incluidos los de STEM.

Además de Merrill ha habido más aportaciones sobre el principio de activación y el aprendizaje STEM.

Como señalamos en otro trabajo (Zapata-Ros, 2018b), Bawden (2008) refiriéndonos a Pensamiento Computacional, se habla de habilidades de recuperación, y se remite a lo expuestas en otro trabajo anterior (Bawden, 2001). En las habilidades que señala se constatan ideas como la de construir un “bagaje de información fiable” de diversas fuentes, la importancia de las habilidades de recuperación, utilizando una forma de “pensamiento metacognitivo” para hacer juicios informados sobre la información recuperada, y para asegurar la validez e integridad de las fuentes de Internet, leer y comprender de forma dinámica y cambiante material no secuencial.

Para concluir, no podemos finalizar esta presentación sin agradecer a Chales M. Reigeluth su participación y aliento en todas las fases del monográfico. Primero con su producción teórica poniendo en relación los principios principales del aprendizaje con el diseño instruccional en todas las fases niveles y programas educativos, y particularmente en Pensamiento Computacional. Y luego con su implicación en la elaboración del número, invitando a quien hoy es autor de esta presentación, Dave Merrill, a participar. También propiciando la participación de autores con su implicación personal en la difusión y valoración de las ideas que se quieren potenciar sobre el principio de activación y el pensamiento computacional.

También agradecemos al Profesor Richard West, de la BYU, su apoyo difundiendo la iniciativa y animando a investigadores no sólo en participar en este número, lo cual era difícil si previamente esta idea no contaba, como ha sucedido, con la suficiente tradición y producción, sino sobre todo a sembrar inquietudes para propiciar futuras investigaciones.

Citar como

Zapata, J.M.,  Jameson, E.,  Zapata-Ros, M. y Merrill, M.  (2021). El Principio de Activación en el Pensamiento Computacional, las Matemáticas y el STEM.   RED. Revista de Educación a Distancia. Núm. 68, DOI: http://dx.doi.org/10.6018/red.498531

Financiación

Este trabajo no ha recibido ninguna subvención específica de los organismos de financiación en los sectores públicos, comerciales o sin fines de lucro

 

Referencias

Bawden, D. (2001). Information and digital literacies: a review of concepts. Journal of Documentation, 57(2), 218–259.

Bawden, D. (2008). Origins and concepts of digital literacy. Digital literacies: Concepts, policies and practices, 17-32. http://sites.google.com/site/colinlankshear/DigitalLiteracies.pdf#page=19

Burgmann, C., & Wille, R. (2006). The basic theorem on preconcept lattices. In Formal Concept Analysis (pp. 80-88). Springer, Berlin, Heidelberg. https://link.springer.com/chapter/10.1007/11671404_5 https://link.springer.com/content/pdf/10.1007%2F11671404.pdf

Merrill, M. D. (2002). First principles of instruction. Educational technology research and development, 50(3), 43-59. https://link.springer.com/article/10.1007/BF02505024 y https://mdavidmerrill.com/Papers/firstprinciplesbymerrill.pdf

Merrill, M. D. (2007). First principles of instruction: A synthesis. In R. A. Reiser & J. V. Dempsey (Eds.), Trends and issues in instructional design and technology (2nd ed., pp. 62-71). Upper Saddle River, NJ: Merrill/Prentice-Hall.

Merrill, M. D. (2009). First principles of instruction. In C. M. Reigeluth & A. A. Carr-Chellman (Eds.), Instructional-design theories and models: Building a common knowledge base (Vol. III, pp. 41-56). New York: Routledge.

Merrill, D. (2020). First principles of instruction (revised edition). Association for Educational Communications and Technology.

Piaget J. (1973)  Einf¨uhrung in die genetische Erkenntnistheorie. suhrkamp taschenbuch wissenschaft 6. Suhrkamp.

Piaget, J., & Herborth, F. (1973). Einführung in die genetische Erkenntnistheorie. Frankfurt am Main: Suhrkamp.

Reigeluth, C. M. (1999). What is instructional-design theory and how is it changing? In C. M. Reigeluth (Ed.), Instructional-design theories and models: A new paradigm of instructional theory (Vol. II, pp. 5-29). Mahwah, NJ: Lawrence Erlbaum Associates.

Reigeluth, C. M. (2016). Teoría instruccional y tecnología para el nuevo paradigma de la educación. RED. Revista de Educación a Distancia. Número 50. http://www.um.es/ead/red/50

Zapata-Ros, M. (2018b). Pensamiento computacional. Una tercera competencia clave. (I) Blog RED El aprendizaje en la Sociedad del Conocimiento. https://red.hypotheses.org/1059

 

INTRODUCCIÓN DE URGENCIA

Esta entrada constituye la primera versión pública de la introducción de lo que, normalmente, ha de ser un libro sobre diseño instruccional de la educación en la pandemia y después de ella. Por otro lado constituye parte del material utilizado sobre esos temas en cursos y estudios de postgrado que el autor está impartiendo para distintas universidades e instituciones. El identificador que debe utilizarse cuando se cite o para cualquier mención es el que sirve para referenciar todos los materiales de este proyecto  DOI: 10.13140/RG.2.2.21911.29605   

I.

La irrupción de la pandemia COVID 19 y el impacto que tuvo, está teniendo y tendrá en la educación, en todos los niveles, es un hecho suficientemente tratado en muy diversos lugares. No cansaremos a los lectores repitiendo descripciones y datos. Lo que sea relevante para el tema que nos concierne, el diseño instruccional de la enseñanza en estas condiciones, así como el de la educación que salga de ella, estará tratado en el desarrollo del punto que en cada momento estemos tratando.

Remitimos en todo caso a los informes de las entidades oficiales que tienen competencia en la educación y a los informes de las agencias de reputación (UNESCO, 2021) (World Economic Forum, 2021).

Sobre la particular percepción de esos hechos que tiene el autor, basado en sus experiencias, estudios e investigaciones los podemos encontrar en la presentación del número especial sobre el tema de la revista RED (Teixeira y Zapata-Ros, 2021),

Lo importante es asegurar pues, en estas condiciones, que la transición a este modo sea pedagógicamente lo más eficiente posible. No tendría sentido por otra parte el esfuerzo y el desembolso que todos estos años se ha hecho en equipamientos y en capacitación docente, no siempre eficiente ni efectiva, para la enseñanza y el aprendizaje en línea.

La idea que debe prevalecer, en todo caso, es favorecer las iniciativas y la flexibilidad de los profesores, grupos y departamentos académicos. Debe predominar sobre la iniciativa institucional, ante la que en ningún caso deben de quedar expectantes y paralizados.

Dame Minouche Shafik (2020), directora de LSE, nos da la referencia en su post de THE. La frase clave del artículo es “Se aconseja a los colegas que haya flexibilidad en términos de la evaluación que decidan establecer, con una gama de opciones disponibles. Los métodos de evaluación quedarán a discreción del profesorado académico y deberán ser aprobados por el presidente de su comité de enseñanza departamental”.

Este es un post de urgencia que induce algunas preguntas que en parte desarrollaremos mínimamente, pero a las cuales este libro también quiere dar respuesta en el capítulo de temas prioritarios en situaciones como esta.

¿Cuál es la prioridad? ¿Qué es lo que hay que hacer ya para que los alumnos no se escapen? ¿Cómo mantener el vínculo?

¿Qué es lo mínimo imprescindible para asegurar que la entrega de materiales y tareas lleguen a todos oportuna y dosificadamente? Y ¿cómo asegurar la ayuda oportuna, la revisión de las tareas y el feedback?

Pero, en todo caso, desde el principio, queremos dejar constancia de LA PRIORIDAD DE LAS GUIAS. Que haya una cultura de las guías. Fomentándola, LAS GUÍAS DIDÁCTICAS hacen que los alumnos sepan lo que han de hacer en cada momento y regulan la entrega y la devolución en todos los escenarios con un mínimo de recursos. Sólo unas hijas impresas o un sencillo fichero PDF o Word.

II. Prioridad.- Lo que hay que hacer ya. Mantener el vínculo.

La conmoción del estado de alarma y las medidas que impone, entre ellas el cierre físico de espacios y edificios universitarios, ha conmocionado a la comunidad universitaria que no sabe qué hacer, o no tiene  directrices claras.

Es un momento de mucha responsabilidad. Los alumnos y, lo que es más grave, los profesores pueden quedar desconectados. Los servicios técnicos y de computación también, por atender a lo que creen las autoridades que son las prioridades.

En estos posts trataré con más profundidad temas como son los elementos del diseño instruccional: Epítome, cómo establecer competencias u objetivos de aprendizaje, actividades, entrega de contenidos y recursos, métodos docentes, evaluación,… Pero el tema de urgencia ahora es QUE LOS ALUMNOS NO QUEDEN DESCONECTADOS, MANTENER EL VÍNCULO. Y después, que sepan qué hacer en su tiempo. Mantener la tensión de la actividad.

Hay distintos complejos tecnológicos: Los LMS de las universidades, los que ofrecen las corporaciones de forma gratuita, pero que son nuevos y desconocidos para la mayoría de eventuales usuarios en este caso, y que por tanto necesitan una inversión de aprendizaje nuevo y posiblemente sólo para esta ocasión y los que habitualmente utilizan los estudiantes y la mayoría de profesores para su vida de forma habitual, de los que después hablaremos.

Si sus servicios de informática para la docencia, los que su universidad le provee, siguen funcionando y manteniéndose, enhorabuena. Los LMS siempre tienen un sistema de correo y avisos que están conectados con el correo corporativo de alumnos y profesores. También los foros y con ellos los servicio de envíos y descargas están conectados con los correos. Y siempre hay un chat, o una affordance de chat para trabajo colaborativo y en grupos.

Sólo con estos elementos ya se puede constituir un entorno de aprendizaje muy completo y cognitivamente muy potente. Si además dispone de gestión de vídeos, genial.

Pero si todo esto no es así, una red social también cumple estas condiciones y es capaz de prestar estos servicios y dar soporte para una rica y compleja actividad docente y discente. Además, siempre tenemos Youtube. Pero no atribuyamos expectativas a un medio poco interactivo como es el vídeo y, reconozcámoslo, poco elaborativo. Los alumnos tienen que procesar ideas y datos, y la forma cognitivamente más potente de hacerlo es la escritura, en la redacción de trabajos y proyectos, y en la interacción grupal. Y la lectura.

De todo esto podemos disponer ya, sin más, alumnos y profesores (casi todos saben manejar una red como Facebook o Whatsapp).

Por tanto ¿qué hay que hacer?

1.- Que los alumnos no se escapen. Mantener el vínculo.

Para ello es indispensable tener una lista con las direcciones de email (institucionales o las que utilizan de forma personal, y a veces más eficientescomo gamail), También direciones y perfiles: Facebook, Twitter y sobre todo Whatsap y Skype.

Y tener una mínima organización por grupo de aula, o de otro tipo, por trabajos y proyectos, por ejemplo. No son incompatibles. Se impone por lo menos crear un grupo por aula en Facebook, Whatsap, Linkedin,…

2.- Dejar bien claro que esto, lo que se haga aquí, en este entorno, improvisado o no, decidirá muy significativamente en quién aprueba y quién no. Se trata de la evaluación del aprendizaje, y todo lo que se haga aquí será relevante para la evaluación y para acreditar los logros. En las guías didácticas se dice como se conseguirá: PRIORIDAD DE LAS GUÍAS.

2.- Con dos o tres vínculos se puede hacer mucho: Correo y grupo de Facebook o de Linkedin.

3.- Que sepan lo que tienen que hacer en cada momento y regular la entrega: LAS GUÍAS DIDÁCTICAS.

Éste último elemento es clave. Después veremos cómo hacer y cómo poner en marcha unas guías didácticas.

De momento me permito poner a su disposición, la de usted profesor, las guías didácticas que utilicé en mi curso abierto online de la Universidad de Alcalá de Henares. Lo hago como todo lo demás en el espacio que he creado en Google Drive con este enlace.

Cuando se publicó este contenido como post, señalamos que éste, los siguientes y el anterior, es decir la serie completa, se irán actualizando y adaptando progresivamente. Por tanto, es conveniente que lo visite frecuentemente. El repositorio de Google Drive también. En un futuro crearé uno más estable e independiente en el servidor de la Universidad de Murcia.

 

III. Los Teaching Assistant en la urgencia.

La primera disrupción necesaria de esta nueva y desconcertante situación es el papel inédito, de urgencia, que cumple la educación abierta y en línea. Pero conviene bajar al detalle de disrupciones concretas. Mas abajo veremos el concepto de disrupción tal como lo estableció el teórico Christensen. Lo que tienen de común estas situaciones es su novedad, en un contexto distinto, como enfoques necesarios e impuestos por la realidad frente a las situaciones o prácticas existentes, consolidadas por los años, la necesidad anterior y la tradición. Esta irrupción se hace generalmente con la resistencia y con la inercia de los hábitos humanos consolidados.

Así pues, el coronavirus crea un contexto nuevo y distinto para una práctica como la educación on line, su diseño instruccional y para todas sus componentes.

Vamos a tratar pues el diseño instruccional de la enseñanza online en estas circunstancias. Pero, por razones de urgencia y oportunidad, alternaremos la secuencia natural de temas. Abordamos ahora el tema de los Teaching Assistant, los profesores que asisten, que ayudan, en el aprendizaje a los alumnos.

El Prof. Días Figueiredo se ha dado cuenta de algunas de estas disrupciones que en otros contextos propicia la situación del COVID19.  

Así habla de la Innovación Disruptiva que se produce en los supermercados por el COVID-19. Con la perspectiva del principio de la distancia social que se va a instalar durante varios meses, aparee una innovación rápida en ganar auge y fuerza: Traer a los domicilios las compras del supermercado. Se presenta primero como hecho aislado y voluntario, y después como estrategia. Estratégica que posiblemente sea asumida por las grandes superficies que puedan adaptarse y hacer con ello, tal vez, un hábito definitivo para muchos consumidores. En este momento, el tiempo de entrega se ha vuelto innecesariamente largo para la comida, sobre todo, situación que la hace innecesaria para competir con el hábito de compra directa hasta ahora, pero las empresas que se adapten finalmente habrán reinventado el modelo del negocio y quedarán en la memoria de los consumidores como las que los ayudaron en un momento difícil.

Ese mismo esquema puede repetirse con las universidades que se adapten a la situación de confinamiento de alumnos y profesores con una adaptación flexible y útil de la educación abierta en línea. Pero sobre todo estamos pensando como factor clave de la eficiencia en los profesores asistentes en el aprendizaje, los famosos Teaching Assistant del diseño instruccional que otras veces hemos tratado y los de la metodología de Mastery learning. Además en un marco cambiante de oferta y necesidad de trabajo, estos nuevos empleos, los de Teaching assistant, como salvando todas las distancias, los logísticos y repartidores del suministro de alimentos, pueden dar respuesta a la caída de empleo que se puede producir en otros nichos ahora inestables, como la hostelería, donde hay muchos graduados universitarios de educación y otras carreras subempleados.

Una solución que con ser provisional puede devenir en estratégica a fuer del razonamiento que hace el Dr. Figueiredo “el modelo del negocio quedarán en la memoria de los consumidores (padres y alumnos) como las universidades que los ayudaron en un momento difícil”. Y lo hicieron bien.

Hace tiempo dije que la política de edificios y espacios universitarios debe cambiar con las disrupciones universitarias. Lo venimos diciendo desde 2012, aquí y aquí. Perdonen que me extienda en este tema, pero este escrito es como una especie bloc de notas donde vuelco en bruto mis ideas, luego trataré de refinarlo:

Decía entonces que “se están produciendo cambios no solo de metodologías docentes sino en el complejo mundo que rodea la actividad educativa en la universidad.  Los cambios son estructurales y sistémicos, y en consecuencia todos los elementos que configuran el sistema se ven afectados” evidentemente en esa época solo era por pioneros e innovadores, pero el cambio e auguraba.

Sin embargo, se está produciendo una línea de desarrollo que posiblemente conduzca a una vía muerta. Se están utilizando criterios, medios, configuración de espacios y de tiempos, de una etapa anterior, a sistemas de naturaleza distinta.

Las referencias siguen siendo las mismas, se habla, se utilizan expresiones y metáforas de la fase anterior. Así se habla de espacios, de aulas virtuales y de campus virtuales, pensando en los de ladrillo, se habla de libros y de revistas digitales pensando en el papel, y esto limita no solo las affordances de estas herramientas y soportes, sino incluso sus funciones y las de los actores en los procesos que se desarrollan.

Pensamos en espacios y en edificios. La universidad siempre los ha tenido y han sido su referencia.

Por un momento pensemos, como un ejemplo para situarnos, en la prensa digital, y que en los periódicos digitales tuvieran que construirse edificios para almacenar el papel, y que hubiese algo en la edición a lo que se llamase rotativas digitales, pensemos en hora de cierre y en hora de salida. Pensar así es una limitación que lastra muchas funciones que constituyen la esencia del periodismo digital.

Otro tanto sucede con espacios, tiempos y funciones de la universidad. Habrá que pensar en funciones de los distintos actores, en sus roles, en las posibilidades que ofrecen los entornos, en las que aparecen.

En definitiva, habrá que pensar en las formas de ubicarse los actores en función de las emergentes posibilidades, y ahora obligados por el coronavirus.

La ubicación de profesores y alumnos es distinta y variante para la enseñanza y para el aprendizaje, es distinta de la única existente en la fase anterior, y de la única de posicionarse en los entornos tecnológicos que existe en la educación virtual tradicional.

Pero esto transciende de la situación actual y quedara para después de forma irreversible. Ahora estamos confinados, pero después, cada vez más, el aprendizaje será ubicuo (Zapata-Ros, 2012a y b) se produce anywhere y any–time (Zapata-Ros, julio 2013), por tanto lo actual se perpetuará favorecido por estas otras variables, a pesar de que ahora estamos constreñidos en el espacio. También habrá que considerar que aparecen ganancias del aprendizaje en las situaciones y usos con los dispositivos personales (Los que el alumno utiliza en su vida real y en sus relaciones personales). De esta forma la posición relativa, la ubicación física en que pueden situarse universidad, alumno y profesores es cada vez más relativa. Afecta menos al resultado del aprendizaje o según en qué casos puede mejorarlo incluso. La confinación tampoco nos debe hacer olvidar esta oportunidad.

Hasta aquí hablamos del aprendizaje. Pero otro tanto sucede con los recursos: Bibliotecas digitales, revistas online, OER y en general los recursos en red. En el confinamiento la biblioteca estará accesible desde nuestra casa y los libros en bits, bytes y electrones. Habrá todo lo más un ejemplar en papel guardado en alguna parte, pero el resto estará en la red ¿Hacen falta para esto edificios de ladrillo y cemento?

Todo ello determina una nueva economía de espacios en la universidad. No se pueden crear aulas masivas o de gran grupo simplemente como hasta ahora si la van a utilizar una vez a la semana o al mes.

Esto, digámoslo así, pone a la universidad en una tesitura por la urgencia: Cerrar inmuebles, reconvertirlos o venderlos para, si no queremos desequilibrar el presupuesto comprometiendo otros gastos igualmente prioritarios, contratar Teaching Assistant (TA), editores de guías didácticas y documentalistas instruccionales. También diseñadores instruccionales, editores, realizadores, etc. de vídeos.

Hay mucha gente que va a pasar al paro desde la industria turística y la de sus servicios periféricos, la hostelería,… que son subempleados. Muchos de ellos son maestros graduados y pedagogos, pero no sólo ni exclusivamente. Es una buena oportunidad para cualificar el empleo de estos especialistas y pasar a sectores realmente estratégicos y menos vulnerables, a estas crisis y a otras contingencias, como es la educación.

Todo lo concerniente a la figura del TA lo podemos encontrar en distintos sitios. 

Pero qué es el Teaching Assistant (TA). Esta es la descripción que sucintamente he incluido en el material referenciado. En época de emergencia, y desde su casa, las iniciativas de la transicion al sistema online deben proveerse de nutridos grupos de TA, bien voluntarios, o en la modalidad que las universidades determinen, pero siempre con el máximo reconocimiento. Son la pieza clave del sistema, bajo la perspectiva de dominio (Mastering learning)  que se ha manifestado como la más eficiente en esta modalidad (ver todos los documentos que he publicado sobre el tema):

Hay unos únicos profesores instructores que deben participar y tener competencias en todas las funciones educativas de las asignaturas. Son los especialistas en la materia, en los recursos, en su organización, en la enseñanza (estrategias docentes, actividades, objetivos y evaluación) deben conocer a los alumnos en la medida de lo posible e interactuar con ellos y entre ellos. Cualquier división de esta figura y en su responsabilidad supone una fragmentación en el sistema pedagógico con el consiguiente deterioro de la calidad. Para decir esto nos basamos en el problema 2 sigma y en otras investigaciones que validan las teorías en las que nos basamos, descritas al principio.

Sin embargo la metodología docente de Mastery learning supone la existencia de unos Profesores Asistentes (asistentes del alumno, no del profesor, si bien actúan coordinados y supervisados por él y bajo su responsabilidad) o TA (de Teaching Assinstant) que verifican el progreso hasta dominio de la tarea de los alumnos. 

Antes de la organización del curso, pero sobre todo antes del inicio del curso, los instructores deben determinar las funciones de los ayudantes del curso. Tanto para los alumnos implicados en el Mastery learning como para el resto. 

La función del TA en el dominio de la tarea es clave y su responsabilidad máxima, deben asegurar que cada alumno supera cada nivel para pasar al siguiente, deben atenderlos en las dificultades, proponer ritmos distintos y problemas o tareas alternativas, y hacerlo de forma flexible, personal e interactuando con ellos. En definitiva deben de ser profesores especializados en esta tarea cuya complejidad no se debe menospreciar. 

El TA también puede ayudar a los alumnos no implicados en el Mastey learning, alumnos a los que podemos llamar libres. Pero en este caso el papel de TA lo pueden cumplir otros alumnos (alumnos asistentes, o LA) y también deben estar coordinados por el instructor. 

Todos ellos deben de coordinarse para supervisar el material que producen los estudiantes en los foros y en la web social: Mensajes, post, comentarios, etc. detectando de forma temprana posibles déficits o frustraciones. 

Tenga en cuenta que este monitoreo proporciona una inestimable retroalimentación.Se ha de dejar claro que el instructor no puede atender todas las interacciones, Los TA cumplen esta función como la de filtro para las interacciones que deba atender el instructor. 

Los alumnos aceptan con satisfacción esto.

Recuerdo que el material de referencia, al que hago alusión continuamente, considerado desde la perspectiva del diseño instruccional de la enseñanza abierta online universitaria, lo podemos encontrar incluido, en este repositorio de Google Drive, como proyecto de un capítulo del libro. Está en el capítulo dedicado a los TA y también está descrito como componente de la metodología de Mastery learning, central en nuestro proyecto.

De momento me permito poner a su disposición, la de usted profesor, las guías didácticas que utilicé en mi curso abierto online de la Universidad de Alcalá de Henares, en Open Education de BlackBoard. Lo hago como todo lo demás en el espacio que he creado en Google Drive con este enlace.

Ahora también están en una web de urgencia que ha puesto en marcha la CRUE y el Ministerio de Universidades en colaboración con la UNED y la UOC. 

En ellas podrán ver ejemplos prácticos de cómo funcionan los Teaching Assistant a partir del papel que desempeñaron en el curso investigativo que impartí y coordiné en la Universidad de Alcalá de Henares, con Open Education.

Todo este material será constitutivo, convenientemente organizado y depurado, de este libro sobre diseño instruccional de la enseñanza en la pandemia y tras ella.

 

Pero antes, como he prometido al principio diré algo sobre innvaciones disruptivas, Christensen y la Universidad. En parte lo he obtenido de documentos publicados en distintas partes desde 2012

Clayton Christensen [2], profesor de administración de empresas en Harvard Business School, es conocido por su teoría de la “innovación disruptiva” en los negocios. Esta teoría  sostiene que los rivales advenedizos generalmente desplazan a los participantes ya existentes en el mercado, estableciendo primero un punto de apoyo con productos de bajo costo, dentro de las ofertas posibles, tema en el que los titulares están dispuestos a ceder. Con el tiempo, los rivales que ya no son neófitos consiguen aumentar la calidad sin dejar de mantener los costos bajos. De esta forma van asumiendo progresivamente las franjas de  mercado de mayor margen, hasta que finalmente lo dominan en su conjunto. 

Christensen añade un hecho importante en su discurso. Si bien este patrón se repite, no siempre es así. Y analizó cual es la diferencia. El patrón se ha repetido en la industria del acero, en la industria del automóvil, en la industria de las computadoras – y después se produjo en la industria de la tecnología móvil. Pero, añade, nunca se ha producido en la industria hotelera. En este caso los rivales que llegan no pueden competir por el negocio de alto nivel, sin adoptar el modelo del costo de los titulares: Si Holiday Inn quiere competir contra Ritz-Carlton, no tiene más remedio que contratar conserjes en número y calidad adecuados, poner el piso de mármol y maderas nobles. En los hoteles no hay lo que llama un “núcleo extensible” (extendable core). Lo que en nuestro post “MOOC, el modelo de negocio“ llamábamos “el ejemplar” (algo que se puede reproducir sin elevar el coste ostensiblemente). Es decir, poner en marcha un nuevo enfoque tecnológico que puede ser mejorado de manera constante a bajo costo.

La educación superior está en el mismo caso que los primeros ejemplos, los de la innovación disruptiva. Tiene un amplio “núcleo extensible”. Al menos hasta ahora. El conjunto de tecnologías que los disruptores (EDX y otros) han introducido – video conferencias, foros de discusión en línea, los algoritmos de clasificación automatizada, programas de texto de anotación comunales, laboratorios virtuales y similares – constituyen el “núcleo extensible” de la educación. El ejemplar, lo que apenas cuesta dinero o no, es una función lineal del número de participantes. Estas tecnologías ya están en el origen del modelo en igual coste. Pero Christensen dice que hay algo que está también en el origen del negocio, o de la actividad, que es factor que hace que el valor aumente de forma constante.

 

IV. La evaluación

La evaluación es un complejo de procedimientos que en condiciones normales se distribuyen a lo largo de todo el proceso educativo y difícilmente para que sea una evaluación de calidad en un único momento o en unos pocos momentos a lo largo del curso. Si se hace así, como se hacía, y aún se hace con demasiada frecuencia, con la evaluación se corre el riesgo de tomar decisiones sesgadas o arbitrarias. Además de crear en los alumnos una ansiedad que los desmotiva y perturba el aprendizaje.

Actualmente el conocimiento de cómo se produce el aprendizaje y de las prácticas pedagógicas a través de investigaciones ha aportado resultados y evidencias para organizar una evaluación de manera confiable sin necesidad de recurrir a las consabidas pruebas de conocimiento a final de curso, ciclo, trimestre, cuatrimestre o materia. Todo lo que se ha publicado en la literatura científica nos proporciona esos procedimientos y esos métodos.

Lo que se preveía para marzo, abril y mayo de 2020 se ha prolongado un año y es posible que se prolongue en igual situación bastante más tiempo. En cualquier caso las condiciones comunes de la docencia han cambiado de forma estratégica. Hay cuestiones latentes en cuanto a la evaluación y a otros componentes de la instrucción que han emergido con la situación nueva.

Si como hemos dicho, la evaluación es un proceso que para ser de calidad difícilmente se puede desvincular del quehacer cotidiano del alumno, es este caso en el que no hay una presencia directa esa interacción debe ser especialmente detallada y frecuente, de forma casi continua, en la medida que la tecnología lo permita.

Así, la tecnología sustituye la presencia directa en la evaluación continua. Alguien planteará que eso es imposible o muy difícil. Hoy no es así, y no por la eficiencia de las herramientas tecnológicas sino porque hay metodologías docentes que lo permiten y entre ellas, como después veremos, la principal es la de Mastery learning.

Se trata pues de una cuestión de metodología docente, de cómo los maestros hacemos las cosas, y no tanto de tecnología.

Para abordar la cuestión empezaremos por recordar cuál es la esencia del diseño instruccional.

En conjunto se trata de una serie de procedimientos que permiten, de forma inversa a como se desarrolla en el tiempo, establecer a partir de la definición de los resultados deseados en el aprendizaje establecer todo lo demás. Crear una secuencia de acciones en la que se distribuye no solo la entrega de materiales, la realización de de actividades y la ayuda pedagógica,  sino que además se distribuyen en el tiempo los logros parciales que, en una cadena, lleven al alumno a conseguir los logros globales de la unidad didáctica, el módulo o la materia. De forma que su consecución sea gradual y continua sin saltos. Todo ello está explicado en el material de los capítulos del libro que ahora comenzamos.

En esa tarea de distribuir los logros parciales, juega un papel clave la evaluación, determinar cuáles son las señales que nos digan que se han conseguido los logros por los alumnos y la determinación del avance o de las correcciones que hagan falta. En esto juega un papel central el diseño y sobre todo, si finalmente los hay, el papel de los TA. Más adelante describiremos, como ejemplo, lo que hicimos en el curso investigativo de Alcalá.

Por último, se trata también de una cuestión de confianza. En una educación de estándares se han establecido medidas iguales para todos, que en su consecución acreditan al alumno para superar el curso o la asignatura. Es un sistema basado en estándares de superación de pruebas y de exámenes. Estándares que son iguales para todos. Esta dinámica permite trasladar la eficiencia al escrutinio de las pruebas y de sus resultados por parte de padres, familias e inspección, de manera que aparentemente se obtiene una confianza basada en una supuesta equidad que les asegura el sistema, basado en una tradición de muchos años, los de la sociedad industrial de los estándares. Situación en la que además, con esa supuesta objetividad, los docentes se sienten seguros. Aunque como contrapartida lo que se hace es admitir un factor de discordia social, la semilla de la desconfianza, de que no haya equidad en el proceso simplemente por no tratar de forma igual a los que en realidad tienen distintas formas y ritmos de aprender y representarse lo aprendido.

Así pues, como consecuencia de este nuevo planteamiento, en la nueva educación, la basada en logros personales, el entorno social del alumno debe depositar la confianza en el modelo, personalizado. Debe de tener confianza en los dictámenes y en las orientaciones que le llegan a través de los TA y del método de dominio, pero sobre todo en los maestros, en los profesores titulares y en su expertise docente, de igual forma como la deposita en el médico, en su capacidad de diagnóstico y para decidir un tratamiento adecuado.

Todas estas ideas y principios están desarrolladas y fundadas de forma extensa en los trabajos sobre la nueva educación de Reigeluth (2013 y 2016, ) y en las que de forma, obviamente, más limitada he ido haciendo estos años (Zapata-Ros, 2014 ).

Pero la prioridad ahora está, no en la discusión de fondo, cosa que se debiera haber producido anteriormente peo como tantas cosas en este país no se hace merced a estar enredado en cuestiones ideológicas con un nivel mínimo de profundidad y de cientificidad.

Así las preguntas que la gente hace y he recogido en mis redes son más o menos:

En julio de 2020, la CRUE, el sistema universitario y en general el sistema educativo tuvieron un desafía enorme con la EBAU, la prueba de acceso a la universidad española, y que tiene un amplio efecto sobre el presente y el futuro de los alumnos y de las familias de España. Particularmente supuso un gran desafío el organizarla y sobre todo cómo hacerlo. Finalmente se hizo de forma presencial con las medidas sanitarias de mascarillas, distanciamiento social y un número mayor de sedes y de profesores. El número de aprobados fue con variaciones superior al de los años anteriores.

 Un sector muy grande creía o aportaba por su no realización. Sin embargo, de haberse producido ello se hubiera enfrentado con graves perjuicios. No es el menor de ellos el retraso en un año al menos del sistema universitario, con la consiguiente demora en la salida al mercado profesional de graduados, técnicos y científicos en una época clave. Obviamente resultaba contradictorio pedir que la ciencia siga la investigación contra el coronavirus y por otro lado retrasar o diferir la investigación general del país de forma subsiguiente, con su repercusión en  varias generaciones.

En cualquier caso no se debió suspender la EBAU, y en general no se debe negar a quien quiera o pueda, si así lo desea, seguir el progreso en su aprendizaje en consonancia  con sus expectativas de desarrollo personales.

De esta forma se debieran crear las condiciones para que quien lo desease la hiciera. La EBAU o la evaluación de sus logros.

Pero la mayor fuente de información y la más fiable para conocer tanto el nivel de logro y de adquisición de nuevos aprendizajes por los alumnos como para tener una cabal idea de cómo va la instrucción para conseguir esos logros, no proviene de los exámenes ni en general de las llamadas pruebas de conocimiento. Recordemos, a este fin, una investigación seminal ya clásica y que siempre cito como fundamento del mastery learning. En ella se obtuvieron, entre otras cosas el efecto producido por distintas variables y fuentes que intervienen en los procesos de aprendizaje, como son la acción tutorial, el refuerzo de lo aprendido, el feed-back, la interacción en el ambiente de clase y otras.

De todo esto no proporcionan evidencia directa los exámenes, ni las pruebas de conocimiento. Y sí lo hacen la supervisión y el seguimiento individualizado.

Veamos pues cual es la ponderación de la influencia en la adquisición según os distintos factores analizados por Bloom:

Observamos, por un lado que la mayor fuente de información procede de la acción tutorial, cuyo resultado se evalúa directamente por la supervisión de la tarea, y a partir de ella, del reforzamiento que, como vemos, ocupa el segundo lugar en la ponderación. En fin, esta misma consideración la podemos aplicar al resto de factores.

Como cuestión lateral, pero muy importante, observamos que la influencia de aspectos que sólo se desarrollan en ambiente de clase ocupan un lugar muy relegado en la tabla. En particular la influencia de los pares alumnos afecta hasta un 58% de la población (percentil 58), y con una ponderación de 0,20, mientras que la acción tutorial afecta al 98% de la clase, con una ponderación de 2. Hay un salto de cuarenta percentiles y la ponderación de la tutoría es diez veces más.

Esto justifica que la campana de Gauss del aprendizaje de desplace en el caso de la mentorización en dos desviaciones típicas (dos sigmas) con respecto a las metodologías expositivas y una sigma con respecto a la metodología de mastery learning.

Es decir, una instrucción que utilice la metodología de Mastery learning puede aumentar la curva de rendimiento en dos desviaciones típicas (2 sigmas) en un caso extremo (1×1), y de una sigma para el caso de Mastery learning con respecto a la metodología tradicional (expositiva con exámenes):

Por tanto, es falso el dilema según el cual si se suspenden las actividades presenciales, las clases y los exámenes, se suspende la actividad educativa, y lo que es peor LA EVALUACIÓN.

Se pueden suspender las clases presenciales y los exámenes como instrumento de evaluación y no por ello tener pérdida de aprendizaje o de acreditación de resultados de aprendizaje, si se utilizan los medios y métodos de que potencialmente disponemos y nos ofrece la investigación y la ciencia del aprendizaje, con un diseño instruccional adecuado. Incluso, según los casos, y según lo que hemos estado estudiando estos años atrás, podríamos salir ganado. Eso es algo que al día de la fecha han comprobado muchos docentes. De los cuales muchos han asegurado que, tras la pandemia, seguirán utilizando los medios y métodos docentes puestos en marcha durante ella.

Por el contrario, si con motivo de la pandemia, se suspenden las pruebas, o al supenderlas no se ponen en marcha formas de evaluación alternativas o incluso más eficaces, estaríamos restando posibilidades a un porcentaje muy alto de estudiantes y lo que, desde el punto de vista social es más grave, la marcha del progreso e la investigación y en el desarrollo del país.

Debemos pues aplicar estas metodologías docentes y estas formas de evaluación. Bajo este punto de vista no podemos olvidarnos de las consecuencias negativas del cierre de las escuelas según la UNESCO Unesco:

Tendencia al incremento de las tasas de abandono escolar: Es muy difícil lograr que los niños y jóvenes regresen a la escuela y que permanezcan en el sistema cuando los centros escolares vuelven a abrir. Es algo que sucede en particular tras cierres prolongados.

Un enunciado de este tipo está avalado por expertos y estos a su vez por investigaciones sobre la relación que se establece entre interrupción y abandono escolar. Como podemos ver en este estudio, éste o éste. Sin discriminar en niveles.

Una razón frecuente que se alega para suspender las pruebas es que “los chavales están perdidos”. Obviamente están perdidos los alumnos entrenados para superar unos estándares, en cuando se modifican las condiciones del entrenamiento o de los estándares surge el desconcierto, pero eso es un defecto propio de una educación basada en estándares y en esa superación y no para el rendimiento y el logro personal.

Ese conflicto y esta deficiencia de la enseñanza industrial, basada en estándares, más tarde o más temprano tendría que salir. Y la pandemia como en tantas disrupciones, lo que ha hecho ha sido acelerar, en este caso abruptamente, el proceso. Aflora el planteamiento que estaba en el fondo de las disrupciones emergentes hasta ahora: Los logros de los aprendices son consustanciales a las habilidades a desarrollar no a las pruebas a las que van a ser sometidos para superarlas. Para las cuales han estado entrenándose hasta ahora.

Con este nuevo planteamiento, el de la evaluación basada en el dominio, la atención personalizada, la supervisión, si los alumnos, con una ayuda adecuada, como se ve en la tabla de variables de Bloom, están capacitados porque han trabajado de una forma no dependiente de la mecánica del proceso, se le dan las condiciones adecuadas para demostrarlo, podrán manifestar esos logros y sus condiciones para seguir.

Otra cuestión la constituyen los que lamentablemente centran todo lo concerniente a la evaluación en la mecánica del proceso. En este caso, cuando esa mecánica falla o no se dan las condiciones para que funcione (caso de los exámenes presenciales) cunde el estrés entre estudiantes. Entonces la idea que surge entre alumnos y padres es que lo mejor es no presentarse o que no se hagan los exámenes hasta haber conseguido la seguridad que supone el dominio. Pero el hecho de que esto ocurra a algunos alumnos, incluso el que esto ocurra a la mayoría no debiera en ningún caso suponer una imposición para todos, sobre todo para las expectativas vitales de los que incluso en esta situación, o quizá por ella se sientan capaces o incluso estimulados.

Además como hemos dicho que ponen de manifiesto las recomendaciones de la UNESCO sobre las consecuencias negativas de la suspensión de clases y de otras actividades lectivas, y ponen de manifiesto numerosos estudios, psicológicamente esto favorece condiciones para abandonos masivos. Por tanto las alternativas deberían ser graduales y adaptadas para los distintos perfiles de alumnos, desde tareas adaptadas a la situación de cada uno, restando importancia a la presentación a las pruebas, hasta ofrecer condiciones, aprovechando la tecnología, a que los alumnos que se sientan en condiciones de manifestar sus logros y validarlos el que puedan hacerlo, sin merma del dominio en el aprendizaje.

Esto por lo demás supone un pacto tácito, que ojalá las condiciones de esta situación traigan como valor añadido para el futura, y es un pacto tácito de confianza en el papel del profesor como autoridad capaz de validar la maestría d ellos alumnos y el otorgamiento de su acreditación.

Si así fuera, esta validación se podría conseguir con mecanismos tecnológicamente elementales, como pueden ser entrevistas mediante videoconferencia o validación de pruebas de conocimiento o de habilidades por este mismo método, videoconferencia mediante Zoom, Hangout, Skipe, etc. Como precedente de esto tenemos la experiencia que desarrollamos en unos cursos de postgrado a distancia, exclusivamente en Internet, organizados por la Universidad de Murcia y en las evaluaciones (procedimientos de evaluación mediante proyectos con entrevistas) del que presentamos el ejmplo de participantes de Rio Gallegos (Argentina) evaluados en La Plata (Argentina) desde Murcia (https://revistas.um.es/red/article/view/25681 ) con supervisores en México y Buenos Aires.

En cualquier caso, la validación o la acreditación de aprendizajes o de habilidades es una parte más de todo el proceso de evaluación en el contexto de diseño instruccional donde forma un todo holístico con resultados de aprendizaje, actividades y metodología docente, incluida entrega de recursos y de ayuda.

En todo caso para centrarnos en puntos de vista más sustantivos, habría que deslindar aspectos relativos a la evaluación normativa, la evaluación que se hace actualmente por estándares y con las componentes y características actuales, que son las socialmente aceptadas, que sean compatibles con las propuestas que hacemos, ahora para la pandemia, pero que posiblemente se consoliden como las habituales después.

Así, habría que deslindar cuestiones muchas de ellas formales, pero otras culturales, como las siguientes y ver cómo se encuadran o como se afrontan. Así por ejemplo , en el caso de la EBAU:

Hasta qué punto los alumnos no se presentan para subir la nota media presionados por el entorno familiar y social

Por qué, si el fin no es asegurar unas competencias mínimas para el ingreso en la universidad, no se contemplen distintas opciones más adaptativas

Estudiar y tener en cuenta qué van a hacer en países con más experiencia en combatir el COVID19 u otras experiencias similares anteriores de interrupciones. Por ejemplo, Israel, Singapur, etc.

Está entre las posibles opciones que se contemplen una posible EBAU virtual, o con alguna componente virtual, ¿cuál sería?

Esto estaría muy bien pero la infraestructura hay que planificarla, y más allá armarla pedagógicamente ¿cómo se evalúan competencias en consonancia con lo actual de esta forma? ¿es ello posible? ¿qué habría que cambiar?

Estoy recibiendo testimonios muy buenos, ejemplares y con un diseño muy depurado y adaptado a las actuales circunstancias, pero son sesgados porque proceden de un sector próximo a la modalidad online. Sin embargo, cuando he indagado por otro lado, amigos y familiares y sobre todo sus hijos he descubierto que hay un gran vacío. Muchos profesores se limitan a dar clases expositivas grabadas en vídeo o a través de webinar, hangouts, u ootro tipo de video conferencias. E incluso algunos que se limitan a enviar Power Points. No es criticable, es una manifestación de lo que está pasando y cuál es el nivel de competencia digital docente de los profesores. El nivel de capacitación es muy incipiente. Y sobre todo carente de una evaluación real.

Hay un modelo conceptual y cultural de la EBAU y también, por qué no decirlo de la enseñanza online convencional. Existen esquemas muy consolidados de la función y representación social de la Universidad y del acceso.

Todas estas son cuestiones con las que habría que contar a la hora de implementar este tipo de evaluaciones y de metodologías docentes basadas en la individualización, el dominio y la confianza.

No quisiera concluir este documento de trabajo e introducción al libro sin tener en cuenta, al menos como referencia, dos aspectos

Primero. Las plataformas tecnológicas y otras affordances para la educación abierta.

La tesis que sostenemos es que lo importante no es la plataforma tecnológica, casi cualquiera vale, lo importante es el diseño instruccional.

En este punto recomiendo lo dicho en el artículo sobre los LMS Por qué las universidades empiezan a no utilizar los campus virtuales (los LMS) de forma relevante ¿Cómo y por qué sistemas están siendo sustituidos? (Zapata-Ros, Julio 2019)

Antes de la pandemia estaba sucediendo el fenómeno o la constelación de fenómenos que analizo en el trabajo citado ¿Qué ha sucedido después? ¿Qué instrumentos y affordances utilizan los profesores con sus alumnos después? Quiero decir además de Zoom, Met o equivalente. Cómo distribuyen y entregan los recursos. Cómo se comunican con ellos ¿Utilizan los foros?

Segundo, sobre el vídeo y las lecciones en Zoom.

Hay una cosa que no es obvia, lamentablemente, y es que nunca, nunca, los complejos procesos de elaboración que culminan, en un momento determinado, en una unidad didáctica, una lección, son fruto de experiencia y estudio de años, así como de infinidad de interacciones, y no pueden ser sustituidos por una videoconferencia en un ordenador portátil. No es suficiente ni mucho menos.

Es necesaria cuanto menos una pedagogía de las videoconferencias, integrada en un adecuado diseño instruccional.  Una pedagogía en línea que, para ser buena, tiene que ver con legibilidad, pero también con comprobaciones de comprensión y con infinidad de interacciones infinitamente diversas basadas en el conocimiento experto sobre los contenidos y con la experiencia docente del profesor.  Ver Lecturing into your laptop is not nearly enough

Y, por supuesto, tener en cuenta las consecuencias negativas del cierre de colegios y universidades expuestas por la UNESCO.

 

 

Referencias.-

Christensen, C. M. (2012) Disruptive innovation.  Consultado el 29/05/2014 en  Accedido en http://www.christenseninstitute.org/key-concepts/disruptive-innovation-2/ el 01/08/14.

Christensen, C. M. (2013). The innovator’s dilemma: when new technologies cause great firms to fail. Harvard Business Review Press.

Reigeluth, C. M. (Ed.). (2013). Instructional-design theories and models: A new paradigm of instructional theory (Vol. 2). Routledge.

 Reigeluth, C. M. (2016). Teoría instruccional y tecnología para el nuevo paradigma de la educación. Revista de Educación a Distancia (RED), (50).

Teixeira, A. M., & Zapata-Ros, M. (2021) Presentación del número especial de RED Transición de la educación convencional a la educación y al aprendizaje en línea, como consecuencia del COVID19. https://revistas.um.es/red/article/download/461041/297851/1577541

UNESCO (2021). Education: From disruption to recovery. https://en.unesco.org/covid19/educationresponse

World Economic Forum (2021). COVID-19 has transformed education – here are the 5 innovations we should keep. https://www.weforum.org/agenda/2021/02/covid-19-pandemic-higher-education-online-resources-students-lecturers-learning-teaching/

Zapata-Ros, M (2012a) Calidad en entornos ubicuos de aprendizaje. Revista de Educación a Distancia (RED), (31). http://www.um.es/ead/red/31/zapata_ros.pdf

Zapata-Ros, M. (2012b). Teorías y modelos sobre el aprendizaje en entornos conectados y ubicuos. Bases para un nuevo modelo teórico a partir de una visión critica del “conectivismo”. Preprint eLis. http://eprints.rclis.org/17463/

Zapata-Ros, M. (julio 2013) Any time and anywhere. BLOGCUED. http://blogcued.blogspot.com.es/2013/07/any-time-and-anywhere.html

Zapata-Ros, M (2014). Charles Reigeluth: la personalización del aprendizaje y el nuevo paradigma de la educación para la sociedad postindustrial del conocimiento. En Pensadores de ayer para problemas de hoy: Teóricos de las Ciencias Sociales (Vol. 6). Manuel Esteban Albert (coord.), Juan Sáez Carreras (coord.)

Zapata-Ros, M (febrero 2014). BYOT, aprendiendo con el móvil.  http://redesabiertas.blogspot.com.es/2014/02/byot-aprendiendo-con-el-movil.html.

Zapata-Ros, M. (julio 2019). Por qué las universidades empiezan a no utilizar los campus virtuales (los LMS) de forma relevante ¿Cómo y por qué sistemas están siendo sustituidos? Preprint Research Gate. DOI: 10.13140/RG.2.2.21039.69286 y https://www.researchgate.net/publication/334480074_Por_que_las_universidades_empiezan_a_no_utilizar_los_campus_virtuales_los_LMS_de_forma_relevante_Como_y_por_que_sistemas_estan_siendo_sustituidos_Why_do_universities_start_not_to_use_virtual_campuses_

Zapata-Ros, M. (agosto 2019). Por qué las universidades empiezan a no utilizar los campus virtuales (los LMS) de forma relevante ¿Cómo y por qué sistemas están siendo sustituidos? Post de RED El aprendizaje en la Sociedad del Conocimiento. https://red.hypotheses.org/1883  

---

[1] Este tema lo pueden encontrar desarrollado más extensamente en La configuración de espacios y de entornos físicos y tecnológicos en la nueva Enseñanza Superior (II).

[2] A principios de marzo, en el MIT Media Lab, y convocados por el MIT, la Universidad de Harvard y los fundadores de la online-learning initiative, convocaron a un grupo de líderes académicos y otros expertos en esta línea de learning para una reunión cumbre de un día de duración titulado “Online Learning and the Future of Residential Education”  Allí estuvieron de la mano expertos, presidentes y peces gordos de MIT y Harvard, los prebostes de la Universidad de California en Berkeley, la Universidad de Cornell, la Universidad Carnegie Mellon y la Universidad McGill.