Los programas generativos “Transformer” AI, entre los que está ChatGPT, ¿una oportunidad para la evaluación formativa? (y III)

II. Evaluación formativa: La auténtica evaluación educativa es inmune al ChatGPT

Fuente: Imagen generada con el texto “the assessment. Students. Hopper style” por Miguel × DALL·E Human & AI

La evaluación es un complejo de procedimientos que, en condiciones normales, se distribuyen a lo largo de todo el proceso educativo a través de distintos recursos y procedimientos y difícilmente, para que sea una evaluación de calidad, se hace en un único momento o en unos pocos momentos a lo largo del curso, o utilizando una única técnica o instrumento. Si se hace así, como se hacía, y aún se hace con demasiada frecuencia con la evaluación, fiándola a un examen o a un proyecto, se corre el riesgo de tomar decisiones sesgadas o arbitrarias. Además de crear en los alumnos una ansiedad que los desmotiva y perturba su aprendizaje.

Actualmente tenemos el conocimiento de cómo se produce el aprendizaje y de cómo se realizan las prácticas pedagógicas en las mejores condiciones. Lo hemos obtenido a través de investigaciones que ha aportado resultados y evidencias. También lo tenemos para organizar una evaluación de manera confiable sin necesidad de recurrir exclusivamente a las consabidas pruebas de conocimiento o ensayos, a final de curso, ciclo, trimestre, cuatrimestre o materia. Todo lo que se ha publicado en la literatura, como consecuencia de esas investigaciones y de esa elaboración científica, nos proporciona esos procedimientos y esos métodos. Es papel de los diseñadores de la instrucción en todos sus niveles el conocerlos y el aplicarlos en TODOS LOS ESCENARIOS. Y su responsabilidad el no hacerlo así.

Como en otros casos y en otros procesos, ahora con ChatGPT y antes con la pandemia, se están poniendo de relieve hábitos, tradiciones y procesos que estaban pasando desapercibidos y que han manifestado por un lado su vulnerabilidad, sus insuficiencias y por otro las alternativas que la teorías pedagógicas nos venían suministrando, siendo muchas veces ignoradas, y por otro el papel que la tecnología y las redes digitales con sus affordances nos estaban suministrando para la implementación de esos enfoque teóricos así como la oportunidad de validarlos con la práctica.

Con respecto a la evaluación, la segunda cuestión clave que se ha de tener en cuenta es que desde siempre la evaluación ha sido un proceso que, para ser de calidad, difícilmente se puede desvincular del quehacer cotidiano del alumno. Pues bien, si siempre ha sido así, ahora es más vital ese factor: Ahora con la amenaza de ChatGPT y Transformers IA y antes con la pandemia, cuando no hay una interacción directa entre alumnos y profesores, es cuando debemos ser conscientes de su importancia, de que  esa interacción debe ser especialmente detallada, en su práctica y programación, así como frecuente, de forma casi continua, en la medida en que las condiciones físicas de presencia directa mediante entrevistas y supervisiones o a través de la  tecnología, lo permitan. Alguien planteará que eso es imposible o muy difícil. Hoy no es así. Y no por la eficiencia de las herramientas tecnológicas, que también, sino porque hay metodologías docentes que lo permiten. Desde hace ya tiempo. Y entre ellas, como después veremos, la principal es la de Mastery learning (Zapata-Ros, 2018).

Se trata pues de una cuestión de metodología docente, de cómo los profesores hacemos las cosas.

La primera conclusión que he sacado, en toda mi experiencia, es que la evaluación e incluso la acreditación de conocimientos o de habilidades no debe abordarse como algo aislado, condicionado exclusivamente por variables limitadas a la coyuntura o por otros factores recientes y directos. Si lo hacemos así se pueden derivar más males que beneficios, y además los resultados van a ser irreparables.

La evaluación en todos sus aspectos debe de estar, en todas sus facetas y ejecuciones, integrada en un proceso de diseño instruccional amplio y detallado lo más posible.

Pero, ¿qué es el diseño instruccional?:

Un diseño es, en general, un proyecto o un plan que configura algo antes de su realización o de su desarrollo. Pero que también permite saber en qué punto de él estamos en su ejecución, y cómo relacionar lo que estamos haciendo con los resultados últimos de lo que hagamos. Pudiendo retomar y modificar decisiones, en progreso, para cambiar la ejecución y que ésta se ajuste con nuestros objetivos en un feedback continuo.

Los procesos y programas formativos, y la educación, también se diseñan.

En general el diseño instruccional, como veremos, se define como “un proceso sistemático que se emplea para desarrollar programas de educación y capacitación de manera continua y confiable”. 

Existe una amplia base de modelos de diseño instruccional y de desarrollos teóricos considerados como marcos para el desarrollo de módulos formativos o clases que aumenten, haciéndolo de acuerdo con sus pautas y preceptos, la posibilidad de aprender, de fomentar la participación de los alumnos para que aprendan más rápido, y obtener de esta forma niveles más profundos de entendimiento.

Los principales creadores e impulsores del diseño instruccional y de sus bases teóricas ha sido David Merrill (2002 y 2012) y Charles M. Reigeluth.

Así la Teoría del Diseño Instruccional clásica de Reigeluth se considera, en general, como un instrumento con un doble fin: facilitar el aprendizaje y el desarrollo humano, o mejor dicho facilitar el desarrollo humano en la medida que se consigue un mejor aprendizaje. Es en esencia una teoría situacional. Sostiene que los métodos y situaciones de aprendizaje son esenciales para que el aprendizaje tenga lugar de forma efectiva. Está constituida por 

una serie de principios para organizar la enseñanza en un esquema complejo de elementos más pequeños, y por tanto más cerca de la comprensión individual, que posteriormente son insertados en estructuras conceptuales interrelacionadas.

Los métodos del diseño instruccional suponen un ciclo continuo y una evaluación formativa (Zapata-Ros, 2013) que permiten introducir mejoras sobre el proceso en el diseño del programa educativo, sin necesidad de concluir.

El diseño instruccional permite pues partir, en un proceso inverso, desde la consideración de cuáles son los resultados deseados del proceso de aprendizaje para organizar las pautas, para distribuir en el tiempo todo lo demás, incluida la secuencia de acciones y de contenidos. Permite distribuir no solo la entrega de materiales, de actividades y de ayuda, sino de establecer cuáles son los logros parciales que, en una cadena, lleven al alumno a conseguir los logros de la unidad didáctica, el módulo o la materia. De forma que su consecución sea gradual, continua, sin saltos. 

Hemos dicho que el diseño instruccional consiste también en la aplicación de los principios teóricos que se conocen sobre como los individuos aprenden para organizar la educación. Veamos particularmente cómo funciona esto, la aplicación de los principios teóricos, en un punto concreto, el de la evaluación, que es el tema de este post.

Lo hace a través del principio de demostración.

 

La evaluación y el Principio de Demostración.

Pero antes expliquemos un poco más qué son los principios del aprendizaje. Como referencia teórica, hemos utilizado, en todo lo que hemos escrito aquí y en material que he ofrecido en estas circunstancias para ayudar al diseño de enseñanza online y para la evaluación, el trabajo de M. David Merrill (2002 y 2012) conocido como los “Primeros [o principales] principios de la instrucción” (First principles of instruction, Prentice Hall). Todo ello está desarrollado en el capítulo 2 y se puede ampliar allí con más detalle y en las referencias que contienen enlaces a los documentos originales.

Estos principios son una constante de la educación en todas las investigaciones, son aceptados por todos los teóricos, hay un consenso sobre ellos.

Merrill estableció cinco principios: El aprendizaje ha de ser centrado en el problema, el principio de activación, el de demostración, el de aplicación y el principio de integración o de transferencia.

El principio que fundamenta la evaluación es el principio de demostración. Y es el que debiéramos tener presente en todo momento en que hablásemos de ella. Simlificando consiste en que el alumno ha de aportar evidencias de su aprendizaje, en un sentido pedagógico, es decir ha de demostrar quecomprende que atribuye sentido, que aplica las habilidades conseguidas de forma autónoma y las transfiere a contextos distintos.

¿Qué dice?

En primer lugar, y para entender lo que sigue, hemos de tener en cuenta que los principios de la instrucción están enunciados en forma de criterios que ha de cumplir la enseñanza para que el aprendizaje sea eficiente, de calidad. Hemos de recordar que la evaluación forma parte de la instrucción.

Principio 3-Demostración.-

El aprendizaje se promueve cuando la instrucción demuestra lo que se debe aprender en lugar de simplemente decir información sobre lo que se debe aprender.

Así la demostración es un factor de consistencia: El aprendizaje se promueve cuando la demostración es coherente con el objetivo de aprendizaje, con:

(a) ejemplos y contraejemplos de conceptos,

(b) demostraciones para procedimientos,

(c) visualización (evidenciar visualmente) para los procesos, y

(d) el modelado (presentación de modelos) para adquisición de valores y conductas

Obviamente ninguna de estas exigencias de la demostración se cumplen con el ChatGPT ni el propio GPT las demuestra.

Presentar un informe o un proyecto, por sí mismo no demuestra nada.

La repercusión del diseño instruccional en la evaluación tiene otro punto clave: La cuestión inmaterial, pero sobre la que gira la docencia, el entregar ayuda y contenidos cuando el alumno esté receptivo y los perciba como útiles, estriba en distribuir los logros parciales y evaluar su consecución, y únicamente entonces proseguir. En esto juega un papel central el diseño y sobre todo, si finalmente los hay, el papel de los Teaching Assistant (TA). Más abajo describiremos como ejemplo lo que hicimos en el curso investigativo de Alcalá.

 

La confianza

Por último, se trata también de una cuestión de confianza. En una educación de estándares, a la que estamos acostumbrados y donde el ChatGPT, los proyectos a los que sustituye y los exámenes,  se han establecido medidas iguales para todos, los estándares, que en su consecución acreditan al alumno para superar el curso o la asignatura. Es un sistema basado en estándares iguales para todos, de superación de pruebas y de exámenes iguales para todos.

Esta dinámica permite trasladar la eficiencia al escrutinio de las pruebas y de sus resultados por padres, familias e inspección, donde además con esa supuesta objetividad los docentes se sienten seguros, aunque por contrapartida lo que se hace es sembrar la semilla de la desconfianza, de que no haya equidad en el proceso. Esto es un caldo abonado para la industria del fraude y la del ChatGPT como impostor del alumno para demostrar capacidades y aprendizajes en general.

Este hecho viene a confirmar algo que planteamos desde hace tiempo , la necesidad de una nueva educación, la basada en logros personales. En ese marco el entorno social del alumno debe depositar la confianza en el modelo, personalizado a través de sistemas que como el de Mastery learnig otorge en los maestros la confianza en valorar que se alcanza el dominio en el aprendizaje. De confiar en el maestro y en su expertise docente, de igual forma como la deposita en el médico, en su capacidad de diagnóstico y de decidir un tratamiento adecuado.



La evaluación formativa

En lo que sigue haremos un repaso de lo que se entiende por evaluación formativa,  de cómo la podemos relacionar con lo que está sucediendo con ChatGPT y lo que hemos dicho sobre él. Es conveniente que todo ello lo tengamos en mente cuando veamos todo esto.

También veremos otros conceptos y otras formas de evaluación. Por último, haremos un sucinto repaso de actividades que tienen un fuerte carácter de evaluación formativa y que se sugieren como algo que proporciona información sobre el estudiante y sobre su progreso en el camino hacia aprender y obtener el dominio en las destrezas que se pretende que consiga. Pero no nos quedaremos en el mero enunciado o la sugerencia de actividades, veremos qué procesos y que logros son los más importantes en ese camino.

Leer sólo lo que proporciona un informe o un ensayo, prescindiendo de todo lo que estamos viendo y de lo que en general se sabe y se ha investigado, para evaluar a un estudiante, aunque sepamos mucho sobre, él puede ser injusto por insuficiente. En definitiva, evaluar teniendo en cuenta únicamente el texto, en el que como hemos visto, ahora con Chat GPT, es imposible discernir entre un humano y un programa transformer, nos lleva al fracaso y al malestar por vernos, como profesor4es, indefensos y desamparados en ese camino. Y lo que, sin ser tan grave es muy negativo, a perder la confianza en la tecnología y en una visión positiva de ella como apoyo nuevo e imprescindible para muchos aprendizajes.

Definiciones y validez de la evaluación formativa

Un trabajo básico pero muy completo es el que Terry Crooks (2001, September) hizo parta la Unidad de Investigación en Evaluación Educativa en la Universidad de Otago ( Dunedin, Nueva Zelanda), presentado en la Conferencia Anual de la Asociación Británica de Investigación Educativa, Universidad de Leeds, 13-15 de septiembre de 2001, en la sección de Educación online, titulado The Validity of Formative Assessments.

Así Crooks (2001) define evaluación como

Cualquier proceso que proporcione información sobre el pensamiento, los logros o el progreso de los estudiantes.

 Para ello se valió de un importante concepto previo, el de validez Utilizó el trabajo y definición de Messick (1989, p.13 Vigency)

La validez es un juicio evaluativo integrado del grado en que la evidencia empírica y los fundamentos teóricos apoyan la idoneidad y pertinencia de las inferencias y acciones basadas en los puntajes de las pruebas u otros modos de evaluación.

 Frecuentemente se utiliza el concepto de evaluación sumativa, más acorde con lo que habitualmente se hace y cómo se entiende la evaluación

De esta forma, la evaluación sumativa tiene la intención de resumir el logro del estudiante en un momento particular, mientras que la evaluación formativa tiene como objetivo promover una mayor mejora del logro del estudiante, además de asegurar, obviamente, lo anterior.

Es decir, se trata de contraponer evaluación de lo aprendido y evaluación para aprender (Assessment OF learning versus assessment FOR learning) en el sentido más simple de las dos expresiones:

Evaluación de lo aprendido

Evaluación para aprender

Veamos ahora en este contexto algunas de las definiciones que hemos encontrado más precisas de  evaluación formativa

Para el Ministerio de Educación, Nueva Zelanda, 1994 (Assessment: policy to practice) se trata de:

Una gama de procedimientos de evaluación formales e informales (por ejemplo, el seguimiento del desarrollo de la escritura de los niños, registros de hechos concretos y observaciones [igual puede generalizarse a procedimientos seguidos en otros niveles y etapas][1]) realizados por los profesores en el aula [o en la actividad en línea] como parte integral del proceso normal de enseñanza y aprendizaje para modificar y mejorar el aprendizaje comprensión.

 Para Bronwen Cowie & BeverleyBell (1999) (A model of formative assessment in science education) es:

El proceso utilizado por profesores y estudiantes para reconocer y dar respuesta al proceso de aprendizaje de los estudiantes con el fin de mejorar ese aprendizaje durante el aprendizaje.

Para Black & Wiliam, 1998a, p. 2 (Inside the black box) la

Evaluación ‘se refiere a todas aquellas actividades realizadas por los profesores, y por los estudiantes en la autoevaluación, que proporcionan información que se utilizará como retroalimentación para modificar las actividades de enseñanza y aprendizaje en las que participan. Dicha evaluación se convierte en “evaluación formativa” cuando la evidencia obtenida se utiliza en la práctica docente para adaptar la enseñanza a las necesidades detectadas.

Pero quizá la más completa es la definición que hacen Black & Wiliam (2009), de evaluación formativa, acompañada de otra sobre lo que es instrucción.

Para lo primero se basa en sus definiciones (Black y Wiliam, 1998b) y la definición del Grupo de Reforma de la Evaluación (ARG, 2002):

La práctica en el aula es formativa en la medida en que la evidencia sobre el rendimiento del estudiante sea suscitada, interpretada y utilizada por los profesores, los alumnos o sus compañeros, para tomar decisiones sobre los próximos pasos en la instrucción. Próximos pasos que probablemente sean mejores, o mejor fundamentados, que las decisiones que se tomarían se han tomado en ausencia de la evidencia que de esa forma se ha obtenido.

Pero ¿qué es instrucción e instruccional? Aquí y en varios lugares más utilizamos este término. Procede pues definirlo:

En gran parte del mundo académico, este término tiene una connotación de formación, o de enfoques didácticos de la enseñanza. Sin embargo, en otros y de forma mayoritariamente aceptado, el término “instrucción” significa la combinación de enseñanza y aprendizaje, y es este último sentido el que utilizaremos aquí. En esta definición, “instrucción” se refiere a cualquier actividad que vaya destinada a crear aprendizaje. En España el término equivalente sería pedagogía. Pero actualmente también, además de que el enfoque tradicional tiene inconvenientes al sugerir una visión más limitada de la práctica de la enseñanza, no se ajusta demasiado bien a términos y conceptos de la sociedad digital y del conocimiento. Por ejemplo, parecería extraño referirse a los estudiantes como ‘recursos pedagógicos unos para otros’, parece que hablamos de textos, pizarras, retroproyector, etc. No así si decimos “alumnos como recursos instruccionales unos para otros”.

A esto podemos añadir una particular aportación de quien suscribe (Zapata-Ros, 2012):

La evaluación formativa o de proceso se exige para entender no sólo si un alumno ha conseguido aprendizaje o no, sino por qué. Comprender las razones para el éxito o para el fracaso depende de la profundidad del conocimiento que existe de lo que se ha hecho o se está haciendo, y también de la relación apropiada entre el uso de la tecnología, las actividades que se han hecho con ella y el área de conocimiento. Entendiendo como tal la metodología docente para el área (las ideas pedagógicas) y los conocimientos propios de la materia.

Por lo tanto, podemos concluir que, aunque el desarrollo de la evaluación formativa no es la única manera, o incluso la mejor manera, para abrir una gama más amplia de cambios deseables en el aprendizaje en el aula, puede ser particularmente eficaz, en parte porque la calidad de la retroalimentación interactiva es un factor crítico característica para determinar la calidad de la actividad de aprendizaje y, por lo tanto, es una característica central de pedagogía [2]

Después de esto creemos que el lector se habrá formado una idea cabal y actualizada de lo que es la evaluación formativa. Pero no es sólo importante saber qué es sino cómo se practica: las actividades.

En base a la literatura[3], las prácticas, en condiciones normales de trabajo en aula y online, comunicadas por docentes y en base a la propia experiencia en la docencia de secundaria, grado y postgrado y formación del profesorado en activo, también en condiciones normales online, podemos establecer una clasificación en los principales tipos de actividad que señalamos.

Resumiendo lo consultado sobre evaluación formativa podemos ver que hay ocho tipos principales de actividades o de prácticas docentes, sugeridos por evidencias (limitadas a la propia experiencia) de su eficacia potencial, y desarrollado con y por profesores en condiciones normales de trabajo en el aula, también sugeridos por la literatura sobre el tema (Wiliam, 2000, Black et al., 2003; Wiliam, 2007):

  • Compartir criterios de éxito con los alumnos
  • Preguntar en el aula, o en el chat, o verbalmente en Zoom o similar, con anotaciones.
  • Marcado de sólo comentarios
  • Autoevaluación, con criterios explícitos
  • Uso formativo de pruebas sumativas (muy importante).
  • Revisiones, con observaciones y marcado de comentarios
  • Supervisiones de los alumnos, con reuniones presenciales, videorreuniones o sesiones de videollamada.
  • Intervenciones en los foros con comentarios personales, otorgamiento de relevancia en relación con la formatividad y con relación a los objetivos de aprendizaje, a los logros esperados y a las habilidades desarrolladas, sobre todo conceptuales, en este caso.

De estos ocho, cinco se proponen y están estudiadas en Developing the theory of formative assessment por Paul Black, King’s College London, and Dylan Wiliam, Institute of Education, University of London

Objeto aparte de estudio y de desarrollo puede ser el tratamiento de cada uno de estos tipos de actividades.

Particular importancia tiene la evaluación de marcado sólo con comentarios (pruebas comentadas) y la evalución formativa a partir de la evaluación sumativa (ver Using comment only marking in a mathematics classroom in the Republic of Ireland: experience and learning of a student teacher, por O’ Mahoney and Heinz (2016).

La calificación de sólo comentario es un método de evaluación formativa. Implica que el profesor brinde retroalimentación constructiva y metas parciales vinculadas a los objetivos para alentar y apoyar a los estudiantes a desarrollar los objetivos de aprendizaje establecidos independientemente y sus habilidades de autoevaluación.

Este tipo de evaluación se considera una estrategia clave de aprendizaje, también y sobre todo, en el aula.

Como resultado, la información proporcionada por esta evaluación puede utilizarse como retroalimentación para influir y modificar las actividades de enseñanza y aprendizaje. Según Petty (2009), se puede utilizar esta forma de evaluación para motivar y animar al alumno al mismo tiempo que mejora él y mejora su trabajo. Hay dos formas principales de evaluación, evaluación sumativa y evaluación formativa.

Sobre lo segundo, las evaluaciones acumulativas se dan periódicamente para determinar la comprensión de un estudiante del tema en un momento particular en relación con los estándares de contenido. La frecuencia aumenta proporcionalmente la comprensión y la adquisición, debido al dominio en aspecto parciales que aumenta la capacidad para aprender lo siguiente.

El marcado de sólo comentarios y la relevancia suficiente de intervenciones en foros y chats tienen, aparte de lo visto, una importancia determinante y clave en la metodología docente y de evaluación conocida como mastery learning, como podemos ver en otros documentos.

Cuestiones muy importantes que nos planteamos a propósito de esta modalidad de evaluación, sobre todo en su práctica:

¿Hasta cuándo haremos marcado de comentarios, durante qué tiempo o cuántas rondas haremos? ¿en cuántas revisiones? ¿cómo sustituiremos la nota, la puntuación numérica clásica, por la calificación, obviamente textual, para señalar la superación del módulo o de la unidad de contenidos o la consecución [dominio] de la habilidad que tratemos?

A todas estas preguntas se da respuesta en la modalidad de “dominio del aprendizaje” (Mastery learning). Modalidad en la que sucintamente se dice que sólo se pasara a la parte siguiente cuando se consiga un dominio de la actual. Obviamente, en este contexto tienen un papel esencial los Teaching Assistant.

Hay otra cuestión que también es clave: Este método, esta modalidad de evaluación, supone la confianza y la conformidad en la capacidad del docente, su auctoritas, para determinar cuándo se ha alcanzado el dominio. No en balde se llama maestría, evocando la relación entre maestro y aprendiz que se establecía en otras etapas de la historia de la educación y de la instrucción.

La evaluación sumativa es la que sólo proporciona los criterios de promoción del alumno al final del módulo, la asignatura o el curso.

Por tanto, hay básicamente dos formas de evaluación, evaluación sumativa y evaluación formativa.

Las evaluaciones acumulativas se ofrecen periódicamente para determinar el grado la comprensión del tema de un estudiante en un momento particular en relación con los estándares de contenido. Otra cuestión es si coincide con la evaluación del aprendizaje. Aprendizaje no siempre supone sólo comprensión, para muchos de nosotros supones dominio[4].

De acuerdo con Garrison y Ehringaus (2007), la evaluación sumativa ocurre demasiado poco y de forma distanciada en el camino de aprendizaje del estudiante para que pueda producir ajustes instructivos durante el proceso de aprendizaje.

La evaluación formativa ocurre cuando los resultados de la evaluación se consideran y se utilizan para modificar la enseñanza para satisfacer las necesidades de los estudiantes casi instantáneamente. También se conoce como evaluación para el aprendizaje (Black y William, 1998). La evaluación formativa es útil tanto para estudiantes como para profesores. Proporciona retroalimentación a los docentes sobre la efectividad de sus estrategias y enfoques de enseñanza, que luego pueden ajustar para mejorar el aprendizaje de los estudiantes. En segundo lugar, la evaluación formativa puede ser útil para los estudiantes ya que la retroalimentación es enfocada y precisa para que tengan la capacidad de identificar áreas específicas que necesitan trabajar y si necesitan ajustar su forma de pensar (Phelan et al., 2011).

 

Por último, más allá de definiciones, conceptos y actividades, conviene señalar el sentido de los procesos y de otros aspectos de la evaluación formativa en un contexto más amplio.

Para proporcionar una base amplia de la evaluación formativa, tres procesos son centrales: establecer dónde se encuentran los estudiantes en su aprendizaje, establecer hacia dónde se dirigen y establecer lo que se debe hacer para lograrlo y cómo ayudarlos a llegar allí (Thompson y William, 2007 a partir de Ramaprasad (1983)). Con referencia a estos tres procesos estableceremos los principales aspectos a considerar en la evaluación formativa en todos los casos:

 

 

A dónde va el alumno

 

Dónde está el alumno ahora mismo

 

Cómo llegar allí

 

El profesor

 

1 Aclarar el aprendizaje: las

intenciones y los criterios para el éxito.

 

2 Construir una arquitectura efectiva de la clase: Fomentar

discusiones en el aula y proponer tareas de aprendizaje que provoquen la evidencia del estudiante propia de la comprensión.

 

3 Proporcionar comentarios y estímulos que

mueve a los alumnos hacia adelante, que hagan que progresen.

 

El igual

 

Comprender y compartir intenciones de aprendizaje y

criterios para el éxito

 

4 Activar a los estudiantes como recursos educativos entre sí.

 

El alumno

 

Entender el aprendizaje, las

intenciones y los criterios para el éxito

 

5 Activar a los estudiantes como dueños de su propio aprendizaje

 

Figura 1: Aspectos de la evaluación formativa

 

Conclusiones. –

Un sistema educativo, que implemente estas ideas, es absolutamente inmune al uso de ChatGPT como sustituto total o parcialmente en la demostración del aprendizaje. Otra cuestión es su uso de forma crítica como recurso educativo, con un carácter similar al que tiene actualmente cualquier buscador o enciclopedia digital.

 

 

Referencias.-

ARG (2002) Assessment for Learning: 10 principles. Available on the Assessment Reform Group web-site : www.assessment-reform-group.org.uk

Black, E. (1995). Behaviorism as a learning theory. Retrieved from http://129.7.160.115/inst5931/Behaviorism.html

Black, P., & Wiliam, D. (2003). ‘In praise of educational research’: Formative assessment. British educational research journal29(5), 623-637.

Black, P., & Wiliam, D. (1998a). Assessment and classroom learning. Assessment in Education, 5, 7-74.

Black, P., & Wiliam,D. (1998b). Inside the black box: Raising standards through classroom assessment. Phi Delta Kappan80, 139-149.

Black, P., & Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability (formerly: Journal of Personnel Evaluation in Education)21(1), 5-31. https://kclpure.kcl.ac.uk/portal/files/9119063/Black2009_Developing_the_theory_of_formative_assessment.pdf y https://link.springer.com/article/10.1007/s11092-008-9068-5

Bloom, B. S. (1984). The 2 sigma problem: The search for methods of group instruction as effective as one-to-one tutoring. Educational researcher13(6), 4-16. https://www.jstor.org/stable/pdf/1175554.pdf

Bloom, B. (May 68). Learning for Mastery. Instruction and Curriculum. https://files.eric.ed.gov/fulltext/ED053419.pdf

Bloom, B. S. (1976). Human characteristics and school learning. McGraw-Hill.

Bloom, B. (1984). The 2 Sigma Problem: The Search for Methods of Group Instruction as effective as One-to-One Tutoring, Educational Researcher, 13:6 (4-16). https://inst.eecs.berkeley.edu//~cs375/sp15/resources/Bloom_The2SigmaProblem.pdf

CIT (Center for Intructional Technologie) (2013) Building a Coursera Course  Version 2.0 https://docs.google.com/document/d/1ST44i6fjoaRHvs5IWYXqJbiI31muJii_iqeJ_y1pxG0/edit?pli=1

Cowie, B., & Bell, B. (1999). A model of formative assessment in science education. Assessment in Education: Principles, Policy & Practice6(1), 101-116.

Crooks, T. (2001, September). The validity of formative assessments. In British Educational Research Association Annual Conference, University of Leeds (pp. 13-15). http://www.leeds.ac.uk/educol/documents/00001862.htm (en documentos http://www.leeds.ac.uk/bei/Education-line/browse/all_items/119155.html )

Crosslin, M (2014 May).  Designing a Dual Layer cMOOC/xMOOC. http://www.edugeekjournal.com/2014/05/04/designing-a-dual-layer-cmoocxmooc/

Driscoll, M. (1994). Gagne’s theory of instruction. Psychology of Learning for Instruction. Boston, MA, Allyn and Bacon, 329-358. https://psycnet.apa.org/record/1993-99148-000 http://ocw.metu.edu.tr/pluginfile.php/9013/mod_resource/content/1/driscoll-ch10%20(1).pdf

Driscoll, M. (2000). Psychology of learning for instruction. Needham Heights, MA: Allyn & Bacon.

Fink, L.D. (2003), A Self-Directed Guide to Designing Courses for Significant Learning.http://www.deefinkandassociates.com/GuidetoCourseDesignAug05.pdf

Fink, L.D. (2003), A Self-Directed Guide to Designing Courses for Significant Learning. http://www.deefinkandassociates.com/GuidetoCourseDesignAug05.pdf

Gagné, R. M. (1965). The conditions of learning and theory of instruction ( 1st ed.). New York, NY: Holt, Rinehart & Winston.

Gagné, R. M., & Briggs, L. J. (1974). The principles of instructional design ( 1st ed.). New York, NY: Holt.

Gagné, R. M. (1985). The conditions of learning and theory of instruction ( 4th ed.). New York, NY: Holt, Rinehart & Winston.

Gagne, R. M.,& Medsker, K. L. (1996). The conditions of learning: Training applications. Fort Worth, TX: Harcourt Brace College Publishers.

Garrison, C., & Ehringhaus, M. (2007). Formative and summative assessments in the classroom.

Merrill, M. D. (2002). First principles of instruction. Educational technology research and development50(3), 43-59. http://csapoer.pbworks.com/f/First+Principles+of+Instruction+(Merrill,+2002).pdf

Merrill, M. D. (2012). First principles of instruction. John Wiley & Sons.

Merrill, M. D. (1991). Constructivism and instructional design. Educational technology31(5), 45-53.

Merrill, M. D. (2002). First principles of instruction. Educational Technology Research and Development, 50(3), 43-59.  Instructional-Design Theories and Models, Volume III: Building a Common Knowledge Base.

Merrill, M. D. (2009). First Principles of Instruction. In C. M. Reigeluth & A. Carr (Eds.), Instructional Design Theories and Models: Building a Common Knowledge Base (Vol. III). New York: Routledge Publishers.

Messick, S. (1989). Validity. In R. L. Linn (Ed.), Educational measurement (3rd ed., pp. 13–103). New York, NY: Macmillan.

Ministry of Education, New Zealand. (1994). Assessment: policy to practice. Wellington, New Zealand: Learning Media.

O’Mahoney, K. & Heinz, M. (2016). Using comment only marking in a mathematics classroom in the Republic of Ireland: experience and learning of a student teacher. Journal of Teacher Action Research2(2), 58-69. http://www.practicalteacherresearch.com/uploads/5/6/2/4/56249715/mahoney1-12.pdf, https://aran.library.nuigalway.ie/bitstream/handle/10379/6045/JTARSubmissionfinal20Dec2015.pdf  y https://www.researchgate.net/profile/Manuela_Heinz/publication/309985621_Using_Comment_Only_Marking_in_a_Mathematics_Classroom_in_the_Republic_of_Ireland_Experience_and_Learning_of_a_Student_Teacher/links/58272da608ae254c508311f3.pdf

Petty, G., (2009). Evidence Based Teaching – a practical approach (2nd edition). Cheltenham: Nelson Thornes. http://155.0.32.9:8080/jspui/bitstream/123456789/91/1/%5BGeoff_Petty%5D_Evidence-based_Teaching_A_Practical%28BookFi.org%29.pdf

Phelan, J., Choi, K., Vendlinski, T., Baker, E. y Herman, J. (2011). Mejora diferencial en la comprensión de los estudiantes de los principios matemáticos después de una intervención de evaluación formativa. The Journal of Educational Research , 104 (5), 330-339. https://www.tandfonline.com/doi/full/10.1080/00220671.2010.484030?casa_token=AXwD-EDEdK4AAAAA%3AVepQ_WIb2P5CsPMgo004X4Gw_8v-mPGw1P2kgsfYqqglhfvTDbmqbnVGeGsP4X-4uRmbqJuUPZZWS4E

Ramaprasad, A. (1983). “On the definition of feedback.” Behavioral Science 28(1): 4-13.

Reigeluth, C. M., Ed. (1999). Instructional-Design Theories and Models: A New Paradigm of Instructional Theory. Mahwah, NJ, Lawrence Erlbaum Associates Publishers.

Reigeluth, C. (2012).  Teoría instruccional y tecnología para el nuevo paradigma de la educación. RED, Revista de Educación a Distancia. Número 32. 30 de septiembre de 2012. Consultado el (dd/mm/aaa) en http://www.um.es/ead/red/32

Shepard, L. A. (2005, October). Formative assessment: Caveat emptor. In ETS Invitational Conference The Future of Assessment: Shaping Teaching and Learning, New York. https://web.archive.org/web/20111007220347/http://www.cpre.org/ccii/images/stories/ccii_pdfs/shepard%20formative%20assessment%20caveat%20emptor.pdf

Siemens, G. (2014, May). Multiple pathways: Blending xMOOCs & cMOOCs. http://www.elearnspace.org/blog/2014/05/06/multiple-pathways-blending-xmoocscmoocs/

Tennyson, R. D., Schott, F., Dijkstra, S., & Seel, N. M. (Eds.). (1997). Instructional Design: International Perspectives. Theory, research, and models. Vol. 1 (Vol. 1). Routledge.

Thompson, M., & Wiliam, D. (2007, April). Tight but loose: A conceptual framework for scaling up school reforms. In annual meeting of the American Educational Research Association. Chicago, IL. https://cpb-ap-se2.wpmucdn.com/global2.vic.edu.au/dist/d/30223/files/2017/01/Tight-but-Loose-AERA-07-2di57v1.pdf

Weller, M. (2013) Good post by Martin Weller [@mweller] on Coursera’s new plans – The Ed Techie: You can stop worrying about MOOCs now http://ow.ly/1WTQCf, http://nogoodreason.typepad.co.uk/no_good_reason/2013/05/you-can-stop-worrying-about-moocs-now.html

Wiliam, D. (2000). Integrating summative and formative functions of assessment. https://discovery.ucl.ac.uk/id/eprint/1507176/1/Wiliam2000IntergratingAEA-E_2000_keynoteaddress.pdf

Wiliam, D. (2007). Keeping learning on track: Formative assessment and the regulation of learning. nature1, 20. https://www.researchgate.net/profile/Dylan_Wiliam/publication/252646685_Keeping_learning_on_track_Formative_assessment_and_the_regulation_of_learning/links/53f495b00cf2fceacc6e8f5b.pdf

Zapata-Ros, M. (2012). Calidad en entornos ubicuos de aprendizaje. Revista de Educación a Distancia (RED), (31). https://revistas.um.es/red/article/view/232871

Zapata-Ros, M. (2012) Teorías y modelos sobre el aprendizaje en entornos conectados y ubicuos. Bases para un nuevo modelo teórico a partir de una visión critica del “conectivismo”. http://eprints.rclis.org/17463/

Zapata-Ros, M. (2013) Charles Reigeluth: la personalización del aprendizaje y el nuevo paradigma de la educación para la sociedad postindustrial del conocimiento., http://eprints.rclis.org/19406/

 Zapata-Ros, M. (2013). Enseñanza Universitaria en línea, MOOC y aprendizaje divergente. Academia.edu (preprint) https://www.academia.edu/6190225/Ense%C3%B1anza_Universitaria_en_l%C3%ADnea_MOOC_aprendizaje_divergente_y_creatividad_Online_Higher_Education_MOOC_divergent_learning_and_creativity

Zapata-Ros, M. (2013). La evaluación en el nuevo paradigma de la educación en la Sociedad Postindustrial del Conocimiento. http://eprints.rclis.org/20157/

Zapata-Ros, M. (2013b). El “problema de 2 sigma” y el aprendizaje ayudado por la tecnología. E-Lis Repository. http://eprints.rclis.org/18866/8/MOOCs.pdf

Zapata-Ros, M. (2013b2). Las teorías del aprendizaje y el diseño instruccional. El esquema incompleto. http://redesabiertas.blogspot.com.es/2013/04/las-teorias-del-aprendizaje-y-el-diseno.html

Zapata-Ros, M. (2015). El diseño instruccional de los MOOC y el de los nuevos cursos abiertos personalizados. Revista de Educación a Distancia, (45). https://revistas.um.es/red/article/download/238661/181351

Zapata-Ros, M. (2018). La universidad inteligente. RED. Revista de Educación a Distancia, 57(10). Consultado el (dd/mm/aaaa) en http://www.um.es/ead/red/57/zapata2.pdf

Zapata-Ros, M. (2018).  El modelo educativo de Singapur y el «mastery learning» de Bloom. Blog académico RED. El aprendizaje en la sociedad del conocimiento. https://red.hypotheses.org/1261

Zapata-Ros, M. (2020). ¿Qué tienen de común Jeff Bezos y Benjamin Bloom? / What do Jeff Bezos and Benjamin Bloom have in common? 10.13140/RG.2.2.14749.26085

[2] El diseño instruccional de los cursos abiertos on-line https://openeducation.blackboard.com/mooc-catalog/courseDetails/view?course_id=_1684_1

[3] http://cursosabiertos.blogspot.com.es/

[4] Para figurar en esta lista ha sido necesario que esas habilidades hayan redundado en un cambio relevante en enseñanzas de grado, de postgrado o en estudios propios en línea.

[5] Sintesis de Gagné’s Conditions of Learning para  habilidades intelectuales y estrategias cognitivas.

 

 

 

 

[1] El añadido entre corchetes es mío.

[2]

Developing the theory of formative assessment. Paul Black, King’s College London, and

Dylan Wiliam, Institute of Education, University of London

To appear in Educational Assessment, Evaluation and Accountability (formerly the Journal of Personnel Evaluation in Education), 1(1) (2009).

https://kclpure.kcl.ac.uk/portal/files/9119063/Black2009_Developing_the_theory_of_formative_assessment.pdf y https://link.springer.com/article/10.1007/s11092-008-9068-5

[3]  Crooks, T. (2001, September), Wiliam, 2000, Black et al., 2003; Wiliam, 2007. Black, P., & Wiliam, D. (2009).

[4] En otro punto de este trabajo y en otros lugares hacemos una recesión y una interpretación de las condiciones del aprendizaje según Gagné y de los principales principios del aprendizaje de Merrill y decimos que para que haya aprendizaje han de concurrir al menos cuatro condiciones o hechos: Que efectivamente haya comprensión, que haya atribución de sentido, que haya autonomía en su aplicación y que haya transferencia, que se pueda utilizar lo aprendido en situaciones distintas a las que se aprende y cambiantes.



Citar este post
Miguel Zapata Ros (2023, 3 abril). Los programas generativos “Transformer” AI, entre los que está ChatGPT, ¿una oportunidad para la evaluación formativa? (y III). RED. Recuperado 22 de mayo de 2024, de https://doi.org/10.58079/tdr7

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.