II. Evaluación formativa: La auténtica evaluación educativa es inmune al ChatGPT

^{Fuente: Imagen generada con el texto “the assessment. Students. Hopper style” por Miguel × DALL·E Human & AI}

La evaluación es un complejo de procedimientos que, en condiciones normales, se distribuyen a lo largo de todo el proceso educativo a través de distintos recursos y procedimientos y difícilmente, para que sea una evaluación de calidad, se hace en un único momento o en unos pocos momentos a lo largo del curso, o utilizando una única técnica o instrumento. Si se hace así, como se hacía, y aún se hace con demasiada frecuencia con la evaluación, fiándola a un examen o a un proyecto, se corre el riesgo de tomar decisiones sesgadas o arbitrarias. Además de crear en los alumnos una ansiedad que los desmotiva y perturba su aprendizaje.

Actualmente tenemos el conocimiento de cómo se produce el aprendizaje y de cómo se realizan las prácticas pedagógicas en las mejores condiciones. Lo hemos obtenido a través de investigaciones que ha aportado resultados y evidencias. También lo tenemos para organizar una evaluación de manera confiable sin necesidad de recurrir exclusivamente a las consabidas pruebas de conocimiento o ensayos, a final de curso, ciclo, trimestre, cuatrimestre o materia. Todo lo que se ha publicado en la literatura, como consecuencia de esas investigaciones y de esa elaboración científica, nos proporciona esos procedimientos y esos métodos. Es papel de los diseñadores de la instrucción en todos sus niveles el conocerlos y el aplicarlos en TODOS LOS ESCENARIOS. Y su responsabilidad el no hacerlo así.

Como en otros casos y en otros procesos, ahora con ChatGPT y antes con la pandemia, se están poniendo de relieve hábitos, tradiciones y procesos que estaban pasando desapercibidos y que han manifestado por un lado su vulnerabilidad, sus insuficiencias y por otro las alternativas que la teorías pedagógicas nos venían suministrando, siendo muchas veces ignoradas, y por otro el papel que la tecnología y las redes digitales con sus affordances nos estaban suministrando para la implementación de esos enfoque teóricos así como la oportunidad de validarlos con la práctica.

Con respecto a la evaluación, la segunda cuestión clave que se ha de tener en cuenta es que desde siempre la evaluación ha sido un proceso que, para ser de calidad, difícilmente se puede desvincular del quehacer cotidiano del alumno. Pues bien, si siempre ha sido así, ahora es más vital ese factor: Ahora con la amenaza de ChatGPT y Transformers IA y antes con la pandemia, cuando no hay una interacción directa entre alumnos y profesores, es cuando debemos ser conscientes de su importancia, de que  esa interacción debe ser especialmente detallada, en su práctica y programación, así como frecuente, de forma casi continua, en la medida en que las condiciones físicas de presencia directa mediante entrevistas y supervisiones o a través de la  tecnología, lo permitan. Alguien planteará que eso es imposible o muy difícil. Hoy no es así. Y no por la eficiencia de las herramientas tecnológicas, que también, sino porque hay metodologías docentes que lo permiten. Desde hace ya tiempo. Y entre ellas, como después veremos, la principal es la de Mastery learning (Zapata-Ros, 2018).

Se trata pues de una cuestión de metodología docente, de cómo los profesores hacemos las cosas.

La primera conclusión que he sacado, en toda mi experiencia, es que la evaluación e incluso la acreditación de conocimientos o de habilidades no debe abordarse como algo aislado, condicionado exclusivamente por variables limitadas a la coyuntura o por otros factores recientes y directos. Si lo hacemos así se pueden derivar más males que beneficios, y además los resultados van a ser irreparables.

La evaluación en todos sus aspectos debe de estar, en todas sus facetas y ejecuciones, integrada en un proceso de diseño instruccional amplio y detallado lo más posible.

Pero, ¿qué es el diseño instruccional?:

Un diseño es, en general, un proyecto o un plan que configura algo antes de su realización o de su desarrollo. Pero que también permite saber en qué punto de él estamos en su ejecución, y cómo relacionar lo que estamos haciendo con los resultados últimos de lo que hagamos. Pudiendo retomar y modificar decisiones, en progreso, para cambiar la ejecución y que ésta se ajuste con nuestros objetivos en un feedback continuo.

Los procesos y programas formativos, y la educación, también se diseñan.

En general el diseño instruccional, como veremos, se define como “un proceso sistemático que se emplea para desarrollar programas de educación y capacitación de manera continua y confiable”. 

Existe una amplia base de modelos de diseño instruccional y de desarrollos teóricos considerados como marcos para el desarrollo de módulos formativos o clases que aumenten, haciéndolo de acuerdo con sus pautas y preceptos, la posibilidad de aprender, de fomentar la participación de los alumnos para que aprendan más rápido, y obtener de esta forma niveles más profundos de entendimiento.

Los principales creadores e impulsores del diseño instruccional y de sus bases teóricas ha sido David Merrill (2002 y 2012) y Charles M. Reigeluth.

Así la Teoría del Diseño Instruccional clásica de Reigeluth se considera, en general, como un instrumento con un doble fin: facilitar el aprendizaje y el desarrollo humano, o mejor dicho facilitar el desarrollo humano en la medida que se consigue un mejor aprendizaje. Es en esencia una teoría situacional. Sostiene que los métodos y situaciones de aprendizaje son esenciales para que el aprendizaje tenga lugar de forma efectiva. Está constituida por 

una serie de principios para organizar la enseñanza en un esquema complejo de elementos más pequeños, y por tanto más cerca de la comprensión individual, que posteriormente son insertados en estructuras conceptuales interrelacionadas.

Los métodos del diseño instruccional suponen un ciclo continuo y una evaluación formativa (Zapata-Ros, 2013) que permiten introducir mejoras sobre el proceso en el diseño del programa educativo, sin necesidad de concluir.

El diseño instruccional permite pues partir, en un proceso inverso, desde la consideración de cuáles son los resultados deseados del proceso de aprendizaje para organizar las pautas, para distribuir en el tiempo todo lo demás, incluida la secuencia de acciones y de contenidos. Permite distribuir no solo la entrega de materiales, de actividades y de ayuda, sino de establecer cuáles son los logros parciales que, en una cadena, lleven al alumno a conseguir los logros de la unidad didáctica, el módulo o la materia. De forma que su consecución sea gradual, continua, sin saltos. 

Hemos dicho que el diseño instruccional consiste también en la aplicación de los principios teóricos que se conocen sobre como los individuos aprenden para organizar la educación. Veamos particularmente cómo funciona esto, la aplicación de los principios teóricos, en un punto concreto, el de la evaluación, que es el tema de este post.

Lo hace a través del principio de demostración.

 

La evaluación y el Principio de Demostración.

Pero antes expliquemos un poco más qué son los principios del aprendizaje. Como referencia teórica, hemos utilizado, en todo lo que hemos escrito aquí y en material que he ofrecido en estas circunstancias para ayudar al diseño de enseñanza online y para la evaluación, el trabajo de M. David Merrill (2002 y 2012) conocido como los “Primeros [o principales] principios de la instrucción” (First principles of instruction, Prentice Hall). Todo ello está desarrollado en el capítulo 2 y se puede ampliar allí con más detalle y en las referencias que contienen enlaces a los documentos originales.

Estos principios son una constante de la educación en todas las investigaciones, son aceptados por todos los teóricos, hay un consenso sobre ellos.

Merrill estableció cinco principios: El aprendizaje ha de ser centrado en el problema, el principio de activación, el de demostración, el de aplicación y el principio de integración o de transferencia.

El principio que fundamenta la evaluación es el principio de demostración. Y es el que debiéramos tener presente en todo momento en que hablásemos de ella. Simlificando consiste en que el alumno ha de aportar evidencias de su aprendizaje, en un sentido pedagógico, es decir ha de demostrar quecomprende que atribuye sentido, que aplica las habilidades conseguidas de forma autónoma y las transfiere a contextos distintos.

¿Qué dice?

En primer lugar, y para entender lo que sigue, hemos de tener en cuenta que los principios de la instrucción están enunciados en forma de criterios que ha de cumplir la enseñanza para que el aprendizaje sea eficiente, de calidad. Hemos de recordar que la evaluación forma parte de la instrucción.

Principio 3-Demostración.-

El aprendizaje se promueve cuando la instrucción demuestra lo que se debe aprender en lugar de simplemente decir información sobre lo que se debe aprender.

Así la demostración es un factor de consistencia: El aprendizaje se promueve cuando la demostración es coherente con el objetivo de aprendizaje, con:

(a) ejemplos y contraejemplos de conceptos,

(b) demostraciones para procedimientos,

(c) visualización (evidenciar visualmente) para los procesos, y

(d) el modelado (presentación de modelos) para adquisición de valores y conductas

Obviamente ninguna de estas exigencias de la demostración se cumplen con el ChatGPT ni el propio GPT las demuestra.

Presentar un informe o un proyecto, por sí mismo no demuestra nada.

La repercusión del diseño instruccional en la evaluación tiene otro punto clave: La cuestión inmaterial, pero sobre la que gira la docencia, el entregar ayuda y contenidos cuando el alumno esté receptivo y los perciba como útiles, estriba en distribuir los logros parciales y evaluar su consecución, y únicamente entonces proseguir. En esto juega un papel central el diseño y sobre todo, si finalmente los hay, el papel de los Teaching Assistant (TA). Más abajo describiremos como ejemplo lo que hicimos en el curso investigativo de Alcalá.

 

La confianza

Por último, se trata también de una cuestión de confianza. En una educación de estándares, a la que estamos acostumbrados y donde el ChatGPT, los proyectos a los que sustituye y los exámenes,  se han establecido medidas iguales para todos, los estándares, que en su consecución acreditan al alumno para superar el curso o la asignatura. Es un sistema basado en estándares iguales para todos, de superación de pruebas y de exámenes iguales para todos.

Esta dinámica permite trasladar la eficiencia al escrutinio de las pruebas y de sus resultados por padres, familias e inspección, donde además con esa supuesta objetividad los docentes se sienten seguros, aunque por contrapartida lo que se hace es sembrar la semilla de la desconfianza, de que no haya equidad en el proceso. Esto es un caldo abonado para la industria del fraude y la del ChatGPT como impostor del alumno para demostrar capacidades y aprendizajes en general.

Este hecho viene a confirmar algo que planteamos desde hace tiempo , la necesidad de una nueva educación, la basada en logros personales. En ese marco el entorno social del alumno debe depositar la confianza en el modelo, personalizado a través de sistemas que como el de Mastery learnig otorge en los maestros la confianza en valorar que se alcanza el dominio en el aprendizaje. De confiar en el maestro y en su expertise docente, de igual forma como la deposita en el médico, en su capacidad de diagnóstico y de decidir un tratamiento adecuado.

La evaluación formativa

En lo que sigue haremos un repaso de lo que se entiende por evaluación formativa,  de cómo la podemos relacionar con lo que está sucediendo con ChatGPT y lo que hemos dicho sobre él. Es conveniente que todo ello lo tengamos en mente cuando veamos todo esto.

También veremos otros conceptos y otras formas de evaluación. Por último, haremos un sucinto repaso de actividades que tienen un fuerte carácter de evaluación formativa y que se sugieren como algo que proporciona información sobre el estudiante y sobre su progreso en el camino hacia aprender y obtener el dominio en las destrezas que se pretende que consiga. Pero no nos quedaremos en el mero enunciado o la sugerencia de actividades, veremos qué procesos y que logros son los más importantes en ese camino.

Leer sólo lo que proporciona un informe o un ensayo, prescindiendo de todo lo que estamos viendo y de lo que en general se sabe y se ha investigado, para evaluar a un estudiante, aunque sepamos mucho sobre, él puede ser injusto por insuficiente. En definitiva, evaluar teniendo en cuenta únicamente el texto, en el que como hemos visto, ahora con Chat GPT, es imposible discernir entre un humano y un programa transformer, nos lleva al fracaso y al malestar por vernos, como profesor4es, indefensos y desamparados en ese camino. Y lo que, sin ser tan grave es muy negativo, a perder la confianza en la tecnología y en una visión positiva de ella como apoyo nuevo e imprescindible para muchos aprendizajes.

Definiciones y validez de la evaluación formativa

Un trabajo básico pero muy completo es el que Terry Crooks (2001, September) hizo parta la Unidad de Investigación en Evaluación Educativa en la Universidad de Otago ( Dunedin, Nueva Zelanda), presentado en la Conferencia Anual de la Asociación Británica de Investigación Educativa, Universidad de Leeds, 13-15 de septiembre de 2001, en la sección de Educación online, titulado The Validity of Formative Assessments.

Así Crooks (2001) define evaluación como

Cualquier proceso que proporcione información sobre el pensamiento, los logros o el progreso de los estudiantes.

 Para ello se valió de un importante concepto previo, el de validez Utilizó el trabajo y definición de Messick (1989, p.13 Vigency)

La validez es un juicio evaluativo integrado del grado en que la evidencia empírica y los fundamentos teóricos apoyan la idoneidad y pertinencia de las inferencias y acciones basadas en los puntajes de las pruebas u otros modos de evaluación.

 Frecuentemente se utiliza el concepto de evaluación sumativa, más acorde con lo que habitualmente se hace y cómo se entiende la evaluación

De esta forma, la evaluación sumativa tiene la intención de resumir el logro del estudiante en un momento particular, mientras que la evaluación formativa tiene como objetivo promover una mayor mejora del logro del estudiante, además de asegurar, obviamente, lo anterior.

Es decir, se trata de contraponer evaluación de lo aprendido y evaluación para aprender (Assessment OF learning versus assessment FOR learning) en el sentido más simple de las dos expresiones:

Evaluación de lo aprendido

Evaluación para aprender

Veamos ahora en este contexto algunas de las definiciones que hemos encontrado más precisas de  evaluación formativa

Para el Ministerio de Educación, Nueva Zelanda, 1994 (Assessment: policy to practice) se trata de:

Una gama de procedimientos de evaluación formales e informales (por ejemplo, el seguimiento del desarrollo de la escritura de los niños, registros de hechos concretos y observaciones [igual puede generalizarse a procedimientos seguidos en otros niveles y etapas][1]) realizados por los profesores en el aula [o en la actividad en línea] como parte integral del proceso normal de enseñanza y aprendizaje para modificar y mejorar el aprendizaje comprensión.

 Para Bronwen Cowie & BeverleyBell (1999) (A model of formative assessment in science education) es:

El proceso utilizado por profesores y estudiantes para reconocer y dar respuesta al proceso de aprendizaje de los estudiantes con el fin de mejorar ese aprendizaje durante el aprendizaje.

Para Black & Wiliam, 1998a, p. 2 (Inside the black box) la

Evaluación ‘se refiere a todas aquellas actividades realizadas por los profesores, y por los estudiantes en la autoevaluación, que proporcionan información que se utilizará como retroalimentación para modificar las actividades de enseñanza y aprendizaje en las que participan. Dicha evaluación se convierte en “evaluación formativa” cuando la evidencia obtenida se utiliza en la práctica docente para adaptar la enseñanza a las necesidades detectadas.

Pero quizá la más completa es la definición que hacen Black & Wiliam (2009), de evaluación formativa, acompañada de otra sobre lo que es instrucción.

Para lo primero se basa en sus definiciones (Black y Wiliam, 1998b) y la definición del Grupo de Reforma de la Evaluación (ARG, 2002):

La práctica en el aula es formativa en la medida en que la evidencia sobre el rendimiento del estudiante sea suscitada, interpretada y utilizada por los profesores, los alumnos o sus compañeros, para tomar decisiones sobre los próximos pasos en la instrucción. Próximos pasos que probablemente sean mejores, o mejor fundamentados, que las decisiones que se tomarían se han tomado en ausencia de la evidencia que de esa forma se ha obtenido.

Pero ¿qué es instrucción e instruccional? Aquí y en varios lugares más utilizamos este término. Procede pues definirlo:

En gran parte del mundo académico, este término tiene una connotación de formación, o de enfoques didácticos de la enseñanza. Sin embargo, en otros y de forma mayoritariamente aceptado, el término “instrucción” significa la combinación de enseñanza y aprendizaje, y es este último sentido el que utilizaremos aquí. En esta definición, “instrucción” se refiere a cualquier actividad que vaya destinada a crear aprendizaje. En España el término equivalente sería pedagogía. Pero actualmente también, además de que el enfoque tradicional tiene inconvenientes al sugerir una visión más limitada de la práctica de la enseñanza, no se ajusta demasiado bien a términos y conceptos de la sociedad digital y del conocimiento. Por ejemplo, parecería extraño referirse a los estudiantes como ‘recursos pedagógicos unos para otros’, parece que hablamos de textos, pizarras, retroproyector, etc. No así si decimos “alumnos como recursos instruccionales unos para otros”.

A esto podemos añadir una particular aportación de quien suscribe (Zapata-Ros, 2012):

La evaluación formativa o de proceso se exige para entender no sólo si un alumno ha conseguido aprendizaje o no, sino por qué. Comprender las razones para el éxito o para el fracaso depende de la profundidad del conocimiento que existe de lo que se ha hecho o se está haciendo, y también de la relación apropiada entre el uso de la tecnología, las actividades que se han hecho con ella y el área de conocimiento. Entendiendo como tal la metodología docente para el área (las ideas pedagógicas) y los conocimientos propios de la materia.

Por lo tanto, podemos concluir que, aunque el desarrollo de la evaluación formativa no es la única manera, o incluso la mejor manera, para abrir una gama más amplia de cambios deseables en el aprendizaje en el aula, puede ser particularmente eficaz, en parte porque la calidad de la retroalimentación interactiva es un factor crítico característica para determinar la calidad de la actividad de aprendizaje y, por lo tanto, es una característica central de pedagogía [2]

Después de esto creemos que el lector se habrá formado una idea cabal y actualizada de lo que es la evaluación formativa. Pero no es sólo importante saber qué es sino cómo se practica: las actividades.

En base a la literatura[3], las prácticas, en condiciones normales de trabajo en aula y online, comunicadas por docentes y en base a la propia experiencia en la docencia de secundaria, grado y postgrado y formación del profesorado en activo, también en condiciones normales online, podemos establecer una clasificación en los principales tipos de actividad que señalamos.

Resumiendo lo consultado sobre evaluación formativa podemos ver que hay ocho tipos principales de actividades o de prácticas docentes, sugeridos por evidencias (limitadas a la propia experiencia) de su eficacia potencial, y desarrollado con y por profesores en condiciones normales de trabajo en el aula, también sugeridos por la literatura sobre el tema (Wiliam, 2000, Black et al., 2003; Wiliam, 2007):

• Compartir criterios de éxito con los alumnos
• Preguntar en el aula, o en el chat, o verbalmente en Zoom o similar, con anotaciones.
• Marcado de sólo comentarios
• Autoevaluación, con criterios explícitos
• Uso formativo de pruebas sumativas (muy importante).
• Revisiones, con observaciones y marcado de comentarios
• Supervisiones de los alumnos, con reuniones presenciales, videorreuniones o sesiones de videollamada.
• Intervenciones en los foros con comentarios personales, otorgamiento de relevancia en relación con la formatividad y con relación a los objetivos de aprendizaje, a los logros esperados y a las habilidades desarrolladas, sobre todo conceptuales, en este caso.

De estos ocho, cinco se proponen y están estudiadas en Developing the theory of formative assessment por Paul Black, King’s College London, and Dylan Wiliam, Institute of Education, University of London

Objeto aparte de estudio y de desarrollo puede ser el tratamiento de cada uno de estos tipos de actividades.

Particular importancia tiene la evaluación de marcado sólo con comentarios (pruebas comentadas) y la evalución formativa a partir de la evaluación sumativa (ver Using comment only marking in a mathematics classroom in the Republic of Ireland: experience and learning of a student teacher, por O’ Mahoney and Heinz (2016).

La calificación de sólo comentario es un método de evaluación formativa. Implica que el profesor brinde retroalimentación constructiva y metas parciales vinculadas a los objetivos para alentar y apoyar a los estudiantes a desarrollar los objetivos de aprendizaje establecidos independientemente y sus habilidades de autoevaluación.

Este tipo de evaluación se considera una estrategia clave de aprendizaje, también y sobre todo, en el aula.

Como resultado, la información proporcionada por esta evaluación puede utilizarse como retroalimentación para influir y modificar las actividades de enseñanza y aprendizaje. Según Petty (2009), se puede utilizar esta forma de evaluación para motivar y animar al alumno al mismo tiempo que mejora él y mejora su trabajo. Hay dos formas principales de evaluación, evaluación sumativa y evaluación formativa.

Sobre lo segundo, las evaluaciones acumulativas se dan periódicamente para determinar la comprensión de un estudiante del tema en un momento particular en relación con los estándares de contenido. La frecuencia aumenta proporcionalmente la comprensión y la adquisición, debido al dominio en aspecto parciales que aumenta la capacidad para aprender lo siguiente.

El marcado de sólo comentarios y la relevancia suficiente de intervenciones en foros y chats tienen, aparte de lo visto, una importancia determinante y clave en la metodología docente y de evaluación conocida como mastery learning, como podemos ver en otros documentos.

Cuestiones muy importantes que nos planteamos a propósito de esta modalidad de evaluación, sobre todo en su práctica:

¿Hasta cuándo haremos marcado de comentarios, durante qué tiempo o cuántas rondas haremos? ¿en cuántas revisiones? ¿cómo sustituiremos la nota, la puntuación numérica clásica, por la calificación, obviamente textual, para señalar la superación del módulo o de la unidad de contenidos o la consecución [dominio] de la habilidad que tratemos?

A todas estas preguntas se da respuesta en la modalidad de “dominio del aprendizaje” (Mastery learning). Modalidad en la que sucintamente se dice que sólo se pasara a la parte siguiente cuando se consiga un dominio de la actual. Obviamente, en este contexto tienen un papel esencial los Teaching Assistant.

Hay otra cuestión que también es clave: Este método, esta modalidad de evaluación, supone la confianza y la conformidad en la capacidad del docente, su auctoritas, para determinar cuándo se ha alcanzado el dominio. No en balde se llama maestría, evocando la relación entre maestro y aprendiz que se establecía en otras etapas de la historia de la educación y de la instrucción.

La evaluación sumativa es la que sólo proporciona los criterios de promoción del alumno al final del módulo, la asignatura o el curso.

Por tanto, hay básicamente dos formas de evaluación, evaluación sumativa y evaluación formativa.

Las evaluaciones acumulativas se ofrecen periódicamente para determinar el grado la comprensión del tema de un estudiante en un momento particular en relación con los estándares de contenido. Otra cuestión es si coincide con la evaluación del aprendizaje. Aprendizaje no siempre supone sólo comprensión, para muchos de nosotros supones dominio[4].

De acuerdo con Garrison y Ehringaus (2007), la evaluación sumativa ocurre demasiado poco y de forma distanciada en el camino de aprendizaje del estudiante para que pueda producir ajustes instructivos durante el proceso de aprendizaje.

La evaluación formativa ocurre cuando los resultados de la evaluación se consideran y se utilizan para modificar la enseñanza para satisfacer las necesidades de los estudiantes casi instantáneamente. También se conoce como evaluación para el aprendizaje (Black y William, 1998). La evaluación formativa es útil tanto para estudiantes como para profesores. Proporciona retroalimentación a los docentes sobre la efectividad de sus estrategias y enfoques de enseñanza, que luego pueden ajustar para mejorar el aprendizaje de los estudiantes. En segundo lugar, la evaluación formativa puede ser útil para los estudiantes ya que la retroalimentación es enfocada y precisa para que tengan la capacidad de identificar áreas específicas que necesitan trabajar y si necesitan ajustar su forma de pensar (Phelan et al., 2011).

 

Por último, más allá de definiciones, conceptos y actividades, conviene señalar el sentido de los procesos y de otros aspectos de la evaluación formativa en un contexto más amplio.

Para proporcionar una base amplia de la evaluación formativa, tres procesos son centrales: establecer dónde se encuentran los estudiantes en su aprendizaje, establecer hacia dónde se dirigen y establecer lo que se debe hacer para lograrlo y cómo ayudarlos a llegar allí (Thompson y William, 2007 a partir de Ramaprasad (1983)). Con referencia a estos tres procesos estableceremos los principales aspectos a considerar en la evaluación formativa en todos los casos:

 

	A dónde va el alumno	Dónde está el alumno ahora mismo	Cómo llegar allí
El profesor	1 Aclarar el aprendizaje: las intenciones y los criterios para el éxito.	2 Construir una arquitectura efectiva de la clase: Fomentar discusiones en el aula y proponer tareas de aprendizaje que provoquen la evidencia del estudiante propia de la comprensión.	3 Proporcionar comentarios y estímulos que mueve a los alumnos hacia adelante, que hagan que progresen.
El igual	Comprender y compartir intenciones de aprendizaje y criterios para el éxito	4 Activar a los estudiantes como recursos educativos entre sí.
El alumno	Entender el aprendizaje, las intenciones y los criterios para el éxito	5 Activar a los estudiantes como dueños de su propio aprendizaje

Figura 1: Aspectos de la evaluación formativa

 

Conclusiones. –

Un sistema educativo, que implemente estas ideas, es absolutamente inmune al uso de ChatGPT como sustituto total o parcialmente en la demostración del aprendizaje. Otra cuestión es su uso de forma crítica como recurso educativo, con un carácter similar al que tiene actualmente cualquier buscador o enciclopedia digital.

 

 

Referencias.-

ARG (2002) Assessment for Learning: 10 principles. Available on the Assessment Reform Group web-site : www.assessment-reform-group.org.uk

Black, E. (1995). Behaviorism as a learning theory. Retrieved from http://129.7.160.115/inst5931/Behaviorism.html

Black, P., & Wiliam, D. (2003). ‘In praise of educational research’: Formative assessment. British educational research journal, 29(5), 623-637.

Black, P., & Wiliam, D. (1998a). Assessment and classroom learning. Assessment in Education, 5, 7-74.

Black, P., & Wiliam,D. (1998b). Inside the black box: Raising standards through classroom assessment. Phi Delta Kappan, 80, 139-149.

Black, P., & Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability (formerly: Journal of Personnel Evaluation in Education), 21(1), 5-31. https://kclpure.kcl.ac.uk/portal/files/9119063/Black2009_Developing_the_theory_of_formative_assessment.pdf y https://link.springer.com/article/10.1007/s11092-008-9068-5

Bloom, B. S. (1984). The 2 sigma problem: The search for methods of group instruction as effective as one-to-one tutoring. Educational researcher, 13(6), 4-16. https://www.jstor.org/stable/pdf/1175554.pdf

Bloom, B. (May 68). Learning for Mastery. Instruction and Curriculum. https://files.eric.ed.gov/fulltext/ED053419.pdf

Bloom, B. S. (1976). Human characteristics and school learning. McGraw-Hill.

Bloom, B. (1984). The 2 Sigma Problem: The Search for Methods of Group Instruction as effective as One-to-One Tutoring, Educational Researcher, 13:6 (4-16). https://inst.eecs.berkeley.edu//~cs375/sp15/resources/Bloom_The2SigmaProblem.pdf

CIT (Center for Intructional Technologie) (2013) Building a Coursera Course  Version 2.0 https://docs.google.com/document/d/1ST44i6fjoaRHvs5IWYXqJbiI31muJii_iqeJ_y1pxG0/edit?pli=1

Cowie, B., & Bell, B. (1999). A model of formative assessment in science education. Assessment in Education: Principles, Policy & Practice, 6(1), 101-116.

Crooks, T. (2001, September). The validity of formative assessments. In British Educational Research Association Annual Conference, University of Leeds (pp. 13-15). http://www.leeds.ac.uk/educol/documents/00001862.htm (en documentos http://www.leeds.ac.uk/bei/Education-line/browse/all_items/119155.html )

Crosslin, M (2014 May).  Designing a Dual Layer cMOOC/xMOOC. http://www.edugeekjournal.com/2014/05/04/designing-a-dual-layer-cmoocxmooc/

Driscoll, M. (1994). Gagne’s theory of instruction. Psychology of Learning for Instruction. Boston, MA, Allyn and Bacon, 329-358. https://psycnet.apa.org/record/1993-99148-000 http://ocw.metu.edu.tr/pluginfile.php/9013/mod_resource/content/1/driscoll-ch10%20(1).pdf

Driscoll, M. (2000). Psychology of learning for instruction. Needham Heights, MA: Allyn & Bacon.

Fink, L.D. (2003), A Self-Directed Guide to Designing Courses for Significant Learning.http://www.deefinkandassociates.com/GuidetoCourseDesignAug05.pdf

Fink, L.D. (2003), A Self-Directed Guide to Designing Courses for Significant Learning. http://www.deefinkandassociates.com/GuidetoCourseDesignAug05.pdf

Gagné, R. M. (1965). The conditions of learning and theory of instruction ( 1st ed.). New York, NY: Holt, Rinehart & Winston.

Gagné, R. M., & Briggs, L. J. (1974). The principles of instructional design ( 1st ed.). New York, NY: Holt.

Gagné, R. M. (1985). The conditions of learning and theory of instruction ( 4th ed.). New York, NY: Holt, Rinehart & Winston.

Gagne, R. M.,& Medsker, K. L. (1996). The conditions of learning: Training applications. Fort Worth, TX: Harcourt Brace College Publishers.

Garrison, C., & Ehringhaus, M. (2007). Formative and summative assessments in the classroom.

Merrill, M. D. (2002). First principles of instruction. Educational technology research and development, 50(3), 43-59. http://csapoer.pbworks.com/f/First+Principles+of+Instruction+(Merrill,+2002).pdf

Merrill, M. D. (2012). First principles of instruction. John Wiley & Sons.

Merrill, M. D. (1991). Constructivism and instructional design. Educational technology, 31(5), 45-53.

Merrill, M. D. (2002). First principles of instruction. Educational Technology Research and Development, 50(3), 43-59.  Instructional-Design Theories and Models, Volume III: Building a Common Knowledge Base.

Merrill, M. D. (2009). First Principles of Instruction. In C. M. Reigeluth & A. Carr (Eds.), Instructional Design Theories and Models: Building a Common Knowledge Base (Vol. III). New York: Routledge Publishers.

Messick, S. (1989). Validity. In R. L. Linn (Ed.), Educational measurement (3rd ed., pp. 13–103). New York, NY: Macmillan.

Ministry of Education, New Zealand. (1994). Assessment: policy to practice. Wellington, New Zealand: Learning Media.

O’Mahoney, K. & Heinz, M. (2016). Using comment only marking in a mathematics classroom in the Republic of Ireland: experience and learning of a student teacher. Journal of Teacher Action Research, 2(2), 58-69. http://www.practicalteacherresearch.com/uploads/5/6/2/4/56249715/mahoney1-12.pdf, https://aran.library.nuigalway.ie/bitstream/handle/10379/6045/JTARSubmissionfinal20Dec2015.pdf  y https://www.researchgate.net/profile/Manuela_Heinz/publication/309985621_Using_Comment_Only_Marking_in_a_Mathematics_Classroom_in_the_Republic_of_Ireland_Experience_and_Learning_of_a_Student_Teacher/links/58272da608ae254c508311f3.pdf

Petty, G., (2009). Evidence Based Teaching – a practical approach (2nd edition). Cheltenham: Nelson Thornes. http://155.0.32.9:8080/jspui/bitstream/123456789/91/1/%5BGeoff_Petty%5D_Evidence-based_Teaching_A_Practical%28BookFi.org%29.pdf

Phelan, J., Choi, K., Vendlinski, T., Baker, E. y Herman, J. (2011). Mejora diferencial en la comprensión de los estudiantes de los principios matemáticos después de una intervención de evaluación formativa. The Journal of Educational Research , 104 (5), 330-339. https://www.tandfonline.com/doi/full/10.1080/00220671.2010.484030?casa_token=AXwD-EDEdK4AAAAA%3AVepQ_WIb2P5CsPMgo004X4Gw_8v-mPGw1P2kgsfYqqglhfvTDbmqbnVGeGsP4X-4uRmbqJuUPZZWS4E

Ramaprasad, A. (1983). “On the definition of feedback.” Behavioral Science 28(1): 4-13.

Reigeluth, C. M., Ed. (1999). Instructional-Design Theories and Models: A New Paradigm of Instructional Theory. Mahwah, NJ, Lawrence Erlbaum Associates Publishers.

Reigeluth, C. (2012).  Teoría instruccional y tecnología para el nuevo paradigma de la educación. RED, Revista de Educación a Distancia. Número 32. 30 de septiembre de 2012. Consultado el (dd/mm/aaa) en http://www.um.es/ead/red/32

Shepard, L. A. (2005, October). Formative assessment: Caveat emptor. In ETS Invitational Conference The Future of Assessment: Shaping Teaching and Learning, New York. https://web.archive.org/web/20111007220347/http://www.cpre.org/ccii/images/stories/ccii_pdfs/shepard%20formative%20assessment%20caveat%20emptor.pdf

Siemens, G. (2014, May). Multiple pathways: Blending xMOOCs & cMOOCs. http://www.elearnspace.org/blog/2014/05/06/multiple-pathways-blending-xmoocscmoocs/

Tennyson, R. D., Schott, F., Dijkstra, S., & Seel, N. M. (Eds.). (1997). Instructional Design: International Perspectives. Theory, research, and models. Vol. 1 (Vol. 1). Routledge.

Thompson, M., & Wiliam, D. (2007, April). Tight but loose: A conceptual framework for scaling up school reforms. In annual meeting of the American Educational Research Association. Chicago, IL. https://cpb-ap-se2.wpmucdn.com/global2.vic.edu.au/dist/d/30223/files/2017/01/Tight-but-Loose-AERA-07-2di57v1.pdf

Weller, M. (2013) Good post by Martin Weller [@mweller] on Coursera’s new plans – The Ed Techie: You can stop worrying about MOOCs now http://ow.ly/1WTQCf, http://nogoodreason.typepad.co.uk/no_good_reason/2013/05/you-can-stop-worrying-about-moocs-now.html

Wiliam, D. (2000). Integrating summative and formative functions of assessment. https://discovery.ucl.ac.uk/id/eprint/1507176/1/Wiliam2000IntergratingAEA-E_2000_keynoteaddress.pdf

Wiliam, D. (2007). Keeping learning on track: Formative assessment and the regulation of learning. nature, 1, 20. https://www.researchgate.net/profile/Dylan_Wiliam/publication/252646685_Keeping_learning_on_track_Formative_assessment_and_the_regulation_of_learning/links/53f495b00cf2fceacc6e8f5b.pdf

Zapata-Ros, M. (2012). Calidad en entornos ubicuos de aprendizaje. Revista de Educación a Distancia (RED), (31). https://revistas.um.es/red/article/view/232871

Zapata-Ros, M. (2012) Teorías y modelos sobre el aprendizaje en entornos conectados y ubicuos. Bases para un nuevo modelo teórico a partir de una visión critica del “conectivismo”. http://eprints.rclis.org/17463/

Zapata-Ros, M. (2013) Charles Reigeluth: la personalización del aprendizaje y el nuevo paradigma de la educación para la sociedad postindustrial del conocimiento., http://eprints.rclis.org/19406/

 Zapata-Ros, M. (2013). Enseñanza Universitaria en línea, MOOC y aprendizaje divergente. Academia.edu (preprint) https://www.academia.edu/6190225/Ense%C3%B1anza_Universitaria_en_l%C3%ADnea_MOOC_aprendizaje_divergente_y_creatividad_Online_Higher_Education_MOOC_divergent_learning_and_creativity

Zapata-Ros, M. (2013). La evaluación en el nuevo paradigma de la educación en la Sociedad Postindustrial del Conocimiento. http://eprints.rclis.org/20157/

Zapata-Ros, M. (2013b). El “problema de 2 sigma” y el aprendizaje ayudado por la tecnología. E-Lis Repository. http://eprints.rclis.org/18866/8/MOOCs.pdf

Zapata-Ros, M. (2013b2). Las teorías del aprendizaje y el diseño instruccional. El esquema incompleto. http://redesabiertas.blogspot.com.es/2013/04/las-teorias-del-aprendizaje-y-el-diseno.html

Zapata-Ros, M. (2015). El diseño instruccional de los MOOC y el de los nuevos cursos abiertos personalizados. Revista de Educación a Distancia, (45). https://revistas.um.es/red/article/download/238661/181351

Zapata-Ros, M. (2018). La universidad inteligente. RED. Revista de Educación a Distancia, 57(10). Consultado el (dd/mm/aaaa) en http://www.um.es/ead/red/57/zapata2.pdf

Zapata-Ros, M. (2018).  El modelo educativo de Singapur y el «mastery learning» de Bloom. Blog académico RED. El aprendizaje en la sociedad del conocimiento. https://red.hypotheses.org/1261

Zapata-Ros, M. (2020). ¿Qué tienen de común Jeff Bezos y Benjamin Bloom? / What do Jeff Bezos and Benjamin Bloom have in common? 10.13140/RG.2.2.14749.26085

[2] El diseño instruccional de los cursos abiertos on-line https://openeducation.blackboard.com/mooc-catalog/courseDetails/view?course_id=_1684_1

[3] http://cursosabiertos.blogspot.com.es/

[4] Para figurar en esta lista ha sido necesario que esas habilidades hayan redundado en un cambio relevante en enseñanzas de grado, de postgrado o en estudios propios en línea.

[5] Sintesis de Gagné’s Conditions of Learning para  habilidades intelectuales y estrategias cognitivas.

 

 

 

 

[1] El añadido entre corchetes es mío.

[2]

Developing the theory of formative assessment. Paul Black, King’s College London, and

Dylan Wiliam, Institute of Education, University of London

To appear in Educational Assessment, Evaluation and Accountability (formerly the Journal of Personnel Evaluation in Education), 1(1) (2009).

https://kclpure.kcl.ac.uk/portal/files/9119063/Black2009_Developing_the_theory_of_formative_assessment.pdf y https://link.springer.com/article/10.1007/s11092-008-9068-5

[3]  Crooks, T. (2001, September), Wiliam, 2000, Black et al., 2003; Wiliam, 2007. Black, P., & Wiliam, D. (2009).

[4] En otro punto de este trabajo y en otros lugares hacemos una recesión y una interpretación de las condiciones del aprendizaje según Gagné y de los principales principios del aprendizaje de Merrill y decimos que para que haya aprendizaje han de concurrir al menos cuatro condiciones o hechos: Que efectivamente haya comprensión, que haya atribución de sentido, que haya autonomía en su aplicación y que haya transferencia, que se pueda utilizar lo aprendido en situaciones distintas a las que se aprende y cambiantes.

Ensayos. – TFM, TFG, tesis doctorales y artículos científicos. La evaluación con informes, ensayos y proyectos.

 

^{Fuente: Imagen generada con el texto “the assessment. Students. Hopper style” por Miguel × DALL·E Human & AI}

Los ensayos, trabajos o informes han formado parte de la evaluación educativa, y principalmente académica y universitaria, desde principios del siglo XIX, cuando los estudiantes de algunas universidades europeas debían escribir artículos académicos para su discusión en seminarios (Kruse, 2006 ). 

Hoy los ensayos académicos continúan siendo un pilar de la evaluación en escuelas, colegios y universidades muy aceptables porque superan las limitaciones de los exámenes, restringidos a lo que un alumno sabe o es capaz de recordar en un momento determinado. Han triunfado y constituyen los conocidos TFM, TFG y trabajo final de cualquier curso o asignatura. Incluso una disertación de tesis doctoral no escapa a este formato. Son fáciles de establecer, permiten evaluar la profundidad de la comprensión e hipotéticamente demuestran la capacidad de los estudiantes sobre cómo expresar un argumento. En los últimos años, el alcance de los trabajos escritos se ha ampliado para incluir trabajos narrativos, argumentativos, reflexivos, expresivos, receptivos y analíticos.

Sin embargo no todo es bueno, la práctica generalizada de establecer tareas escritas como trabajo de curso ha sido criticada como laboriosa e injusta (Race, 2018). Pero sobre todo está sujeto a trampas, imposturas y fraudes en general. Prácticas que actualmente se han constituido en un lucrativo negocio con contratos de encargo a través de “fábricas de TFM, TFG y trabajos en general”, que venden tareas de este tipo escritas por encargo, a tarifas de hasta 500 euros por escribir un ensayo de 20 páginas (ver anuncios y tarifas). Un estudio de Newton (2018) encontró que el 15,7% de los estudiantes encuestados admitió haber pagado a otra persona para que escribiera una tarea. 

Ahora la cosa con ChatGPT da un salto cualitativo: Una consecuencia, no deseada ni perseguida como objetivo, de estos sistemas es que democratizan el fraude. Un estudiante puede generar un ensayo completo en segundos, a un costo de alrededor de 50 centavos de dólar.

Peor aún, si cabe, es que los aspirantes a investigadores científicos puedan recurrir a estos sistemas para generar artículos y enviarlos a congresos y revistas.

Desde el lanzamiento de ChatGPT, los investigadores han estado lidiando con los problemas éticos que rodean su uso, porque según Holly Else en Nature, “gran parte de su producción puede ser difícil de distinguir del texto escrito por humanos”. 

Se pueden citar distinto casos y experimentos:

Uno es el de los investigadores Blanco-González, A. et al. (2022) y O’Connor, S. & ChatGPT (2023) han publicado un preprint y un editorial escritos por ChatGPT. 

Otro es un grupo dirigido por Catherine Gao en la Universidad Northwestern en Chicago, que ha utilizado ChatGPT para generar resúmenes de trabajos de investigación artificiales para probar si los científicos pueden detectarlos. Son interesantes los planteamientos y resultados.

Los investigadores le pidieron a ChatGPT que escribiera 50 resúmenes de investigación médica basados ​​en una selección publicada en JAMA , The New England Journal of Medicine , The BMJ , The Lancet y Nature Medicine . Luego los compararon con los resúmenes originales pasándolos  por un detector de plagio y un detector de salida de IA, también le pidieron a un grupo de investigadores médicos que detectaran los resúmenes artificiales.

El resultado que dio sobre los resúmenes generados por ChatGPT el verificador de plagio sobre la originalidad fue del 100 %, lo que indica que no se detectó plagio. El detector de salida de IA detectó el 66 % de los resúmenes generados. Pero los revisores humanos no lo hicieron mucho mejor: identificaron correctamente sólo el 68 % de los resúmenes generados y el 86% de los resúmenes genuinos. Identificaron incorrectamente el 32 % de los resúmenes generados como reales y el 14 % de los resúmenes genuinos como generados. Todo ello muy elocuente.

Las conclusiones de los autores del preprint, Gao y sus colegas, son 

• “ChatGPT escribe resúmenes científicos creíbles”
• “Quedan por determinarse los límites del uso ético y aceptable de grandes modelos lingüísticos para ayudar a la redacción científica”.

Otros trabajos sobre el tema los podemos encontrar en

AI bot ChatGPT writes smart essays — should professors worry?

The ChatGPT revolution of academic research has begun

En enero de 2023, Nature informó sobre dos preprints y dos artículos en los campos de la ciencia y la salud que incluyeron a ChatGPT como autor firmado. Cada uno de estos incluye una afiliación para ChatGPT, y uno de los artículos incluye una dirección de correo electrónico para el “autor” no humano. Según Nature, la inclusión de ChatGPT en ese artículo en la firma del autor fue un “error que pronto se corregirá” ⁽Stokel-Walker, 2023). Sin embargo, estos artículos y sus “autores” no humanos ya han sido indexados en PubMed y Google Scholar.

Experiencias como ésta han llevado a las instituciones, revistas y editoriales a tomar medidas. De entre las más importantes podemos destacar lo que sigue.

Nature ha definido una política para guiar el uso de modelos de transformadores de lenguaje a gran escala en la publicación científica: prohíbe nombrar herramientas como “autor acreditado en un artículo de investigación” porque “la atribución de autoría conlleva responsabilidad por el trabajo, y Las herramientas de IA no pueden asumir tal responsabilidad”. 

La política editorial también aconseja a los investigadores que utilizan estas herramientas que documenten este uso en las secciones Métodos o Agradecimientos de los manuscritos. 

Otras revistas (Science y Taylor & Francis) y organizaciones (WAME) están desarrollando urgentemente políticas que prohíben la inclusión de estas tecnologías no humanas como “autores”. Van desde prohibir la inclusión de texto generado por ChatGPT o similares en los originales, a exigir total transparencia, responsabilidad y rendición de cuentas sobre cómo se utilizan y se informan dichas herramientas en publicaciones académicas. 

La Conferencia Internacional sobre Aprendizaje Automático (ICML Fortieth International Conference on Machine Learning) también ha anunciado una nueva política: “Los artículos que incluyen texto generado a partir de un modelo de lenguaje a gran escala (LLM) como ChatGPT están prohibidos a menos que el texto producido se presente como parte del análisis experimental del artículo”. 

Y así sucesivamente.

Un ejemplo de normas concretas nos lo presenta JAMA, sobre responsabilidades de autores, materiales a publicar, etc. (Instructions for Authors. JAMA. Updated January 30, 2023.)

En conclusión con todo lo anterior, será difícil ignorar el creciente número de estudiantes e investigadores que envían tareas escritas por ChatGPT o los programas similares que vengan. 

En el caso de estudiantes, ¿podrá hacerlo Turnitin u otros productos similares? Aquél ha admitido que “ya estamos viendo los comienzos de la próxima ola de IA… cuando los estudiantes pueden presionar un botón y la computadora escribe su trabajo” (Turnitin, 2020 ). Se adivina un horizonte donde no es descartable que resistirse a los trabajos generadas por ChatGPT y similares y detectar cuáles están escritas por máquina sea un ejercicio inútil. Entonces, ¿cómo podemos delimitar el uso de estas nuevas herramientas?

Ya hemos hablado de restringir la asignación en las ponderaciones por puntajes en estos temas. Alternativamente, se podrían establecer tareas escritas reflexivas y contextualizadas que la IA no podría generar. Pero esto requiere mucho tiempo y esfuerzo por los profesores

En todo caso, los profesores podrían y deberían explorar y penetrar con los estudiantes en la ética y los límites de la IA generativa y hacerlo con cuestiones tales como:

• ¿Qué calificación y qué efectos tiene en los conceptos morales y por qué interactuar con un agente experto en palabras que no tiene moral intrínseca ni experiencia del mundo? 
• ¿Escribir con ChatGPT equivale a plagio?

Pero más allá de esto hay una cuestión clave. Si restringimos la evaluación a lo que es la lectura y la revisión de proyectos o ensayos en el marco exclusivo de esa lectura, damos la entrada a la impostura porque en ese marco, como dice la revista Nature, es imposible distinguir lo que escribe un transformer de lo que escribe un humano. O, en todo caso, la resolución de ese problema nos remite a una futura IA que discerniera que es un autor humano a través del estilo, inflexiones y giros propios y en otros rasgos personales, y en todo caso abundaría en algo que la inteligencia humana le lleva años luz a la IA, como sucede con la psicología cognitiva con respecto al conductismo y al aprendizaje por refuerzo: el análisis de la experiencia, la atribución de sentido  través de la expresión escrita y la interacción que, de ella, se pueda producir, como lo son las que se producen en la revisión y supervisión.

Se hace pues hoy más necesaria que nunca una visión de lo que ha de ser una evaluación centrada en el aprendizaje, en los efectos que produce, en cuales son deseables y, sobre todo, en cuáles de sus manifestaciones presentan una demostración de que el fenómeno de aprender (comprender, atribuir sentido, incorporar, ejecutar autónomamente y transferir) se ha producido. Y hacerlo en el transcurso del proceso. En definitiva, hoy es más urgente que nunca contar con una buena evaluación educativa centrada en el aprendizaje y formativa.

 

 Cómo citar este trabajo:

Zapata-Ros, M. (2023). Los programas generativos “Transformer” AI, entre los que está ChatGPT, ¿una oportunidad para la evaluación formativa? Preprint DOI 10.13140/RG.2.2.18669.46565

 

Referencias

Barrow, B. (2019 Apr) Bayesian Analysis in Natural Language Processing: Cohen. https://linguistlist.org/issues/30/30-1843/

Blanco-González, A. et al. Preimpresión en arXiv https://doi.org/10.48550/arXiv.2212.08104 (2022).

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P. … Amodei, D. (2020). Language models are few-shot learners. Advances in Neural Information Processing Systems, 33, 1877–1901 Clark, D. (2023) Twitter. https://twitter.com/DonaldClark/status/1618422817590243333

Bundy, A. 2007 Computational thinking is pervasive. J. Scient. Pract. Comput.1, 67–69. 

Clark, D. (2023). OpenAI releases massive wave of innovation. https://donaldclarkplanb.blogspot.com/2023/02/

Clark, D. (2023b). https://twitter.com/DonaldClark/status/1618422817590243333

Cohen, S. (2019). Bayesian analysis in natural language processing. Synthesis Lectures on Human Language Technologies, 12(1), 1-343.

Drury, B.(2019 Aug). Bayesian Analysis in Natural Language Processing, in Review: Computational Linguistics; Text/Corpus Linguistics: Cohen (2019). https://linguistlist.org/issues/30/30-4380/

Gao, CA et al. Preimpresión en bioRxiv https://doi.org/10.1101/2022.12.23.521610 (2022).

Graves, A. (2012). Sequence transduction with recurrent neural networks. arXiv preprint arXiv:1211.3711. https://arxiv.org/abs/1211.3711 Graves, 2012

Garcez, ADA y Lamb, LC (2020). IA neurosimbólica: la tercera ola. preimpresión de arXiv arXiv:2012.05876

Graves, A. (2012). Sequence transduction with recurrent neural networks. arXiv preprint arXiv:1211.3711. https://arxiv.org/abs/1211.3711

Gunning, D., Stefik, M., Choi, J., Miller, T., Stumpf, S. y Yang, GZ (2019). XAI—Inteligencia artificial explicable. Ciencia Robótica , 4 (37), eaay7120

Kruse, O. (2006). The origins of writing in the disciplines: Traditions of seminar writing and the Humboldtian ideal of the research university. Written Communication, 23(3), 331–352

Newton, P. M. (2018, August). How common is commercial contract cheating in higher education and is it increasing? A systematic review. Frontiers in Education, 3(67), doi: https://doi.org/10.3389/feduc.2018.00067

O’Connor, S. & ChatGPT Educación en enfermería. Practica 66 , 103537 (2023).

Pedreño. A. (2023) ChatGPT y las universidades.  https://www.universidadsi.es/chatgpt-y-las-universidades/

Race, P. (2018). Is the ‘time of the assessed essay’ over? University of Sussex blog article, November 14, 2018. https://blogs.sussex.ac.uk/business-school-teaching/2018/11/14/is-the-time-of-the-assessed-essay-over/

Saul, D. (2023). ‘AI Is The New Electricity’: Bank Of America Picks 20 Stocks To Cash In On ChatGPT Hype. Forbes BUSINESS. https://www.forbes.com/sites/dereksaul/2023/03/01/ai-is-the-new-electricity-bank-of-america-picks-20-stocks-to-cash-in-on-chatgpt-hype/

Science, Technology, and Public Policy (2022) Parthasarathy discusses implications of Large Language Models. https://stpp.fordschool.umich.edu/news/2022/parthasarathy-discusses-implications-large-language-models

Sharples, M. Automated Essay Writing: An AIED Opinion. Int J Artif Intell Educ 32, 1119–1126 (2022). https://doi.org/10.1007/s40593-022-00300-7 Utiizado como un documento base él y sus referencias. https://link.springer.com/article/10.1007/s40593-022-00300-7

Sharples (2023) Twitter https://twitter.com/sharplm/status/1615607290320519169

Stokel-Walker  C.  ChatGPT listed as author on research papers: many scientists disapprove.   Nature. 2023;613(7945):620-621. doi:10.1038/d41586-023-00107-z

Surden H. (2019), “Inteligencia artificial y derecho: una descripción general”, Revista de derecho de la Universidad Estatal de Georgia, vol. 35, disponible en https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3411869# .

Turnitin (2020). How Teachers Can Prepare for AI-Based Writing. Turnitin blog article, May 21, 2020. https://www.turnitin.com/blog/how-teachers-can-prepare-for-ai-based-writing

 Wing, J.M. (2006) Computational thinking. it represents a universally applicable attitude and skill set everyone, not just computer scientists, would be eager to learn and use. Commun. ACM 49(3). https://doi.org/10.1109/vlhcc.2011.6070404

Wing, J.M. (July 2008) Computational thinking and thinking about computing. The Royal Society Publishing. https://doi.org/10.1098/rsta.2008.0118 https://royalsocietypublishing.org/doi/10.1098/rsta.2008.0118 https://royalsocietypublishing.org/doi/pdf/10.1098/rsta.2008.0118

 Zapata-Ros, M. & Palacios, Y. B. (2021). El pensamiento bayesiano, un pensamiento computacional omnipresente. Revista de Educación a Distancia (RED), 21(68)