Archivo de la etiqueta: evaluación formativa

Evaluación educativa, edición cientifica y ChatGPT ¿Qué hacer?

I Poniendo en relación resultados de ChatGPT con textos científicos y ensayos

Un grupo dirigido por Catherine Gao (2022) en la Universidad Northwestern en Chicago, ha utilizado ChatGPT para generar resúmenes de trabajos de investigación artificiales para probar si los científicos pueden detectarlos. Son interesantes los planteamientos y resultados.

Los investigadores le pidieron a ChatGPT que escribiera 50 resúmenes de investigación médica basados ​​en una selección publicada en JAMA , The New England Journal of Medicine , The BMJ , The Lancet y Nature Medicine . Luego los compararon con los resúmenes originales pasándolos  por un detector de plagio y un detector de salida de IA, también le pidieron a un grupo de investigadores médicos que detectaran los resúmenes artificiales.

El resultado que dio sobre los resúmenes generados por ChatGPT el verificador de plagio sobre la originalidad fue del 100 %, lo que indica que no se detectó plagio. El detector de salida de IA detectó el 66 % de los resúmenes generados. Pero los revisores humanos no lo hicieron mucho mejor: identificaron correctamente sólo el 68 % de los resúmenes generados y el 86% de los resúmenes genuinos. Identificaron incorrectamente el 32 % de los resúmenes generados como reales y el 14 % de los resúmenes genuinos como generados. Todo ello muy elocuente.

Las conclusiones de los autores del preprint, Gao y sus colegas, son 

  • “ChatGPT escribe resúmenes científicos creíbles”
  • “Quedan por determinarse los límites del uso ético y aceptable de grandes modelos lingüísticos para ayudar a la redacción científica”.

Otros trabajos sobre el tema los podemos encontrar en (Stokel-Walker, 2022)  AI bot ChatGPT writes smart essays — should professors worry? y en (Grove, 2023) The ChatGPT revolution of academic research has begun.

En enero de 2023, Nature informó sobre dos preprints y dos artículos en los campos de la ciencia y la salud que incluyeron a ChatGPT como autor firmado. Cada uno de estos incluye una afiliación para ChatGPT, y uno de los artículos incluye una dirección de correo electrónico para el “autor” no humano. Según Nature, la inclusión de ChatGPT en ese artículo en la firma del autor fue un “error que pronto se corregirá” (Stokel-Walker, 2023). Sin embargo, estos artículos y sus “autores” no humanos ya han sido indexados en PubMed y Google Scholar.

La conclusión es que en la situación actual no podemos decir con certeza cuando un estudio, un artículo o un ensayo está escrito por ChatGPT o por un humano.

 

Experiencias como ésta han llevado a las instituciones, revistas y editoriales a tomar medidas. De entre las más importantes podemos destacar lo que sigue.

Nature ha definido una política para guiar el uso de modelos de transformadores de lenguaje a gran escala en la publicación científica: prohíbe nombrar herramientas como “autor acreditado en un artículo de investigación” porque “la atribución de autoría conlleva responsabilidad por el trabajo, y Las herramientas de IA no pueden asumir tal responsabilidad”. 

La política editorial también aconseja a los investigadores que utilizan estas herramientas que documenten este uso en las secciones Métodos o Agradecimientos de los manuscritos. 

Otras revistas (Science y Taylor & Francis) y organizaciones (WAME) están desarrollando urgentemente políticas que prohíben la inclusión de estas tecnologías no humanas como “autores”. Van desde prohibir la inclusión de texto generado por ChatGPT o similares en los originales, a exigir total transparencia, responsabilidad y rendición de cuentas sobre cómo se utilizan y se informan dichas herramientas en publicaciones académicas. 

La Conferencia Internacional sobre Aprendizaje Automático (ICML Fortieth International Conference on Machine Learning) también ha anunciado una nueva política: “Los artículos que incluyen texto generado a partir de un modelo de lenguaje a gran escala (LLM) como ChatGPT están prohibidos a menos que el texto producido se presente como parte del análisis experimental del artículo”. 

Y así sucesivamente.

II APA

La APA ya se ha hecho eco con diligencia, primero en su blog. Según McAdoo (2023) estas son las recomendaciones y el análisis de situaciones en las que estudiantes e investigadores utilizan ChatGPT para crear texto y facilitar su investigación, no para escribir el texto completo de su artículo o manuscrito.

Y esto es lo más relevante de su propuesta de norma:

“Si ha utilizado ChatGPT u otras herramientas de inteligencia artificial en su investigación, describa cómo utilizó la herramienta en la sección Método o en una sección comparable de su artículo. Para revisiones de literatura u otros tipos de ensayos o artículos de respuesta o reacción, puede describir cómo utilizó la herramienta en su introducción. En su texto, proporcione el mensaje que utilizó y luego cualquier parte del texto relevante que se generó en respuesta.”

Se dirige a autores y en ningún caso se refiere a ChatGPT como autor y menos como autor citado.

Éstas son las consideraciones que hace a ese respecto:

“Desafortunadamente, otros lectores no pueden recuperar los resultados de un “chat” de ChatGPT, y aunque los datos o citas no recuperables en artículos de estilo APA generalmente se citan como comunicaciones personales, con el texto generado por ChatGPT no hay ninguna persona comunicándose. Por lo tanto, citar el texto de ChatGPT de una sesión de chat es más como compartir el resultado de un algoritmo; por lo tanto, dé crédito al autor del algoritmo con una entrada en la lista de referencias y la cita correspondiente en el texto.”

Tenemos pues ya y de forma clara unas normas y unas recomendaciones

 

III La educación y la difusión de la ciencia cambian en cuestiones nucleares

Puesto que no se puede distinguir lo hecho por un humano y lo hecho por ChatGPT y puesto que, cuando escribe ChatGPT, no hay ninguna persona comunicándose ni le es atribuible ninguna responsabilidad sobre lo escrito, la perspectiva de la evaluación y de la revisión de pares cambia radicalmente. Y por ende la educación, su organización y diseño, y la edición científica. De las cuales son aspectos centrales.

La demostración es la base de la evaluación: ésta es la que aporta las evidencias del aprendizaje. Así lo ponen de manifiesto los trabajos de Merrill, sus principios fundamentales del aprendizaje, de lo cual nos hemos hecho eco aquí, aquí y aquí.

Si la única fuente de la evidencia de un aprendizaje es un proyecto o un examen escrito online y éste no podemos asociarlo a lo que expresa que sabe un alumno, tenemos un problema para la evaluación. Como hemos visto no podemos distinguir quién lo ha hecho. No podemos atribuir aprendizaje a la persona.

 

IV. ¿Qué hacer?

La IA generativa es una herramienta informática de transformar información (por eso se les llama LLM Transformers) no de producir conocimiento ni aprendizaje.

En la educación, por sí, estos procesos y sus resultados no tienen ninguna de las características que definen al aprendizaje. Los individuos que la utilizan no atribuyen sentido a lo que se les muestra, ni incrementan sus experiencias, no transfieren lo supuestamente aprendido a otros entornos, ni adquieren autonomía en su uso. Las máquinas tampoco hacen nada de esto, porque estas facultades de atribuir sentido, etc. son facultades esencialmente humanas, que se producen en el individuo y esta naturaleza es la que define el conocimiento y el aprendizaje.

En la edición científica sucede algo parecido. Lo importante de la edición es que haya una investigación y unos resultados de ella que se puedan difundir. Escribir artículos no es el objetivo. Si son buenos, es el resultado de otra cosa que es lo principal: el incremento del conocimiento. Y la IA no es capaz de diseñar una investigación, de aportar conocimiento, porque utiliza resultados ya escritos, no usa anotaciones ni datos de una investigación. Tampoco a otro nivel establece hipótesis ni valora su relevancia en el contexto de investigación en que se produce. Sólo por decir algunas pocas de las muchas funciones que implica la investigación, de las cuales la difusión, el artículo es una consecuencia. Son funciones netamente humanas donde interviene la intuición, la experiencia, el sentido que se atribuye a lo experimentado, etc.

Si evaluamos la calidad de la investigación exclusivamente en lo escrito en un artículo, donde no podemos diferenciar si es humano o no, entonces esta evaluación con la aparición de la IA generativa ya no vale.

¿Qué hay que hacer?

Sobre la evaluación ya hemos hablado mucho acerca de que la solución es la evaluación formativa, lo hemos visto aquí, aquí y aquí.

Hemos dado propuestas incluso de actividades concretas para llevar a cabo esa evaluación, lo hemos hecho aquí y hemos dicho algunas formas de demostrar los aprendizajes según el tipo de que se traten.

Así la demostración es un factor de consistencia (Merrill, 2002a, 2002b y 2012): El aprendizaje se valida cuando la demostración, la actividad con que se demuestra, es coherente con el objetivo de aprendizaje, mediante:

  1. ejemplos y contraejemplos para conceptos,
  2. demostraciones de ejecución para procedimientos,
  3. visualización (evidenciar visualmente) para los procesos, y
  4. el modelado (presentación de modelos) para adquisición de valores y conductas

En esta línea, y a modo de ejemplo, podemos llegar a proponer actividades concretas de evaluación formativa. Obviamente el diseño instruccional debería ser más completo y ajustado. Éstas son las actividades:

  • Compartir criterios de éxito con los alumnos
  • Preguntas en el aula, o en el chat, o verbales en Zoom o similar.
  • Con anotaciones.
  • Marcado de sólo comentarios
  • Autoevaluación, con criterios explícitos
  • Uso formativo de pruebas sumativas [muy importante]
  • Revisiones, con observaciones y marcado de comentarios
  • Supervisiones de los alumnos, con reuniones presenciales, videorreuniones o sesiones de videollamada.
  • Intervenciones en los foros con comentarios personales, otorgamiento de relevancia en relación con la formatividad y con relación a los objetivos de aprendizaje, los logros esperados y las habilidades desarrolladas, sobre todo conceptuales en este caso.

(Wiliam, 2000, Black et al., 2003; Wiliam, 2007):

 En general se trata de evaluar y validar el aprendizaje a través de la interacción directa.

Algo parecido sucede con la escritura científica: cómo se verifica su conexión con la investigación.

Proponemos una nueva revisión de pares, la que se base en la interacción con el autor. Señalamos la importancia de la entrevista, la supervisión y algo parecido a lo que es el mastery learning (1) en la educación: La asignación de relevancia a lo que dice el autor, en el contexto de revisión, en relación con lo investigado.

Esto entraña una mayor carestía por el uso de recursos, particularmente de recursos humanos, un nuevo tipo de revisor con un trabajo mayor en una época en que no hay revisores, pero este es el desafío: Organizar una nueva revisión y edición para una nueva edición científica de calidad, para la validez de su función difusora de la ciencia.

 

 

Referencias.-

Black, P., & Wiliam, D. (2003). ‘In praise of educational research’: Formative assessment. British educational research journal29(5), 623-637.

Gao, CA et al. Preimpresión en bioRxiv https://doi.org/10.1101/2022.12.23.521610 (2022).

McAdoo, T. (2023). How to cite ChatGPT. APA Style Blog. https://apastyle.apa.org/blog/how-to-cite-chatgpt

Merrill, M. D. (2002a). First principles of instruction. Educational technology research and development50(3), 43-59. http://csapoer.pbworks.com/f/First+Principles+of+Instruction+(Merrill,+2002).pdf

Merrill, M. D. (2002b). First principles of instruction. Educational Technology Research and Development, 50(3), 43-59.  Instructional-Design Theories and Models, Volume III: Building a Common Knowledge Base.

Merrill, M. D. (2012). First principles of instruction. John Wiley & Sons.

Stokel-Walker, C. (2022). AI bot ChatGPT writes smart essays—Should professors worry?[published online ahead of print December 9, 2022]. Nature News.

Stokel-Walker  C.  2023) ChatGPT listed as author on research papers: many scientists disapprove.   Nature;613(7945):620-621. doi:10.1038/d41586-023-00107-z

Wiliam, D. (2000). Integrating summative and formative functions of assessment. https://discovery.ucl.ac.uk/id/eprint/1507176/1/Wiliam2000IntergratingAEA-E_2000_keynoteaddress.pdf

Wiliam, D. (2007). Keeping learning on track: Formative assessment and the regulation of learning. nature, 1, 20. https://www.researchgate.net/profile/Dylan_Wiliam/publication/252646685_Keeping_learning_on_track_Formative_assessment_and_the_regulation_of_learning/links/53f495b00cf2fceacc6e8f5b.pdf 

Miguel Zapata Ros

Profesor Honorario en el Centro de Formación y Desarrollo Profesional de la Universidad de Murcia. Investigador en el Instituto Interuniversitario de Economía Internacional. Profesor Externo en la Universidad de Alcalá de Henares, miembro del programas de doctorado en Ingeniería de la Información y del Conocimiento, distinguido con Mención hacia la Excelencia por el Ministerio de Educación (Referencia: MEE2011-0159). Editor de RED, Revista de Educación a Distancia y de Docencia Universitaria. Miembro de INTCODE, agencia consultiva de ONU sobre educación a distancia, y representante en la sede de New York. Doctor en Ingeniería Informática.

More Posts - Website

Follow Me:
TwitterFacebookLinkedInGoogle Plus

Inteligencia artificial generativa y aprendizaje inteligente

Free photo robot teacher in classroomMiguel Zapata-Ros, Universidad de Murcia. Murcia. España. mzapata@um.es
Artículo publicado inicialmente en EdArxiv con DOI: 10.35542/osf.io/86ykm

 

Una modalidad de inteligencia artificial (IA) se ha impuesto y avanza rápidamente. Otra como es la basada en la programación declarativa y en la programación lógica cayó hace mucho en desuso. No sabemos por qué entre las dos formas posibles de simular un cerebro humano, como las que expresa por Noam Chomsky (2023) en el párrafo siguiente, se ha elegido la primera: 

La mente humana no es, como ChatGPT y sus similares, un pesado motor estadístico para la coincidencia de patrones, que se atiborra de cientos de terabytes de datos y extrapola la respuesta conversacional más probable o la respuesta más probable a una pregunta científica. Por el contrario, la mente humana es un sistema sorprendentemente eficiente y hasta elegante que opera con pequeñas cantidades de información; no busca inferir correlaciones brutas entre puntos de datos, sino crear explicaciones.

Por ejemplo, un niño pequeño que adquiere un idioma está desarrollando —inconsciente, automática y rápidamente a partir de datos minúsculos— una gramática, un sistema extraordinariamente sofisticado de principios y parámetros lógicos[1].

Pero ésa ha sido la elección y tras décadas de investigación y de desarrollos, ahora se ha decidido por parte de Open AI, y después por otras empresas, que este tipo de IA pase de los laboratorios a la aplicación práctica en la sociedad. No sabemos si ha sido efecto de una potente y bien financiada campaña o porque la sociedad lo ha aceptado así, pero el hecho es que se ha producido un colosal despliegue de la IA generativa. 

La educación no ha sido indiferente a esa aceptación ni a ese despliegue. 

En esta situación, la educación, hasta donde se ha dicho (Dawson, S., Joksimovic, S., Mills, C., Gašević, D., & Siemens, G., 2023), se enfrenta a dos posibles resultados. 

En primer lugar, los que se derivan de que la IA tiene el potencial de revolucionar los métodos de enseñanza, la evaluación y la ayuda al alumno, existentes. De lo primero y lo segundo hablaremos después

En segundo lugar, según estos mismos autores y lo que parece ser un sentir común, la IA también tiene la capacidad de crear un sistema educativo completamente nuevo. Y se cita como justificación que el pensamiento creativo y la resolución de problemas son fundamentales en entornos modernos y muy complejos. Y esta IA podría ayudar a los alumnos a enfrentarse a esos problemas.

Estas tres cuestiones ya por sí solas plantean tres desafíos y otros tantos ejes de posibles para investigaciones y su difusión en interesantes artículos.

Esto en sentido positivo, pero hay otras cuestiones que pueden ser planteadas en sentido negativo o como interrogantes:

Cuáles son los impactos que se producen cuando la IA comienza a servir como un socio (¿cabría decir “servir como socio”, o más bien “ser socio” o, por el contrario, “servir como herramienta”?) activo en acciones sociales, creativas e intelectuales sostenidas, no sólo puntuales o como repuesta a preguntas aisladas. Ahora esos impactos en las prácticas que puedan existir son desconocidos. Ya hemos dicho que indagar esas prácticas también puede ser objeto de investigación.

Otras son preguntas que se abren sobre cómo del impacto de una dependencia excesiva, en los sistemas de IA en la educación, se podría derivar una disminución de muchos de los rasgos que nos hacen humanos. En este caso, que contribuirían a una formación “humana” de los alumnos.

Entre esos rasgos se incluyen, pensando a bote pronto, la autorregulación, la metacognición, la orientación a objetivos, la planificación, las tormentas de ideas creativas y una variedad de habilidades que podrían verse afectadas negativamente por la automatización o la toma de control de las máquinas.

Paradójicamente estos rasgos, a más de ser humanos, son constitutivos de lo que se ha llamado pensamiento computacional (Zapata-Ros, 2015 y 2022) (Grover, 2018) (Wing, 2006 y 2008), de manera que un uso no controlado podría derivar en una nula o una mala adquisición de ese tipo de pensamiento que hoy se considera constitutivo de una nueva alfabetización en la sociedad digital (Zapata-Ros, 2015 y 2022)

En particular para la metacognición, la autorregulación y retroalimentación podemos citar:

Hilpert et al. (2023) abordan la necesidad de participación en el aprendizaje de STEM, con una mayor necesidad de autorregulación de los estudiantes. Se basan en una extensa historia de la ciencia de la investigación del aprendizaje que utiliza datos de seguimiento digital para crear construcciones cognitivas que brindan información sobre el compromiso, las redes sociales, la comunidad y la metacognición. En este documento, detallan la importancia de la regularidad de la participación como un fuerte predictor del resultado del curso y los efectos del uso de una intervención de la ciencia de aprender a aprender para fomentar el SRL de los estudiantes y la participación continua. Sus resultados sugieren efectos prometedores y sostenidos de este entrenamiento, lo que plantea la necesidad de considerar enfoques teóricos que integren las observaciones del comportamiento con las construcciones cognitivas en la educación digital.

 Bauer et al. (2023) abordan un área crítica de aprendizaje relacionada con la retroalimentación. La retroalimentación es fundamental para guiar el progreso de los estudiantes y los enfoques tradicionales se basan principalmente en la observación humana.

 Sin embargo, el mismo autor, señala un posible progreso del que después hablaremos, cuando lo hagamos de aprendizaje inteligente como aprendizaje inclusivo:

Con el desarrollo de grandes modelos de lenguaje y el procesamiento del lenguaje natural en general, existen nuevas oportunidades para ofrecer retroalimentación a los estudiantes. Detallan cómo los artefactos textuales pueden mejorarse con la retroalimentación de la IA. Ofrecen un marco para conectar los procesos de retroalimentación con el apoyo estudiantil adaptativo. A medida que el aprendizaje digital crece en importancia en los entornos educativos, la inclusión de artefactos más diversos y multimodales requerirá una actualización similar de la teoría y las construcciones para garantizar la retroalimentación como motor del éxito general de los estudiantes.

 

Una pedagogía y una teoría del aprendizaje de la IA

Para abordar estas preguntas, y en general la necesidad de un despliegue efectivo de los sistemas de IA en la educación, es preciso hacerlo desde un punto de vista teórico, más allá de los resultados que sobre las interrogantes señaladas nos proporcione la investigación empírica. Un punto de vista teórico que no guíe y dirija en nuevas rondas, tanto en la investigación como la práctica.

Ese marco nos proporcionará los asideros y las andaderas para garantizar que los principios, los valores y las construcciones confiables configuren el uso de la IA en la educación. De esta forma nos aseguramos de que los valores, la investigación realizadas hasta ese momento, los intereses y preocupaciones de las partes interesadas y las contribuciones que se vayan haciendo sigan integrándose de forma cohesionada en el escenario de la IA en la educación.

Al menos como deseo y horizonte.

Como consecuencia, en futuras iniciativa, como la convocatoria de número especial y en la sección editorial que posiblemente se cree en la revista RED, defenderemos la importancia crítica de la teoría en el diseño, desarrollo y despliegue de la IA en la educación. Al hacerlo, nos planteamos de forma crítica la relevancia y la continuidad de las teorías de aprendizaje ya existentes, cuando la IA se constituya como una realidad en las aulas. 

Así, desde este momento hacemos una llamada a considerar nuevos marcos, modelos y formas de pensar, a aquellos que incluyen la presencia de agentes no humanos. Es decir, a los que incluyan una nueva tecnología, que se parece más a un socio activo que a una tecnología simple, como sucedía hasta ahora, incluso con la tecnología digital, que respondía más a interrogantes lógicas simples que a un agente con capacidad para tomar decisiones intermedias sin intervención humana, del alumno o del profesor. En ese sentido cabe ahora hablar de un trinomio, más que de un binomio, el formado por el profesor, el alumno y la IA generativa.

Es precisamente eso lo que genera también una serie de preguntas importantes para considerar en elaboraciones teóricas futuras, precisamente sobre la revisión de las teorías de aprendizaje basadas en las configuraciones existentes. Y cuáles serían en este caso sus alternativas.

Ya hemos señalado que el uso de la teoría en la investigación educativa constituye la lente, el filtro, a través del que vemos y explicamos lo que observamos (Biesta et al.,  2011). 
¿Pero es útil la lente que tenemos hora?

Las teorías existentes se establecieron y se derivaron de un contexto educativo distinto al de los enfoques de enseñanza más modernos y los sistemas técnicamente establecidos. Es de prever más aún que a medida que la adopción de la IA impacte en la enseñanza y el aprendizaje, se produzcan dudas acerca de la idoneidad en continuar con las teorías de aprendizaje existentes. 

Sin embargo, como hemos dicho, la integración del desarrollo e implementación de sistemas educativos basados ​​en IA en marcos teóricos adecuados es esencial para avanzar y lograr resultados de aprendizaje óptimos. En base a estas ideas, planteamos las siguientes interrogantes:

  • ¿La integración de la IA en la educación requiere modificaciones o revisiones en la forma en que aprendemos? 
  • ¿O, por el contrario, se requiere una reestructuración completa, lo que conlleva la necesidad de nuevas teorías? 
  • ¿Qué debería ofrecer la teoría a los educadores cuando se incluye la IA? 

Con relación al modo en que se persiguen y abordan estas cuestiones, nos planteamos:

En los programas LLM, la facilidad de acceso a los contenidos y la capacidad de producirlos, ¿disminuyen la importancia del conocimiento declarativo? 

Se ha hablado mucho hasta ahora del constructivismo social vinculado al aprendizaje apoyado por las tecnologías digitales y sociales. De hecho, es el paradigma imperante durante mucho tiempo, con el que todos se sentían satisfechos, incluso impulsaba reformas de gran calado como fue la reforma de Bolonia en la Educación Superior europea. Pues bien, del mismo modo nos podríamos plantear si ¿los puntos de vista existentes sobre el constructivismo social avalan la IA como un agente social en el aprendizaje? 

También podríamos hacer incursiones microteóricas. Como, por ejemplo, plantearnos si los corpus teórico-prácticos existentes sirven suficientemente, o son los adecuados, para la inclusión de la IA en las aulas o es necesario actualizarlos o incluso repensarlos por completo.

 

El aprendizaje inteligente

Todo esto podría servir para orientar el debate y la investigación en torno a la nueva visión que se abre con la IA generativa. Pero hay unos planteamientos anteriores que ya hemos citado y que no conviene olvidar: Es la consideración del llamado aprendizaje inteligente (Zapata-Ros, 2018) (Hwang et al, 2008) como una fase superior del aprendizaje adaptativo.

El constructo de “entornos de aprendizaje inteligente” pueden considerarse,  a  partir  de  la  definición  de  Hwang  et  al  (2008),  como el de “entornos  de  aprendizaje apoyados  por  la  tecnología  que  realizan  adaptaciones  y  brindan  el  soporte  adecuado  con  la tecnología  de  detección  y  de  recomendación”  (por  ejemplo,  orientación,  retroalimentación, consejos  o  herramientas a utilizar)  en  los  lugares  adecuados  y  en  el  momento  oportuno,  según  las necesidades   individuales   de   cada alumno,   determinados mediante   el   análisis   de   sus comportamientos de aprendizaje, su trayectoria de rendimiento y los contextos en línea y del mundo  real  en  los  que  se  encuentran, tanto  grupales  y  sociales  como  compuesto  por  los recursos de que se provee o a los que accede, descarga, lee o elabora.

Y aprendizaje inteligente podría considerarse consecuentemente (Zapata-Ros, 2018) como aquél aprendizaje que pueden desencadenar y producir los sistemas de aprendizaje inteligente, y que se puede entender de forma diferenciada por las funciones y efectos que no se pueden realizar en ambientes  de  aprendizaje  adaptativo  y  de  aprendizaje contextualizado, pero sin excluirlas. El aprendizaje social y el aprendizaje colaborativo de esta forma se puede entender como una subcategoría del aprendizaje contextualizado.

Resumiendo, se puede decir pues que el aprendizaje inteligente es el aprendizaje adaptativo y contextualizado con mecanismos de detección, de respuesta y de recomendación.

Entonces (Zapata-Ros, 2018) se planteaba

La presencia y el avance de las tecnologías de detección y de recomendación están ofreciendo grandes y determinantes oportunidades para desarrollar nuevos     entornos de aprendizaje. Definitivamente   el   aprendizaje   inteligente   es   un   concepto   extremadamente innovador, como en  otros  ámbitos,  para  desarrollar  visiones  y  planteamientos  distintos.  En este caso para  crear  entornos  de  aprendizaje  más  potentes  y  útiles  que  los enfoques  de aprendizaje  ayudados  por  la  tecnología  ya  existentes,  mediante  la  incorporación  de  nuevas herramientas y nuevos criterios para el aprendizaje

La cuestión ahora sería: Aquello que se abrió como un desarrollo del aprendizaje adaptativo, y cuyas primeras y muy contadas experiencias en relación con la Educación Superior se vieron en el artículo citado (Zapata-Ros, 2018), cuál es su estado ahora, qué experiencias y qué conclusiones se han obtenido de las investigaciones en esta línea, no sólo en la Educación Superior, si es que las ha habido, y finalmente cuál es su estado y cuáles son sus perspectivas en relación con la IA de nuevo cuño, la de los sistemas generativos.

 

La IA generativa, los LLM, el diseño instruccional, la evaluación educativa y el principio de demostración. La evaluación formativa. –

El principio que fundamenta la evaluación es el principio de demostración. Y es el que debiéramos tener presente en todo momento en que hablásemos de ella. Simplificando consiste en que el alumno ha de aportar evidencias de su aprendizaje, en un sentido pedagógico, es decir ha de demostrar que comprende que atribuye sentido, que aplica las habilidades conseguidas de forma autónoma y las transfiere a contextos distintos.

Para entender esta cuestión en un contexto como el que se nos abre, deberíamos tener en cuenta que los principios de la instrucción están enunciados en forma de criterios que ha de cumplir la enseñanza para que el aprendizaje sea eficiente, de calidad. Hemos de recordar que la evaluación forma parte de la instrucción. En el trabajo de Merrill (2002a, 2002b, 2009) se dan las condiciones y los criterios para que se dé la demostración. Allí se enuncia el principio de demostración

El aprendizaje se promueve cuando la instrucción demuestra lo que se debe aprender en lugar de simplemente decir información sobre lo que se debe aprender.

Así la demostración es un factor de consistencia: El aprendizaje se pr omueve cuando la demostración es coherente con el objetivo de aprendizaje, con:

(a) ejemplos y contraejemplos de conceptos,

(b) demostraciones para procedimientos,

(c) visualización (evidenciar visualmente) para los procesos, y

(d) el modelado (presentación de modelos) para adquisición de valores y conductas

Podríamos plantearnos si alguna o ninguna de estas exigencias de la demostración se cumplen con el ChatGPT o el propio ChatGPT las demuestra. Lo que sí está claro, cuando la prueba de la demostración recae sobre un proyecto o ensayo, es que presentar un informe o un proyecto, por sí mismo no demuestra nada.

Es importante para ello recordar el trabajo de Gao et al (2022) en el que se concluye que, sin más elementos de conocimiento que la lectura, es imposible discernir lo que está escrito por un humano y lo que está redactado por ChatGPT. ES imposible incluso con resultados no determinantes cuando el juicio está emitido por los expertos más eficientes.

La repercusión del diseño instruccional en la evaluación tiene otro punto clave: La cuestión inmaterial, pero entorno a la cual gira la docencia, nos referimos a la entrega de ayuda y de contenidos cuando el alumno esté receptivo y los perciba como útiles. Lo cual estriba en distribuir a través de guías y de secuenciaciones los logros parciales y evaluar en cada uno su consecución, y únicamente entonces proseguir. En esto juega un papel central el diseño y sobre todo, si finalmente lo hay, el papel de los Teaching Assistant (TA).

Por último, se trata también de una cuestión de confianza. En la educación de estándares, a la que estamos acostumbrados, los proyectos (trabajos, TFG, TFM,…) y los exámenes se han establecido como medidas iguales para todos (estándares), cuya superación acredita al alumno para obtener el aprobado del curso, de la asignatura o la titulación para el grado o el máster. En ese marco existe el peligro de que el alumno o el candidato utilice el ChatGPT para redactar los ensayos.

Esta dinámica permite trasladar la eficiencia en el aprendizaje al escrutinio de las pruebas y de sus resultados por alumnos, padres, familias e inspección, donde además con esa supuesta objetividad los docentes se sienten seguros, aunque por contrapartida lo que se hace es sembrar la semilla de la desconfianza, de que no haya equidad en el proceso o de que haya trampa. Esto es un caldo abonado para la industria del fraude y la del ChatGPT como impostor del alumno para demostrar capacidades y aprendizajes en general.

Este hecho viene a confirmar algo que planteamos desde hace tiempo, la necesidad de una nueva educación, la basada en logros personales. En ese marco el entorno social del alumno debe depositar la confianza en el modelo, personalizado a través de sistemas que como el de Mastery learnig otorgue en los maestros la confianza en valorar que se alcanza el dominio en el aprendizaje, de confiar en el maestro y en su expertise docente, de igual forma como la deposita el paciente en el médico, en su capacidad de diagnóstico y de decidir un tratamiento adecuado.

Pero también de encontrar o de recuperar métodos y teorías que centran la demostración en procesos de interacción directa profesor-evaluador y alumno. Sintetizando se trata de métodos de evaluación formativa.

Recordemos qué es la evaluación formativa, para Cowie & Bell (1999) es “el proceso utilizado por profesores y estudiantes para reconocer y dar respuesta al proceso de aprendizaje de los estudiantes con el fin de mejorar ese aprendizaje durante el aprendizaje”.

Para Black & Wiliam (1998a, p. 2), la “evaluación se refiere a todas aquellas actividades realizadas por los profesores, y por los estudiantes en la autoevaluación, que proporcionan información que se utilizará como retroalimentación para modificar las actividades de enseñanza y aprendizaje en las que participan. Dicha evaluación se convierte en “evaluación formativa” cuando la evidencia obtenida se utiliza en la práctica docente para adaptar la enseñanza a las necesidades detectadas.”

Pero quizá la más completa es la definición que hacen Black y Wiliam (1998a y b y 2009) y la definición del Grupo de Reforma de la Evaluación (ARG, 2002): “La práctica en el aula es formativa en la medida en que la evidencia sobre el rendimiento del estudiante sea suscitada, interpretada y utilizada por los profesores, los alumnos o sus compañeros, para tomar decisiones sobre los próximos pasos en la instrucción. Próximos pasos que probablemente sean mejores, o mejor fundamentados, que las decisiones que se tomarían se han tomado en ausencia de la evidencia que de esa forma se ha obtenido.”

Resumiendo, podríamos decir que la evaluación formativa o de proceso se exige para entender no sólo si un alumno ha conseguido aprendizaje o no, sino por qué. Comprender las razones para el éxito o para el fracaso depende de la profundidad del conocimiento que existe de lo que se ha hecho o se está haciendo, y también de la relación apropiada entre el uso de la tecnología, las actividades que se han hecho con ella y el área de conocimiento. Entendiendo como tal la metodología docente para el área (las ideas pedagógicas) y los conocimientos propios de la materia.

Otra línea de contribuciones sería pues analizar y desarrollar las aportaciones de estas construcciones, fundamentalmente de la evaluación formativa, en el contexto creado por los LLM y el ChatGPT.

Con todo lo dicho se abre un espacio pues a posibles trabajos que esencialmente incluyan investigaciones empíricas y/o el desarrollo y prueba de una o más tecnologías en relación con los LLM generativos, estudios de casos o desarrollos teóricos sobre aprendizaje con IA, ChatGPT y sistemas transformadores LLM y Educación. Y también a desarrollos y experiencias sobre aprendizaje inteligente y evaluación formativa en contextos ChatGPT.

Autoreferencia
Zapata-Ros, M. (2023, June 27). Inteligencia artificial generativa y aprendizaje inteligente. https://doi.org/10.35542/osf.io/86ykm

 

Referencias

ARG (2002) Assessment for Learning: 10 principles. Available on the Assessment Reform Group web-site : www.assessment-reform-group.org.uk

Bauer, E. , Greisel, M. , Kuznetsov, I. , Berndt, M. , Kollar, I. , Dresel, M. , Fischer, MR y Fischer, F. ( 2023 ). Uso del procesamiento del lenguaje natural para respaldar la retroalimentación entre pares en la era de la inteligencia artificial: un marco interdisciplinario y una agenda de investigación. Revista británica de tecnología educativahttps://doi.org/10.1111/bjet.13336

Biesta, G., Allan, J., & Edwards, R. (2011). The theory question in research capacity building in education: Towards an agenda for research and practice. British Journal of Educational Studies, 59(3), 225– 239.

Black, P., & Wiliam, D. (1998a). Assessment and classroom learning. Assessment in Education, 5, 7-74.

Black, P., & Wiliam,D. (1998b). Inside the black box: Raising standards through classroom assessment. Phi Delta Kappan80, 139-149.

Black, P., & Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability (formerly: Journal of Personnel Evaluation in Education)21(1), 5-31. https://kclpure.kcl.ac.uk/portal/files/9119063/Black2009_Developing_the_theory_of_formative_assessment.pdf y https://link.springer.com/article/10.1007/s11092-008-9068-5

Chomsky, N., Roberts, I., & Watumull, J. (2023). Noam Chomsky: The False Promise of ChatGPT. The New York Times8.

Dawson, S., Joksimovic, S., Mills, C., Gašević, D., & Siemens, G. (2023) Advancing theory in the age of artificial intelligence. British Journal of Educational Technology.

Gao, CA et al. (2022) Preimpresión en bioRxiv https://doi.org/10.1101/2022.12.23.521610

Grover, S. (2018, March 13). The 5th ‘C’ of 21st century skills? Try computational thinking (not coding. Retrieved from EdSurge News: https://edtechbooks.org/-Pz

Hilpert, JC , Greene, J. y Bernacki, M. ( 2023 ). Aprovechar los marcos de complejidad para refinar las teorías del compromiso y promover el aprendizaje autorregulado en la era de la inteligencia artificial . Revista británica de tecnología educativa . https://doi.org/10.1111/bjet.13340

Merrill, M. D. (2002a). First principles of instruction. Educational technology research and development50(3), 43-59. http://csapoer.pbworks.com/f/First+Principles+of+Instruction+(Merrill,+2002).pdf

Merrill, M. D. (2012). First principles of instruction. John Wiley & Sons.

Merrill, M. D. (1991). Constructivism and instructional design. Educational technology31(5), 45-53.

Merrill, M. D. (2002b). First principles of instruction. Educational Technology Research and Development, 50(3), 43-59.  Instructional-Design Theories and Models, Volume III: Building a Common Knowledge Base.

Merrill, M. D. (2009). First Principles of Instruction. In C. M. Reigeluth & A. Carr (Eds.), Instructional Design Theories and Models: Building a Common Knowledge Base (Vol. III). New York: Routledge Publishers.

Wing, J.M. (2006) Computational thinking. it represents a universally applicable attitude and skill set everyone, not just computer scientists, would be eager to learn and use. Commun. ACM 49(3).  https://doi.org/10.1109/vlhcc.2011.6070404

Wing, J.M. (July 2008) Computational thinking and thinking about computing.  The Royal Society Publishinghttps://doi.org/10.1098/rsta.2008.0118 https://royalsocietypublishing.org/doi/10.1098/rsta.2008.0118 https://royalsocietypublishing.org/doi/pdf/10.1098/rsta.2008.0118

Zapata-Ros, M. (2015). Pensamiento computacional: Una nueva alfabetización digital. Revista de Educación a Distancia (RED), (46). https://revistas.um.es/red/article/view/240321/183001

Zapata-Ros, M. (2018). La universidad inteligente. RED. Revista de Educación a Distancia, 57(10). http://www.um.es/ead/red/57/zapata2.pdf   http://dx.doi.org/10.6018/red/57/10

Zapata-Ros, M. (2022) El pensamiento computacional, la competencia clave en una nueva alfabetización. New York: Create Space Independent Publishing.

 

[1] The human mind is not, like ChatGPT and its ilk, a lumbering statistical engine for pattern matching, gorging on hundreds of terabytes of data and extrapolating the most likely conversational response or most probable answer to a scientific question. On the contrary, the human mind is a surprisingly efficient and even elegant system that operates with small amounts of information; it seeks not to infer brute correlations among data points but to create explanations.For instance, a young child acquiring a language is developing — unconsciously, automatically and speedily from minuscule data — a grammar, a stupendously sophisticated system of logical principles and parameters.

Miguel Zapata Ros

Profesor Honorario en el Centro de Formación y Desarrollo Profesional de la Universidad de Murcia. Investigador en el Instituto Interuniversitario de Economía Internacional. Profesor Externo en la Universidad de Alcalá de Henares, miembro del programas de doctorado en Ingeniería de la Información y del Conocimiento, distinguido con Mención hacia la Excelencia por el Ministerio de Educación (Referencia: MEE2011-0159). Editor de RED, Revista de Educación a Distancia y de Docencia Universitaria. Miembro de INTCODE, agencia consultiva de ONU sobre educación a distancia, y representante en la sede de New York. Doctor en Ingeniería Informática.

More Posts - Website

Follow Me:
TwitterFacebookLinkedInGoogle Plus