Archivo de la etiqueta: chatGPT

Inteligencia Artificial y Educación ¿dónde estamos?

Imagen original de John Angelo Yap en Goldenpeguin

 

 

 

 

 

Miguel Zapata-Ros, Universidad de Murcia.  Director de RED

 

La idea que quiero transmitir en este artículo es que, primero, hay una hipervaloración sobre lo que son y sobre lo que pueden hacer la IA generativa, los LLM y el ChatGPT, o lo que se puede hacer con ellos. También se exagera sobre la necesidad de su uso en Educación. Y por último, sobre del papel que pueden cumplir como inusitados auxiliares para el aprendizaje, de manera que van a cambiar radicalmente las cosas.

Lo segundo que constataremos es que esa hipervaloración no está en absoluto justificada con evidencias que avalen lo que se dice ni mucho menos.

Lo tercero que veremos, será lo que constituye una de las cuestiones clave del trabajo: Notaremos que, si bien no es tanto, sí hay motivos para pensar que la presencia de la IA va a propiciar importantes cambios en las practicas. Eso es, por el momento, lo único que parece que, de forma esporádica y mediante casos y prácticas personales y aisladas, se ha justificado mínimamente (Korinek, 2023). También es previsible que haya cambios de calado, en aspectos básicos, ante los cuales es preciso dar respuestas.

Si bien no se han aportado evidencias, el volumen de lo publicado en todos los órdenes y en multitud de medios apunta hacia cambios que chocan de frente, son contradictorios, e incluso ignoran, la mayor parte de lo que se había investigado y elaborado en cuanto a teorías del aprendizaje y en su derivada que es el diseño instruccional. Chocan en cómo se había consensuado que se organiza la instrucción, la educación, para ser eficiente: en función de las leyes y principios demostrados que rigen el aprendizaje humano. En este apartado, que constituye lo clave del trabajo, defendemos la importancia de la teoría en el diseño, desarrollo e implementación de la IA en la educación. Al hacerlo, cuestionamos la relevancia y el valor de aplicación continuada y sin revisión de las teorías de aprendizaje existentes, cuando la IA se vuelva prominente en las aulas. Exigiremos pues nuevos marcos, modelos y formas de pensar; aquellos que incluyen la presencia de agentes no humanos que se parecen más a un socio activo que a una simple tecnología, lo que genera preguntas importantes sobre la revisión de las teorías de aprendizaje colaborativas y basadas en equipos, existentes. 
Así nos planteamos que la integración de marcos teóricos nuevos, para la implementación y el desarrollo de sistemas educativos, en los que se incluye la IA como socio, es esencial para avanzar y lograr resultados de aprendizaje óptimos.

Paro ello plantearemos al menos las interrogantes siguientes: 

La adopción de la IA en la educación ¿requiere modificaciones o revisiones de cómo se conceptualiza la forma en que aprendemos? 

¿O se requiere una reestructuración completa, que resulte de la necesidad de nuevas teorías? 

¿Qué debería ofrecer la teoría a los educadores cuando se incluye la IA? Es importante para ello responder primero a

¿La facilidad de acceso de la IA al contenido y la capacidad de producir contenido disminuye la importancia del conocimiento declarativo? 

Y por último destacamos, no sin cierta perplejidad, cómo lo que se apuntaba como una tímida tendencia sólo justificable en el aprendizaje humano, pero con cierta simpatía por parte de algunos autores que hacía prevenir que finalmente se vería positivo en humanos, finalmente y con todo desparpajo se avala como un conjunto de métodos para aplicar en personas, constituyen ya una tendencia. Me refiero al aprendizaje condicionado o aprendizaje humano por refuerzo. Algo abandonado hace tiempo que ahora se rescata.

I

Sobre lo primero que hemos dicho que vamos a tratar, la hipervaloración de la IA Generativa, no hace falta insistir mucho, ya se encargan los medios, los creadores de opinión educativa y académica  (Clark aquí y aquí , Pedreño,… y otros más actuales),  prestigiosas plataformas como Graduate School of Educationa de Harvard e incluso documentos oficiales de medios académicos, como guías para el uso de la IA — de la UNED (Uso educativo de la Inteligencia Artificial Generativa), de la UOC y de UMU Publicaciones). También cierto tipo de literatura científica, como son exégesis teóricas sin base empírica, revisiones de la literatura sin masa crítica de investigaciones o usando otras revisiones, y articulos sobre percepción de estudiantes, profesores y autoridades, así como self report studies. Todo ello podemos encontrarlo incluso de forma prolija como contenido de revistas. Algunas de ellas hasta  bien posicionas y con buenos índices de citación y de impacto (IF, SJR, CiteScore).

No hace falta insistir sobre este punto, pues.

II

La cuestión ahora es: ¿en qué ayuda la IA generativa al aprendizaje?, y su derivada: ¿cómo podemos hacerlo para que eso, lo que ayuda al aprendizaje, pueda ser utilizado en la educación? Lo que no podemos hacer es utilizar la IA generativa y el ChatGPT de forma generalizada, invirtiendo recursos en ello sin certezas y no podemos difundirlo para que otros lo hagan, hasta que no tengamos evidencias de sus efectos. Es grande la responsabilidad que tenemos. Ya tenemos la experiencia de que eso ha pasado en otras ocasiones y de las consecuencias que ha tenido. Recordemos las matemáticas llamadas modernas o los estilos de aprendizaje. Ver este tuit (Zapata-Ros, November 30, 2023).

En el día de hoy, revisando plataformas de edición científica (Scopus-Elsevier, WoS, Google Scholar) no he encontrado investigaciones rigurosas y terminantes de ventajas en el aprendizaje, no en destrezas instrumentales como puedan ser la ayuda a la redacción, que habría que ver si es útil para la adquisición de esa destreza o contraproducente, sino en aspectos centrales, los que definen Merrill o Gagné como principios principales del aprendizaje. Por el contrario, he encontrado artículos de dudosa buena práctica investigadora, pese a haber superado la revisión de pares. Como por ejemplo estos:

 

Education in the era of generative artificial intelligence (AI): Understanding the potential benefits of ChatGPT in promoting teaching and learningD Baidoo-Anu, LO Ansah – Journal of AI. 426 citas en GS. Revisión de revisiones y de exégesis.

ChatGPT user experience: Implications for educationX Zhai. El autor se basa en su experiencia del usuario, reflexionando sobre los posibles impactos de ChatGPT, así como de herramientas de inteligencia artificial similares, en la educación. Tiene 266 citas en GS.

An AI-Based Learning Style Prediction Model for Personalized and Effective Learning, Varsha T. Lokare, Prakash M. Jadhav

Mención especial merece este último que, aunque es un borrador de paper, ha pasado la revisión editorial previa de Science Direct, diciendo:

“A lo largo de los años, los estudiantes han utilizado diversas técnicas para adquirir conocimientos y estudiar materias específicas. Estos métodos incluyen los métodos de aprendizaje visual, auditivo, lectoescritura y cinestésico, entre otros, que estimulan el cerebro con diferentes impulsos. Este estudio tiene como objetivo identificar el enfoque de aprendizaje más utilizado y explorar cómo las respuestas fisiológicas impactan las habilidades de los estudiantes. aprendiendo. Evaluar a los estudiantes’ Centrarse en el uso de diversas estrategias de aprendizaje, como visual, auditiva, de lectura y escritura y cinestésica, es fundamental para implementar métodos de enseñanza eficaces.”

Señala como eficaces para el aprendizaje los métodos de organizar la instrucción basados en los llamados “estilos de aprendizaje”. Cualquier doctorando o alumno de Pedagogía sabe que se trata de un mito educativo, y apoco que busque en las bases de datos encontrará docenas de evidencias en su contra.

Pues bien en este artículo “se está desarrollando un modelo de predicción de preferencias de aprendizaje basado en IA para comprender mejor los estilos de aprendizaje individuales de los estudiantes.”

 

Resumiendo, sobre esas evidencias y buenas prácticas, que no existen prácticamente o no existen de forma consistente y fiable, estamos buscando información. También las revistas y las instituciones públicas o de investigación lo ven como una urgencia. En este sentido podemos señalar cinco iniciativas.

1

RED. Convocatoria de un número especial titulado IA generativa, ChatGPT y Educación. Consecuencias para el Aprendizaje Inteligente y la Evaluación Educativa / Generative AI, ChatGPT and Education. Consequences for Intelligent Learning and Educational Assessment. Se plantean las consecuencias frente a dos posibles escenarios y sus consecuencias. El primero se derivan de que la IA tenga el potencial de revolucionar los métodos de enseñanza, la evaluación y la ayuda al alumno, existentes. El segundo el que la IA tenga la capacidad de crear un sistema educativo completamente nuevo. 

Otras cuestiones que se plantean ahora como interrogantes son: Cuáles son los impactos que se producirán cuando la IA comience a servir como un socio activo en acciones sociales, creativas e intelectuales sostenidas a lo largo del tiempo, no sólo puntuales o como repuesta a preguntas aisladas, que es lo que ahora más frecuentemente se hace. En este momento esos impactos en las prácticas, los que puedan existir, son desconocidos. También se plantgea cómo del impacto de una dependencia excesiva, en los sistemas de IA en la educación, se podría derivar una disminución de muchos de los rasgos que nos hacen humanos. En este caso la pregunta es si ese impacto contribuiría a una disminución de la formación “humana” de los alumnos. Entre esos rasgos se incluyen la autorregulación, la metacognición, la orientación a objetivos, la planificación, las tormentas de ideas creativas y una variedad de habilidades que podrían verse afectadas negativamente por la automatización o la toma de control de las máquinas.

2

Computers and Education: Artificial Intelligence. Special issue Exploring the Nexus of Generative AI and Language Education: Opportunities, Challenges, and Innovations, es la Segunda iniciativa

3

International Journal of Educational Technology in Higher Education (IJ of ETHE). Especial interés tiene el caso de New advances in artificial intelligence applications in higher education , que inicialmente entendí que se convocó como un número especial de ETHE y ahora es una colección de artículos, pero con un artículo solo, porque la recepción de originales se cerró.

El único trabajo aceptado, AI-generated feedback on writing: insights into efficacy and ENL student preference, consta de dos interesantes estudios longitudinales, el segundo de los cuales es un self report study sobre el primero, pero más que propiamente un análisis sobre aprendizaje es sobre evaluación. Ésa es la única conclusión en sentido positivo, las otras son que no se pueden establecer preferencias claras.

UK Generative AI in education Call for Evidence: summary of responses.  El Departamento de Educación lanzó en verano pasado (para recoger datos entre el 14 de junio y el 23 de agosto de 2023) una Convocatoria de Evidencia sobre el uso de Inteligencia Artificial Generativa (GenAI) en educación. Solicitaba opiniones y experiencias de profesionales de todas las etapas de la educación, así como del sector de tecnología educativa (EdTech), se refiere al sector de investigación, y a expertos en inteligencia artificial (IA). En este caso no se trata de lanzar solo una convocatoria sino de recoger lo que ya existe en la práctica y en la investigación.

Las respuestas que se obtuvieron, y sobre las cuales se abre una fase de evaluación, revelaron una amplia gama de usos de la tecnología GenAI con fines educativos.

Para un posterior análisis, las aplicaciones identificadas entre los docentes se han agrupado en los siguientes siete temas clave según los casos de uso:

  • Creación de recursos educativos
  • Planificación de unidades y planes de estudios
  • Uso “en vivo” en las lecciones
  • Evaluación, calificación y retroalimentación
  • Tareas administrativas
  • Capacitación en habilidades GenAI y alfabetización en IA.
  • Investigación

 

5

El British Journal of Educational Technology  publica en septiembre de 2023 una sección especial  en su número orinario, fechada en mayo de este año,  con el título, que también recibe el editorial, Advancing theory in the age of artificial intelligence. Son diez artículos que se explican en el editorial, así como las conclusiones, que utilizaremos en este trabajo. Sus autores y editores son Dawson, Joksimovic, Mills, Gašević y Siemens. Destacamos que Gašević es también editor del especial de Computers and Education: Artificial Intelligence, reseñado en primer lugar y del trabajo que también reseñamos sobre la vigencia del aprendizaje humano por refuerzo.

 

Esperemos que estas iniciativas nos den como resultado el panorama real de la investigación y de lo evidenciado sobre GenA, LLM y ChatGPT y su influencia en el aprendizaje de los alumnos.

 

Mientras tanto cabe destacar la desesperación que en el plano científico tienen los impulsadores de esta IA por encontrar aportaciones que demuestren mínimamente las ventajas de estas herramientas a este fin. Para ilustrar esta situación aportaré un caso.

Donald Clark es un decidido impulsador de esta idea. Hace unos días para demostrar concluyentemente que es así y supongo que como respuesta a los que pedimos pruebas, compartió en un tuit un artículo de una supuesta rigurosa investigación:
En el que textualmente dice “las explicaciones basadas en LLM impactaron positivamente el aprendizaje”.

Pero, si nos vamos a las conclusiones del artículo ya expuestas desde el abstract, lo que establecen es que “la exposición a explicaciones de LLM aumentó la cantidad de personas que SENTÍAN QUE HABÍAN APRENDIDO y disminuyó la DIFICULTAD PERCIBIDA de los problemas del test.”

Es lo que siempre decimos, no hay evidencias sobre IA generativa y aprendizaje, solo self report studies y revisiones de exégesis de revisiones de literatura, que se multiplican y aumentan citas e impacto ad nauseam.

Tres de los cuatro autores son de Microsoft Research ¿Casualidad?

Se trata de un preprint (Kumar, Rothschild, Goldstein and Hofman, November 22, 2023) de la prestigiosa plataforma SSRN de Elsevier:

Pues bien, a pesar de haberlo dicho en un tuit, es curioso lo que sucede con ChatGPT y la campaña de apoyo y despliegue que tiene:

En él, quien suscribe ponía de relieve la trampa que suponía decir que se demuestra que ChatGPT influye en el aprendizaje, cuando realmente lo que sucedía, como se dice en las conclusiones, es que afecta a la percepción que tenían, de haber aprendido y de su capacidad para resolver problemas, los alumnos.

Pues bien, a pesar de todo ello, la estrategia pensamos que es tal que no sólo que Clark no entra al trapo, sino que dice que el tuit le gusta.

 

Ya hemos descrito lo que sucede con las convocatorias, los CFP de investigaciones y con este ultimo caso. Todo ello no viene sino a confirmar la ausencia de investigaciones que avalen de forma clara, o al menos en parte, todo lo que se dice de las ventajas del ChatGPT para el aprendizaje y la educación.

Tras todo ello, al día de la fecha, en nuestra búsqueda, sólo hemos encontrado, como hecho verificado y publicado, el trabajo de by Anton Korinek Language Models and Cognitive Automation for Economic Research, publicado en febrero de este año, que veremos a continuación por su interés y por las conclusiones que podemos obtener.

 

III

Lo tercero que veremos, será lo que constituye una de las cuestiones clave de este artículo: Veremos que, si bien no son tantos, sí hay motivos para pensar que la presencia de la Inteligencia Artificial Generativa (GenAI) va a propiciar importantes cambios en las prácticas, algunos o muchos de los cuales posiblemente ya se estén produciendo, aunque el estudio sobre experiencia en UK ya citado aún no ha dado tiempo para procesarlos y para sistematizarlos, y mucho menos en otras latitudes.

Eso es, por el momento, lo único que parece que, de forma esporádica y mediante casos y prácticas personales aisladas, se ha justificado mínimamente. Al menos eso ha sucedido en el caso que hemos encontrado, reflejado por Korinek (2023) en su artículo Language models and cognitive automation for economic research .

Tampoco es descartable que se estén produciendo lo que serán anticipos de cambios de calado, en aspectos básicos, ante los cuales es preciso dar respuestas. Pero esa es una cuestión que trataremos después.

El trabajo de Korinek (2023)  no sería un trabajo muy importante si no fuera porque no hay muchos otros. Es el único empírico que he podido localizar.

Básicamente, según el propio autor dice, en él “informa de su calificación subjetiva sobre qué tan útiles encontró las capacidades LLM descritas al 1 de febrero de 2023”. Se refiere a las prácticas que él mismo hizo y con las que elaboró un estudio personal de 25 casos de uso de ChatGPT en 25 prácticas que él hizo y su opinión sistematiza en categorías sobre ellas.

Ello, no obstante, en la línea triunfalista y optimista que señalamos, permitió decir en un importante medio español e hispanoamericano, un blog de una prestigiosa revista y en su perfil en Twitter, que, a partir de lo recogido en el trabajo “la investigación y la producción científica nunca volverán a ser lo mismo”, se entiende que con el concurso del ChatGPT y los LLM.

El resumen, Korinek (2023) lo refleja en una tabla de tres columnas. Una con las categorías que establece en su taxonomía para las tareas en las que utiliza ChatGPT— hay que tener en cuenta que es un profesor e investigador de economía que utiliza las matemáticas en sus clases e investigaciones, en particular el análisis diferencial y las derivadas, así como la analítica de datos—, otra columna para las propias tareas y la tercera para una asignación de utilidad, utilizando una valoración numérica entera entre 1 y 3. De menos a mayor utilidad, fiabilidad o consistencia en el uso para la tarea.

Si bien quien sucribe no ha elaborado un artículo de este tipo, ni ha tomado notas de sus propias experiencias, sí las que las ha hecho en una cantidad incluso mayor (de ello ha quedado algo reflejado aquí y aquí), si bien no de forma tan operativa como son las de codificación. Basándome en ello, en la tabla 1, a partir de lo hecho por Korinek (2023) :

  1. he realizado una adaptación de su tabla, ajustando y traduciendo los conceptos y términos de la taxonomía y de las tareas y
  2. he añadido una cuarta columna con mis valoraciones. Asignando mis propios valores de utilidad.

Encuentro pues muy útil las calificaciones de Korinek, sobre todo por su descripción, que es la que sigue modificada y adaptada por quien suscribe:

La calificación varía del 1 al 3, donde 1 describe capacidades que actualmente se consideran estrictamente experimentales, que hacen precisa de forma imprescindible la observación y el discernimiento humano, en los cuales si lo hace o lo obtenemos de ChatGPT pueden arrojar resultados inconsistentes, que requieren una supervisión humana significativa e imprescindible; 2 se atribuye a capacidades que, hechas por ChatGPT. probablemente sean útiles y que ahorren tiempo, pero que son en alguna medida inconsistentes o no seguras, por lo que aún requieren una supervisión humana cuidadosa; y 3 refleja capacidades que ya son, con ChatGPT muy útiles y funcionan de la manera esperada la mayor parte del tiempo. Incorporar estas últimas capacidades a su flujo de tareas definitivamente tiene claro que le ahorrará tiempo y hará más productivo el uso de la herramienta.

Tabla 1: Tipos y enunciados de capacidades de ChatGPT. Calificación de su utilidad

Categoría

Tarea

Utilidad Korinek

Utilidad Zapata-Ros

Ideación

 

Lluvia de ideas

3

 

2

Evaluación de ideas

2

1

Proporcionar contraargumentos

3

1

Escribir

 

Sintetizar texto

3

3

Editar texto

3

3

Evaluar texto

3

2

Generar títulos y titulares atractivos

3

2

Generar tweets para promocionar un artículo

3

3

Escribir la parte de investigación del artículo como cuestión principal

 

Resumen

3

3

Revisión de la literatura

1

1

Formatear citas y referencias

3

3

Traducción del artículo

3

3

Explicar conceptos previos

2

1

Crear y escribir programas informáticos (programación)

 

Escribir el programa

2

Explicar el programa

2

Traducir el programa a otro lenguaje

3

Depuración del programa

2

Análisis de los datos

 

Extraer datos del texto

3

3

Reformatear datos

3

3

Clasificar y asignar valores a expresiones textuales

2

1

Extraer opiniones y conclusiones propias del texto. O categorizar, en un sistema de valores dado expresiones, de un texto.

2

1

Simular análisis humano subjetivo.

Esto se basa en que la observación de los datos de entrenamiento de los LLM crea una gran cantidad de información sobre aspectos del proceder humano en la evaluación de datos (Opinión de Korinek (February 10, 2023), Argyle et al. (2022) y de Horton (2022))

2

1

Matemáticas

 

Configuración de modelos

2

2

Derivación de ecuaciones (por los ejemplos que pone se refiere tanto a derivación de funciones, como derivación de igualdades (ecuaciones), como generación de ecuaciones diferenciales).

1

1

Explicar modelos

1

1

 

Las columnas tercera y cuarta corresponden a la calificación subjetiva de las capacidades de LLM hecha por Korinek el 1 de febrero de 2023, y por el autor a fecha 5 de diciembre de 2023:

1 = los resultados son empíricos y humanos por naturaleza; Los resultados de ChatGPT son inconsistentes y requieren una supervisión humana significativa.

2 = Chat GPT presenta cierta utilidad, pero requiere supervisión. Probablemente su uso le ahorrará tiempo

3 = claramente útil; incorporarlos en el flujo de su trabajo le ahorrará tiempo.

–  = carezco de juicio y/o de práctica (mía)

 

 

Referencias

 

Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J., Rytting, C., and Wingate, D.(2022). Out of one, many: Using language models to simulate human samples.arXiv:2209.06899

ARG (2002) Assessment for Learning: 10 principles. Available on the Assessment Reform Group web-site : www.assessment-reform-group.org.uk

Bauer, E. , Greisel, M. , Kuznetsov, I. , Berndt, M. , Kollar, I. , Dresel, M. , Fischer, MR y Fischer, F. ( 2023 ). Uso del procesamiento del lenguaje natural para respaldar la retroalimentación entre pares en la era de la inteligencia artificial: un marco interdisciplinario y una agenda de investigación. Revista británica de tecnología educativahttps://doi.org/10.1111/bjet.13336

Biesta, G., Allan, J., & Edwards, R. (2011). The theory question in research capacity building in education: Towards an agenda for research and practice. British Journal of Educational Studies, 59(3), 225– 239.

Black, P., & Wiliam, D. (1998a). Assessment and classroom learning. Assessment in Education, 5, 7-74.

Black, P., & Wiliam,D. (1998b). Inside the black box: Raising standards through classroom assessment. Phi Delta Kappan80, 139-149.

Black, P., & Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability (formerly: Journal of Personnel Evaluation in Education)21(1), 5-31. https://kclpure.kcl.ac.uk/portal/files/9119063/Black2009_Developing_the_theory_of_formative_assessment.pdf y https://link.springer.com/article/10.1007/s11092-008-9068-5

Chomsky, N., Roberts, I., & Watumull, J. (2023). Noam Chomsky: The False Promise of ChatGPT. The New York Times8.

Dawson, S., Joksimovic, S., Mills, C., Gašević, D., & Siemens, G. (2023) Advancing theory in the age of artificial intelligence. British Journal of Educational Technology.

Gagne, R. M. (1974). Instruction and the conditions of learning. Psychology of school learning: Views of the learner1, 153-175.

Gao, CA et al. (2022) Preimpresión en bioRxiv https://doi.org/10.1101/2022.12.23.521610

Hilpert, JC , Greene, J. y Bernacki, M. ( 2023 ). Aprovechar los marcos de complejidad para refinar las teorías del compromiso y promover el aprendizaje autorregulado en la era de la inteligencia artificial . Revista británica de tecnología educativa . https://doi.org/10.1111/bjet.13340

Horton, J. J. (2022). Large language models as simulated economic agents: What canwe learn from homo silicus? working paper

Korinek, A. (2023). Language models and cognitive automation for economic research (No. w30957). National Bureau of Economic Research.

Kumar, Harsh and Rothschild, David M. and Goldstein, Daniel G. and Hofman, Jake (November 22, 2023). Math Education with Large Language Models: Peril or Promise? SSRN preprintAvailable at SSRN: https://ssrn.com/abstract=4641653 or http://dx.doi.org/10.2139/ssrn.4641653

Merrill, M. D. (2002a). First principles of instruction. Educational technology research and development50(3), 43-59. http://csapoer.pbworks.com/f/First+Principles+of+Instruction+(Merrill,+2002).pdf

Merrill, M. D. (2012). First principles of instruction. John Wiley & Sons.

Merrill, M. D. (1991). Constructivism and instructional design. Educational technology31(5), 45-53.

Merrill, M. D. (2002b). First principles of instruction. Educational Technology Research and Development, 50(3), 43-59.  Instructional-Design Theories and Models, Volume III: Building a Common Knowledge Base.

Merrill, M. D. (2009). First Principles of Instruction. In C. M. Reigeluth & A. Carr (Eds.), Instructional Design Theories and Models: Building a Common Knowledge Base (Vol. III). New York: Routledge Publishers.

Zapata-Ros, M. (2018). La universidad inteligente. RED. Revista de Educación a Distancia, 57(10). http://www.um.es/ead/red/57/zapata2.pdf   http://dx.doi.org/10.6018/red/57/10

Zapata-Ros, M. [@MiguelZapataRos] (November 30, 2023). Learning Styles and AI https://twitter.com/MiguelZapataRos/status/1730172593167101990

Zapata-Ros, M. [@MiguelZapataRos] (November 30, 2023b). https://www.blogger.com/blog/post/edit/9065073132855231377/6495326534278831442 .

[Post en elaboración]

Miguel Zapata Ros

Profesor Honorario en el Centro de Formación y Desarrollo Profesional de la Universidad de Murcia. Investigador en el Instituto Interuniversitario de Economía Internacional. Profesor Externo en la Universidad de Alcalá de Henares, miembro del programas de doctorado en Ingeniería de la Información y del Conocimiento, distinguido con Mención hacia la Excelencia por el Ministerio de Educación (Referencia: MEE2011-0159). Editor de RED, Revista de Educación a Distancia y de Docencia Universitaria. Miembro de INTCODE, agencia consultiva de ONU sobre educación a distancia, y representante en la sede de New York. Doctor en Ingeniería Informática.

More Posts - Website

Follow Me:
TwitterFacebookLinkedInGoogle Plus

Evaluación educativa, edición cientifica y ChatGPT ¿Qué hacer?

I Poniendo en relación resultados de ChatGPT con textos científicos y ensayos

Un grupo dirigido por Catherine Gao (2022) en la Universidad Northwestern en Chicago, ha utilizado ChatGPT para generar resúmenes de trabajos de investigación artificiales para probar si los científicos pueden detectarlos. Son interesantes los planteamientos y resultados.

Los investigadores le pidieron a ChatGPT que escribiera 50 resúmenes de investigación médica basados ​​en una selección publicada en JAMA , The New England Journal of Medicine , The BMJ , The Lancet y Nature Medicine . Luego los compararon con los resúmenes originales pasándolos  por un detector de plagio y un detector de salida de IA, también le pidieron a un grupo de investigadores médicos que detectaran los resúmenes artificiales.

El resultado que dio sobre los resúmenes generados por ChatGPT el verificador de plagio sobre la originalidad fue del 100 %, lo que indica que no se detectó plagio. El detector de salida de IA detectó el 66 % de los resúmenes generados. Pero los revisores humanos no lo hicieron mucho mejor: identificaron correctamente sólo el 68 % de los resúmenes generados y el 86% de los resúmenes genuinos. Identificaron incorrectamente el 32 % de los resúmenes generados como reales y el 14 % de los resúmenes genuinos como generados. Todo ello muy elocuente.

Las conclusiones de los autores del preprint, Gao y sus colegas, son 

  • “ChatGPT escribe resúmenes científicos creíbles”
  • “Quedan por determinarse los límites del uso ético y aceptable de grandes modelos lingüísticos para ayudar a la redacción científica”.

Otros trabajos sobre el tema los podemos encontrar en (Stokel-Walker, 2022)  AI bot ChatGPT writes smart essays — should professors worry? y en (Grove, 2023) The ChatGPT revolution of academic research has begun.

En enero de 2023, Nature informó sobre dos preprints y dos artículos en los campos de la ciencia y la salud que incluyeron a ChatGPT como autor firmado. Cada uno de estos incluye una afiliación para ChatGPT, y uno de los artículos incluye una dirección de correo electrónico para el “autor” no humano. Según Nature, la inclusión de ChatGPT en ese artículo en la firma del autor fue un “error que pronto se corregirá” (Stokel-Walker, 2023). Sin embargo, estos artículos y sus “autores” no humanos ya han sido indexados en PubMed y Google Scholar.

La conclusión es que en la situación actual no podemos decir con certeza cuando un estudio, un artículo o un ensayo está escrito por ChatGPT o por un humano.

 

Experiencias como ésta han llevado a las instituciones, revistas y editoriales a tomar medidas. De entre las más importantes podemos destacar lo que sigue.

Nature ha definido una política para guiar el uso de modelos de transformadores de lenguaje a gran escala en la publicación científica: prohíbe nombrar herramientas como “autor acreditado en un artículo de investigación” porque “la atribución de autoría conlleva responsabilidad por el trabajo, y Las herramientas de IA no pueden asumir tal responsabilidad”. 

La política editorial también aconseja a los investigadores que utilizan estas herramientas que documenten este uso en las secciones Métodos o Agradecimientos de los manuscritos. 

Otras revistas (Science y Taylor & Francis) y organizaciones (WAME) están desarrollando urgentemente políticas que prohíben la inclusión de estas tecnologías no humanas como “autores”. Van desde prohibir la inclusión de texto generado por ChatGPT o similares en los originales, a exigir total transparencia, responsabilidad y rendición de cuentas sobre cómo se utilizan y se informan dichas herramientas en publicaciones académicas. 

La Conferencia Internacional sobre Aprendizaje Automático (ICML Fortieth International Conference on Machine Learning) también ha anunciado una nueva política: “Los artículos que incluyen texto generado a partir de un modelo de lenguaje a gran escala (LLM) como ChatGPT están prohibidos a menos que el texto producido se presente como parte del análisis experimental del artículo”. 

Y así sucesivamente.

II APA

La APA ya se ha hecho eco con diligencia, primero en su blog. Según McAdoo (2023) estas son las recomendaciones y el análisis de situaciones en las que estudiantes e investigadores utilizan ChatGPT para crear texto y facilitar su investigación, no para escribir el texto completo de su artículo o manuscrito.

Y esto es lo más relevante de su propuesta de norma:

“Si ha utilizado ChatGPT u otras herramientas de inteligencia artificial en su investigación, describa cómo utilizó la herramienta en la sección Método o en una sección comparable de su artículo. Para revisiones de literatura u otros tipos de ensayos o artículos de respuesta o reacción, puede describir cómo utilizó la herramienta en su introducción. En su texto, proporcione el mensaje que utilizó y luego cualquier parte del texto relevante que se generó en respuesta.”

Se dirige a autores y en ningún caso se refiere a ChatGPT como autor y menos como autor citado.

Éstas son las consideraciones que hace a ese respecto:

“Desafortunadamente, otros lectores no pueden recuperar los resultados de un “chat” de ChatGPT, y aunque los datos o citas no recuperables en artículos de estilo APA generalmente se citan como comunicaciones personales, con el texto generado por ChatGPT no hay ninguna persona comunicándose. Por lo tanto, citar el texto de ChatGPT de una sesión de chat es más como compartir el resultado de un algoritmo; por lo tanto, dé crédito al autor del algoritmo con una entrada en la lista de referencias y la cita correspondiente en el texto.”

Tenemos pues ya y de forma clara unas normas y unas recomendaciones

 

III La educación y la difusión de la ciencia cambian en cuestiones nucleares

Puesto que no se puede distinguir lo hecho por un humano y lo hecho por ChatGPT y puesto que, cuando escribe ChatGPT, no hay ninguna persona comunicándose ni le es atribuible ninguna responsabilidad sobre lo escrito, la perspectiva de la evaluación y de la revisión de pares cambia radicalmente. Y por ende la educación, su organización y diseño, y la edición científica. De las cuales son aspectos centrales.

La demostración es la base de la evaluación: ésta es la que aporta las evidencias del aprendizaje. Así lo ponen de manifiesto los trabajos de Merrill, sus principios fundamentales del aprendizaje, de lo cual nos hemos hecho eco aquí, aquí y aquí.

Si la única fuente de la evidencia de un aprendizaje es un proyecto o un examen escrito online y éste no podemos asociarlo a lo que expresa que sabe un alumno, tenemos un problema para la evaluación. Como hemos visto no podemos distinguir quién lo ha hecho. No podemos atribuir aprendizaje a la persona.

 

IV. ¿Qué hacer?

La IA generativa es una herramienta informática de transformar información (por eso se les llama LLM Transformers) no de producir conocimiento ni aprendizaje.

En la educación, por sí, estos procesos y sus resultados no tienen ninguna de las características que definen al aprendizaje. Los individuos que la utilizan no atribuyen sentido a lo que se les muestra, ni incrementan sus experiencias, no transfieren lo supuestamente aprendido a otros entornos, ni adquieren autonomía en su uso. Las máquinas tampoco hacen nada de esto, porque estas facultades de atribuir sentido, etc. son facultades esencialmente humanas, que se producen en el individuo y esta naturaleza es la que define el conocimiento y el aprendizaje.

En la edición científica sucede algo parecido. Lo importante de la edición es que haya una investigación y unos resultados de ella que se puedan difundir. Escribir artículos no es el objetivo. Si son buenos, es el resultado de otra cosa que es lo principal: el incremento del conocimiento. Y la IA no es capaz de diseñar una investigación, de aportar conocimiento, porque utiliza resultados ya escritos, no usa anotaciones ni datos de una investigación. Tampoco a otro nivel establece hipótesis ni valora su relevancia en el contexto de investigación en que se produce. Sólo por decir algunas pocas de las muchas funciones que implica la investigación, de las cuales la difusión, el artículo es una consecuencia. Son funciones netamente humanas donde interviene la intuición, la experiencia, el sentido que se atribuye a lo experimentado, etc.

Si evaluamos la calidad de la investigación exclusivamente en lo escrito en un artículo, donde no podemos diferenciar si es humano o no, entonces esta evaluación con la aparición de la IA generativa ya no vale.

¿Qué hay que hacer?

Sobre la evaluación ya hemos hablado mucho acerca de que la solución es la evaluación formativa, lo hemos visto aquí, aquí y aquí.

Hemos dado propuestas incluso de actividades concretas para llevar a cabo esa evaluación, lo hemos hecho aquí y hemos dicho algunas formas de demostrar los aprendizajes según el tipo de que se traten.

Así la demostración es un factor de consistencia (Merrill, 2002a, 2002b y 2012): El aprendizaje se valida cuando la demostración, la actividad con que se demuestra, es coherente con el objetivo de aprendizaje, mediante:

  1. ejemplos y contraejemplos para conceptos,
  2. demostraciones de ejecución para procedimientos,
  3. visualización (evidenciar visualmente) para los procesos, y
  4. el modelado (presentación de modelos) para adquisición de valores y conductas

En esta línea, y a modo de ejemplo, podemos llegar a proponer actividades concretas de evaluación formativa. Obviamente el diseño instruccional debería ser más completo y ajustado. Éstas son las actividades:

  • Compartir criterios de éxito con los alumnos
  • Preguntas en el aula, o en el chat, o verbales en Zoom o similar.
  • Con anotaciones.
  • Marcado de sólo comentarios
  • Autoevaluación, con criterios explícitos
  • Uso formativo de pruebas sumativas [muy importante]
  • Revisiones, con observaciones y marcado de comentarios
  • Supervisiones de los alumnos, con reuniones presenciales, videorreuniones o sesiones de videollamada.
  • Intervenciones en los foros con comentarios personales, otorgamiento de relevancia en relación con la formatividad y con relación a los objetivos de aprendizaje, los logros esperados y las habilidades desarrolladas, sobre todo conceptuales en este caso.

(Wiliam, 2000, Black et al., 2003; Wiliam, 2007):

 En general se trata de evaluar y validar el aprendizaje a través de la interacción directa.

Algo parecido sucede con la escritura científica: cómo se verifica su conexión con la investigación.

Proponemos una nueva revisión de pares, la que se base en la interacción con el autor. Señalamos la importancia de la entrevista, la supervisión y algo parecido a lo que es el mastery learning (1) en la educación: La asignación de relevancia a lo que dice el autor, en el contexto de revisión, en relación con lo investigado.

Esto entraña una mayor carestía por el uso de recursos, particularmente de recursos humanos, un nuevo tipo de revisor con un trabajo mayor en una época en que no hay revisores, pero este es el desafío: Organizar una nueva revisión y edición para una nueva edición científica de calidad, para la validez de su función difusora de la ciencia.

 

 

Referencias.-

Black, P., & Wiliam, D. (2003). ‘In praise of educational research’: Formative assessment. British educational research journal29(5), 623-637.

Gao, CA et al. Preimpresión en bioRxiv https://doi.org/10.1101/2022.12.23.521610 (2022).

McAdoo, T. (2023). How to cite ChatGPT. APA Style Blog. https://apastyle.apa.org/blog/how-to-cite-chatgpt

Merrill, M. D. (2002a). First principles of instruction. Educational technology research and development50(3), 43-59. http://csapoer.pbworks.com/f/First+Principles+of+Instruction+(Merrill,+2002).pdf

Merrill, M. D. (2002b). First principles of instruction. Educational Technology Research and Development, 50(3), 43-59.  Instructional-Design Theories and Models, Volume III: Building a Common Knowledge Base.

Merrill, M. D. (2012). First principles of instruction. John Wiley & Sons.

Stokel-Walker, C. (2022). AI bot ChatGPT writes smart essays—Should professors worry?[published online ahead of print December 9, 2022]. Nature News.

Stokel-Walker  C.  2023) ChatGPT listed as author on research papers: many scientists disapprove.   Nature;613(7945):620-621. doi:10.1038/d41586-023-00107-z

Wiliam, D. (2000). Integrating summative and formative functions of assessment. https://discovery.ucl.ac.uk/id/eprint/1507176/1/Wiliam2000IntergratingAEA-E_2000_keynoteaddress.pdf

Wiliam, D. (2007). Keeping learning on track: Formative assessment and the regulation of learning. nature, 1, 20. https://www.researchgate.net/profile/Dylan_Wiliam/publication/252646685_Keeping_learning_on_track_Formative_assessment_and_the_regulation_of_learning/links/53f495b00cf2fceacc6e8f5b.pdf 

Miguel Zapata Ros

Profesor Honorario en el Centro de Formación y Desarrollo Profesional de la Universidad de Murcia. Investigador en el Instituto Interuniversitario de Economía Internacional. Profesor Externo en la Universidad de Alcalá de Henares, miembro del programas de doctorado en Ingeniería de la Información y del Conocimiento, distinguido con Mención hacia la Excelencia por el Ministerio de Educación (Referencia: MEE2011-0159). Editor de RED, Revista de Educación a Distancia y de Docencia Universitaria. Miembro de INTCODE, agencia consultiva de ONU sobre educación a distancia, y representante en la sede de New York. Doctor en Ingeniería Informática.

More Posts - Website

Follow Me:
TwitterFacebookLinkedInGoogle Plus

Inteligencia artificial generativa y aprendizaje inteligente

Free photo robot teacher in classroomMiguel Zapata-Ros, Universidad de Murcia. Murcia. España. mzapata@um.es
Artículo publicado inicialmente en EdArxiv con DOI: 10.35542/osf.io/86ykm

 

Una modalidad de inteligencia artificial (IA) se ha impuesto y avanza rápidamente. Otra como es la basada en la programación declarativa y en la programación lógica cayó hace mucho en desuso. No sabemos por qué entre las dos formas posibles de simular un cerebro humano, como las que expresa por Noam Chomsky (2023) en el párrafo siguiente, se ha elegido la primera: 

La mente humana no es, como ChatGPT y sus similares, un pesado motor estadístico para la coincidencia de patrones, que se atiborra de cientos de terabytes de datos y extrapola la respuesta conversacional más probable o la respuesta más probable a una pregunta científica. Por el contrario, la mente humana es un sistema sorprendentemente eficiente y hasta elegante que opera con pequeñas cantidades de información; no busca inferir correlaciones brutas entre puntos de datos, sino crear explicaciones.

Por ejemplo, un niño pequeño que adquiere un idioma está desarrollando —inconsciente, automática y rápidamente a partir de datos minúsculos— una gramática, un sistema extraordinariamente sofisticado de principios y parámetros lógicos[1].

Pero ésa ha sido la elección y tras décadas de investigación y de desarrollos, ahora se ha decidido por parte de Open AI, y después por otras empresas, que este tipo de IA pase de los laboratorios a la aplicación práctica en la sociedad. No sabemos si ha sido efecto de una potente y bien financiada campaña o porque la sociedad lo ha aceptado así, pero el hecho es que se ha producido un colosal despliegue de la IA generativa. 

La educación no ha sido indiferente a esa aceptación ni a ese despliegue. 

En esta situación, la educación, hasta donde se ha dicho (Dawson, S., Joksimovic, S., Mills, C., Gašević, D., & Siemens, G., 2023), se enfrenta a dos posibles resultados. 

En primer lugar, los que se derivan de que la IA tiene el potencial de revolucionar los métodos de enseñanza, la evaluación y la ayuda al alumno, existentes. De lo primero y lo segundo hablaremos después

En segundo lugar, según estos mismos autores y lo que parece ser un sentir común, la IA también tiene la capacidad de crear un sistema educativo completamente nuevo. Y se cita como justificación que el pensamiento creativo y la resolución de problemas son fundamentales en entornos modernos y muy complejos. Y esta IA podría ayudar a los alumnos a enfrentarse a esos problemas.

Estas tres cuestiones ya por sí solas plantean tres desafíos y otros tantos ejes de posibles para investigaciones y su difusión en interesantes artículos.

Esto en sentido positivo, pero hay otras cuestiones que pueden ser planteadas en sentido negativo o como interrogantes:

Cuáles son los impactos que se producen cuando la IA comienza a servir como un socio (¿cabría decir “servir como socio”, o más bien “ser socio” o, por el contrario, “servir como herramienta”?) activo en acciones sociales, creativas e intelectuales sostenidas, no sólo puntuales o como repuesta a preguntas aisladas. Ahora esos impactos en las prácticas que puedan existir son desconocidos. Ya hemos dicho que indagar esas prácticas también puede ser objeto de investigación.

Otras son preguntas que se abren sobre cómo del impacto de una dependencia excesiva, en los sistemas de IA en la educación, se podría derivar una disminución de muchos de los rasgos que nos hacen humanos. En este caso, que contribuirían a una formación “humana” de los alumnos.

Entre esos rasgos se incluyen, pensando a bote pronto, la autorregulación, la metacognición, la orientación a objetivos, la planificación, las tormentas de ideas creativas y una variedad de habilidades que podrían verse afectadas negativamente por la automatización o la toma de control de las máquinas.

Paradójicamente estos rasgos, a más de ser humanos, son constitutivos de lo que se ha llamado pensamiento computacional (Zapata-Ros, 2015 y 2022) (Grover, 2018) (Wing, 2006 y 2008), de manera que un uso no controlado podría derivar en una nula o una mala adquisición de ese tipo de pensamiento que hoy se considera constitutivo de una nueva alfabetización en la sociedad digital (Zapata-Ros, 2015 y 2022)

En particular para la metacognición, la autorregulación y retroalimentación podemos citar:

Hilpert et al. (2023) abordan la necesidad de participación en el aprendizaje de STEM, con una mayor necesidad de autorregulación de los estudiantes. Se basan en una extensa historia de la ciencia de la investigación del aprendizaje que utiliza datos de seguimiento digital para crear construcciones cognitivas que brindan información sobre el compromiso, las redes sociales, la comunidad y la metacognición. En este documento, detallan la importancia de la regularidad de la participación como un fuerte predictor del resultado del curso y los efectos del uso de una intervención de la ciencia de aprender a aprender para fomentar el SRL de los estudiantes y la participación continua. Sus resultados sugieren efectos prometedores y sostenidos de este entrenamiento, lo que plantea la necesidad de considerar enfoques teóricos que integren las observaciones del comportamiento con las construcciones cognitivas en la educación digital.

 Bauer et al. (2023) abordan un área crítica de aprendizaje relacionada con la retroalimentación. La retroalimentación es fundamental para guiar el progreso de los estudiantes y los enfoques tradicionales se basan principalmente en la observación humana.

 Sin embargo, el mismo autor, señala un posible progreso del que después hablaremos, cuando lo hagamos de aprendizaje inteligente como aprendizaje inclusivo:

Con el desarrollo de grandes modelos de lenguaje y el procesamiento del lenguaje natural en general, existen nuevas oportunidades para ofrecer retroalimentación a los estudiantes. Detallan cómo los artefactos textuales pueden mejorarse con la retroalimentación de la IA. Ofrecen un marco para conectar los procesos de retroalimentación con el apoyo estudiantil adaptativo. A medida que el aprendizaje digital crece en importancia en los entornos educativos, la inclusión de artefactos más diversos y multimodales requerirá una actualización similar de la teoría y las construcciones para garantizar la retroalimentación como motor del éxito general de los estudiantes.

 

Una pedagogía y una teoría del aprendizaje de la IA

Para abordar estas preguntas, y en general la necesidad de un despliegue efectivo de los sistemas de IA en la educación, es preciso hacerlo desde un punto de vista teórico, más allá de los resultados que sobre las interrogantes señaladas nos proporcione la investigación empírica. Un punto de vista teórico que no guíe y dirija en nuevas rondas, tanto en la investigación como la práctica.

Ese marco nos proporcionará los asideros y las andaderas para garantizar que los principios, los valores y las construcciones confiables configuren el uso de la IA en la educación. De esta forma nos aseguramos de que los valores, la investigación realizadas hasta ese momento, los intereses y preocupaciones de las partes interesadas y las contribuciones que se vayan haciendo sigan integrándose de forma cohesionada en el escenario de la IA en la educación.

Al menos como deseo y horizonte.

Como consecuencia, en futuras iniciativa, como la convocatoria de número especial y en la sección editorial que posiblemente se cree en la revista RED, defenderemos la importancia crítica de la teoría en el diseño, desarrollo y despliegue de la IA en la educación. Al hacerlo, nos planteamos de forma crítica la relevancia y la continuidad de las teorías de aprendizaje ya existentes, cuando la IA se constituya como una realidad en las aulas. 

Así, desde este momento hacemos una llamada a considerar nuevos marcos, modelos y formas de pensar, a aquellos que incluyen la presencia de agentes no humanos. Es decir, a los que incluyan una nueva tecnología, que se parece más a un socio activo que a una tecnología simple, como sucedía hasta ahora, incluso con la tecnología digital, que respondía más a interrogantes lógicas simples que a un agente con capacidad para tomar decisiones intermedias sin intervención humana, del alumno o del profesor. En ese sentido cabe ahora hablar de un trinomio, más que de un binomio, el formado por el profesor, el alumno y la IA generativa.

Es precisamente eso lo que genera también una serie de preguntas importantes para considerar en elaboraciones teóricas futuras, precisamente sobre la revisión de las teorías de aprendizaje basadas en las configuraciones existentes. Y cuáles serían en este caso sus alternativas.

Ya hemos señalado que el uso de la teoría en la investigación educativa constituye la lente, el filtro, a través del que vemos y explicamos lo que observamos (Biesta et al.,  2011). 
¿Pero es útil la lente que tenemos hora?

Las teorías existentes se establecieron y se derivaron de un contexto educativo distinto al de los enfoques de enseñanza más modernos y los sistemas técnicamente establecidos. Es de prever más aún que a medida que la adopción de la IA impacte en la enseñanza y el aprendizaje, se produzcan dudas acerca de la idoneidad en continuar con las teorías de aprendizaje existentes. 

Sin embargo, como hemos dicho, la integración del desarrollo e implementación de sistemas educativos basados ​​en IA en marcos teóricos adecuados es esencial para avanzar y lograr resultados de aprendizaje óptimos. En base a estas ideas, planteamos las siguientes interrogantes:

  • ¿La integración de la IA en la educación requiere modificaciones o revisiones en la forma en que aprendemos? 
  • ¿O, por el contrario, se requiere una reestructuración completa, lo que conlleva la necesidad de nuevas teorías? 
  • ¿Qué debería ofrecer la teoría a los educadores cuando se incluye la IA? 

Con relación al modo en que se persiguen y abordan estas cuestiones, nos planteamos:

En los programas LLM, la facilidad de acceso a los contenidos y la capacidad de producirlos, ¿disminuyen la importancia del conocimiento declarativo? 

Se ha hablado mucho hasta ahora del constructivismo social vinculado al aprendizaje apoyado por las tecnologías digitales y sociales. De hecho, es el paradigma imperante durante mucho tiempo, con el que todos se sentían satisfechos, incluso impulsaba reformas de gran calado como fue la reforma de Bolonia en la Educación Superior europea. Pues bien, del mismo modo nos podríamos plantear si ¿los puntos de vista existentes sobre el constructivismo social avalan la IA como un agente social en el aprendizaje? 

También podríamos hacer incursiones microteóricas. Como, por ejemplo, plantearnos si los corpus teórico-prácticos existentes sirven suficientemente, o son los adecuados, para la inclusión de la IA en las aulas o es necesario actualizarlos o incluso repensarlos por completo.

 

El aprendizaje inteligente

Todo esto podría servir para orientar el debate y la investigación en torno a la nueva visión que se abre con la IA generativa. Pero hay unos planteamientos anteriores que ya hemos citado y que no conviene olvidar: Es la consideración del llamado aprendizaje inteligente (Zapata-Ros, 2018) (Hwang et al, 2008) como una fase superior del aprendizaje adaptativo.

El constructo de “entornos de aprendizaje inteligente” pueden considerarse,  a  partir  de  la  definición  de  Hwang  et  al  (2008),  como el de “entornos  de  aprendizaje apoyados  por  la  tecnología  que  realizan  adaptaciones  y  brindan  el  soporte  adecuado  con  la tecnología  de  detección  y  de  recomendación”  (por  ejemplo,  orientación,  retroalimentación, consejos  o  herramientas a utilizar)  en  los  lugares  adecuados  y  en  el  momento  oportuno,  según  las necesidades   individuales   de   cada alumno,   determinados mediante   el   análisis   de   sus comportamientos de aprendizaje, su trayectoria de rendimiento y los contextos en línea y del mundo  real  en  los  que  se  encuentran, tanto  grupales  y  sociales  como  compuesto  por  los recursos de que se provee o a los que accede, descarga, lee o elabora.

Y aprendizaje inteligente podría considerarse consecuentemente (Zapata-Ros, 2018) como aquél aprendizaje que pueden desencadenar y producir los sistemas de aprendizaje inteligente, y que se puede entender de forma diferenciada por las funciones y efectos que no se pueden realizar en ambientes  de  aprendizaje  adaptativo  y  de  aprendizaje contextualizado, pero sin excluirlas. El aprendizaje social y el aprendizaje colaborativo de esta forma se puede entender como una subcategoría del aprendizaje contextualizado.

Resumiendo, se puede decir pues que el aprendizaje inteligente es el aprendizaje adaptativo y contextualizado con mecanismos de detección, de respuesta y de recomendación.

Entonces (Zapata-Ros, 2018) se planteaba

La presencia y el avance de las tecnologías de detección y de recomendación están ofreciendo grandes y determinantes oportunidades para desarrollar nuevos     entornos de aprendizaje. Definitivamente   el   aprendizaje   inteligente   es   un   concepto   extremadamente innovador, como en  otros  ámbitos,  para  desarrollar  visiones  y  planteamientos  distintos.  En este caso para  crear  entornos  de  aprendizaje  más  potentes  y  útiles  que  los enfoques  de aprendizaje  ayudados  por  la  tecnología  ya  existentes,  mediante  la  incorporación  de  nuevas herramientas y nuevos criterios para el aprendizaje

La cuestión ahora sería: Aquello que se abrió como un desarrollo del aprendizaje adaptativo, y cuyas primeras y muy contadas experiencias en relación con la Educación Superior se vieron en el artículo citado (Zapata-Ros, 2018), cuál es su estado ahora, qué experiencias y qué conclusiones se han obtenido de las investigaciones en esta línea, no sólo en la Educación Superior, si es que las ha habido, y finalmente cuál es su estado y cuáles son sus perspectivas en relación con la IA de nuevo cuño, la de los sistemas generativos.

 

La IA generativa, los LLM, el diseño instruccional, la evaluación educativa y el principio de demostración. La evaluación formativa. –

El principio que fundamenta la evaluación es el principio de demostración. Y es el que debiéramos tener presente en todo momento en que hablásemos de ella. Simplificando consiste en que el alumno ha de aportar evidencias de su aprendizaje, en un sentido pedagógico, es decir ha de demostrar que comprende que atribuye sentido, que aplica las habilidades conseguidas de forma autónoma y las transfiere a contextos distintos.

Para entender esta cuestión en un contexto como el que se nos abre, deberíamos tener en cuenta que los principios de la instrucción están enunciados en forma de criterios que ha de cumplir la enseñanza para que el aprendizaje sea eficiente, de calidad. Hemos de recordar que la evaluación forma parte de la instrucción. En el trabajo de Merrill (2002a, 2002b, 2009) se dan las condiciones y los criterios para que se dé la demostración. Allí se enuncia el principio de demostración

El aprendizaje se promueve cuando la instrucción demuestra lo que se debe aprender en lugar de simplemente decir información sobre lo que se debe aprender.

Así la demostración es un factor de consistencia: El aprendizaje se pr omueve cuando la demostración es coherente con el objetivo de aprendizaje, con:

(a) ejemplos y contraejemplos de conceptos,

(b) demostraciones para procedimientos,

(c) visualización (evidenciar visualmente) para los procesos, y

(d) el modelado (presentación de modelos) para adquisición de valores y conductas

Podríamos plantearnos si alguna o ninguna de estas exigencias de la demostración se cumplen con el ChatGPT o el propio ChatGPT las demuestra. Lo que sí está claro, cuando la prueba de la demostración recae sobre un proyecto o ensayo, es que presentar un informe o un proyecto, por sí mismo no demuestra nada.

Es importante para ello recordar el trabajo de Gao et al (2022) en el que se concluye que, sin más elementos de conocimiento que la lectura, es imposible discernir lo que está escrito por un humano y lo que está redactado por ChatGPT. ES imposible incluso con resultados no determinantes cuando el juicio está emitido por los expertos más eficientes.

La repercusión del diseño instruccional en la evaluación tiene otro punto clave: La cuestión inmaterial, pero entorno a la cual gira la docencia, nos referimos a la entrega de ayuda y de contenidos cuando el alumno esté receptivo y los perciba como útiles. Lo cual estriba en distribuir a través de guías y de secuenciaciones los logros parciales y evaluar en cada uno su consecución, y únicamente entonces proseguir. En esto juega un papel central el diseño y sobre todo, si finalmente lo hay, el papel de los Teaching Assistant (TA).

Por último, se trata también de una cuestión de confianza. En la educación de estándares, a la que estamos acostumbrados, los proyectos (trabajos, TFG, TFM,…) y los exámenes se han establecido como medidas iguales para todos (estándares), cuya superación acredita al alumno para obtener el aprobado del curso, de la asignatura o la titulación para el grado o el máster. En ese marco existe el peligro de que el alumno o el candidato utilice el ChatGPT para redactar los ensayos.

Esta dinámica permite trasladar la eficiencia en el aprendizaje al escrutinio de las pruebas y de sus resultados por alumnos, padres, familias e inspección, donde además con esa supuesta objetividad los docentes se sienten seguros, aunque por contrapartida lo que se hace es sembrar la semilla de la desconfianza, de que no haya equidad en el proceso o de que haya trampa. Esto es un caldo abonado para la industria del fraude y la del ChatGPT como impostor del alumno para demostrar capacidades y aprendizajes en general.

Este hecho viene a confirmar algo que planteamos desde hace tiempo, la necesidad de una nueva educación, la basada en logros personales. En ese marco el entorno social del alumno debe depositar la confianza en el modelo, personalizado a través de sistemas que como el de Mastery learnig otorgue en los maestros la confianza en valorar que se alcanza el dominio en el aprendizaje, de confiar en el maestro y en su expertise docente, de igual forma como la deposita el paciente en el médico, en su capacidad de diagnóstico y de decidir un tratamiento adecuado.

Pero también de encontrar o de recuperar métodos y teorías que centran la demostración en procesos de interacción directa profesor-evaluador y alumno. Sintetizando se trata de métodos de evaluación formativa.

Recordemos qué es la evaluación formativa, para Cowie & Bell (1999) es “el proceso utilizado por profesores y estudiantes para reconocer y dar respuesta al proceso de aprendizaje de los estudiantes con el fin de mejorar ese aprendizaje durante el aprendizaje”.

Para Black & Wiliam (1998a, p. 2), la “evaluación se refiere a todas aquellas actividades realizadas por los profesores, y por los estudiantes en la autoevaluación, que proporcionan información que se utilizará como retroalimentación para modificar las actividades de enseñanza y aprendizaje en las que participan. Dicha evaluación se convierte en “evaluación formativa” cuando la evidencia obtenida se utiliza en la práctica docente para adaptar la enseñanza a las necesidades detectadas.”

Pero quizá la más completa es la definición que hacen Black y Wiliam (1998a y b y 2009) y la definición del Grupo de Reforma de la Evaluación (ARG, 2002): “La práctica en el aula es formativa en la medida en que la evidencia sobre el rendimiento del estudiante sea suscitada, interpretada y utilizada por los profesores, los alumnos o sus compañeros, para tomar decisiones sobre los próximos pasos en la instrucción. Próximos pasos que probablemente sean mejores, o mejor fundamentados, que las decisiones que se tomarían se han tomado en ausencia de la evidencia que de esa forma se ha obtenido.”

Resumiendo, podríamos decir que la evaluación formativa o de proceso se exige para entender no sólo si un alumno ha conseguido aprendizaje o no, sino por qué. Comprender las razones para el éxito o para el fracaso depende de la profundidad del conocimiento que existe de lo que se ha hecho o se está haciendo, y también de la relación apropiada entre el uso de la tecnología, las actividades que se han hecho con ella y el área de conocimiento. Entendiendo como tal la metodología docente para el área (las ideas pedagógicas) y los conocimientos propios de la materia.

Otra línea de contribuciones sería pues analizar y desarrollar las aportaciones de estas construcciones, fundamentalmente de la evaluación formativa, en el contexto creado por los LLM y el ChatGPT.

Con todo lo dicho se abre un espacio pues a posibles trabajos que esencialmente incluyan investigaciones empíricas y/o el desarrollo y prueba de una o más tecnologías en relación con los LLM generativos, estudios de casos o desarrollos teóricos sobre aprendizaje con IA, ChatGPT y sistemas transformadores LLM y Educación. Y también a desarrollos y experiencias sobre aprendizaje inteligente y evaluación formativa en contextos ChatGPT.

Autoreferencia
Zapata-Ros, M. (2023, June 27). Inteligencia artificial generativa y aprendizaje inteligente. https://doi.org/10.35542/osf.io/86ykm

 

Referencias

ARG (2002) Assessment for Learning: 10 principles. Available on the Assessment Reform Group web-site : www.assessment-reform-group.org.uk

Bauer, E. , Greisel, M. , Kuznetsov, I. , Berndt, M. , Kollar, I. , Dresel, M. , Fischer, MR y Fischer, F. ( 2023 ). Uso del procesamiento del lenguaje natural para respaldar la retroalimentación entre pares en la era de la inteligencia artificial: un marco interdisciplinario y una agenda de investigación. Revista británica de tecnología educativahttps://doi.org/10.1111/bjet.13336

Biesta, G., Allan, J., & Edwards, R. (2011). The theory question in research capacity building in education: Towards an agenda for research and practice. British Journal of Educational Studies, 59(3), 225– 239.

Black, P., & Wiliam, D. (1998a). Assessment and classroom learning. Assessment in Education, 5, 7-74.

Black, P., & Wiliam,D. (1998b). Inside the black box: Raising standards through classroom assessment. Phi Delta Kappan80, 139-149.

Black, P., & Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability (formerly: Journal of Personnel Evaluation in Education)21(1), 5-31. https://kclpure.kcl.ac.uk/portal/files/9119063/Black2009_Developing_the_theory_of_formative_assessment.pdf y https://link.springer.com/article/10.1007/s11092-008-9068-5

Chomsky, N., Roberts, I., & Watumull, J. (2023). Noam Chomsky: The False Promise of ChatGPT. The New York Times8.

Dawson, S., Joksimovic, S., Mills, C., Gašević, D., & Siemens, G. (2023) Advancing theory in the age of artificial intelligence. British Journal of Educational Technology.

Gao, CA et al. (2022) Preimpresión en bioRxiv https://doi.org/10.1101/2022.12.23.521610

Grover, S. (2018, March 13). The 5th ‘C’ of 21st century skills? Try computational thinking (not coding. Retrieved from EdSurge News: https://edtechbooks.org/-Pz

Hilpert, JC , Greene, J. y Bernacki, M. ( 2023 ). Aprovechar los marcos de complejidad para refinar las teorías del compromiso y promover el aprendizaje autorregulado en la era de la inteligencia artificial . Revista británica de tecnología educativa . https://doi.org/10.1111/bjet.13340

Merrill, M. D. (2002a). First principles of instruction. Educational technology research and development50(3), 43-59. http://csapoer.pbworks.com/f/First+Principles+of+Instruction+(Merrill,+2002).pdf

Merrill, M. D. (2012). First principles of instruction. John Wiley & Sons.

Merrill, M. D. (1991). Constructivism and instructional design. Educational technology31(5), 45-53.

Merrill, M. D. (2002b). First principles of instruction. Educational Technology Research and Development, 50(3), 43-59.  Instructional-Design Theories and Models, Volume III: Building a Common Knowledge Base.

Merrill, M. D. (2009). First Principles of Instruction. In C. M. Reigeluth & A. Carr (Eds.), Instructional Design Theories and Models: Building a Common Knowledge Base (Vol. III). New York: Routledge Publishers.

Wing, J.M. (2006) Computational thinking. it represents a universally applicable attitude and skill set everyone, not just computer scientists, would be eager to learn and use. Commun. ACM 49(3).  https://doi.org/10.1109/vlhcc.2011.6070404

Wing, J.M. (July 2008) Computational thinking and thinking about computing.  The Royal Society Publishinghttps://doi.org/10.1098/rsta.2008.0118 https://royalsocietypublishing.org/doi/10.1098/rsta.2008.0118 https://royalsocietypublishing.org/doi/pdf/10.1098/rsta.2008.0118

Zapata-Ros, M. (2015). Pensamiento computacional: Una nueva alfabetización digital. Revista de Educación a Distancia (RED), (46). https://revistas.um.es/red/article/view/240321/183001

Zapata-Ros, M. (2018). La universidad inteligente. RED. Revista de Educación a Distancia, 57(10). http://www.um.es/ead/red/57/zapata2.pdf   http://dx.doi.org/10.6018/red/57/10

Zapata-Ros, M. (2022) El pensamiento computacional, la competencia clave en una nueva alfabetización. New York: Create Space Independent Publishing.

 

[1] The human mind is not, like ChatGPT and its ilk, a lumbering statistical engine for pattern matching, gorging on hundreds of terabytes of data and extrapolating the most likely conversational response or most probable answer to a scientific question. On the contrary, the human mind is a surprisingly efficient and even elegant system that operates with small amounts of information; it seeks not to infer brute correlations among data points but to create explanations.For instance, a young child acquiring a language is developing — unconsciously, automatically and speedily from minuscule data — a grammar, a stupendously sophisticated system of logical principles and parameters.

Miguel Zapata Ros

Profesor Honorario en el Centro de Formación y Desarrollo Profesional de la Universidad de Murcia. Investigador en el Instituto Interuniversitario de Economía Internacional. Profesor Externo en la Universidad de Alcalá de Henares, miembro del programas de doctorado en Ingeniería de la Información y del Conocimiento, distinguido con Mención hacia la Excelencia por el Ministerio de Educación (Referencia: MEE2011-0159). Editor de RED, Revista de Educación a Distancia y de Docencia Universitaria. Miembro de INTCODE, agencia consultiva de ONU sobre educación a distancia, y representante en la sede de New York. Doctor en Ingeniería Informática.

More Posts - Website

Follow Me:
TwitterFacebookLinkedInGoogle Plus