Los programas generativos “Transformer” AI, entre los que está ChatGPT, ¿una oportunidad para la evaluación formativa? (I)

Miguel Zapata-Ros

Universidad de Murcia. Murcia. España.

mzapata@um.es

http://dx.doi.org/10.13140/RG.2.2.18669.46565

Resumen

Cada vez hay más evidencia de que las improvisaciones estadísticas de programas como ChatGPT producen textos aparentemente creíbles pero que no tienen ninguna sustentación. El problema no es tanto que permitan el fraude en proyectos y artículos, como que hagan pasar por correctos lo que sólo son generación de textos “sin alma”, sin beingness, o simplemente escritos sin validar teórica o empíricamente, que se aceptan como ciertos acríticamente.

El aprendizaje no es dar cuenta sólo mediante exámenes y proyectos, de datos o de textos describiendo conceptos o hechos. Supone según los clásicos (Gagne, Merrill, Reigeluth) comprender, atribuir sentido, aplicar autónomamente lo aprendido y transferirlo a entornos distintos y cambiantes.

Para eso tiene que haber procesos de interacción y de retroalimentación. Y, si se utilizan proyectos, deben, en la evaluación, ser supervisados en su realización, en la comprensión y en la atribución de sentido que el prendiz hace.

Toda esta constelación de ideas, métodos y prácticas constituye, en el contexto del diseño instruccional, la evaluación formativa.

La evaluación formativa (formative assesment) es evaluación continua + feedback. En ese sentido debería haber actividades de evaluación continua que ofrezcan a los estudiantes comentarios formativos sobre su progreso o para ayudarles a autoevaluar el desarrollo y la calidad del diseño

La evaluación para el aprendizaje (comúnmente conocida como evaluación formativa se centra en la retroalimentación tanto para profesores como para estudiantes.

En un mundo donde la IA aprende y nos supera en una lista creciente de dominios cognitivos, *Beingness* es el dominio final del esfuerzo intelectual humano y debe ser el núcleo de la educación. Y la evaluación formativa debe ser un instrumento para ello.

Palabras claves: ChatGPT, evaluación formativa.

 

I. ChatGPT

 

Programas generativos y ChatGPT

 La aparición del ChatGPT y su impacto. 

     

 

En los últimos días los medios de comunicación y la banca se han hecho eco, con gran alarde de titulares, del impacto del ChatGPT, así Forbes y NBC se hacen eco del último informe del Bank of American sobre la importancia de la IA, que compara con la de la electricidad. Y lo hace a partir de un hecho: La aparición de este programa generador y transformador de textos.

Fuente: Forbes. Suplementó de negocios del 1 de marzo de 2023.

 Por otra parte, la aparición de ChatGPT ha llevado a reputados expertos en la sociedad digital, y en la tecnología educativa en particular, a un gran entusiasmo y a la manifestación de expresiones de arrebato como hace tiempo no se habían visto. Así en el campo de la educación digital, Donald Clark ha llegado a decir (2023):

 

ChatGPT podría pasar a ser tutor, profesor, formador, instructor, experto, mentor, entrenador sobre cualquier tema imaginable. Tendrán fines educativos específicos; personalizado, experiencia en el tema, apropiado para la edad, sensibilidad cultural y ser infinitamente útil y paciente las 24 horas del día, los 7 días de la semana. 

Ideas que ha ampliado en su blog:

Lo que hace ChatGPT es permitirte usar la herramienta para enseñar y aprender. Una vez que haya dominado la ‘ingeniería rápida’, sabiendo cómo construir la entrada correcta, comprendiendo que ChatGPT es un sistema de diálogo y no solo un productor de piezas de texto monolíticas, puede producir cosas maravillosas. Esta es una nueva habilidad para los diseñadores de aprendizaje: la IA generativa permite todo tipo de indicaciones complejas mediante iteraciones, lógica y parámetros que mejoran el resultado. 

Le permite mejorar el diseño inicial, hacer funcionar los trabajos y proyectos con sólo las partes interesantes, producir objetivos, competencias y habilidades deseadas, planes de estudio e incluso títulos para sus iniciativas de aprendizaje. Para crear contenido, uno puede solicitar contenido completo con el nivel adecuado de detalle y matiz, resúmenes, imágenes, todo en diferentes estilos y voces, adecuado para diferentes audiencias. Puede crear evaluaciones y tareas con rúbricas completas para corregir, también actividades de aprendizaje para debates, escenarios y juegos de roles. Más allá de esto, puede solicitar correos electrónicos, contenido de redes sociales y marketing. Hemos elaborado una lista de 100 ideas rápidas para profesionales del aprendizaje para permitir que los profesionales del aprendizaje amplíen su perspectiva sobre esta tecnología que utilizaremos en charlas y talleres planificados.

Recuerde que este es solo el comienzo de las herramientas de IA que mejorarán drásticamente la productividad de los docentes, los diseñadores de aprendizaje y los alumnos.

Pero no es sólo Donald Clark, son otros autores. Entre ellos, es igualmente optimista, en un aspecto más amplio, Andrés Pedreño que llega a decir como ideas fundamentales para la enseñanza universitaria las siguientes:

1)Herramientas de un enorme potencial a corto plazo.

ChatGPT basado en GPT3 es solo el inicio de una serie de herramientas con un enorme potencial para la docencia y la investigación

2) La docencia con ChatGPT es objeto de disrupción. 

Los alumnos llevan en sus bolsillos una herramienta que puede superar al profesor que está en la tarima si éste se limita a dar información convencional sobre los temas de la asignatura. La IA obliga a redefinir la enseñanza. (…) Los exámenes y los sistemas de evaluación convencional también deberán ser profundamente revisados. La educación personalizada se erige como fundamental para impedir brechas relevantes entre alumnos (incluso entre profesores).

 Oportunidad y reto

En conclusión, ChatGPT representa una oportunidad para transformar la educación en las universidades y mejorar la experiencia de los estudiantes. Al utilizar tecnología avanzada para procesar y comprender el lenguaje humano, ChatGPT también abre la puerta a nuevos horizontes en la educación, brindando a los estudiantes la oportunidad de aprender de manera más personalizada y adaptativa. A los investigadores les puede ayudar a romper los límites para procesar y asimilar grandes cantidades de información.

 

Más allá de lo que diremos extensamente en este trabajo, cabe plantearse si han meditado estos autores sobre la gran responsabilidad de atribuir en una fase tan temprana unos juicios a mi modo de ver injustificados y temerarios sobre la atribución de todos esos “poderes” y capacidades a ChatGPT

Hicimos una prueba muy elemental. Una pregunta textual, no estrictamente matemática que evidentemente podría ser generativa, pero con un proceso de atribución muy sencillo, por una persona, de sentido a cada una de las partes del texto que puede hacer un alumno de primaria (por aproximaciones sucesivas) y secundaria (de forma algebraica elemental). Se trata de la siguiente pregunta:

  1. A) A fish measures 1.5 meters. The body is 1 m longer tan head. How long is the body and how longi s the head?

En español:

Un pez mide 1,5 metros. El cuerpo mide un metro más que la cabeza ¿Cuánto mide el cuerpo y cuanto mide la cabeza?

La respuesta es un absurdo y da un resultado contradictorio tanto en inglés como en español:

 

Unos días después y tras haber publicado tuits y haber debatido en Twitter con @OpenIA y #ChatGPT, #ChatGPT_Education, aparece una respuesta con un planteamiento algebraico, no textual, adecuado y la respuesta correcta.

Alguien podría decir que éste es un problema matemático y que ChatGPT no está entrenado para este tipo de problemas. No es así, además de ser un enunciado exclusivamente textual se puede resolver por mecanismos cognitivos no algebraicos y tiene que ver con capacidades que en otros sitios hemos denominado aproximaciones sucesivas o métodos de ensayo error. Por ejemplo, hablando de pensamiento computacional y de pensamiento computacional desenchufado, que nada tienen que ver con las matemáticas, el algebra o la computación pura y dura, a pesar del nombre.

Son métodos y formas de pensar que perfectamente puede desarrollar un niño en edad prealgebraica, anterior a la del pensamiento abstracto. Un niño, de esta forma, puede comprobar mentalmente que 1 y 0,5 no pueden ser porque contradirían la condición de que el cuerpo midiese un metro más que la cabeza y que si fuese 1, 5 y 0,5 como dice ChatGPT  contradirían que la suma es 1,5. Luego la cabeza debe estar entre 0 y 0,5. Puede ensayar mentalmente algún valor, hasta llegar a la conclusión de que ese 0,5 debe repartirse por igual entre el cuerpo y la cabeza. A qué aquel debe ser 1,25 y ésta 0,25.

 

Otro ejercicio fue el conocido problema de ingenio de las respuestas verdaderas y falsas:

Pregunta

A tourist is lost in New York. He comes to a crossroads where he must choose one of two paths. One leads to a marginal neighborhood where chaos reigns and his life will be in danger. The other leads directly to his hotel. He knows that there are two urban tribes, the one with the hard heads and the one with the soft heads. Hard heads always tell the truth and soft heads always tell lies. At the crossroads there are two of them. He knows that one is hard-headed and the other is soft-headed. He can only ask one question of one of them. What question must he ask to get safely to the hotel?

Respuesta

 The tourist can ask the following question: “Are you a soft head?” If the person he asks responds “yes”, then that person is a soft head and everything they say is a lie, so the path they indicate leads to the marginal neighborhood. If they respond “no”, then that person is a hard head and everything they say is the truth, so the path they indicate leads to the hotel.

EN ESPAÑOL

Pregunta:
Un turista se encuentra perdido en New York. Llega a una encrucijada donde debe optar por uno de dos caminos. Uno conduce a un barrio marginal donde reina el caos y su vida peligrará. El otro conduce directamente a su hotel. Sabe que hay dos tribus urbanas, la de los cabezas duras y la de los cabezas blandas. Los cabezas duras siempre dicen la verdad y los cabezas blandas siempre dicen mentira. En la encrucijada hay dos de ellos. Sabe que uno es cabeza dura y el otro es cabeza blanda. Sólo puede hacer una pregunta a uno de ellos. Qué pregunta debe hacer para llegar a salvo al hotel?

Respuesta

El turista puede hacer la siguiente pregunta: “¿Eres un cabeza blanda?”. Si el interlocutor responde “sí”, entonces es un cabeza blanda y todo lo que dice es una mentira, por lo que el camino que indica lleva al barrio marginal. Si responde “no”, entonces es un cabeza dura y todo lo que dice es verdad, por lo que el camino que indica lleva al hotel.

Unos días después hice la misma pregunta. El resultado fue un poco más fino pero casi igual el desarrollo. Y lo que es peor, no percibe la contradicción entre la primera y la segunda parte de su respuesta, ni une lógicamente las dos premisas contenidas entre la primera (If the person being asked is hard-headed, they will tell the truth and correctly identify which road the other person (who is soft-headed) would point to ) y la segunda parte (If the person being asked is soft-headed, they will lie and mistakenly point to the road that the other person (who is hard-headed) would point to) del segundo párrafo, para establecer una conclusión. Cosa que haría elementalmente cualquier desarrollo de programación lógica de los años ochenta y noventa, como Prolog. Éste fue el resultado:

Pregunta:

“A tourist is lost in New York. He comes to a crossroads where he must choose one of two paths. One leads to a marginal neighborhood where chaos reigns and his life will be in danger. The other leads directly to his hotel. He knows that there are two urban tribes, the one with the hard heads and the one with the soft heads. Hard heads always tell the truth and soft heads always tell lies. At the crossroads there are two of them. He knows that one is hard-headed and the other is soft-headed. He can only ask one question of one of them. What question must he ask to get safely to the hotel?”

Respuesta

“The tourist should ask either of the two people at the crossroads the following question: “If I were to ask the other person which road leads to my hotel, which road would they point me to?”

If the person being asked is hard-headed, they will tell the truth and correctly identify which road the other person (who is soft-headed) would point to. If the person being asked is soft-headed, they will lie and mistakenly point to the road that the other person (who is hard-headed) would point to.

Therefore, regardless of which person the tourist asks, the answer to the question will always point to the road that leads to the hotel. The tourist can then take that road and arrive safely at the hotel.

 

Contrastan las proclamas iniciales, con unas declaraciones tan ampulosa de visiones tan grandilocuentes, y la humildad de estas pruebas con unos resultados francamente mejorables, sobre sencillas preguntas de texto, fáciles incluso por niños de primaria o secundaria. Hechas siempre sobre enunciados textuales. para que el programa procese, transforme y genere texto.

 Ante ello, las cuestiones que de forma inmediata se nos suscitan, ante el salto que suponen los enunciados y proclamas iniciales de reputados expertos, y la realidad del programa con las respuestas a preguntas tan sencillas, son: 

¿Cómo ChatGPT va a enseñar? ¿Cómo va tutelar, evaluar, … y hacer todo eso que presuponen esos autores en sus visiones? 

¿Cómo va a realizar esas tareas (tutoría, evaluación, diseño instruccional, …),  una aplicación que responde así a este simple problema de primaria, secundaria, k-12? 

Obviamente Clark y otros lo hacen no sólo sin ninguna evidencia en que apoyarse, sino de una forma harto precipitada ¿Qué y quién está detrás de estas situaciones. Clark anuncia una amplia gira internacional para explicar las ventajas de ChatGPT ,  pero no es el único ni el más importante? ¿Quién paga esto?

 

¿Qué son los programas generativos “Transformer” AI, o los generadores de texto a partir de estadísticas de grandes cantidades de datos?

 

Para lo que nos ocupa conviene destacar en primer lugar que cuando se habla de ChatGPT se habla de dos cosas. Aunque de forma banal, en nuestro entorno casi todos, incluso insignes catedráticos, hablan de la primera e ignoran, se supone que no deliberadamente, la segunda. Lo cual es grave, sobre todo cuando se habla desde una perspectiva educativa.

En primer lugar, se trata de un modelo de predicción de texto transformador y generativo. Es una enciclopedia. Pero también es un modelo conversacional basado en un modelo instruccional. Es decir, es un modelo que se basa en la conversación para su  su aprendizaje propio, mediante el cual incorpora criterios. Esto es lo que todo el mundo desconoce u olvida.

En la primera acepción, GPT son las siglas de Generative Pre-trained Transformer. Es un modelo de predicción de texto gigante. Está entrenado por OpenAI en el uso de 500 mil millones de palabras. Su precedente, el GPT-3, y él no solo son capaces de escribir correctamente en varios idiomas, sino que sobre todo es un modelo enciclopédico, en esta acepción, que integra una gran cantidad de referencias y datos del mundo real (personas, eventos, conocimiento científico). Hasta ahora, su precedente GPT-3 nunca se abrió al público en general por razones de riesgo. GPT-3 no tenía un mecanismo de inhibición real basado en experiencia y valores humanos y podía generar cualquier disparate, siempre que el texto sea solo superficialmente coherente.

Según la segunda acepción, ChatGPT se basa en InstructGPT, un modelo conversacional de aprendizaje. Lo importante, para nuestro propósito y nuestro enfoque del tema, es que está basado en el aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF). Es una affordance creada a partir de la anotación de textos generados. Pero lo importante es que el modelo incorpora toda una serie de recompensas y penalizaciones con la función de reforzar la coherencia del texto generado, evitar falsedades flagrantes, pero también moderar por anticipación de posibles derivas tóxicas.  Mediante estas funciones, ChatGPT, de entre todo inmenso repertorio de de respuestas lingüísticamente correctas que se podrían generar, ChatGPT opta por aquellas que son más correctas en un contexto de chat: esto se llama “alineación de IA”. Basado en este mismo principio, ChatGPT a veces también se niega rotundamente a responder.

Esta doble naturaleza condiciona y hace comprender la esencia y las limitaciones de ChatGPT. La distinción entre modelo textual y modelo conversacional es fundamental para entender cómo funciona:

  • El modelo lingüístico no está actualizado y no se alimenta de las sugerencias de los usuarios. La formación, la actualización de las bases de datos es muy cara y solo se renovará una vez al año por término. Esta es la razón por la que no hace referencias al mundo después de 2021 1
  • El modelo conversacional continúa refinándose en función de las contribuciones de los usuarios cada 3 o 4 semanas en promedio. Con ellas OpenAI mejora la alineación del modelo con la intención del usuario o la plataforma. Ante la paralización del modelo textual, el modelo conversacional hace generaciones de mayor calidad y, como      consecuencia, de su metodología de refuerzo, penaliza más a las generaciones no deseadas. La última versión, fechada el 30 de enero último, penaliza más “alucinaciones”. Término utilizado para designar generaciones puramente poco o nada reales o posibles). 

 

Qué son

Los programas transformadores en IA son una modalidad de arquitectura de redes neuronales que ha ido ganando popularidad. A su vez, las redes neuronales son redes de nodos que simulan las redes de neuronas biológicas (no necesariamente humanas). Y tienen la virtud de aprender de una determinada forma: Las redes neuronales aprenden (o son entrenadas) procesando ejemplos, cada uno de los cuales contiene una “entrada” y un “resultado” computables como sucesos probabilísticos, de manera que se pueden establecer asociaciones ponderadas de probabilidad entre los dos (en esto tiene mucha importancia el análisis bayesiano), que se almacenan dentro de la estructura de datos de la propia red. 

Los transformadores han sido puestos de moda por OpenAI en los modelos de lenguaje precedentes de ChatGPT, la serie GPT, y en el propio ChatGPT, pero también fueron utilizados antes sin tanta resonancia, como por ejemplo por DeepMind para AlphaStar, su programa que derrotó a un jugador profesional de Starcraft.

En general los programas transformadores IA se desarrollaron para resolver el problema conocido como de la transducción de secuencias (Graves, 2012) (transdution sequence en inglés) o traducción automática neuronal. Eso tiene que ver con cualquier tarea automática de dispositivo digital que transforme una secuencia de entrada en una secuencia de salida de carácter distinto. Esto incluye reconocimiento de voz, transformación de texto a voz, reconocimiento de imágenes, etc.

El transformador IA GPT-3, y después ChatGPT, no suponen ninguna novedad conceptual más allá de la potencia de sus bases de datos y la capacidad de sus algoritmos para procesar esa gran cantidad de datos rápidamente. De ahí lo de grande en large language models (LLM) como de otra forma se llaman[1]. Funcionan como un completador de texto altamente capacitado, similar al que se encuentra en los teléfonos móviles y las interfaces de correo electrónico. Lo que sucede es que en lugar de mirar hacia atrás a los últimos caracteres y usarlos para predecir la próxima palabra o dos, presta atención a las 700 u 800 palabras anteriores que ha escrito, para continuar escribiendo una historia corta completa, un blog o un ensayo de estudiante. Ese mismo tipo de programa también puede resumir un artículo científico en un lenguaje más simple, escribir una reseña, traducir idiomas y responder preguntas generales. En resumen, un Transformer AI es una herramienta de lenguaje de propósito general.

Y éste va a ser su gran déficit para lo que estamos tratando, la educación.

 “Los grandes modelos de lenguaje preentrenados no se basan en otros dominios de la experiencia, como el video o la interacción física del mundo real, y por lo tanto carecen de una gran cantidad de contexto sobre el mundo” (Brown, et al. , 2020 , p.34). Los transformadores son modelos de lenguaje, no de conocimiento a través de la experiencia, la asignación de sentido o los valores. No están diseñados para ser humanos reflexivos, ecuánimes y éticos, o en particular para ser académicos, para verificar referencias académicas y garantizar que la evidencia esté basada en hechos. En términos humanos, son esencialmente inexpertos, irreflexivos y amorales. No tienen la capacidad de reflexionar sobre lo que han escrito, ni de juzgar si es exacto y decente.

 

Conclusiones generales sobre ChapGPTG y otros Large language models

 

Coincidiendo con Sharples (2022) pensamos que las características enunciadas en el apartado anterior harán que ChatGPT tenga poco futuro en la Educación. No podemos poner en las manos de un agente deseablemente educativo, sea chatbot u otro, la posibilidad de que suministre a los alumnos un contenido hipotéticamente inapropiado o del que no podemos garantizar que no lo sea. En todo caso lo podríamos poner en manos de profesionales consolidados con un juicio, capacidad profesional y experiencia que le permita discernir y evaluar los contenidos ofrecidos por ChatGTP más allá de lo que ofrece como resultado de una consulta.

Consciente de ello, OpenAI ha proporcionado un complemento para GPT-3 que filtra el lenguaje inapropiado. Sin embargo, es poco probable por el costo que supone en relación con la rentabilidad que la empresa produzca herramientas para verificar la precisión de los resultados en relación en todo caso con la exactitud de las fuentes de donde se toman los datos o las afirmaciones evaluando su rigor como lo podría hacer un humano. De esta manera, como hemos dicho, el enfoque y la aplicación estaría en la inteligencia artificial general apoyando trabajos profesionales, no en la educación. 

Quizás otras empresas, en un futuro, podrían suministrar herramientas para verificar la precisión y la fiabilidad de las referencias generadas o para agregar referencias específicas para un artículo. Pero en todo caso estas herramientas no superarían la limitación fundamental de los modelos de los lenguajes Transformer, como ChatGPT: que no tienen un modelo interno evaluable y accesible para modificar en función de cómo funciona el mundo, proporcionando una base de conocimientos para que el sistema reflexione sobre la precisión y la sapiencia de su trabajo generado. 

Gunning et al (2019) están realizando investigaciones para desarrollar una IA neuronal explicable y Garcez & Lamb (2020) están investigando sistemas híbridos de IA neuronal/simbólica que podrían abordar este problema.

En todo caso coincidimos con Sharples (2023) cuando en un tuit dice:

He visto a algunos académicos desconcertados sobre por qué ChatGPT inventa referencias académicas y por qué su “base de datos” se detiene en 2021. Ese es un malentendido fundamental de cómo funciona. Es un modelo de lenguaje, no una base de conocimiento. Produce “continuaciones” no “hechos”. Necesitamos una nueva alfabetización en IA.[2]

Como ideas generales pensamos que además de lo dicho esta línea de desarrollo, para ser realmente eficiente y para su puesta en práctica de forma generalizada, más allá de las intenciones enunciadas por los posts y notas de prensa de sus departamentos de comunicación y marketing, debe profundizar en

  1. A) Utilizar como herramientas más finas las que se derivan del nuevo pensamiento bayesiano que expusimos (Zapata-Ros, M. & Palacios, Y. B., 2021), para seleccionar en función de una analítica de datos, para la cual tienen ya potentes bases, las respuestas en los informes a las preguntas que se les hacen.
  2. B) Tener presente elementos más finos de lo que son procesos cognitivos de aprender y sobre qué es aprender.

Respecto de lo primero, el análisis y razonamiento probabilístico es un subcampo del aprendizaje automático aplicado al procesamiento del lenguaje natural (PNL). Y, en su contexto, un campo de Probabilidad, la estadística bayesiana, puede ofrecer técnicas únicas para el PNL.

Como en el resto de la tradición bayesiana, pero ahora apoyada por el análisis de grandes conjuntos de datos, la asignación de probabilidad a un suceso se basa en la probabilidad de su inverso (probabilidad a priori), a través del resultado en experimentos conocidos (probabilidad inversa, probabilidad compuesta y teorema de Bayes). En contraposición a la otra gran escuela clásica, la asignación a través de la frecuencia (probabilidad determinista o frecuentista) (Drury, agosto 2019):

Cohen (2019) afirma que el objetivo de la estimación puntual bayesiana es: “resumir la parte posterior de los parámetros en un conjunto fijo de parámetros”, y vincula este objetivo a un enfoque frecuentista conocido como estimación de máxima verosimilitud. 

En otro trabajo Barrow (2019 Apr), glosando el libro de Cohen (2019) dice:

El procesamiento del lenguaje natural (PNL) experimentó una profunda transformación a mediados de la década de 1980 cuando cambió para hacer un uso intensivo de corpora y de técnicas basadas en datos orientadas al análisis del lenguaje. Desde entonces, el uso de técnicas estadísticas en PNL ha evolucionado de varias formas. Un ejemplo de evolución tuvo lugar a finales de la década de 1990 o principios de la de 2000, cuando se introdujeron las herramientas bayesianas, en toda regla, en el PNL. Este enfoque bayesiano del PNL ha llegado a suplir resolviendo varias deficiencias en el enfoque frecuentista enriqueciéndolo, especialmente en el entorno no supervisado, donde el aprendizaje estadístico se realiza sin ejemplos de predicción de objetivos.

 

En esquema, este proceso de asignación bayesiana de la probabilidad apoyada con analítica de grandes datos sería

Fig. 1 Imagen obtenida de Zapata-Ros, M. & Palacios, Y. B. (2021)

 Hemos visto este uso de la probabilidad bayesiana en la pandemia, en modelos de epidemiología, para determinar modelos de evolución de datos sobre contagio y fallecimientos en el COVID y en el procesamiento del lenguaje natural. Pero igualmente podríamos verlo en multitud de casos en los más variados ampos científicos y de análisis de procesos. De esta forma, con la automatización de los métodos bayesianos y el uso de modelos gráficos probabilísticos es posible identificar patrones y anomalías en voluminosos conjuntos de datos en campos tan diversos como son los corpus lingüísticos, los mapas astronómicos, añadir funcionalidades a la práctica de la resonancia magnética, o a los hábitos de compra con tarjeta, online o smartphones. Esto por señalar sólo algunos casos, como son los que se asocian con el análisis de grandes datos y la teoría bayesiana. Pero hay muchos más (Bundy, 2007 y Wing, 2008, a través de Zapata-Ros, 2020 agosto).

Este esquema está presente en multitud de casos. A lo dicho en anteriores ocasiones hay que añadir ahora la idea de pensamiento computacional generalizado (pervasive computational thinking) como avance y desarrollo de lo tratado en el pensamiento computacional simple, el que Wing (2006) plantea en su primera aproximación.

Abundan evidencias sobre la influencia del pensamiento computacional apoyado por el análisis bayesiano en otros campos: Está transformando las estadísticas, donde con el aprendizaje automático, la automatización de los métodos bayesianos y el uso de modelos gráficos probabilísticos es posible identificar patrones y anomalías en voluminosos conjuntos de datos. Esto sería deseable que se incorporase también en futuros Large language models y otros modelos de transformadores de lenguaje

Respecto de lo segundo, y a propósito del ejemplo del pez y de su cabeza, convendría tener presente y como base de estudios y desarrollos un tratamiento más riguroso y detallado  de los avances de la psicología cognitiva, y no quedarse en teorías obsoletas como son las del aprendizaje por refuerzo, y de las teorías instruccionales sobre lo que son procesos cognitivos de aprender y sobre qué es aprender y cómo se utilizan en el diseño educativo. Lo hemos visto antes y también lo veremos más adelante, cuando hablemos de condiciones del aprendizaje, comprender, atribuir sentido, incorporación, autonomía y transferencia. Y de cómo ello debe ser garantizado por una autentica evaluación, de manera formativa y con dominio en el aprendizaje.

 

Repercusiones para la educación y para el aprendizaje.

 


Repercusiones positivas

Bastantes cosas de las que se han dicho sobre las ventajas del ChatGPT en educación, matizadas y contextualizadas adecuadamente, son ciertas.

Así por ejemplo es obvio que este transformer como el resto forman parte de la IA de asistencia educativa tutorizada. De cuya naturaleza educativos participan. También es previsible que compartan esa naturaleza las versiones sucesivas ChatGPT-n. Lo que se dice de esta AI es cierto para ellos: proporcionarían acceso de forma sistematizada a la información existente y a autoservicios de ese tipo, de forma permanente las 24 horas del día, los 7 días de la semana. Todo ello si no entramos más en detalle de como lo hacen, con qué fiabilidad, etc tal como lo hemos visto y lo seguiremos viendo.

También serán útiles para cierto tipo de evaluación.  Sobre todo, si consideramos que unas pruebas “objetivas” del tipo de respuesta múltiple o de verdadero y falso, más sofisticadas que las actuales en el sentido de tener más en cuenta condiciones de contexto, se pueden considerar evaluación de aprendizajes y de logros.

Así, a lo largo de muchos años, la IA que apoya a los estudiantes se ha desarrollado para incluir, por ejemplo, herramientas de aprendizaje adaptativo “para dominios complejos como lenguajes de programación, matemáticas, medicina, física, solución de problemas de aviónica y electrónica” (Wasson 1997 : 572); también para la captura y el análisis de una amplia gama de señales en el aula (por ejemplo, medir la atención, la empatía y la emoción), el uso de una gama cada vez mayor de hardware (desde teléfonos móviles hasta auriculares EEG), en cuyo contexto y con cuya ayuda se han diseñado chatbots para brindar a los alumnos soporte todo el tiempo, y por último , para incluir organizadores de redes de aprendizaje diseñados para construir comunidades de estudiantes, evaluación automática de escritura, etc.

En general en las últimas tres décadas, la mayor parte del enfoque de investigación sobre IA y Educación (AIED) se ha centrado en el apoyo que la IA puede suministrar al del alumno, pensando en aquella que, por definición, tiene como objetivo automatizar las funciones del docente, de modo que los alumnos puedan aprender independientemente de que tengan profesor o no. Es decir, que tengan su propio tutor personal artificial y puedan aprovechar en sentido muy relajado lo que se sostiene acerca de la enseñanza mentorizada  a partir de las conclusiones del estudio conocido como problema de dos sigmas de Bloom.

Sin embargo, gran parte de todo esto adopta un enfoque bastante tosco y primitivo de la pedagogía y, con demasiada frecuencia, se centra en la automatización de prácticas pedagógicas poco eficientes para satisfacer a usuarios poco exigentes, cuando no banales, en lugar de la esforzarse por una innovación de pedagogía científica de calidad, como es por ejemplo de idear formas innovadoras de evaluar y acreditar el aprendizaje, en lugar de facilitar exámenes sin abandonar la idea del propio examen como verificación de registro memorístico o de información, pero cada vez con recursos de verificación de esa información, en vez de considerar la verificación como evaluación del aprendizaje real.

Un beneficio claro está siendo la emergencia y la constatación de la necesidad de otras ideas positivas alternativas para utilizar los transformers o con ellos. Así podemos ver que en los próximos tiempos podrían ocurrir algunas de estas cosas:

El ensayo, trabajo fin de máster (TFM), de Grado (TFG), de asignatura, o como quiera que se le llame o se utilice, perdería vigencia. Los profesores podrían restringir las asignaciones por estos conceptos, en las ponderaciones que se hagan para superar estudios, a los trabajos informes o de ensayos, en favor de otro tipo de pruebas como son exámenes supervisados, o trabajos y prácticas muy supervisadas con entrevistas. El problema es que estos procedimientos no generan pruebas, son poco formales, y consumen mucho tiempo. 

Otra alternativa que podría generarse es la de establecer tareas escritas reflexivas y contextualizadas que la IA no podría generar. Para esto es clave la interacción. De manera que los sucesivos refinamientos tengan que hacer alusión a las propuestas de mejora específicas de profesor.  Por ejemplo, el tutor podría asignarle a cada estudiante un proyecto de investigación independiente, luego solicitar un informe escrito sobre ese proyecto concreto, dar retroalimentación al estudiante sobre el informe y luego pedirle que escriba una reflexión crítica sobre la retroalimentación y los problemas planteados por el proyecto a los que aludió en su primer informe de revisión.

En fin, existen muchas formas imaginativas y nuevas, algunas de las cuales pueden integrar incluso los programas Transformers. La cuestión es que en todas estas como en las anteriores se exigen un considerable esfuerzo por los profesores y un pacto tácito de confianza y de colaboración por parte de alumnos y familias.

Así, una forma imaginativa de incorporar texto generado por estos procedimientos en las tareas educativas, podría ser que el profesor emplee un Transformer AI para generar un conjunto de ensayos alternativos sobre un tema, luego pida a los estudiantes que los critiquen y escriban sus propias versiones mejores. 

O que establezca una pregunta compleja y luego pida a cada estudiante que genere respuestas de IA a la pregunta y que sea el estudiante el que evalúe estas respuestas en relación con los criterios de evaluación. 

Seguro que en la literatura y en las prácticas experimentales aparecerán opciones de uso educativo de los Transformers, pero nunca tendrán los efectos taumatúrgicos que ahora se les otorgan.

 

Repercusiones negativas

Se puede decir que tiene tantas repercusiones negativas como positivas hemos visto, siempre que no se no se satisfagan unas mínimas condiciones de intervención educativa humana.

Así cuando hablamos de acceso de forma sistematizada a información existente o de proporcionar autoservicios que funcionan las 24 horas del día, los 7 días de la semana las consecuencias pueden no ser educativas sino que se pueden incluso derivar en aprendizajes no deseados o perjudiciales, a consecuencia de ausencia de metacognición o de criterios adecuados de administrar la información y de valorarla críticamente. Este efecto también puede producirse a consecuencia de una ausencia de elaboración propia del alumno, con la falta de una adecuada atribución de sentido y, la ya señalada, de interacción que valide la corrección de las respuestas. Cuestión que, como hemos visto, en sentido educativo, ChatGPT no tiene ni se espera que lo tenga próximamente, por no estar en la agenda y ser muy caro. Lo primero como consecuencia de lo segundo.

 

Cuestiones en las que ChapGPT participa de las características de la IA educativa:

Por último, no conviene olvidar que los Transformers y el ChatGPT participan de todos aquellos factores que hacen criticables la IA por tomar decisiones basadas en resultados algorítmicos. Es decir, de todos los inconvenientes que en general tienen que ver con la IA como generadora de ideas sin mediación ni validación humana intermedia.

En educación, esto es aplicable igualmente a ChatGPT

Surden (2019) identifica problemas de la sociedad contemporánea que incluyen el sesgo en la toma de decisiones algorítmicas, en la interpretabilidad de sistemas de muy variada naturaleza a través de la IA. Y que son derivados de la falta de transparencia sobre cómo los sistemas de IA toman sus decisiones y en la deferencia que se hace hacia ellos como con una especie de respeto y de reverencia que los hace como no cuestionables. Todos ellos considerados como problemas en línea con los desafíos reconocidos para la IA y su aplicación en general.

Este razonamiento y estas conclusiones las hace Surden cuando describe la aplicación de la IA en el uso y estudio de las leyes. Pero cada uno de estos temas contemporáneos es, de forma análoga, extremadamente relevante para comprender y evaluar el uso de la IA en la educación, en particular a la luz de lo que pueda surgir con ChatGPT

 

No olvidemos que en su origen es un producto de la psicología conductista más pura, del aprendizaje por refuerzo

Cuando creíamos que los modelos simplistas y mecanicistas de la psicología conductista y del aprendizaje humano por refuerzo ya se habían extinguido y se consideraban como una cosa del pasado, ahora resucitan con los Transformers GPT.

Recordemos que, según toda la literatura suministrada por Open AI, ChatGPT se basa en InstructGPT, un modelo conversacional de aprendizaje por refuerzo a partir de la retroalimentación humana ( RLHF ) ). Es una versión “rectificada” de GPT-3, creada a partir de procesos de anotación genérica de textos, que genera otros textos. De esta forma, el modelo incorpora para ello toda una serie de recompensas y penalizaciones que cumplen varias funciones: reforzar la coherencia del texto generado, evitar falsedades flagrantes, pero también moderar por anticipación  posibles derivas tóxicas. 

Así pues, el avance de ChatGPT sobre los GPT3 y anteriores se basa en que, de todo el universo de respuestas lingüísticamente correctas que podrían generar los predecesores, chatGPT opta por aquellas que son más correctas en un contexto de chat: esto se llama “alineación de IA”. Utilizando este mismo principio, chatGPT a veces también se niega rotundamente a responder.

Éste es el esquema:

Imagen 1. Fuente y original: Ryan Lowe & Jan Leike (January 27, 2022) Aligning language models to follow instructions.  LanguageHuman feedbackSafety & Alignment, Responsible AI, Milestone, Publication. https://openai.com/research/instruction-following

Texto del esquema traducido

Paso 1

Izquierda:

 

Recopile datos de demostración y entrene una política supervisada.

Se muestrea un aviso de nuestro conjunto de datos de avisos.

Una etiquetadora demuestra el comportamiento de salida deseado.

Estos datos se utilizan para afinar GPT-3.5 con aprendizaje supervisado.

 

Derecha:

 

Explique el aprendizaje por refuerzo a un niño de 6 años.

Damos golosinas y castigos para enseñar…

SFT

 

Paso 2

 

Izquierda

 

Recopile datos de comparación y entrene un modelo de recompensa.

Se muestrean un aviso y varias salidas del modelo.

Una etiquetadora clasifica los resultados de mejor a peor.

Estos datos se utilizan para entrenar nuestro modelo de recompensa.

 

Derecha

Explique el aprendizaje por refuerzo a un niño de 6 años.

 

 

Paso 3

 

Izquierda

 

Optimice una política contra el modelo de recompensa utilizando el algoritmo de aprendizaje por refuerzo de PPO.

Se muestrea un nuevo aviso del conjunto de datos.

El modelo PPO se inicializa desde la póliza supervisada.

Explique las recompensas…

Damos golosinas y castigos a

La política genera una salida.

El modelo de recompensa calcula una recompensa por la salida.

La recompensa se utiliza para actualizar la póliza mediante PPO.

 

Derecha

 

Escribe una historia sobre las nutrias.

OPP

Érase una vez…

RM

RM

 

Este trabajo (Ryan Lowe & Jan Leike, January 27, 2022)  enlaza con otro documento del propio Open IA que hace referencia al aprendizaje por refuerzo: InstructGPT.

En este documento y en otros se señala que, para enseñar a los tres modelos (Chap GPT, GPT 3 e InstructGPT), se utilizaron formas semejantes a las conductistas o de aprendizaje por condicionamiento o por refuerzo para enseñar a los programas, para que aprendiesen por estos métodos desfasados.

Dando por supuesto eso, nos podemos plantear ¿se puede enseñar sin saber aprender? ¿Podrían estos programas actuar como educadores si están hechos sin conocer los modelos y teorías vigentes y probadas del aprendizaje? ¿Qué garantías ofrecen?
Eso cuestionaría todo el uso educativo o al menos como tutor o instructor o evaluador de ChatGPT

De hecho, el aprendizaje por refuerzo hace que el ChatGPT esté en una fase histórica del desarrollo del aprendizaje previa a las ideas y a los planteamientos cognitivos.

Al programa se le enseña por refuerzo, pero carece de habilidades, métodos o formas de operar (de hecho, los programadores ni se lo plantean en sus algoritmos, no hay una pedagogía y mucho menos una pedagogía cognitivista) que tengan en cuenta:

  •  La atribución de sentido
  • La experiencia o experiencias vividas e incorporadas.
  • Los valores.

Tampoco cuestiones, desarrollos y condiciones que implican considerar el conocimiento estructurado por relaciones de significación necesarias para ensamblar, integrar y cohesionar los nuevos conocimientos con los previos. Es lo que se llama el andamiaje cognitivo, los conceptos inclusores, los conceptos previos, las relaciones de significación, etc.

En definitiva, a ChatGPT le falta el alma o lo que Siemens consideraba el “beingness”[1]

 

Este procedimiento, el de recurrir a la imitación humana del aprendizaje por refuerzo, lo podemos ver en las propias declaraciones de OpenIA:

En Introducing ChatGPT dice, en el apartado “métodos”:

Entrenamos este modelo usando Aprendizaje por refuerzo a partir de retroalimentación humana (RLHF), usando los mismos métodos que  InstructGPT , pero con ligeras diferencias en la configuración de recopilación de datos. Entrenamos un modelo inicial mediante un ajuste fino supervisado: los entrenadores humanos de IA proporcionaron conversaciones en las que jugaron en ambos lados: el usuario y un asistente de IA. Les dimos a los capacitadores acceso a sugerencias escritas en modelos para ayudarlos a redactar sus respuestas. Mezclamos este nuevo conjunto de datos de diálogo con el conjunto de datos InstructGPT, que transformamos en un formato de diálogo.

Para crear un modelo de recompensa para el aprendizaje por refuerzo, necesitábamos recopilar datos de comparación, que consistían en dos o más respuestas del modelo clasificadas por calidad. Para recopilar estos datos, tomamos conversaciones que los entrenadores de IA tuvieron con el chatbot. Seleccionamos al azar un mensaje escrito por un modelo, probamos varias finalizaciones alternativas e hicimos que los entrenadores de IA las clasificaran. Usando estos modelos de recompensa, podemos ajustar el modelo usando la  Optimización de Política Proximal . Realizamos varias iteraciones de este proceso.

 

En la descripción que se hace de InstructGPT en el documento Aligning language models to follow instructions de OpenIA, dice:

Para hacer que nuestros modelos sean más seguros, más útiles y más alineados, utilizamos una técnica existente llamada  aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) . En las solicitudes enviadas por nuestros clientes a la API, nuestros etiquetadores brindan demostraciones del comportamiento deseado del modelo y clasifican varios resultados de nuestros modelos. Luego usamos estos datos para ajustar GPT-3.

Los modelos InstructGPT resultantes son mucho mejores para seguir instrucciones que GPT-3. También inventan hechos con menos frecuencia y muestran pequeñas disminuciones en la generación de productos tóxicos. Nuestras etiquetadoras prefieren las salidas de nuestro modelo 1.3B InstructGPT a las salidas de un modelo 175B GPT-3, a pesar de tener más de 100 veces menos parámetros. Al mismo tiempo, demostramos que no tenemos que comprometer las capacidades de GPT-3, según lo medido por el rendimiento de nuestro modelo en las evaluaciones académicas de PNL.”

Y también, en ese mismo documento, sobre InstructGPT () dice

“Para entrenar modelos de InstructGPT, nuestra técnica central es  el aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) , un método que ayudamos a ser pionero en nuestra investigación de alineación anterior. Esta técnica utiliza las preferencias humanas como una señal de recompensa para ajustar nuestros modelos, lo cual es importante ya que los problemas de seguridad y alineación que buscamos resolver son complejos y subjetivos, y no se capturan completamente mediante métricas automáticas simples.”

Por último, en el documento “Learning from human preferences“. dan una vuelta de tuerca más al decir que se basan en los mecanismos simples, que utilizan los humanos para discernir entre dos procedimientos, que utilizan los juegos de Atari, en un alarde de conductismo primario:

Hemos probado nuestro método en una serie de tareas en los dominios de robótica simulada y Atari (sin tener acceso a la función de recompensa: en Atari, sin tener acceso a la puntuación del juego). Nuestros agentes pueden aprender de los comentarios humanos para lograr un rendimiento sólido y, a veces, sobrehumano en muchos de los entornos que probamos. En la siguiente animación puedes ver agentes entrenados con nuestra técnica jugando a una variedad de juegos de Atari.

Para a continuación ilustrar el tema con animaciones de juegos elementales del tipo:

Imagino que tanto Clark como Pedreño habrán visto esto antes de realizar las declaraciones que señalábamos al principio de este documento (serie de posts).

No todo es descartable, en “aprender de las preferencias humana” hay un esquema interesante al menos la parte suficiente para justificar que es compendio de métodos e ideas conductistas los que se utilizan para enseñar a ChatGPT. Es un ciclo de retroalimentación de 3 pasos entre el ser humano, la comprensión del objetivo por parte del agente y la capacitación por RL (aprendizaje por refuerzo restringido al mundo de los videojuegos, Reinforcement Learning RL[2])


Imagen 2

Que nos sugiere este otro:

Imagen 3

 

  

[1] “Beingness is the final domain of human intellectual effort and should be the core of schooling.” — George Siemens, 2023. Twitter.

[2] Reinforcement Learning is a study of an agent learning through interactions with the environment. Thus, to test and compare results of different reinforcement learning algorithms, we need testbed environments. By far the most commonly used testbed has been 57 Atari 2600 games. However, different environments require different exploration schemes and different algorithms. Thus, it is important to have various environments.

Referencias

Barrow, B. (2019 Apr) Bayesian Analysis in Natural Language Processing: Cohen. https://linguistlist.org/issues/30/30-1843/

Blanco-González, A. et al. Preimpresión en arXiv https://doi.org/10.48550/arXiv.2212.08104 (2022).

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P. … Amodei, D. (2020). Language models are few-shot learners. Advances in Neural Information Processing Systems, 33, 1877–1901 Clark, D. (2023) Twitter. https://twitter.com/DonaldClark/status/1618422817590243333

Bundy, A. 2007 Computational thinking is pervasive. J. Scient. Pract. Comput.1, 67–69. 

Clark, D. (2023). OpenAI releases massive wave of innovation. https://donaldclarkplanb.blogspot.com/2023/02/

Clark, D. (2023b). https://twitter.com/DonaldClark/status/1618422817590243333

Cohen, S. (2019). Bayesian analysis in natural language processing. Synthesis Lectures on Human Language Technologies12(1), 1-343.

Drury, B.(2019 Aug). Bayesian Analysis in Natural Language Processing, in Review: Computational Linguistics; Text/Corpus Linguistics: Cohen (2019). https://linguistlist.org/issues/30/30-4380/

Gao, CA et al. Preimpresión en bioRxiv https://doi.org/10.1101/2022.12.23.521610 (2022).

Graves, A. (2012). Sequence transduction with recurrent neural networks. arXiv preprint arXiv:1211.3711. https://arxiv.org/abs/1211.3711 Graves, 2012

Garcez, ADA y Lamb, LC (2020). IA neurosimbólica: la tercera ola. preimpresión de arXiv arXiv:2012.05876

Graves, A. (2012). Sequence transduction with recurrent neural networks. arXiv preprint arXiv:1211.3711https://arxiv.org/abs/1211.3711

Gunning, D., Stefik, M., Choi, J., Miller, T., Stumpf, S. y Yang, GZ (2019). XAI—Inteligencia artificial explicable. Ciencia Robótica , 4 (37), eaay7120

Kruse, O. (2006). The origins of writing in the disciplines: Traditions of seminar writing and the Humboldtian ideal of the research university. Written Communication23(3), 331–352

Newton, P. M. (2018, August). How common is commercial contract cheating in higher education and is it increasing? A systematic review. Frontiers in Education3(67), doi: https://doi.org/10.3389/feduc.2018.00067

O’Connor, S. & ChatGPT Educación en enfermería. Practica 66 , 103537 (2023).

Pedreño. A. (2023) ChatGPT y las universidades.  https://www.universidadsi.es/chatgpt-y-las-universidades/

Race, P. (2018). Is the ‘time of the assessed essay’ over? University of Sussex blog article, November 14, 2018. https://blogs.sussex.ac.uk/business-school-teaching/2018/11/14/is-the-time-of-the-assessed-essay-over/

Saul, D. (2023). ‘AI Is The New Electricity’: Bank Of America Picks 20 Stocks To Cash In On ChatGPT Hype. Forbes BUSINESS. https://www.forbes.com/sites/dereksaul/2023/03/01/ai-is-the-new-electricity-bank-of-america-picks-20-stocks-to-cash-in-on-chatgpt-hype/

Science, Technology, and Public Policy (2022) Parthasarathy discusses implications of Large Language Models. https://stpp.fordschool.umich.edu/news/2022/parthasarathy-discusses-implications-large-language-models

Sharples, M. Automated Essay Writing: An AIED Opinion. Int J Artif Intell Educ 32, 1119–1126 (2022). https://doi.org/10.1007/s40593-022-00300-7 Utiizado como un documento base él y sus referencias. https://link.springer.com/article/10.1007/s40593-022-00300-7

Sharples (2023) Twitter https://twitter.com/sharplm/status/1615607290320519169

Stokel-Walker  C.  ChatGPT listed as author on research papers: many scientists disapprove.   Nature. 2023;613(7945):620-621. doi:10.1038/d41586-023-00107-z

Surden H. (2019), “Inteligencia artificial y derecho: una descripción general”, Revista de derecho de la Universidad Estatal de Georgia, vol. 35, disponible en https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3411869# .

Turnitin (2020). How Teachers Can Prepare for AI-Based Writing. Turnitin blog article, May 21, 2020. https://www.turnitin.com/blog/how-teachers-can-prepare-for-ai-based-writing

 Wing, J.M. (2006) Computational thinking. it represents a universally applicable attitude and skill set everyone, not just computer scientists, would be eager to learn and use. Commun. ACM 49(3). https://doi.org/10.1109/vlhcc.2011.6070404

Wing, J.M. (July 2008) Computational thinking and thinking about computing. The Royal Society Publishing. https://doi.org/10.1098/rsta.2008.0118 https://royalsocietypublishing.org/doi/10.1098/rsta.2008.0118 https://royalsocietypublishing.org/doi/pdf/10.1098/rsta.2008.0118

 Zapata-Ros, M. & Palacios, Y. B. (2021). El pensamiento bayesiano, un pensamiento computacional omnipresente. Revista de Educación a Distancia (RED)21(68)



Citar este post
Miguel Zapata Ros (2023, 1 abril). Los programas generativos “Transformer” AI, entre los que está ChatGPT, ¿una oportunidad para la evaluación formativa? (I). RED. Recuperado 22 de mayo de 2024, de https://doi.org/10.58079/tdr5

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.