I Poniendo en relación resultados de ChatGPT con textos científicos y ensayos

Un grupo dirigido por Catherine Gao (2022) en la Universidad Northwestern en Chicago, ha utilizado ChatGPT para generar resúmenes de trabajos de investigación artificiales para probar si los científicos pueden detectarlos. Son interesantes los planteamientos y resultados.

Los investigadores le pidieron a ChatGPT que escribiera 50 resúmenes de investigación médica basados ​​en una selección publicada en JAMA , The New England Journal of Medicine , The BMJ , The Lancet y Nature Medicine . Luego los compararon con los resúmenes originales pasándolos  por un detector de plagio y un detector de salida de IA, también le pidieron a un grupo de investigadores médicos que detectaran los resúmenes artificiales.

El resultado que dio sobre los resúmenes generados por ChatGPT el verificador de plagio sobre la originalidad fue del 100 %, lo que indica que no se detectó plagio. El detector de salida de IA detectó el 66 % de los resúmenes generados. Pero los revisores humanos no lo hicieron mucho mejor: identificaron correctamente sólo el 68 % de los resúmenes generados y el 86% de los resúmenes genuinos. Identificaron incorrectamente el 32 % de los resúmenes generados como reales y el 14 % de los resúmenes genuinos como generados. Todo ello muy elocuente.

Las conclusiones de los autores del preprint, Gao y sus colegas, son 

• “ChatGPT escribe resúmenes científicos creíbles”
• “Quedan por determinarse los límites del uso ético y aceptable de grandes modelos lingüísticos para ayudar a la redacción científica”.

Otros trabajos sobre el tema los podemos encontrar en (Stokel-Walker, 2022)  AI bot ChatGPT writes smart essays — should professors worry? y en (Grove, 2023) The ChatGPT revolution of academic research has begun.

En enero de 2023, Nature informó sobre dos preprints y dos artículos en los campos de la ciencia y la salud que incluyeron a ChatGPT como autor firmado. Cada uno de estos incluye una afiliación para ChatGPT, y uno de los artículos incluye una dirección de correo electrónico para el “autor” no humano. Según Nature, la inclusión de ChatGPT en ese artículo en la firma del autor fue un “error que pronto se corregirá” ⁽Stokel-Walker, 2023). Sin embargo, estos artículos y sus “autores” no humanos ya han sido indexados en PubMed y Google Scholar.

La conclusión es que en la situación actual no podemos decir con certeza cuando un estudio, un artículo o un ensayo está escrito por ChatGPT o por un humano.

 

Experiencias como ésta han llevado a las instituciones, revistas y editoriales a tomar medidas. De entre las más importantes podemos destacar lo que sigue.

Nature ha definido una política para guiar el uso de modelos de transformadores de lenguaje a gran escala en la publicación científica: prohíbe nombrar herramientas como “autor acreditado en un artículo de investigación” porque “la atribución de autoría conlleva responsabilidad por el trabajo, y Las herramientas de IA no pueden asumir tal responsabilidad”. 

La política editorial también aconseja a los investigadores que utilizan estas herramientas que documenten este uso en las secciones Métodos o Agradecimientos de los manuscritos. 

Otras revistas (Science y Taylor & Francis) y organizaciones (WAME) están desarrollando urgentemente políticas que prohíben la inclusión de estas tecnologías no humanas como “autores”. Van desde prohibir la inclusión de texto generado por ChatGPT o similares en los originales, a exigir total transparencia, responsabilidad y rendición de cuentas sobre cómo se utilizan y se informan dichas herramientas en publicaciones académicas. 

La Conferencia Internacional sobre Aprendizaje Automático (ICML Fortieth International Conference on Machine Learning) también ha anunciado una nueva política: “Los artículos que incluyen texto generado a partir de un modelo de lenguaje a gran escala (LLM) como ChatGPT están prohibidos a menos que el texto producido se presente como parte del análisis experimental del artículo”. 

Y así sucesivamente.

II APA

La APA ya se ha hecho eco con diligencia, primero en su blog. Según McAdoo (2023) estas son las recomendaciones y el análisis de situaciones en las que estudiantes e investigadores utilizan ChatGPT para crear texto y facilitar su investigación, no para escribir el texto completo de su artículo o manuscrito.

Y esto es lo más relevante de su propuesta de norma:

“Si ha utilizado ChatGPT u otras herramientas de inteligencia artificial en su investigación, describa cómo utilizó la herramienta en la sección Método o en una sección comparable de su artículo. Para revisiones de literatura u otros tipos de ensayos o artículos de respuesta o reacción, puede describir cómo utilizó la herramienta en su introducción. En su texto, proporcione el mensaje que utilizó y luego cualquier parte del texto relevante que se generó en respuesta.”

Se dirige a autores y en ningún caso se refiere a ChatGPT como autor y menos como autor citado.

Éstas son las consideraciones que hace a ese respecto:

“Desafortunadamente, otros lectores no pueden recuperar los resultados de un “chat” de ChatGPT, y aunque los datos o citas no recuperables en artículos de estilo APA generalmente se citan como comunicaciones personales, con el texto generado por ChatGPT no hay ninguna persona comunicándose. Por lo tanto, citar el texto de ChatGPT de una sesión de chat es más como compartir el resultado de un algoritmo; por lo tanto, dé crédito al autor del algoritmo con una entrada en la lista de referencias y la cita correspondiente en el texto.”

Tenemos pues ya y de forma clara unas normas y unas recomendaciones

 

III La educación y la difusión de la ciencia cambian en cuestiones nucleares

Puesto que no se puede distinguir lo hecho por un humano y lo hecho por ChatGPT y puesto que, cuando escribe ChatGPT, no hay ninguna persona comunicándose ni le es atribuible ninguna responsabilidad sobre lo escrito, la perspectiva de la evaluación y de la revisión de pares cambia radicalmente. Y por ende la educación, su organización y diseño, y la edición científica. De las cuales son aspectos centrales.

La demostración es la base de la evaluación: ésta es la que aporta las evidencias del aprendizaje. Así lo ponen de manifiesto los trabajos de Merrill, sus principios fundamentales del aprendizaje, de lo cual nos hemos hecho eco aquí, aquí y aquí.

Si la única fuente de la evidencia de un aprendizaje es un proyecto o un examen escrito online y éste no podemos asociarlo a lo que expresa que sabe un alumno, tenemos un problema para la evaluación. Como hemos visto no podemos distinguir quién lo ha hecho. No podemos atribuir aprendizaje a la persona.

 

IV. ¿Qué hacer?

La IA generativa es una herramienta informática de transformar información (por eso se les llama LLM Transformers) no de producir conocimiento ni aprendizaje.

En la educación, por sí, estos procesos y sus resultados no tienen ninguna de las características que definen al aprendizaje. Los individuos que la utilizan no atribuyen sentido a lo que se les muestra, ni incrementan sus experiencias, no transfieren lo supuestamente aprendido a otros entornos, ni adquieren autonomía en su uso. Las máquinas tampoco hacen nada de esto, porque estas facultades de atribuir sentido, etc. son facultades esencialmente humanas, que se producen en el individuo y esta naturaleza es la que define el conocimiento y el aprendizaje.

En la edición científica sucede algo parecido. Lo importante de la edición es que haya una investigación y unos resultados de ella que se puedan difundir. Escribir artículos no es el objetivo. Si son buenos, es el resultado de otra cosa que es lo principal: el incremento del conocimiento. Y la IA no es capaz de diseñar una investigación, de aportar conocimiento, porque utiliza resultados ya escritos, no usa anotaciones ni datos de una investigación. Tampoco a otro nivel establece hipótesis ni valora su relevancia en el contexto de investigación en que se produce. Sólo por decir algunas pocas de las muchas funciones que implica la investigación, de las cuales la difusión, el artículo es una consecuencia. Son funciones netamente humanas donde interviene la intuición, la experiencia, el sentido que se atribuye a lo experimentado, etc.

Si evaluamos la calidad de la investigación exclusivamente en lo escrito en un artículo, donde no podemos diferenciar si es humano o no, entonces esta evaluación con la aparición de la IA generativa ya no vale.

¿Qué hay que hacer?

Sobre la evaluación ya hemos hablado mucho acerca de que la solución es la evaluación formativa, lo hemos visto aquí, aquí y aquí.

Hemos dado propuestas incluso de actividades concretas para llevar a cabo esa evaluación, lo hemos hecho aquí y hemos dicho algunas formas de demostrar los aprendizajes según el tipo de que se traten.

Así la demostración es un factor de consistencia (Merrill, 2002a, 2002b y 2012): El aprendizaje se valida cuando la demostración, la actividad con que se demuestra, es coherente con el objetivo de aprendizaje, mediante:

1. ejemplos y contraejemplos para conceptos,
2. demostraciones de ejecución para procedimientos,
3. visualización (evidenciar visualmente) para los procesos, y
4. el modelado (presentación de modelos) para adquisición de valores y conductas

En esta línea, y a modo de ejemplo, podemos llegar a proponer actividades concretas de evaluación formativa. Obviamente el diseño instruccional debería ser más completo y ajustado. Éstas son las actividades:

• Compartir criterios de éxito con los alumnos
• Preguntas en el aula, o en el chat, o verbales en Zoom o similar.
• Con anotaciones.
• Marcado de sólo comentarios
• Autoevaluación, con criterios explícitos
• Uso formativo de pruebas sumativas [muy importante]
• Revisiones, con observaciones y marcado de comentarios
• Supervisiones de los alumnos, con reuniones presenciales, videorreuniones o sesiones de videollamada.
• Intervenciones en los foros con comentarios personales, otorgamiento de relevancia en relación con la formatividad y con relación a los objetivos de aprendizaje, los logros esperados y las habilidades desarrolladas, sobre todo conceptuales en este caso.

(Wiliam, 2000, Black et al., 2003; Wiliam, 2007):

 En general se trata de evaluar y validar el aprendizaje a través de la interacción directa.

Algo parecido sucede con la escritura científica: cómo se verifica su conexión con la investigación.

Proponemos una nueva revisión de pares, la que se base en la interacción con el autor. Señalamos la importancia de la entrevista, la supervisión y algo parecido a lo que es el mastery learning (1) en la educación: La asignación de relevancia a lo que dice el autor, en el contexto de revisión, en relación con lo investigado.

Esto entraña una mayor carestía por el uso de recursos, particularmente de recursos humanos, un nuevo tipo de revisor con un trabajo mayor en una época en que no hay revisores, pero este es el desafío: Organizar una nueva revisión y edición para una nueva edición científica de calidad, para la validez de su función difusora de la ciencia.

 

 

Referencias.-

Black, P., & Wiliam, D. (2003). ‘In praise of educational research’: Formative assessment. British educational research journal, 29(5), 623-637.

Gao, CA et al. Preimpresión en bioRxiv https://doi.org/10.1101/2022.12.23.521610 (2022).

McAdoo, T. (2023). How to cite ChatGPT. APA Style Blog. https://apastyle.apa.org/blog/how-to-cite-chatgpt

Merrill, M. D. (2002a). First principles of instruction. Educational technology research and development, 50(3), 43-59. http://csapoer.pbworks.com/f/First+Principles+of+Instruction+(Merrill,+2002).pdf

Merrill, M. D. (2002b). First principles of instruction. Educational Technology Research and Development, 50(3), 43-59.  Instructional-Design Theories and Models, Volume III: Building a Common Knowledge Base.

Merrill, M. D. (2012). First principles of instruction. John Wiley & Sons.

Stokel-Walker, C. (2022). AI bot ChatGPT writes smart essays—Should professors worry?[published online ahead of print December 9, 2022]. Nature News.

Stokel-Walker  C.  2023) ChatGPT listed as author on research papers: many scientists disapprove.   Nature;613(7945):620-621. doi:10.1038/d41586-023-00107-z

Wiliam, D. (2000). Integrating summative and formative functions of assessment. https://discovery.ucl.ac.uk/id/eprint/1507176/1/Wiliam2000IntergratingAEA-E_2000_keynoteaddress.pdf

Wiliam, D. (2007). Keeping learning on track: Formative assessment and the regulation of learning. nature, 1, 20. https://www.researchgate.net/profile/Dylan_Wiliam/publication/252646685_Keeping_learning_on_track_Formative_assessment_and_the_regulation_of_learning/links/53f495b00cf2fceacc6e8f5b.pdf