Análisis de variación y de covariación de datos entre conclusión del curso y aprendizaje divergente.
En las tres entradas anteriores hemos expuesto elementos teóricos, conceptualizaciones e ideas que permiten relacionar y atribuir sentido a la relación que existe entre evaluación, metodología docente e indice de conclusión con aprendizaje divergente y creatividad. En esta cuarta confirmaremos lo expuesto con la obtención de la correlación y veremos que la tendencia observada se produce para los distintos valores de los parámetros de entorno del trabajo de referencia y para todas los intervalos de la variable.
En primer lugar vamos a estudiar la covariación entre la permanencia y el grado de autoevaluación o, como hemos visto, el aumento de divergencia en el aprendizaje.
Para ello utilizamos la tabla que nos proporciona Jordan (2013b), en la infografía:
Tabla 1
Para procesarla pasamos los datos a una hoja de cálculo. Consideramos dos variables correspondientes a las columna “% completed”, variable X, y “Assessment type”, Variable Y. Esta última no es numérica, para que lo sea definimos una variable estadística discreta creciente teniendo en cuenta la tabla del segundo post (Evidentemente en un proceso más riguroso podríamos emplear otros valores más ponderados y posiblemente saldría un Índice de correlación de Pearson mayor aún):
Variable Y | Valor |
Peer grading only | 1 |
Auto and peer grading | 2 |
Auto grading only | 3 |
Prescindimos de valorar los casos donde la evaluación es desconocida al no poder integrarlos en una posición precisa de esa gradación.Con lo cual la tabla quedaría de la forma siguiente (estas son las primeras filas de las 154 que constituyen la tabla):
De esta forma obtenemos el valor del Índice de Correlación de Pearson: 0,66884678.
Este valor indica que hay un variación clara en el mismo sentido entre el porcentaje de conclusión, y por tanto de exíto en el curso, y la progresión en el carácter divergente de la modalidad de evaluación.
Es claro que el coeficiente de correlación no implica una relación funcional de ningún tipo, sólo nos pone ante una variación coincidente de dos variables. Lo que procedería sería en este punto hacer una investigación con su correspondiente diseño experimental para confirmar esta hipótesis.
Es razonable pues, como decíamos en la entrada anterior, pensar que existe una correlación entre aprendizaje divergente y creatividad por un lado y permanencia o éxito en el MOOC por otro, que más allá del análisis a partir del indice de Pearson, podemos pensar que se se basa en la cualificación de los maestros y en la interacción de estos con los alumnos. La evaluación de pares, al tener justamente una correlación inversa con el aprendizaje divergente, la inhibe.
Hasta aquí las conclusiones más importantes de esta serie de entradas, pero el trabajo de Jordan (2013b) permite obtener más pistas sobre lo que está pasando en esta cuestión, así como una posible forma de proceder para descartar que este efecto fuera causado por otra variable.
De esta forma alguien podría pensar que intervienen otros factores en la permanencia de alumnos como es la masificación. Es claro en la gráfica que al aumentar la masificación disminuye el porcentaje de permanencia, la recta de regresión de x sobre y tiene una pendiente negativa:
Pero esto sucede de igual medida para los tres tipos de evaluación, lo que se podría ver en las gráficas de cada una de las modalidades de evaluación:
O también estimando la recta de regresión y obteniendo el coeficiente de correlación entre porcentaje de conclusión y número de inscritos. O número de concluidos.
Al no haber escalas homogéneas de las dos variables renunciamos a calcular la regresión de Y sobre X, y la recta de regresión. Sin embargo sí es significativa la correlación entre el número de inscritos (X) y el porcentaje de alumnos que completan el MOOC (Y). El coeficiente de correlación de Pearson es -0,78053832. Por tanto es cierto y podemos decir que existe una variación conjunta inversa entre número de inscritos y el porcentaje de alumnos que concluyen. Sin embargo podríamos ver que no afecta al resultado anterior porque esa variación se produce con igual intensidad en los tres tipos de evaluación: Por pares, mixta y autoevaluación. Dejamos al lector que compruebe esto.
Esto es cierto y podríamos plantear la cuestión de otra forma, concluyendo que el aprendizaje divergente correlaciona con la menor masificación. Sin embargo podemos rebatir fácilmente esta objeción viendo que en todos los intervalos los cursos de autoevaluación están por encima claramente de los de evaluación por pares en el porcentaje de conclusión:
Igual sucede si filtramos por universidad, como podemos ver en las de Edimburgo, Stanford o en la de:
Igual sucede si el filtro lo hacemos por plataforma:
La idea que se expone en estas entradas es que existe una correlación directa entre aprendizaje divergente y creatividad, por un lado, y permanencia o éxito en el MOOC por otro, y que la evaluación de pares, al tener justamente una correlación inversa con el aprendizaje divergente, la inhibe. Sin embargo lo que se ha expuesto no constituye una prueba de que sea así, solo son ideas y reflexiones hechos a partir del análisis de los datos ofrecidos por el estudio de Jordan (2013b), que tampoco tiene carácter de prueba en cuanto a que la muestra no se ha obtenido con una metodología estadística que garantice aleatoriedad, equiprobabilidad, intervalo de confianza, etc. Pero sí son datos fidedignos. Hay una realidad que se ha investigado y hay un registro organizado de esos datos, con un estimable sistema de filtrado. Igual sucede con las afirmaciones que hemos hecho vinculando aprendizaje divergente con motivación y permanencia en el MOOC, y con otras estimaciones: no tienen carácter de prueba, solo son estimaciones.
Sin embargo tienen el valor de constituir, bajo mi punto de vista, un conjunto de ideas con sentido y cohesión lógica Harían pues falta por tanto investigaciones hechas con el rigor que dan las herramientas y métodos de análisis, validación y contraste de hipótesis para que:
a) El estudio que suministra los datos tenga las garantías señaladas de representatividad de la muestra.
b) Evidencie el vínculo entre permanencia, motivación y aprendizaje divergente de los alumnos creativos o que adquieren competencias creativas.
c) Realizar los cálculos que pongan de relieve que la influencia de la masividad en la permanencia es común a todos los casos independientemente del tipo de evaluación que se produzca en el MOOC,
d) Realizar cálculos y estudios gráficos y analíticos que validen el resto de estimaciones que se han expuesto, y valoren el grado en el que se producen.
Esperamos por último haber suministrado a centros, y a equipos de profesores y de diseñadores instruccionales, algunas claves, o al menos algunos elementos de reflexión, para un trabajo y unos resultados más eficientes cuando se planteen poner en marcha programas formativos que incluyan como objetivos el desarrollo de competencias creativas.
Referencias.-
Jordan, K. (2013a). Synthesising MOOC completion rates. http://moocmoocher.wordpress.com/2013/02/13/synthesising-mooc-completion-rates/
Jordan, K. (2013b). MOOC Completion Rates: The Data. http://www.katyjordan.com/MOOCproject.html