Retos actuales en Learning Analytics

 

Vivimos en una etapa en la que la tecnología se erige como uno de los principales motores del cambio social. Los avances en los últimos años han provocado cambios profundos en diversos  ámbitos de la sociedad y no son pocos los autores que hablan de la relación de dependencia entre la transformación digital y el bienestar social o el progreso económico. Sin entrar a valorar estas opiniones, lo que sí es cierto es que el desarrollo tecnológico aparece muy ligado a las últimas generaciones (e.g. generación Y, generación Z) y a recientes fenómenos sociales como la llamada cuarta revolución industrial y la sociedad del conocimiento.

Ahora bien, si hablamos de motores del cambio social, hay que situar a la educación en la posición principal. Al fin y al cabo, la educación modula el progreso del ser humano y la forma en la que éste ve y entiende el mundo. Desde la perspectiva tecnológica, en Gradiant sabemos de esta importancia y trabajamos con la ilusión de aportar nuestro granito de arena en la mejora educativa. No en vano, el principal objetivo de la organización es la mejora de nuestro entorno a través de la innovación tecnológica de las TIC y ¿hay mejor manera de impulsar el crecimiento de la sociedad que trabajar en la mejora de los procesos de enseñanza-aprendizaje?

 

“Particularizando el objetivo principal del centro, la misión de la línea de eLearning es facilitar el aprendizaje y mejorar el rendimiento educativo a través de la creación, la utilización y la administración de procesos y recursos tecnológicos”

 

Éste es el primero de una serie de artículos para analizar la relación entre tecnología y educación, las mejoras impulsadas por la tecnología en diferentes ámbitos educativos (escolar, educación superior, corporativo), las últimas tendencias en innovación educativa o la situación de nuestro entorno en este marco. Todo ello desde el punto de vista de las apuestas y soluciones tecnológicas que desarrollamos en Gradiant.

Learning Analytics

En la literatura podemos encontrar diversas definiciones de Learning Analytics [1]. Pensando en las aproximaciones seguidas en nuestros proyectos, y siendo pragmáticos, quizás la definición de Johnson, Adams, & Haywood de 2011 [2] sea una de las más acertadas:

 

“Learning Analytics se refiere a la interpretación de un amplio rango de datos generados y recolectados en nombre del estudiante para evaluar su progreso académico, predecir su rendimiento futuro, y localizar problemas potenciales. Los datos son recolectados de acciones explícitas de los estudiantes, como la realización de ejercicios evaluables o exámenes, y de acciones tácitas, incluyendo las interacciones sociales, las actividades extracurriculares, las publicaciones en un foro de discusión y otras actividades no evaluadas directamente como parte del progreso educacional del estudiante. El objetivo de Learning Analytics es apoyar a profesores y centros educativos en el proceso de adaptación de sus oportunidades de aprendizaje al nivel de necesidad y habilidad de sus estudiantes en tiempo real (o con un margen bastante ajustado).”

 

Estamos hablando, por tanto, de un proceso de medición, recolección, análisis e interpretación de datos que permite aprovechar los avances en diversas disciplinas e.g. (las ciencias de la información, la sociología, las ciencias de computación, la estadística, la psicología, las ciencias del aprendizaje, el educational data mining) para poder sacar el máximo rendimiento a la vasta cantidad de datos que se producen en las actividades educativas y, a partir de ellos, adaptar la educación a los estudiantes de manera efectiva.

Learning Analytics vs. Educational Data Mining

Dentro de las disciplinas relacionadas o de utilidad en los sistemas de Learning Analytics, destaca el Educational Data Mining. Este hecho, unido a sus contextos de aplicación, provoca que de forma habitual se mezclen ambos conceptos. Buscando establecer una diferenciación clara entre ambos Bienkowski, Feng, & Means [3] establecen lo siguiente:

 

“EDM desarrolla métodos y aplica técnicas estadísticas, de machine learning y data mining para analizar datos recogidos durante la enseñanza y el aprendizaje. Prueba teorías de aprendizaje y las comparte para la práctica educativa. Learning Analytics aplica técnicas de las ciencias de la información. Sociología, psicología, estadística, machine learning y data mining para analizar los datos recogidos durante la administración y servicios educativos, la enseñanza y el aprendizaje. Learning Analytics crea aplicaciones que influyen directamente en la práctica educativa”

Además, de forma más esquemática, define una serie de diferencias:

• Learning Analytics no enfatiza en reducir el aprendizaje a componentes individuales. Por contra, trata de comprender sistemas completos y apoyar a administradores y educadores en la toma de decisiones.
• Learning Analytics generalmente no aborda el desarrollo de nuevos métodos computacionales para el análisis de datos sino que se centra en la aplicación de métodos y modelos conocidos para resolver cuestiones que afectan al aprendizaje del estudiante
• Educational data mining se centra en generar respuestas automáticas y/o generadas por el sistema mientras que learning analytics busca la participación del ser humano en el proceso a través de la adaptación del contenido instruccional, la intervención con estudiantes en riesgo y la provisión de comentarios (feedback)
• En Learning Analytics se puede emplear la analítica de redes sociales para descubrir relaciones entre los estudiantes y metadatos sociales o “de atención” para determinar su compromiso

Estas diferencias nos parecen importantes para destacar la influencia que buscan las soluciones de learning analytics en la práctica educativa y la orientación hacia el apoyo a los actores involucrados en dicha práctica. Decía Albert Einstein: “Temo el día en que la tecnología sobrepase nuestra humanidad. El mundo solo tendrá una generación de idiotas”. Los sistemas de Learning Analytics no buscan sustituir al ser humano o “sobrepasar nuestra humanidad”. Su objetivo es servir de soporte en el desarrollo de una experiencia educativa para que ésta sea más eficaz y adaptada a las necesidades de sus protagonistas.

En Gradiant planteamos nuestras soluciones en torno a este objetivo, destacando el proyecto SIMPLIFY, un sistema inteligente con motor psicométrico para el apoyo del docente a partir de la información de contenidos digitales; o la Unidad Mixta Netex-Gradiant “Smart Lifelong Learning para la industria del futuro y la sociedad del conocimiento”, que aborda objetivos más enfocados a la industria y a las empresas:

• Investigación y desarrollo de nuevos modelos metacognitivos para la medición del aprendizaje
• Investigación y desarrollo de soluciones formativas que faciliten el lifelong learning y el aprendizaje por competencias
• Investigación y desarrollo de mecanismos de instrucción adaptativa

El interés en Learning Analytics

En la actualidad la investigación en Learning Analytics goza de una estupenda salud. Quizás impulsada por su inclusión en el informe Horizon 2011 [4] como una de las tecnologías emergentes en el ámbito educativo, en estos últimos años ha visto un aumento notable en su estudio. Así, de una manera u otra, se ha seguido reflejando en todos los sucesivos informes  (Horizon):

• En las ediciones para Higher Education del 2012 y 2013 y en las ediciones para K-12 (educación escolar) para 2013 y 2014 se referencia a Learning Analytics como una tecnología a seguir de cerca y se indica un plazo de dos o tres años como periodo probable en los que se incorporará a mercado (perspectiva a medio plazo)
• En la edición de Higher Education del 2015 aparece ya apuntada como tendencia que acelera la adopción de nuevas tecnologías a medio plazo (avances en los próximos tres a cinco años)
• En la edición de K-12 del 2015 se menciona la importancia del progreso de Learning Analytics para avanzar en la tendencia de uso de escenarios de blended-learning o aprendizaje combinado (trabajo online controlado por el alumno combinado con trabajo práctico en las clases presenciales)
• En la edición para Higher Education del 2016 vuelve a aparecer como una tecnología de especial importancia pero ahora con un tiempo de adopción en mercado de un año o menos
• En la edición de K-12 para 2017 aparece como tendencia para la adopción de nuevas tecnologías en el aula para los próximos tres a cinco años

 

“El proyecto Horizon de NMC es una iniciativa global de investigación que explora las tendencias, retos, y desarrollos tecnológicos con potencial impacto en la enseñanza, el aprendizaje y la investigación creativa. Fundado en 2002, y a través de informes temáticos (NMC Horizon reports), proporciona una visión intersectorial de actividades disruptoras en educación universitaria, educación escolar, o en el ámbito de bibliotecas y museos.”

 

Además, en el último lustro se han lanzado exitosas iniciativas relacionadas con la divulgación y la investigación como:

• Conferencia Internacional sobre Learning Analytics y Conocimiento (LAK), que durante 2018 celebrará su octava edición;
• Proyectos SolAR (SoLAR), Learning Analytics Community Exchange (LACE) o Predictive Analytics Reporting Framework (PAR)
• Learning Analytics Summer Institutes (LASI), organizados por SoLAR (Society for Learning Analytics Research)
• Revista científica Journal of Learning Analytics (JLA)
• Seminarios sobre Learning Analytics de la Universidad de Michigan (SLAM)

De manera más informal podemos también ponderar el interés usando la herramienta que proporciona Google para explorar los temas de búsqueda más populares en su buscador. La siguiente imagen muestra el crecimiento en las búsquedas de “Learning Analytics” como tema y como término de búsqueda entre el 2012 y 2017.

Evolución de las búsquedas de Learning Analytics (theme) & learning analytics (search term). 2012-2017. Google Trends. October 2017

Retos en Learning Analytics

A pesar de ser un campo de investigación todavía emergente, como ya comentamos, en los últimos años se han realizado importantes avances en este ámbito. No obstante, como cualquier cambio derivado del desarrollo tecnológico, el Learning Analytics debe enfrentarse todavía a ciertos retos de importancia, de los que destacamos [5]:

1. Construcción de conexiones robustas con las ciencias del aprendizaje: el proceso de entender y optimizar el aprendizaje requiere un conocimiento exhaustivo de cómo se produce, cómo puede ser soportado, y qué importancia tienen factores como la identidad o la reputación.
2. Desarrollo de métodos que permitan trabajar con diferentes conjuntos de datos para optimizar los entornos de aprendizaje: buscando un aprendizaje permanente en entornos más abiertos e informales, los estudiantes necesitan soporte para llevar su aprendizaje fuera de los típicos LMS. Esta situación requiere un cambio hacia conjuntos de datos más complejos y heterogéneos que pueden incluir datos móviles, biométricos o afectivos.
3. Enfoque en el alumno: es necesario centrarse más en análisis relacionados con las necesidades del propio alumno que en los basados en las necesidades de las instituciones. Así, es crucial extender los criterios de éxito del aprendizaje más allá de las calificaciones y la persistencia para incluir variables como la motivación, la confianza, el disfrute y la consecución de metas.
4. Desarrollo y aplicación de un conjunto claro de normas éticas: la recolección de datos sobre los alumnos y su posterior tratamiento debe estar consentida y correctamente justificada. En la actualidad no existen procedimientos estándar para informar sobre los datos recolectados, consentir o acotar su uso. Por esta razón es necesario por definir de forma clara y concisa los derechos de los alumnos y las responsabilidades de las entidades que usen procesos de Learning Analytics.

En mayor o menor medida, todos ellos han sido abordados por Gradiant en los últimos años:

• En cuanto a las conexiones con la ciencia del aprendizaje, hemos investigado dichas conexiones para plantear soluciones que ayuden a la comprensión del proceso de aprendizaje, e.g. trazado pormenorizado de experiencias educativas, análisis de uso de contenidos, captura de errores comunes en el proceso (usando Frequent Pattern Mining), identificación de usuarios centrales (usando Social Network Analysis), etc.
• En los métodos para trabajar con diferentes conjuntos de datos, podemos destacar, entre otras, la implementación de (1) herramientas de tipo ETL para soportar diferentes tipos de fuentes; (2) herramientas de transformación de eventos a un formato común (xAPI); (3) librerías cliente (JS) para capturar eventos en contenidos o plataformas de cliente; y (4) extensiones de navegador para capturar eventos sobre cualquier fuente web.
• En el de enfoque en el alumno, hemos desarrollado algoritmos que permiten caracterizarlo en base a dimensiones de aprendizaje (e.g. autonomía, social, rendimiento, esfuerzo, motivación) y, en torno a ellas, plantear recomendaciones de actividad, recomendaciones de trabajo grupal y/o alertas de intervención bien para uso directo del alumno, bien como soporte al profesor en su tarea de definir la estrategia de acción ante situaciones de riesgo (e.g. fracaso escolar, bajada de intensidad en el proceso educativo). Además, hemos mimado siempre la representación de dicha información y la adaptación de la misma a sus destinatarios.
• Sin haber desarrollado un conjunto de normas éticas o una política a tal efecto, sí que hemos puesto el foco en documentar qué tipo de datos se capturan y cuál es el uso que se hace de ellos en cada caso. Por supuesto, también se han respetado las obligaciones legales al respecto del tratamiento de datos de carácter personal.

Estrechamente ligados a estos desafíos podemos señalar ciertas necesidades o ‘retos de carácter más tecnológico:

1. Interoperabilidad: si antes comentábamos la obligación de considerar e interpretar fuentes de datos heterogéneas y ubicuas, desde un punto de vista más técnico podemos señalar la necesidad de construir sistemas interoperables que permitan captar información de diferentes fuentes.
2. Desafío Big Data: tanto la consideración de conjuntos de datos heterogéneos como el propio volumen de ese tipo de información obliga a mejorar la eficiencia computacional de los algoritmos utilizados en su recolección y procesamiento.
3. Estrategia de recolección y análisis de la información: los datos que se mantienen y se procesan en el sistema deben estar correctamente alineados con las preguntas a las que éste pretende dar respuesta con un modelado adecuado.
4. Seguridad: en línea con la necesidad de preservar la privacidad de los estudiantes y regular la propiedad y el uso de los datos generados en su proceso de aprendizaje es necesario establecer mecanismos que aseguren el intercambio de información en los diferentes entornos de aprendizaje y su posterior almacenamiento.

También aquí podemos destacar algunos ejemplos que reflejan nuestra propuesta para los diferentes retos:

• En lo que se refiere a interoperabilidad, recolección y análisis, hemos enfocado nuestras soluciones en torno a la especificación xAPI, estándar de aprendizaje con estrategias para estructurar y almacenar las interacciones en una experiencia de aprendizaje. Por un lado, por su propia condición de estándar, nos permite afrontar con garantías la construcción de sistemas heterogéneos que capturan datos de diversas fuentes. Por otro, nos da ciertas directrices para almacenar y recuperar los datos de forma unificada y, a partir de aquí, para alinear las propuestas de los módulos de análisis en base a esta forma de almacenamiento.
• Para afrontar el reto de Big Data, desde un punto de vista pragmático, para la construcción de los módulos de análisis hemos revisado y usado distintos frameworks con soporte al procesamiento de grandes cantidades de datos.
• Por último, en lo que se refiere a la seguridad de los datos, en algunos de nuestros proyectos hemos planteado estrategias de anonimización y de-identificación para preservar la privacidad de los actores involucrados en las experiencias educativas. Además, como ya comentamos previamente, se ha tenido en cuenta la legislación vigente en lo relativo a protección de datos en los ámbitos de aplicación de los proyectos.

 

---

Autor: Agustín Cañas, Responsable de eLearning del área de Servicios y Aplicaciones en Gradiant

---

 

Referencias

[1] Chatti, M., Dyckhoff, U., Schroeder, U., & Thüs, H. (2012). A Reference Model for Learning Analytics. International Journal of Technology Enhanced Learning (IJTEL) – Special Issue on “State-of-the-Art in TEL” , 318-331.

[2] Johnson, L., Adams, S., & Haywood, K. (2011). The NMC Horizon Report: 2011 K-12 Edition. Austin, Texas: The New Media Consortium.

[3] Bienkowski, M., Feng, M., & Means, B. (2012). Enhancing Teaching and Learning Through Educational Data Mining and Learning Analytics: An Issue Brief. Washington, D. C.: U.S. Department of Education.

[4] Horizon. (s.f.). NMC Horizon reports. Recuperado el 06 de 10 de 2017, de NMC website: https://www.nmc.org/publication-type/horizon-report/

[5] Ferguson, R. (2012). Learning Analytics: drivers, developments, and challenges. International Journal of Technology Enhanced Learning, 304-317.

 

 

 

Proyecto SIMPLIFY

SIMPLIFY es un proyecto de I+D financiado por la Secretaría de Estado de Investigación, Desarrollo e Innovación, con expediente nº RTC-2015-4329-7 a través de la convocatoria Retos-Colaboración del Programa Estatal de Investigación, Desarrollo e innovación orientada a los retos de la Sociedad, en el marco del Plan Estatal de Investigación científica y técnica y de innovación 2.013-2.016.

 

 

 

 

UMI Netex – Gradiant

Subvencionada por la Agencia Gallega de Innovación mediante el Programa Unidades Mixtas de Investigación 2016, la unidad mixta Smart Lifelong Learning para la Industria del Futuro y la Sociedad del Conocimiento está cofinanciada por la Unión Europea, en el marco del Programa Operativo FEDER Galicia 2014-2020, para promover el desarrollo tecnológico, la innovación y una investigación de calidad.

Apoyado por la Consellería de Economía, Empleo e Industria de la Xunta de Galicia

FEDER, una manera de hacer Europa