Una Solución para la Administración del Ciclo de Vida de Learning Analytics en un LMS: AnalyTIC

Como ci a es e a ículo: F. A. Simanca He e a, R. G. C espo, L. R. Baena and D. Bu gos, "A Solu ion o Manage he Full Li e Cycle o Lea ning Analy ics in a Lea ning Managemen Sys em: AnalyTIC," in IEEE Re is a Ibe oame icana de Tecnologias del Ap endizaje, ol. 14, no. 4, pp. 127-134, No . 2019, doi: 10.1109/RITA.2019.2950148. Una Solución pa a la Adminis ación del Ciclo de Vida de Lea ning Analy ics en un LMS: AnalyTIC F edys Simanca, Rubén Gonzalez, Luis Rod iguez, Daniel Bu gos Ti le – A Solu ion o Manage he Full Li e Cycle o Lea ning Analy ics in a Lea ning Managemen Sys em: AnalyTIC Abs ac – Lea ning Analy ics (LA) has a signi ican impac in lea ning and eaching p ocesses. These p ocesses can be imp o ed using he a ailable da a e ie ed om s uden s’ ac i i y inside he i ual class ooms o a lea ning managemen sys em (LMS). This p ocess equi es he de elopmen o a ool ha allows one o handle he e ie ed in o ma ion p ope ly. This pape p esen s a solu ion o his need, in he o m o a de elopmen model and ac ual implemen a ion o an LA ool. Fou phases (Explana ion, Diagnosis, P edic ion and P esc ip ion) a e implemen ed in he ool, allowing a eache o ack s uden s’ ac i i y in a i ual class oom ia he Sakai LMS. I also allows o he iden i ica ion o use s who ace challenges in hei academic p ocess and he ini ia ion o pe sonalised men o ing by he eache o u o . The use o he ool was es ed on g oups o s uden s in an algo i hms cou se in he pe iods 2017-1, 2017-2, 2018-1 and 2018-2, wi h a o al o 90 s uden s – in pa allel wi h he con ol g oups in he same pe iods ha o alled 95 s uden s – ob aining supe io a e ages in he es g oups e sus he con ol g oups, which e idenced he unc ionali y and u ili y o he so wa e. Index Te ms – Lea ning Analy ics, Educa ional Technology, Online Educa ion, Pe sonalised Lea ning, Pe sonalised Men o ing F.A. Simanca, Uni e sidad Coope a i a de Colombia. A enida Ca acas 37-63, Bogo á – Colombia. E-mail: [email p o ec ed]. ORCID: 0000-0002-3548-0775 R. Gonzalez, Uni e sidad In e nacional de la Rioja, Rec o ado – A da. de la Paz, 137, Log oño, La Rioja. E-mail: uben.gonzalez@uni .ne . ORCID: 0000-0001-5541-6319 L. Rod iguez, Uni e sidad In e nacional de la Rioja, Rec o ado – A da. de la Paz, 137, Log oño, La Rioja. E-mail: luis. od iguez@uni .ne . ORCID: 0000-0002-0536-4466 D. Bu gos, Uni e sidad In e nacional de la Rioja, Rec o ado – A da. de la Paz, 137, Log oño, La Rioja. E-mail: daniel.bu gos@uni .ne . ORCID: 0000-0003-0498-1101 I. INTRODUCCIÓN LAS ecnologías de la in o mación y la comunicación se han con e ido en un ins umen o que acili a los p ocesos de enseñanza y ap endizaje. El c ecien e auge que és as en en an pe mi en con oca di e en es espacios como los i uales, que de umban b echas pa a odo aquel que desee ap ende ; de es a o ma, se buscan mecanismos que pe mi en ene un con ol sob e los a ances del ap endizaje de cada es udian e, en e es os encon amos el Lea ning Analy ics (LA), que pe mi e a las ins i uciones educa i as y a los docen es ob ene conocimien o sob e los a ances de sus es udian es [1] pa a ealiza in e enciones y mejo a los esul ados del ap endizaje [2],[3],[4]. Es e in e és es á mo i ado po la necesidad de comp ende mejo la enseñanza/ap endizaje, el “con enido in eligen e”, la pe sonalización y adap ación [5], [6]. Po consiguien e, las ins i uciones en en an nue os e os, no solo de cómo ob ene y ap o echa es a in o mación, sino cómo aplica la en los p ocesos de enseñanza-ap endizaje, pe mi iendo ene mayo con ol y ap o echa al máximo cada uno de los ecu sos disponibles pa a que el es udian e pueda inaliza exi osamen e los cu sos y de és a mane a mejo a la asa de e ención; ealizando in e enciones a iempo y conduci al éxi o es udian il. El ene la in o mación pe mi e mejo a la oma de decisiones, modi ica los ecu sos educa i os e iden i ica casos de iesgo [7]; iden i icando las o alezas y debilidades de los es udian es se puede hace planes de mejo a [1],[3]. Con base a lo an e io , y aunque exis an en o nos de ap endizaje que a ojen da os de o ma au omá ica, la explo ación de dicha in o mación pa a el ap endizaje y la enseñanza es oda ía muy limi ada [8]. Po an o, se c eó el so wa e AnalyTIC que desa olla y aplica las 4 ases de LA [9]. Su p incipal unción es c ea ambien es de u o ización pe sonalizada con cada es udian e, median e la gene ación de in o mes de diagnós ico que pe mi en hace una es imación de lo que puede llega a pasa con el es udian e y pode ealiza un seguimien o de és e pa a que inalice exi osamen e el cu so. Con és e so wa e se iene como obje i o, en su p ime a ase b inda al docen e in o mación que se encuen a en el aula i ual de cada uno de sus es udian es; en la segunda pode iden i ica los es udian es que es án en pelig o de pé dida del espacio académico; en la e ce a una es imación del posible esul ado del es udian e de acue do a las no as adqui idas has a el momen o, y la úl ima ase le si e al docen e pa a b inda una u o ía pe sonalizada que ayude a mejo a el endimien o académico de los alumnos in e enidos [10]. Se espe a en onces que la in e ención que ealice el docen e al es udian e y la adap ación de los con enidos del cu so mejo e el endimien o académico, y que sea una he amien a undamen al pa a la oma de decisiones po pa e del docen e. El a ículo mues a cómo se desa olló el so wa e AnalyTIC, el cual se alidó pos e io men e con cua o (4) cu sos de la asigna u a Algo i mia en los pe iodos 2017-1, 2017-2, 2018-1 y 2018-2, con un o al de 90 es udian es. En es a pla a o ma se e idencia on los 4 ases mencionadas an e io men e po medio de ases que pe mi ie on la e aluación de cada una de es as, de es a mane a a oja los da os y egis os necesa ios pa a la oma de decisiones, gene ando en es e un ambien e más pe sonalizado, pe mi iendo al docen e ene un ol más ac i o en el p oceso de u o ización y seguimien o de cada es udian e. El abajo se o ganiza como sigue; en la sección II (Ma e iales y Mé odos), explica cómo se ha es udiado el p oblema, y se desc ibe el p oceso de análisis, diseño, desa ollo e implemen ación de la solución, luego en la sección III (Resul ados), se p esen an los esul ados encon ados en la p ueba ealizada con los g upos de p ueba de la he amien a diseñada, la sección IV ( E aluación de la he amien a), se desc iben los di e en es mé odos usados pa a e alua la pe inencia del modelo desa ollado; la sección V (Discusión), se esal an la signi icancia de los hallazgos encon ados; y inalmen e se es ablecen las conclusiones alcanzadas en el desa ollo y pos e io p ueba del so wa e. A. Es ado de la cues ión LA se aplica a los p ocesos de ap endizaje de los es udian es median e cua o ases [9]: Fase 1 Explica . Visualización de los da os en iempo p esen e y pasado, esponde a las p egun as: ¿qué ha pasado? y ¿qué es á pasando? Fase 2 Diagnos ica . Análisis de las isualizaciones, en iempo p esen e y pasado, esponde a las p egun as: ¿cómo y po qué pasó? y ¿cómo y po qué es á pasando? Fase 3 P edeci . In e p e ación del análisis, en iempo u u o, esponde a la p egun a: ¿qué puede pasa ? Fase 4 P esc ibi . In e p e ación de las p edicciones o análisis, iempo p esen e y u u o, esponde a las p egun as ¿cómo podemos ac ua ? y ¿cómo p e eni lo nega i o y po encia lo posi i o? Algunos LMS (Lea ning Managamen Sys em), como Moodle y Blackboa d han abo dado es a emá ica, y es así como el p ime o de ellos implemen a el LA en el Ni el 1 median e un plugin llamado Sma Klass, p esen ando indicado es y log os sob e los a ances del ap endizaje de los es udian es, pe mi iendo c ea epo es po pa e del p o eso . Puede p edeci , pe o es á limi ada en su empo alidad, ya que es a se ejecu a sob e cu sos p e iamen e comple ados, los ni eles al an es no se han implemen ado o no se ejecu an en iempo eal. Po o a pa e, Blackboa d ealiza un esumen po medio de la c eación de in o mes que pe mi en isualiza los a ances del ap endizaje de los es udian es omando los da os de las ac i idades ealizadas, hace p edicciones a pa i de dicha in o mación, pe mi iendo a los p o eso es cen a se en los es udian es que ienen mayo di icul ad. Es as pla a o mas ealizan una ecopilación de da os, que son de ayuda pa a el análisis de los p ocesos de ap endizaje de los es udian es y sus di icul ades pa a alcanza los log os p opues os po el cu so [11], aunque no abajan en o alidad las ases plan eadas po [9], po an o, es una necesidad desa olla he amien as que las apliquen y que pe mi an al docen e ene da os en iempo eal sob e el es ado educacional de los es udian es, y pode oma decisiones de cómo mejo a su endimien o, y de es a o ma c ea ambien es de u o ización pe sonalizada [12] de acue do a las di icul ades de cada es udian e, y de su pe il y no en o ma gene al. Po o a pa e, como se puede encon a en el in o me Educause Ho izon 2016 [13], el p oyec o de ap endizaje A4 Lea ning [14], [15] di igido po la Uni e sidad In e nacional de la Rioja (UNIR), combina écnicas de da os con isualización de in o mación, p opo cionando a cada alumno, in o mación con inua que le pe mi e pensa c í icamen e sob e su ap endizaje y sus obje i os. Es a ins i ución 100% en línea ambién desa olla el p oyec o iLIME [15], cuyo p opósi o es elabo a e implemen a un sis ema au oma izado de ecomendaciones de i ine a ios con el obje i o de ayuda a los maes os a hace ecomendaciones pe sonalizadas a los es udian es. El Colegio Río Salado, la Uni e sidad de Ha a d y la Uni e sidad Es a al Aus in Peay son es ejemplos en e o os que igu an en el Si io web Educause [16], que si en pa a ilus a cómo el uso de LA pe mi e apoya el éxi o es udian il e ins i ucional. Rio Salado [17] implemen a he amien as de ap endizaje de Analy ic pa a p edeci el iesgo [18], el compo amien o de los ac o es de ac i idad, como los inicios de sesión o la pa icipación en el si io, y pa a p opo ciona les espues as in e medias. De acue do con la e is a Educause [19], pe mi e a los ins uc o es abo da al es udian e que necesi a más ayuda pa a p omo e la e ención. La Uni e sidad de Ha a d [20], mina los da os del aula usando un sis ema llamado Lea ning Ca aly ics, con la o iginalidad de que sopo a ins ucción en e iguales, un pa ón básico de ap endizaje/enseñanza. Es e iden e, que LA desempeña un papel impo an e en la mejo a de la calidad global y la e iciencia del ap endizaje y la enseñanza, a a és de una mejo comp ensión del p oceso educa i o, una e aluación más comple a de los es udian es y la pe sonalización de la educación, pe mi iendo disminui la dese ción de los es udian es. Como se mues a en un es udio ealizado po Hano e Resea ch, y mencionado en [13]: “Los es udian es ienen un deseo de e oalimen ación inmedia a y con inua a medida que ap enden”. Ex apolado de algunos es udios de casos hechos in e nacionalmen e, se puede a i ma que la aplicación AnalyTIC pod ía signi ica con ibuciones en á eas como [21]: Pa a mejo a la calidad: Los educado es pod ían mejo a su p opia p ác ica en unción de la in o mación p opo cionada po AnalyTIC. Pa a aumen a la asa de e ención: El análisis pe mi e a las ins i uciones iden i ica a los es udian es en iesgo en una e apa emp ana e in e eni con consejos, ma e iales adicionales y ac i idades al e na i as. Pa a pe mi i el desa ollo del ap endizaje adap a i o: Es á su giendo el ap endizaje adap a i o pa a ayuda a los es udian es a desa olla habilidades y conocimien os de una mane a más pe sonalizada y au odidac a [22]. II. MaTeRIales y MéTODOs Se desc iben a con inuación los ma e iales y el mé odo de es udio usado pa a desa olla el so wa e AnalyTIC y su pos e io alidación con los g upos de p ueba; se desc ibe inicialmen e la población en la cual se aplicó la he amien a, la p opues a del modelo, el diseño y la desc ipción del modelo desa ollado. A. Población y mues a La in es igación se lle ó a cabo en la Uni e sidad Coope a i a de Colombia, en la ciudad de Bogo á, D.C.- Colombia, acul ad de Ingenie ías, especí icamen e en el p og ama de Ingenie ía Ambien al, con es udian es de la asigna u a Algo i mia. Es e espacio académico hace pa e de las asigna u as de p ime semes e; desa olla compe encias ans e sales; es deci , se encuen a den o del cu ículo de odos los p og amas de Ingenie ía. La alidación de la he amien a ue lle ada a cabo en los pe iodos 2017-1, 2017- 2, 2018-1 y 2018-2. En la abla 1 se de alla la población o al del p og ama y la mues a omada pa a ealiza la alidación de la he amien a. La asigna u a de Algo i mia se compone de es (3) c édi os, los cuales se abajan así: 48 ho as p esenciales y 96 de abajo independien e po pa e del es udian e; es una asigna u a eó ica p ác ica. B. P opues a del modelo El modelo p opues o se basa en las ases de inidas po [9], pa a la implemen ación de las ases de LA, en la Fig. 1 se ilus an dichas ases. Es a es uc u a po ases ue la que se u o en cuen a pa a el diseño de la he amien a p opues a, buscándose que pe mi ie a la aplicabilidad de las cua o e apas mencionadas an e io men e. C. Diseño del modelo Según [23] odo p oceso de desa ollo en el á ea de la ingenie ía, debe con empla las ases de: Análisis, P o o ipado, Diseño y Cons ucción, siguiendo es e p oceso se de e minó en cada una de las e apas, lo siguien e: E apa de Análisis. En es a p ime a e apa se p ocedió a de ini los obje i os que se deseaban alcanza con la he amien a, el p ime paso ue ob ene los da os, buscando esponde las p egun as: ¿cómo? ¿quién?, ¿qué?, ¿cuándo? y ¿dónde? El encon a la espues a a es as p egun as, e a undamen al, oda ez que a a és del análisis y sín esis es a in o mación se con ie e en conocimien o [24]. Como segundo paso se p ocedió a de ini los da os que se iban a ecolec a del aula i ual, se es ablecie on en onces: •Núme os de inicios de sesión •Tiempo o al de conexión po es udian e •Rendimien o indi idual s endimien o del g upo •Rendimien o indi idual po cada una de las ac i idades •No as de las ac i idades e alua i as •P omedio del cu so en cada una de las ac i idades e al- ua i as •Uso de ecu sos (Lec u a de ecu sos, Lec u a de Syl- labus, En ío de a chi os, e aluaciones en iadas, en e o os) En el e ce paso, buscando esol e las p egun as de ¿cómo y que paso?, y ¿cómo y po qué es á pasando?, se p ocedió con base a los da os ecolec ados diagnos ica el es ado ac ual del endimien o académico de cada uno de los es udian es, pa a ello se hizo una di isión del g upo en cua iles. El P ime cua il ep esen ado po Q1 co esponde al alo ob enido del conjun o de da os con o mado po las no as p omedio de los 39 es udian es del g upo de p ueba del cual puede a i ma se que el 25% de da os es meno a Q1; ambién se puede a i ma que el 75% de los da os es mayo que Q1. El p ime cua il co esponde al ein icincoa o pe cen il de la mues a. Se clasi icó en onces a odos los es udian es que se encon aban en Q1, como Es udian es en es ado c í ico [25], y se ían es os los de mayo in e és pa a el docen e en la oma de decisiones y la consecuen e o mulación de mejo as. En el cua o paso, se analizó la in o mación necesa ia buscando esponde la p egun a ¿qué puede pasa ?, y pa a pode despeja es a duda se p ocedió a la cons ucción de una ma iz de alo ación del iesgo. En es a ma iz se conjugó el p omedio acumulado de cada es udian e, y la p obabilidad de mejo a es e p omedio eniendo en cuen a el compo amien o de sus no as acumuladas y la compa ación y ubicación de sus no as con espec o a las no as ob enidas po los demás in eg an es del g upo. Pa a la cons ucción de dicha ma iz, se u o en cuen a la a iabilidad de las no as del es udian e e lejado es o en la des iación es ánda [26] de las no as acumuladas y el p omedio espec i o. Es os da os es adís icos desc ip i os dan al docen e elemen os de análisis pa a implemen a acciones de mejo a y así acili a al es udian e alcanza el p omedio mínimo eque ido. En la abla 2 se de alla la ma iz de acep abilidad del iesgo p opues a [27]. Y, po úl imo, se de e mina on las acciones de mejo a. Es es e uno de los pasos más impo an es de LA, buscando que Fig. 1. Fases de inidas de Lea ning Analy ics. Tabla I POblaCIÓN y MUesTRa TOMaDa PaRa ValIDaR la HeRRaMIeNTa Pe iodo Población G upo p ueba G upo con ol 2017-1 67 39 28 2017-2 28 14 14 2018-1 52 23 29 2018-2 38 14 24 los docen es puedan apoya se en la in o mación gene ada po el compo amien o académico del es udian e. Es a in o mación es ú il pa a la e aluación del cu so, p opo ciona una noción sob e ma e iales que se pueden segui usando, iden i ica los ac o es cla es de di icul ad de los es udian es cuándo es os inician su ac i idad académica [28]; pa a ello se de e mina on las siguien es acciones: •En ío de co eo con la opción de adjun a ma e ial. •En ío de ma e ial o de una di ección URL, y, po úl i- mo, •En ío de eco da o io de ac i idad p óxima a ence , con la posibilidad a adjun a documen os o en ia di- ecciones web. E apa de P o o ipado: Es a e apa se inicia con la de inición del obje i o gene al del so wa e, pa a luego pasa a iden i ica equisi os más especí icos, el modelo de p o o ipado es un modelo basado en p ueba y e o , a medida que se a a anzando en el desa ollo de la solución has a que el usua io quede sa is echo con los esul ados [29]. E apa de Diseño: Se de e minó aquí la me odología de desa ollo de so wa e más ap opiada, se decidió po una me odología ágil, dada su pe inencia y e ec i idad. Se seleccionó como e e en e y ca a écnica de desa ollo de la he amien a, la me odología Fea u e D i en De elopen (FDD), cons uida po Pe e Cuad y Je de Luca, en la década de los años 90 [30]. FFD se es uc u a en 5 p ocesos: •Desa olla el modelo global (De elop o e all model) •Cons ui una lis a de ca ac e ís icas (Build ea u e lis ) • Plani ica (Plan by ea u e) •Diseña (Design by ea u e), y •Cons ui (Build by ea u e) E apa de Cons ucción: En es a e apa se p ocedió a es udia y po encializa el impac o de las di e sas ecnologías exis en es en el escena io pa a el sopo e ecnológico, iden i icando cual e a la más indicada. De acue do a los eque imien os plan eados y al p opósi o mismo de la he amien a; se op ó po el desa ollo bajo ambien es lib es de licenciamien o, ue así que se decidió el desa ollo de la he amien a usando en p ime a ins ancia el LMS Sakai, po se un p oyec o de código abie o, como lenguaje p og amación PHP, mo o de base de da os MySQL, se ido web Apache, HTML5 y CSS, po cumpli odas es as he amien as con es a p emisa. En la Fig. 2 se esquema iza el desa ollo de la solución plan eada. D. Desc ipción de la a qui ec u a del sis ema La pla a o ma desa ollada es una he amien a que p e ende en onces auxilia al docen e en la iden i icación de es udian es con di icul ades en su p oceso de ap endizaje, aplicando las 4 ases de LA, y que és e enga in o mación que le pe mi a u o iza al es udian e y hace las espec i as modi icaciones al p oceso de enseñanza. De pa e del es udian e, le pe mi e conoce su ni el de desempeño s el desempeño del g upo, un diagnós ico de su si uación ac ual y una es imación de lo que puede sucede si con inua con el mismo desempeño. En la Fig. 3 se mues a la es uc u a de la pla a o ma, donde se obse a el conjun o de las opciones y su ol den o de la misma. La pla a o ma pod á se is a en cualquie disposi i o de esc i o io, po á il o mó il, lo único que se equie e es un na egado de in e ne . Módulo docen e. En el pe il docen e se pueden obse a la aplicación de las 4 ases de LA, es ablecidas po [9], el obje i o es b inda le a los docen es una he amien a que analice la in o mación del p oceso de ap endizaje de los es udian es, luego b inda in o mación necesa ia pa a que el docen e ome decisiones que conlle en a una mejo a de las p ác icas de la enseñanza, el módulo mues a el p og eso de cada alumno, sus di icul ades y pe mi e ealiza una e oalimen ación con dichos es udian es, como se puede obse a en la Fig. 4. Tabla II MaTRIz De aCePTabIlIDaD Del RIesgO Des iación Es ánda - Va iabilidad Ma iz de Acep abilidad del iesgo >2.00 Muy al a 1.51 a 2.00 Al a 1.01 a 1.50 Media 0.51 a 1.00 Baja 0.00 a 0.50 Muy baja 5.0-4.8 4.7- 4.0 3.9-3.0 2.9- 2.0 1.9-0.0 Supe io Al o Básico Bajo Muy bajo Con enciones: El es udian e muy segu amen e a alcanza el p omedio mínimo eque ido pa a ap oba el cu so El es udian e puede o no alcanza el p omedio mínimo eque ido, po an o, debe ealiza acciones de mejo a. El es udian e debe ealiza acciones de mejo a pa a alcanza el p omedio mínimo eque ido. Fig. 2. Esquema ización ecnológica del desa ollo de la solución. Fig. 3. Diag ama que mues a la es uc u a de AnalyTIC Módulo es udian e. La he amien a ambién pe mi e a los es udian es conoce su endimien o indi idual s endimien o del g upo, el a ance de su p oceso educa i o que lo han lle ado a ob ene dichas no as, un diagnós ico de su si uación ac ual y, po úl imo, una es imación de lo que puede ocu i si no se oman acciones de mejo a. Con es a in o mación el pod á hace una e oalimen ación de sus ac i idades pa a apoya y mejo a su desempeño académico. Cuen a con cua o opciones: Inicio, Explica , Diagnós ico y Es imación, como se e idencia en la Fig. 5. El desa ollo del modelo se puede encon a en la web en el siguien e link: h p://5.189.175.156/analy ics/, se puede ealiza el p oceso de egis o como docen e pa a pode usa la he amien a. III. ResUlTaDOs La alidación de la pla a o ma se ealizó aplicando la he amien a al g upo de es udian es de inidos en Población y mues a; en la abla 3 se de allan los p omedios alcanzados en cada uno de los semes es po el g upo de p ueba s g upo de con ol. Vale acla a que, en la uni e sidad Coope a i a de Colombia, donde se lle ó a cabo la p ueba, la escala e alua i a a de 0 a 5, siendo 0 la no a mínima y 5 la no a máxima, la no a eque ida pa a ap oba la asigna u a es de 3 y en el anscu so de la asigna u a se oman es co es. Po o a pa e, en la Fig. 6, se mues a un compa a i o de los p omedios inales alcanzados po los g upos de p ueba s los g upos de con ol en los pe iodos en los cuales se aplicó la he amien a. Se e idencia que los g upos en los que el docen e abajó la he amien a de LA, ob u ie on un mejo p omedio en las no as inales de la asigna u a, e idenciándose que el uso de he amien as que le pe mi e al docen e iden i ica es udian es con di icul ades, y que a pa i de es as pueda oma decisiones pa a cambia , modi ica o aseso a mejo sus es udian es se e e lejado en su endimien o académico. En el pe iodo 2017-1 el g upo de p ueba ob u o una no a p omedio de 4.2, mien as que el g upo con ol de 3.8, el g upo p ueba es u o cua o (4) décimas po encima del g upo con ol, en el pe iodo 2017-2, la di e encia ue de cinco (5) décimas, en el 2018-1 de una (1) décima y po úl imo en el pe iodo 2018-2, la di e encia del g upo de p ueba con espec o al g upo de con ol ue de dos (2) décimas. En las Fig. 7, 8, 9 y 10 se e idencia g á icamen e los esul ados ob enidos g acias a los p ocesos de u o ización adelan ados po el p o eso con aquellos es udian es que p esen a on di icul ades, en el p ime o segundo co e y Fig. 4. Opciones de la pla a o ma AnalyTIC módulo docen e Fig. 5. Opciones de la pla a o ma AnalyTIC módulo es udian e. Tabla III PROMeDIOs gRUPOs De PRUeba Vs gRUPOs De CONTROl Pe iodo G upo p ueba G upo con ol 2017-1 4.2 3.8 2017-2 4.0 3.5 2018-1 4.0 3.9 2018-2 4.1 3.9 Fig. 6. Compa a i o de no as G upo de p ueba Vs G upo con ol Fig. 7. No as ob enidas p ime co e s segundo co e, g upo de p ueba pe iodo 2017-1 Fig. 8. No as ob enidas segundo co e s e ce co e, g upo de p ueba pe iodo 2017-2 que, po sus no as en dichos co es, u ie on la a ención del docen e, co espondien es a los pe iodos 2017-1 y 2017-2. En es a p ueba lo único que se u o en cuen a ue la u o ía pe sonalizada a los es udian es pa a analiza su mejo a en el endimien o académico; y pa a alida si es a mejo a ue signi ica i a, aplica emos una p ueba s uden de co elación a cada uno de los pe iodos e aluados, dicha alidación se puede obse a en la abla 4. Donde, si el Valo de P <= al Ni el de Signi icancia, se acep a la mejo a, caso con a io se echaza la mejo a. Pa a el cálculo se usa un ni el de con ianza del 95%, po an o, el ni el de signi icancia se á del 5% (0.05). En un solo pe iodo (2018-1) el mejo amien o de las no as ob enidas po los es udian es no ue signi ica i o, cuando se pasó an solo de un p omedio de 3.5 a 3.8. Po el lado del es udian e, es e cuen a con es de las cua o ases; puede e su endimien o indi idual s el endimien o del g upo, jun o a un de alle de las no as alcanzadas has a el momen o (Explica ), como segundo el de alle del cua il en el cual se encuen a ubicado con espec o a odos los in eg an es del cu so (Diagnos ica ) y, po úl imo, usando la ma iz de acep abilidad del iesgo pod á e la es imación de ap oba o e-p oba la asigna u a (P edeci ). Tabla IV PRUeba T sTUDeNT PaRa COMPRObaR el IMPaCTO Del UsO De la HeRRaMIeNTa ¿El endimien o académico de los es udian es mejo ó después de una in e ención po pa e del docen e? P om. An es P om. Después P ueba T Valo P Ni el Sign. Si/ No 2017-1 3.9 4.4 4.6974 0.0011 0.05 SI 2017-2 3.6 4.0 3.4933 0.0068 0.05 SI 2018-1 3.5 3.8 1.7839 0.1081 0.05 NO 2018-2 3.2 3.6 2.2712 0.0493 0.05 SI IV. eValUaCIÓN De la HeRRaMIeNTa Pa a e alua la he amien a diseñada se p ocedió a ealiza una compa ación de las ca ac e ís icas del so wa e desa ollado e sus o as pla a o mas que se habían iden i icado p e iamen e en el es ado del a e. Es así, que en la abla 5 se ealiza una compa ación en e dis in as he amien as que exis en en el me cado buscando e idencia la uncionalidad de la he amien a AnalyTIC. Pa a la e aluación del aula i ual y de la he amien a AnalyTIC, se usa on mé icas web clásicas, en es e caso el mé odo de Mo ae, al y como se especi ica en [32], se ealizó la e aluación po un pa expe o, ob eniendo los esul ados mos ados en la abla 6. Po pa e de los es udian es se acudió a un g upo de 4 alumnos pa a e alua la he amien a, median e un cues iona io de cinco p egun as que se enía en el aula i ual pa a es e p opósi o. Los esul ados ob enidos se e idencian en la abla 7. Tabla V COMPaRaCIÓN De CaRaCTeRísTICas eNTRe HeRRaMIeNTas la He amien a AnalyTIC LOCO Analys S uden Success Sys em S uden Inspec o GLASS SAM S epUp! Cou se Signal Na cissus Ni el 1 – Explica Visualiza los da os xxxxxxxxx Ni el 2 – Diagnos ica Analiza los da os isualizados x xxxxxxx Ni el 3 – P edeci Análisis de los da os en iempo u u o x x Ni el 4 – P esc ibi Cómo podemos ac ua pa a co egi los e o es x x Ú il pa a docen es x x x x Ú il pa a es udian es x xxxxxxx Tabla VI ResUlTaDOs ReVIsIÓN De exPeRTO HeRRaMIeNTa aNalyTIC Fig. 9. No as ob enidas p ime co e s segundo co e, g upo de p ueba pe iodo 2018-1 Fig. 10. No as ob enidas segundo co e s e ce co e, g upo de p ueba pe iodo 2018-2 Resumen de esul ados Cali icación Ne a # P egun as # Respues a Cali ica ción Página de Inicio 13 20 20 83% O ien ación a Ta eas y Funcionalidad del Si io 21 44 44 74% Na egabilidad y A q. De la In o mación 12 29 29 71% Fo mula ios y en ada de da os 12 23 23 76% Con ianza y C edibilidad -2 13 13 42% Calidad del Con enido y Esc i u a 20 23 23 93% Diag amación y Diseño G á ico 37 38 38 99% Búsquedas 10 20 20 75% Ayuda, Re oalimen ación & Recupe ación de E o es -3 37 37 46% Cali icación Final 247 247 73% Re isión de Expe o Tabla VII eValUaCIÓN esTUDIaNTes De la HeRRaMIeNTa aNalyTIC E aluado Es . 1 Es . 2 Es . 3 Es . 4 La p og amación del aula i ual Acep able Acep able Acep able Excelen e El se ido o ipo de alojamien o del aula i ual Excelen e Excelen e Excelen e Excelen e La es uc u a y o ganización del aula i ual Po mejo a Acep able Acep able Acep able El diseño del aula i ual Acep able Po mejo a Po mejo a Po mejo a Ac i idades y con enido del aula i ual Excelen e Excelen e Excelen e Acep able V. DIsCUsIÓN El so wa e desa ollado es un p oduc o di e enciado con espec o a o as he amien as en el me cado que abajan igualmen e LA. LMS como Moodle y Blackboa d implemen an plugins que in eg an LA, en la mayo ía de los casos es os se quedan en la p ime a ase, solo analizan la huella de los es udian es en las aulas i uales; es os desa ollos es án o ien ados a la adminis ación o a los docen es, en ninguno de ellos se iene p esen e al es udian e. El so wa e AnalyTIC se en oca en b inda in o mación al docen e y es udian e. Del lado del docen e, in eg a las cua o ases, pe mi iendo en p ime a ins ancia que él conozca el endimien o académico de los alumnos en el aula i ual, compa a el desempeño indi idual s el g upal, ¿qué ipo de ecu sos es án consumiendo? (Explica ), en segundo luga ene un diagnós ico de la signi icancia de las no as que lle a el es udian e has a el momen o (Diagnos ica ), como e ce o, median e la ma iz de iesgo, la he amien a le mues a al docen e la es imación que iene un es udian e de ap oba o e-p oba la asigna u a (P edeci ) y po úl imo le b inda di e en es al e na i as pa a que pueda lle a a cabo una acción de mejo a de mane a indi idual con cada uno de los es udian es en es ado de iesgo de pé dida de la asigna u a (P esc ibi ). Es así en onces, que la he amien a diseñada le pe mi e al docen e as ea y segui la e olución de los es udian es en el aula de mane a pa icula , y le suminis a la in o mación necesa ia. El pode iden i ica pa ones educa i os de sus es udian es en un en o no i ual, le acili a el pode pe sonaliza los p ocesos de enseñanza-ap endizaje [31], y pos e io men e ajus a los ecu sos pa a o ece an as ayudas como sean necesa ias, p omo e el uso de ac i idades que inc emen en la pa icipación de es e y po ende mejo a el desempeño académico. Si bien es cie o, en algunos de los casos los esul ados alcanzados en la mejo a del endimien o académico de los es udian es no ue an signi ica i o (Ve abla 4), es e iden e que se log a dicha mejo ía g acias a la u o ía y adecuación de con enidos que ealizó el docen e en su in e ención a los es udian es. Se pudo obse a de igual mane a que en algunos casos aquellos que mejo aban en un co e g acias a la in e ención ealizada, en algunas ocasiones pa a el siguien e, su ían una desmejo a en sus no as. En solo un caso, un es udian e in e enido ob u o una no a in e io pos e io a dicha in e ención (Pe iodo 2018-1), los demás mejo a on o pe manecie on igual. Aho a, a pesa de las bondades desc i as en el uso de la he amien a, la aplicación de la misma nos pe mi e a i ma que no odo es bueno en es e p oceso; de pa e del docen e que abajó con los g upos in e enidos queda la expe iencia de lo di ícil que es pode adecua con enidos de su espacio académico de acue do a las ca ac e ís icas de los muchos es udian es que iene un cu so; igualmen e el p oceso de es a en iando eco da o ios y mensajes mo i ado es a es udian es po indi idual y no hace lo a ni el g upal. Pe o, des aca la g an u ilidad de la he amien a al pe mi i le iden i ica los es udian es en iesgo. La di icul ad a más o ien ada al núme o de es udian es que se ienen en los cu sos. VI. CONClUsIONes El desa ollo de un so wa e, que aplica á las ases de LA y pos e io aplicación a un g upo de es udian es, pe mi ió obse a que exis e una co elación en e el uso de la he amien a po pa e del docen e y una mejo a en el endimien o académico de los es udian es, es o g acias a que el docen e pudo con a con in o mación pa a pode lle a a cabo acciones de mejo a de su p oceso y una pos e io u o ización a sus es udian es. El uso de la he amien a que in eg a las 4 ases de LA ha demos ado se una ayuda e icaz en el endimien o del ap endizaje. Los p ocesos que ealizan los es udian es en el aula i ual analizados ue on: Es udian es, Inicios de sesión, Tiempo o al conexión, Rendimien o Vs G upo, Rendimien o indi idual, In o me de ac i idades, P omedio ac i idades y Uso de ecu sos. Fue on es os el insumo p incipal en el diseño de la He amien a de LA. Po o o lado, el desa ollo de es e so wa e pe mi ió conoce y aplica más en de alle los obje i os, p opósi os y e apas de LA. Desde hace algunos años se ha enido hablando del ema en mención; algunos LMS y Uni e sidades han abajado o in en ando inclui los p ocesos de LA pa a la oma de decisiones al in e io de sus ins i uciones. Pe o, no se ha desa ollado una he amien a que aplique o aba que las cua o e apas de LA; adicional es e modelo es una he amien a que le pe mi e al docen e iden i ica los es udian es que necesi an u o ía y adelan a con ellos acciones que busquen la mejo a del endimien o académico de los mismos. agRaDeCIMIeNTOs Los au o es de es e abajo ag adecen a la Uni e sidad In e nacional de la Rioja, especialmen e al p og ama de doc o ado Vi ual en Sociedad del Conocimien o, y a los es udian es de la Uni e sidad Coope a i a de Colombia, de la asigna u a algo i mia de Ingenie ía Ambien al. Re eReNCIas [1] S. Slade, «Lea ning Analy ics: e hical issues and dilemmas,» Ame ican Beha io al Scien is, ol. 57, nº 10, pp. 1510-1529, 2013. [2] D. Clow, «An o e iew o lea ning analy ics,» Teaching in Highe Educa ion, ol. 18, nº 6, pp. 683-695, 2013. [3] A. Ma ks, M. AL-Ali y K. Rie sema, «Lea ning Sys ems’ Lea ning Analy ics,» IEEE, pp. 676-681, 16. [4] P. Rojas, «Lea ning Analy ics: una e isión de la li e a u a,» educacion.educado es, ol. 20, nº 1, pp. 106-128, 2017. [5] G. Siemens, «Lea ning Analy ics: The Eme gence o a Discipline,» Ame ican Beha io al Scien is , ol. 57, nº 10, pp. 1380-1400, 2013. [6] L. de-la-Fuen e-Valen ín, A. Co bi, R. González C espo y D. Bu gos, Lea ning Analy ics, La Rioja: Encyclopedia o In o ma ion Science and Technology, 2014. [7] Y. Nie o Ace edo, C. Mon eneg o Ma in, P. A. Gaona Ga cia y R. González C espo, «A p oposal o a decision suppo sys em wi h lea ning analy ics,» IEEE Explo e Digi al Lib a y, pp. 161-168, 2018. [8] W. G elle y H. D achsle , «T ansla ing Lea ning in o Numbe s: A Gene ic F amewo k o Lea ning Analy ics,» Educa ional Technology & Socie y,, ol. 15, nº 3, pp. 42-57, 2012. [9] D. Amo y R. San iago, Lea ning Analy ics: La na ación del ap endizaje a a és de los da os, Ba celona: Obe a UOC Publishing, SL, 2017. [10] M. Fe nandez Delgado, M. Bo ja Vazquez-Ba ei os y M. Lama, «Lea ning Analy ics o he P edic ion o he Educa ional Objec i es Achie emen ,» IEEE, pp. 2501-2503, 2014. [11] P. De lange, A. Newman, P. Nicolaescu y R. Klamma, «An In eg a ed Lea ning Analy ics App oach o Vi ual Voca ional T aining Cen e s,» In e na ional Jou nal o In e ac i e Mul imedia and A i icial In elligence, ol. 5, nº 2, pp. 32-38, 2018. [12] A. Ma inez Na a o y P. Mo eno-Ge , «Compa ison o Clus e ing Algo i hms o Lea ning Analy ics wi h Educa ional Da ase s,» In e na ional Jou nal o In e ac i e Mul imedia and A i icial In elligence, ol. 5, nº 2, pp. 9-16, 2017. [13] L. Johnson, S. Adams Becke , M. Cummins, V. Es ada y V. y. H. F eeman, NMC In o me Ho izon 2016 Edición Supe io , Aus in- Texas: The New Media Conso ium, 2016. [14] L. De-la-Fuen e-Valen ín, D. Bu gos y R. González C espo, «A4Lea ning: A Case S udy o Imp o e he Use Pe o mance: Alumni Alike Ac i i y Analy ics o Sel -Assess Pe sonal P og ess,» IEEE Xplo e Digi al Lib a y, pp. 360-362, 2014. [15] UNIR, «UNIR esea ch,» P ojec iLIME, Ene o 2013. [En línea]. A ailable: h p:// esea ch.uni .ne /blog/ilime-ope a ional- implemen a ion-o -a- ecommenda ion-model- o -in o mal-and- o mal-lea ning/. [Úl imo acceso: 1 Oc ub e 2018]. [16] A. a. C. Van Ba ne eld, Analy ics in Highe Educa ion: Es ablishing a Common Language, New Yo k: EDUCAUSE, 2015. [17] Ma icopa Communi y College, «Rio Salado College,» Ma icopa Communi y College, 12 Ab il 2018. [En línea]. A ailable: h p:// www. iosalado.edu/Cu en /pages/de aul .aspx. [Úl imo acceso: 1 Oc ub e 2018]. [18] U. C. Rosa Leono y L. M. Cuauh émoc, «Neu al Ne wo ks o p edic ing s uden pe o mance in online educa ion,» IEEE LATIN AMERICA TRANSACTIONS, ol. 16, nº 7, pp. 2053-2060, 2018. [19] S. T eca, «Le e aging Analy ics in Communi y Colleges,» Educause e iew, ol. 1, nº 5, pp. 7-11, 2015. [20] Educause Cen e o Applied Resea ch, Highe Educa ion and he Re olu ion o Lea ning Analy ics, Oslo: In e na ional Council Fo Open And Dis ance Educa ion, 2018. [21] L. A. B. S. C. M. E. V. Johnson, The NMC Ho izon Repo : 2016 Highe Educa ion Edi ion, Aus in-Texas: The New Media Conso ium, 2016. [22] S. V. A. C. A. C. a. C. S. G. L. N. Aballay, «Adap a ion Model Con en Based in Cul u al P o ile in o Lea ning En i onmen ,» IEEE LATIN AMERICA TRANSACTIONS, ol. 13, nº 2, pp. 490-495, 2015. [23] R. B. Landis y D. Eme i us, S udying Enginee ing: A oad Map a Rewa ding Ca ee , Los Ángeles: Disco e y P ess, 2013. [24] M. Sche el, K. Niemann, D. Leony, A. Pa do, H.-C. Schmi z, M. Wolpe s y C. Delgado, «Key Ac ion Ex ac ion o Lea ning Analy ics,» 21s Cen u y Lea ning o 21s Cen u y Skills, pp. 320- 333, 2012. [25] F. A. Simanca H., D. Bu gos, R. González C espo y L. Rod iguez Baena, «Au oma ion o he u o ing p ocess in online en i onmen s h ough he anali ycs o lea ning,» IEEE Explo e Digi al Lib a y, pp. 1-5, 2018. [26] R. E. Walpole y R. H. M. S. L. Mye s, P obabilidad y es adís ica pa a ingenie os, México D.F.: P en ice Hall Hispanoame ica S.A., 1992. [27] F.A. Simanca, “Sis ema de mejo a del endimien o académico median e lea ning analy ics”, Tesis p i ada, 2018, 11 [28] T. Elias, «h ps://www.seman icschola .o g/,» 01 junio 2011. [En línea]. A ailable: h ps://pd s.seman icschola . o g/732e/452659685 e3950b0e515a28ce89d9c5592a.pd . [Úl imo acceso: 25 sep iemb e 2019]. [29] P. Coad, E. Le eb e y J. De Luca, Ja a modeling in colo wi h UML: en e p ise componen s and p ocess, México: P en ice Hall PTR, 1999. [30] K. E. y. K. J. E. Kendall, Agile Modeling and P o o yping Sys ems Analysis and Design, Pea son Educa ion Inc, 2011. [31] D. A. M. I. I. B. R. M. a. S. I. G. C. Challco, «Pe sonaliza ion o Gami ica ion in Collabo a i e Lea ning Con ex s using On ologies,» IEEE La in Ame ica T ansac ions, ol. 13, nº 6, pp. 1995-2002, 2015. [32] T. Da id, «Use Focus,» 2 08 2007. [En línea]. A ailable: h ps://www. use ocus.co.uk/a icles/mo ae-he.h ml. [Úl imo acceso: 10 9 2017]. F edys A. Simanca H. Ingenie o de Sis emas, Uni e sidad Coope a i a de Colombia, Bogo á, Colombia, in es igado en el á ea de Tecnologías en la educación, P o eso In es igado , aspi an e a doc o ado en Sociedad del Conocimien o y Acción en los Ámbi os de la Educación, la Comunicación, los De echos y las Nue as Tecnologías. Rubén González C espo. Doc o Ingenie o en Ingenie ía In o má ica e Ingenie o en Ingenie ía en O ganización Indus ial po la Uni e sidad Pon i icia de Salamanca. Más e en Di ección y Ges ión de P oyec os y Más e en Ingenie ía Web po la misma uni e sidad. Diplomado en Es udios In e nacionales po la Sociedad de Es udios In e nacionales. Ha publicado más de 180 a ículos en e is as indexadas y cong esos nacionales e in e nacionales de p es igio. Ha impa ido mul i ud de semina ios y con e encias en Eu opa y Amé ica La ina sob e Di ección de P oyec os, In eligencia A i icial, Indus ia 4.0 y ha ecibido di e sos econocimien os inculados a su ac i idad. Luis Rod iguez Baena. Doc o en Sociología po la Uni e sidad Pon i icia de Salamanca. Más e en In o má ica po la Uni e sidad Pon i icia de Salamanca y Más e en Sis emas de Ges ión In o má ica po el CENEI. Su á ea de in es igación p incipal se cen a en la usabilidad, la accesibilidad, la expe iencia de usua io y el diseño cen ado en el usua io, campo en el que ha di igido a ias esis doc o ales y ha pa icipado como in es igado en dis in os p oyec os de in es igación. Así mismo ha publicado lib os, a ículos en e is as de in es igación indexadas y ha pa icipado en cong esos an o nacionales como in e nacionales. P o . D . Daniel Bu gos. Ca ed á ico de Tecnologías pa a la Educación y la Comunicación (2010) y Vice ec o de T ans e encia y Tecnología (UNIR Resea ch) en la Uni e sidad In e nacional de La Rioja (UNIR) (2016-). Asimismo, es di ec o de las Cá ed as UNESCO en eLea ning (2013-), e ICDE en Recu sos Educa i os Abie os (2014-) (h p:// esea ch.uni . ne /unesco). Además, di ige el Ins i u o de In es igación, Inno ación y Tecnología Educa i as (UNIR iTED, h p://i ed.uni .ne ). Ha publicado 15 lib os écnicos, 12 ediciones de núme os especiales de e is as indexadas y más de 100 publicaciones cien í icas en JCR (SCI, SSCI), Scopus, Inspec, IEEE, ACM y o os índices. Ha es udiado Ingenie ía In o má ica (D . Ing), Educación (D .), Comunicación (D .), An opología (PhD) y Adminis ación de Emp esas (DBA).