scieee AI-readable full text Open interactive document viewer

Mobile learning en las diferentes etapas educativas. Una revisión bibliométrica de la producción científica en Scopus (2007-2017)

Hinojo Lucena, Francisco Javier; Aznar Díaz, Inmaculada; Romero Rodríguez, José María

Abstract

Los dispositivos móviles han irrumpido con fuerza en la sociedad y su aplicación en el ámbito educativo es una de sus consecuencias. La metodología mobile learning se posibilita como un recurso para la enseñanza-aprendizaje que puede traer consigo múltiples beneficios y en este estudio se ha realizado una revisión sobre la producción científica del mobile learning en las diferentes etapas educativas entre los años 2007 y 2017. Para ello, se ha seguido una metodología propia de los estudios bibliométricos a partir del establecimiento de una serie de palabras clave para su consulta en la base de datos Scopus (n = 697). De modo que atendiendo a estudios previos se han analizado nueve variables relativas a: 1) área científica; 2) número de publicaciones por año; 3) tipología del documento; 4) procedencia de los archivos; 5) palabras clave relacionadas; 6) instituciones; 7) países; 8) autores con más producción científica y 9) artículos más citados. Respecto a los resultados obtenidos, se ha determinado el creciente interés de la temática en los años 2015, 2016 y 2017, donde se concentra la mayor parte de la literatura científica publicada. Sin embargo, predomina la producción en la etapa de Educación Superior sobre las demás. Finalmente, se constata que aunque los informes apuntan a la implementación del mobile learning en menos de un año, todavía queda camino por recorrer en la investigación enfocada a etapas educativas iniciales y medias.

Full text

Páginas: 37-52 Recibido: 2019-12-14 Revisado: 2019-11-06 Aceptado: 2020-01-16 Preprint: 2020-04-20 Publicación Final: 2020-06-15 www.revistascientificas.us.es/index.php/fuentes/index DOI: https://doi.org/10.12795/revistafuentes.2020.v22.i1.04 Mobile learning en las diferentes etapas educativas. Una revisión bibliométrica de la producción científica en Scopus (2007-2017) Mobile learning in the different educational stages. Bibliometric review of scientific production in Scopus (2007-2017) Francisco Javier Hinojo Lucena Universidad de Granada (España) Inmaculada Aznar Díaz Universidad de Granada (España) José María Romero Rodríguez Universidad de Granada (España Resumen Los dispositivos móviles han irrumpido con fuerza en la sociedad y su aplicación en el ámbito educativo es una de sus consecuencias. La metodología mobile learning se posibilita como un recurso para la enseñanza-aprendizaje que puede traer consigo múltiples beneficios y en este estudio se ha realizado una revisión sobre la producción científica del mobile learning en las diferentes etapas educativas entre los años 2007 y 2017. Para ello, se ha seguido una metodología propia de los estudios bibliométricos a partir del establecimiento de una serie de palabras clave para su consulta en la base de datos Scopus (n = 697). De modo que atendiendo a estudios previos se han analizado nueve variables relativas a: 1) área científica; 2) número de publicaciones por año; 3) tipología del documento; 4) procedencia de los archivos; 5) palabras clave relacionadas; 6) instituciones; 7) países; 8) autores con más producción científica y 9) artículos más citados. Respecto a los resultados obtenidos, se ha determinado el creciente interés de la temática en los años 2015, 2016 y 2017, donde se concentra la mayor parte de la literatura científica publicada. Sin embargo, predomina la producción en la etapa de Educación Superior sobre las demás. Finalmente, se constata que aunque los informes apuntan a la implementación del mobile learning en menos de un año, todavía queda camino por recorrer en la investigación enfocada a etapas educativas iniciales y medias. Abstract Mobile devices have burst into society and their application in education is one of the consequences. Mobile learning methodology is a teaching-learning resource that can bring multiple benefits. In this study, a review was conducted on the scientific production of mobile learning in the different educational stages between 2007 and 2017. To this end, a methodology specific to bibliometric studies has been followed, based on the establishment of a series of key words for consultation in the Scopus database (n = 697). So, according to previous studies, nine variables have been analyzed in relation to: 1) scientific area; 2) number of publications per year; 3) typology of the document; 4) source of the archives; 5) related keywords; 6) institutions; 7) countries; 8) authors with more scientific production and 9) most cited articles. Regarding the results obtained, the growing interest of the subject in the years 2015, 2016 and 2017 has been determined, where most of the published scientific literature is concentrated. However, production in the Higher Education stage predominates over the others. Finally, it is noted that although reports point to the implementation of mobile learning in less than a year, there is still some way to go in research focused on initial and medium educational stages. Palabras clave / Keywords mobile learning, dispositivos móviles, sistema educativo, estudio bibliométrico, producción científica mobile learning, mobile devices, education system, bibliometric study, scientific production 38 ··· REVISTA FUENTES, 22(1); Páginas 37-52 www.revistascientificas.us.es/index.php/fuentes/index 1. Introducción El término mobile learning traducido al español como aprendizaje móvil, se define como el aprendizaje que se produce a través de la mediación de los dispositivos móviles (principalmente smartphones y tablets) (Aznar, Cáceres y Romero, 2018). En los últimos años esta metodología docente está teniendo gran protagonismo entre las Tecnologías de la Información y Comunicación (TIC) y la tendencia va en aumento, con la finalidad de instaurarse totalmente como un recurso metodológico más dentro del abanico docente. En esta línea, el informe Horizon (informe referente en materia de tecnología educativa) destaca en su última edición de 2017 las tecnologías emergentes que tendrán un mayor impacto en la educación en los próximos años (INTEF, 2017), resaltando al mobile learning como una metodología que se aplicará a corto plazo, concretamente en menos de un año (Adams et al., 2017). El objetivo de este trabajo ha sido revisar la literatura científica sobre mobile learning en las distintas etapas educativas durante el periodo comprendido entre 2007 y 2017. La elección del periodo de inicio no es casual, a partir del año 2007 se inició el auge de los smartphones con el lanzamiento del iPhone y su sistema operativo iOS. Mientras que un año más tarde (2008) salía al mercado el sistema Android, por lo cual es oportuno iniciar la revisión de la bibliografía en el año en el que comenzó este fenómeno mundial. No obstante, el análisis realizado permite, entre otras variables, conocer la evolución de la producción científica por años dependiendo de la etapa educativa, con lo que arroja datos relevantes sobre su interés y posible implementación tanto en los niveles de Educación Infantil, Educación Primaria, Educación Secundaria y Educación Superior. Ante este escenario y dada la tónica habitual de los informes Horizon (Johnson, Adams y Cummins, 2012; Johnson et al., 2013; 2014; 2015; 2016; Adams et al., 2017; 2018; Alexander et al., 2019) (tabla 1), se hace necesario un análisis de la producción científica para comprobar realmente la evolución que está teniendo el mobile learning. Tabla 1 Predicciones sobre la implementación del mobile learning en los informes Horizon (2012-2019) Año del informe Horizon Tecnología relacionada con el mobile learning Predicción de implementación 2012 Aplicaciones móviles y tablets Un año o menos 2013 Tablets Un año o menos 2014 Trae tu propio dispositivo (BYOD) Un año o menos 2015 Trae tu propio dispositivo (BYOD) Un año o menos 2016 Trae tu propio dispositivo (BYOD) Un año o menos 2017 Mobile Learning Un año o menos 2018 Mobile Learning Un año o menos 2019 Mobile Learning Un año o menos Por su parte, el concepto Bring Your Own Device (BYOD), que hace referencia al hecho de traer el propio dispositivo a clase en lugar de ser el centro quien los proporcione, es una de las principales estrategias para que sea efectiva la implementación del mobile learning dentro de las instituciones educativas (Romero, Trujillo y Rodríguez-García, 2018). Por otro lado, esta metodología se define principalmente por estas cuatro características básicas que lo convierten en un potente recurso para favorecer el desarrollo del proceso de enseñanza-aprendizaje: • Ubicuidad: capacidad del terminal, debido a sus funcionalidades y tamaño, para poder consultarse en cualquier momento y lugar. • Trabajo cooperativo: facilidad para la cooperación entre estudiantes a través de aplicaciones de apoyo como Google Drive y Dropbox. • Multiplicidad: opcionalidad que permite el dispositivo en función de la inmensa cantidad de recursos y aplicaciones móviles (apps) disponibles (Romero y Rodríguez-García, 2017). • Autorregulación: libertad en la autonomía del estudiante para poder planificar cuando y donde realizar la tarea. En suma, los dispositivos móviles son un elemento imprescindible en la sociedad y una tecnología emergente en el sistema educativo que poco a poco se está abriendo paso y por ello, debe ser objeto de análisis con el fin de integrarse como un elemento más del currículo (Jiménez, Mora y Cuadros, 2016; González y Gutiérrez, 39 ··· REVISTA FUENTES, 22(1); Páginas 37-52 DOI: 10.12795/revistafuentes.2020.v22.i1.04 2017). En este escenario, el gobierno de la Junta de Andalucía ha incentivado la dotación de herramientas digitales (ordenadores portátiles y aulas digitales) en la Educación Primaria y Educación Secundaria durante los años 2009 y 2011 a través del programa escuela TIC 2.0 (Consejería de Educación de la Junta de Andalucía, 2011). A su vez, el Ministerio de Educación, Cultura y Deporte del Gobierno de España estableció en el curso académico 2009/2010 que los centros debían promover la integración de las TIC. Para este fin, se generó el programa Escuela 2.0 que se encargó de dotar de recursos tecnológicos a los centros escolares de primaria y secundaria y formar a los docentes (Ministerio de Educación, Cultura y Deporte (Ministerio de Educación, Cultura y Deporte, 2009). 2. Metodología Este trabajo de investigación sigue una metodología propia de los estudios bibliométricos (Glanzel y Schoepflin, 1999). Esto es, con carácter descriptivo y basada en la descripción de una serie de variables proporcionadas por la base de datos Scopus, que posibilitan datos cuantitativos sobre el estado de la cuestión acerca de un determinado tema (Urrútia y Bonfill, 2010; López, Vázquez y Román, 2015). En este caso, sobre la producción científica del mobile learning en las diferentes etapas educativas. Para ello, se establecieron cinco palabras clave indexadas en el Tesauro ERIC y que responden al objetivo de investigación, éstas son: Mobile Learning, Preschool Education, Primary Education, Secondary Education y Higher Education. Cabe resaltar que la elección de la base de datos Scopus corresponde a su capacidad aglutinadora, siendo la mayor base de datos de resúmenes (más de 28 millones). De tal forma que representa el 80% de las publicaciones internacionales revisadas por expertos y con índice de impacto (Scientific Journal Rankings - SJR). Por tanto, los resultados obtenidos nos muestran una panorámica general del mobile learning a nivel mundial, a partir de la producción científica de impacto. 2.1. Muestra La unidad de análisis se compuso por toda la literatura científica indexada en Scopus desde 2007 a 2017 sobre mobile learning en las distintas etapas educativas: Educación Infantil, Educación Primaria, Educación Secundaria y Educación Superior. Para ello, se aplicó como principal criterio de inclusión los años de publicación (2007-2017). Por tanto, el criterio de exclusión fue que la literatura no estuviera publicada entre ese periodo temporal. El diagrama de flujo muestra el proceso de refinado (figura 1). Figura 1. Diagrama de flujo Nota: n = muestra (nº de resultados) 40 ··· REVISTA FUENTES, 22(1); Páginas 37-52 www.revistascientificas.us.es/index.php/fuentes/index La introducción de la ecuación de búsqueda en el motor de búsqueda de Scopus, muestra un panorama bastante heterogéneo, donde la gran mayoría de producción científica se concentra en la etapa de Educación Superior (tabla 2). Tabla 2 Número de resultados con filtros del descriptor mobile learning con cada etapa educativa Ecuación de búsqueda n % “Mobile Learning” OR M-learning AND “Preschool Education” 4 .57 “Mobile Learning” OR M-learning AND “Primary Education” 22 3,15 “Mobile Learning” OR M-learning AND “Secondary Education” 52 7,46 “Mobile Learning” OR M-learning AND “Higher Education” 619 88,8 2.2. Análisis de datos El análisis de datos se realizó en función de la búsqueda realizada a partir de las cuatro ecuaciones de búsqueda. Asimismo, “Mobile Learning” se unificó a través del operador booleano “AND” con el resto de palabras clave que responden a las etapas del sistema educativo. De este modo, se determinó el estado de la literatura científica, desde 2007 hasta el año 2017, sobre el aprendizaje que se produce a través de los dispositivos móviles en los distintos niveles educativos. La recogida de datos tuvo lugar en el segundo semestre de 2018 por lo que se engloban los últimos 10 años de producción científica con 2017 inclusive. En relación al descriptor “Mobile Learning” es utilizado en la revisión llevada a cabo sobre la producción científica del mobile learning en España durante el periodo de 2009-2013 realizada por Brazuelo y Gallego (2014). Del mismo modo que se vuelve a utilizar “Mobile Learning” y en este caso “Higher Education” para un estudio de caso sobre desarrollo de habilidades cognitivas con aprendizaje móvil en Educación Superior (Ramos, Herrera y Ramírez, 2010), publicado en la revista Comunicar, posicionada en el primer cuartil del Journal Citation Reports (JCR). Aunando en el panorama internacional, en la prestigiosa revista Computers and Education, posicionada en el primer cuartil (JCR), son varios los artículos (O’Bannon y Thomas, 2014; Zydney y Warner, 2015; Han, & Shin, 2016) que recogen como palabra clave “Mobile Learning”. En esta línea, autores relevantes debido al número de citas de sus artículos como Mike Sharples emplean el descriptor “Mobile Learning” en algunos de sus artículos (Sharples, Corlett y Westmancott, 2002; Corlett, Sharples, Bull y Chan, 2005). Por tanto, aunque el establecimiento de las palabras clave en primera instancia responden al tópico y objetivos del trabajo, se constata que “Mobile Learning” es un descriptor utilizado por autores y revistas de impacto, al igual que su adecuación para combinarlo con los descriptores referentes a los niveles educativos. Por su parte, respecto a las variables de análisis, éstas se han seleccionado en base a los estudios previos de Rodríguez-García y Martínez (2017) y Mengual, Vázquez y López (2017). En total se recogieron nueve: 1. Área científica. 2. Número de publicaciones por año. 3. Tipología del documento. 4. Procedencia de los archivos. 5. Palabras clave relacionadas. 6. Instituciones. 7. Países. 8. Autores con más producción científica. 9. Referencias más citadas. 3. Resultados En relación con la variable 1. Área científica, de donde proviene la literatura. Predominan las Ciencias Computacionales (CC. Computacionales) en Educación Infantil (60%), de igual forma siguen prevaleciendo en Educación Primaria (46%) (figura 2). En Educación Secundaria sigue manteniéndose como principal el área de Ciencias Computacionales (44%) pero la diferencia con las Ciencias Sociales (CC. Sociales) es escasa (41%). Por último, en Educación Superior se repite la misma estela anterior, Ciencias Computacionales (43%) y Ciencias Sociales (39%) (figura 3). 41 ··· REVISTA FUENTES, 22(1); Páginas 37-52 DOI: 10.12795/revistafuentes.2020.v22.i1.04 Figura 2. Principales áreas científicas de prevalencia en Educación Infantil y Educación Primaria Figura 3. Principales áreas científicas de prevalencia en Educación Secundaria y Educación Superior Respecto a la variable 2. Número de publicaciones por año, la mayoría de publicaciones de mobile learning tanto en Educación Infantil, Educación Primaria y Educación Superior se sitúan entre los años 2015-2017. En referencia a la ley de crecimiento exponencial de Price (1986), la cual indica que la producción tiende a duplicarse cada 10 años, la producción científica en la etapa de Educación Infantil se encuentra en la etapa de precursores, siendo esta la fase inicial en la que comienza la producción, de modo ha iniciado en el año 2015 con una publicación (25%) y su producción máxima se sitúa en el año 2016 con dos referencias (50%) (figura 4). 42 ··· REVISTA FUENTES, 22(1); Páginas 37-52 www.revistascientificas.us.es/index.php/fuentes/index Figura 4. Número de publicaciones por año sobre mobile learning en Educación Infantil En cambio, en Educación Primaria los inicios se sitúan en 2010 con 4 documentos (18,18%). Su producción máxima fue en 2016 con cinco publicaciones (22,7%) y mínima en 2012 con una referencia (4,5%). Debido al bajo número de documentos y de acuerdo a Price (1986) la producción se encontraría, al igual que con Educación Infantil, en una fase de precursores (figura 5). Figura 5. Número de publicaciones por año sobre mobile learning en Educación Primaria En Educación Secundaria, el mínimo de producción lo encontramos en el año de inicio 2008 y en 2010 con dos referencias (3,84%) y el máximo en el año 2014 con 13 documentos (25%). En cuanto a la ley Price (1986), encontramos igual que en los casos anteriores que la producción no termina de despegar, situándose en una fase inicial (figura 6). Figura 6. Número de publicaciones por año sobre mobile learning en Educación Secundaria Por último, la etapa de Educación Superior es la que tiene más desarrollo observándose las tres etapas en la producción científica (Price, 1986): etapa de precursores (2007-2009), etapa de crecimiento exponencial (2010-2015) y etapa de crecimiento lineal (2016-2017). Asimismo, como destaca la ley de Price (1986) a los 10 años se duplica la producción de la literatura como podemos observar en este caso (2007 – 11 documentos y 2017 – 91 documentos). En relación a la producción máxima esta se sitúa en el año 2015 con 120 referencias (19,4%) y la mínima en 2007 con 11 (1,77%), la media de publicaciones por año es de 61,8 (figura 7). 43 ··· REVISTA FUENTES, 22(1); Páginas 37-52 DOI: 10.12795/revistafuentes.2020.v22.i1.04 Figura 7. Número de publicaciones por año sobre mobile learning en Educación Superior Por su parte, en la variable 3. Tipología del documento, prevalece en la producción científica de Educación Infantil los artículos (50%) y en Educación Primaria las aportaciones a conferencias (68%) (figura 8). En cambio, en Educación Secundaria predominan los artículos (52%) sobre las aportaciones a conferencias (33%) y en Educación Superior se invierte superando las contribuciones a conferencias (43%) a los artículos de revista (40%) (figura 9). Figura 8. Tipología de la producción científica en Educación Infantil y Educación Primaria Figura 9. Principales tipologías de la producción científica en Educación Secundaria y Educación Superior 44 ··· REVISTA FUENTES, 22(1); Páginas 37-52 www.revistascientificas.us.es/index.php/fuentes/index En cuanto a la variable 4. Procedencia de los archivos, en la etapa de Educación Infantil el 50% de las publicaciones se concentran en dos artículos en International Journal Of Interactive Mobile Technologies, que a su vez cuenta con tres citas y un índice de impacto de 1,5. Por otro lado, en Educación Primaria el 13,63% queda recogido en tres aportaciones a ACM International Conference, con 11 citas y un índice de impacto de 3,66. La demás producción se diversifica en distintas conferencias y revistas, que no alcanzan a tener dos referencias. En la etapa de Educación Secundaria destaca la revista Computers and Education con 12 documentos que representan el 23%, esta revista obtiene un alto índice de impacto de sus documentos (40) con 481 citas en total. En Educación Superior la fuente con más documentos es Communications In Computer And Information Science con 22 (3,55%), 19 citas y un índice de impacto de 0,86, aunque destaca sobre las demás Computers and Education que con tan solo 12 documentos (1,94%) obtiene 1.199 citas con un índice de impacto de 99,91 (tabla 3). Tabla 3 Procedencia de la literatura científica con mayor número de referencias en las etapas de Educación Secundaria y Educación Superior Etapa Título n % C* I* Educación Secundaria Computers and Education 12 23 481 40 Proceedings Of The European Conference On Games Based Learning 4 7,69 5 1,25 ACM International Conference Proceeding Series 3 5,76 7 2,33 Proceedings Of The 10th International Conference On Mobile Learning 2014 3 5,76 - - Educación Superior Communications In Computer And Information Science 22 3,55 19 .86 Lecture Notes In Computer Science 18 3,55 19 1,05 Handbook Of Mobile Teaching And Learning 16 2,58 11 .68 International Journal Of Mobile Learning And Organisation 16 2,58 60 3,75 Computers and Education 12 1,94 1.199 99,91 Nota: se han considerado únicamente aquellos títulos que tuvieran más de 2 referencias y/o los 5 más relevantes. C* = citas, I* = índice de impacto. Cálculo del índice de impacto = citas/documentos. Siguiendo con el análisis, en la variable 5. Palabras clave relacionadas, destaca en Educación Infantil como las más utilizadas: mobile learning (4 veces – 100%) y preschool education (4 veces – 100%). En Educación Primaria las más empleadas son mobile learning (12 veces – 54,5%), Education (12 veces – 54,5%) y teaching (12 veces – 54,5%) (tabla 4). En Educación Secundaria como primera sigue situándose mobile learning (29 veces – 55,76%), segunda teaching (23 veces – 44,2%), mientras que en Educación Superior mobile learning (326 veces – 52,66%) se mantiene como la más utilizada, seguida de higher education (272 veces – 43,9%) (tabla 5). 45 ··· REVISTA FUENTES, 22(1); Páginas 37-52 DOI: 10.12795/revistafuentes.2020.v22.i1.04 Tabla 4 Palabras clave más utilizadas en la producción científica en las etapas de Educación Infantil y Educación Primaria Etapa Palabras clave n % Educación Infantil Mobile learning 4 100 Preschool Education 4 100 E-learning 2 50 Education 2 50 Engineering Education 2 50 Educación Primaria Mobile learning 12 54,5 Education 12 54,5 Teaching 12 54,5 Primary Education 8 36,3 Students 8 36,3 Nota: solo se han considerado las 5 primeras palabras clave. Tabla 5 Palabras clave más utilizadas en la producción científica en las etapas de Educación Secundaria y Educación Superior Etapa Palabras clave n % Educación Secundaria Mobile Learning 29 55,76 Teaching 23 44,2 E-learning 22 42,3 Secondary Education 21 40,3 Students 21 40,3 Educación Superior Mobile Learning 326 52,66 Higher Education 272 43,9 E-learning 242 39 Education 215 34,73 Students 214 34,57 Nota: solo se han considerado las 5 primeras palabras clave. En la variable 6. Instituciones, que más literatura científica producen acerca del mobile learning en las distintas etapas educativas. Se sitúa referente a la etapa de Educación Infantil, el Demokritos National Centre for Scientific Research que tiene un total de tres referencias, correspondiendo al 75% de las publicaciones de mobile learning en dicha etapa. En Educación Primaria, la Universidad de Salamanca encabeza la lista de literatura científica con seis referencias, un 27,2% del total, que suman 11 citas con un índice de impacto de 1,83 (tabla 6). Asimismo, en Educación Secundaria el National Taiwan University of Science and Technology se sitúa como la más productora con cuatro referencias que representan un 7,69% de las publicaciones, entre todas ellas suman un total de 123 citas con un índice de impacto de 30,75. Finalmente, en la etapa de Educación Superior lidera la tabla la University of Southern Queensland de Australia con 14 referencias (2,26%), que presenta 47 citas con un índice de impacto de 3,35 (tabla 7). Tabla 6 Instituciones con más producción científica en la etapa de Educación Infantil y Educación Primaria Etapa Institución n % C* I* Educación Infantil Demokritos National Centre for Scientific Research (Grecia) 3 75 3 1 Institute of Informatics and Telecommunications, Athens (Grecia) 2 50 3 1,5 Educación Primaria Universidad de Salamanca (España) 6 27,2 11 1,83 Universidad Politécnica de Cataluña (España) 2 9 - - Hellenic Open University (Grecia) 2 9 - - Nota: se han considerado únicamente aquellas instituciones que tuvieran más de 2 referencias y/o los 5 más relevantes. C* = citas, I* = índice de impacto. Cálculo del índice de impacto = citas/documentos. 52 ··· REVISTA FUENTES, 22(1); Páginas 37-52 www.revistascientificas.us.es/index.php/fuentes/index Romero, J.M., Trujillo, J.M., & Rodríguez-García, A.M. (2018). Bring Your Own Device to The Classroom: Uses Of The Mobile Phone For The University Training. TOJED. The Turkish Online Journal of Educational Technology, 1(special issue for INTE-ITICAM-IDEC), 254-260. Sharples, M., Corlett, D., & Westmancott, O. (2002). The Design and Implementation of a Mobile Learning Resource. Personal and Ubiquitous Computing, 6, 220–234. https://doi.org/10.1007/s007790200021 Urrútia, G., & Bonfill, X. (2010). Declaración PRISMA: una propuesta para mejorar la publicación de revisiones sistemáticas y metaanálisis. Medicina Clínica, 135(11), 507-511. https://doi.org/10.1016/j.medcli.2010.01.015 Zydney, J.M. y Warner, Z. (2015). Mobile apps for science learning: Review of research. Computers & Education, 94, 1- 17. https://doi.org/10.1016/j.compedu.2015.11.001