Uso de TikTok en la educación superior en marketing

pág. 0 Memoria de proyectos de innovación y buenas prácticas docentes A. Datos generales del proyecto de innovación y buenas prácticas docentes Título Uso de TikTok en la educación superior en Marketing Código 22-93 Fecha de Realización: 05 de septiembre de 2022 al 30 de enero de 2023 Coordinación Apellidos Alonso Dos Santos Nombre Manuel Tipología Tipología de proyecto Básico Rama del Conocimiento Ciencias Jurídicas y Sociales Línea de innovación Diseño, organización, desarrollo y evaluación de la docencia B. Objetivo Principal Este proyecto tiene cuatro objetivos principales: (i) Mejorar los índices de satisfacción con la asignatura (ii) Mejorar el nivel de motivación (iii) Mejorar el trabajo en equipo (CG04) (iv) Mejorar el desempeño y menor distracción académica auto-percibida C. Descripción del proyecto de innovación y buenas prácticas docentes Resumen del proyecto realizado: Objetivos, metodología, logros alcanzados, aplicación práctica a la docencia habitual, etc. Los medios sociales están presentes en la vida personal, social y profesional de los nuevos estudiantes. Diversos estudios demuestran que los medios sociales impactan significativa y continuamente en los jóvenes. De entre los medios sociales TikTok es la red social más usada por los nuevos millenials. Este medio social permite crear y compartir videos de entre 3 y 60 segundos. Los videos pueden ser editados con música y efectos y pueden ser compartidos y comentados. Según diversas fuentes, TikTok tiene múltiples ventajas como: la creación de comunidad, la participación y el desarrollo de la creatividad. Este proyecto busca incorporar esta plataforma social para (i) promover la implicación y motivación de los estudiantes, (ii) para ayudarles en la comprensión y expresión de conceptos y (iii) fortalecer el trabajo en equipo. Los estudiantes de primer y segundo año de cuatro grados de la Facultad de Ciencias Económicas y Administrativas de las asignaturas de introducción al marketing, marketing financiero y marketing turístico participarán de forma activa en el proceso de aprendizaje empleando TikTok de la siguiente forma: (i) creando un canal de divulgación, (ii) documentando su evolución a modo de portafolio en el propio canal, (iii) colaborando con otros estudiantes y (iv) realizando videos instructivos. Con el objetivo de contrastar la evolución e impacto de esta metodología se implementará un diseño experimental con grupo de control y medición en tres momentos distintos (antes, durante y después). Esperamos encontrar diferencias significativas en la implicación, motivación y la satisfacción de los alumnos con la asignatura, en la asimilación de conceptos, en la competencia de trabajo en grupo que certifiquen la mejorara en el proceso de enseñanza-aprendizaje y en las competencias relacionadas con el aprendizaje colaborativo (trabajo en equipo) al usar TikTok en contra de aquellos grupos que no emplearon esta metodología. Summary of the Project (In English): Social media are present in the personal, social and professional lives of new students. Studies show that social media have a significant and continuous impact on young people. Among social media, TikTok is the social network most used by new millennials. This social media allows the creation and sharing of videos of between 3 and 60 seconds. The videos can be edited with music and effects and can be shared and commented on. According to various sources, TikTok has multiple advantages such as: community building, participation and the development of creativity. This project seeks to incorporate this social platform to (i) promote student involvement and motivation, (ii) to help them in the understanding and expression of concepts and (iii) to strengthen teamwork. First and second year students of four grades of the Faculty of Economics and Administrative Sciences in the subjects of introductory marketing, financial marketing and tourism marketing will actively participate in the learning process using TikTok in the following ways: (i) creating a channel for dissemination, (ii) documenting their evolution as a portfolio in the channel itself, (iii) collaborating with other students and (iv) making instructional videos. In order to contrast the evolution and impact of this methodology, an experimental design will be implemented with a control group and measurement at three different times (before, during and after). We expect to find significant differences in the involvement, motivation and satisfaction of the students with the subject, in the assimilation of concepts, in the competence of group work that certify the improvement in the teaching-learning process and in the competences related to collaborative learning (teamwork) when using TikTok against those groups that did not use this methodology. D. Resultados obtenidos pág. 1 Resultados Resultados descriptivos Se tomaron un total de 971 observaciones distribuidas en cuatro grupos según la tabla 1 donde t-1 corresponde con la primera captura de información antes del tratamiento y t con la captura de información posterior al tratamiento. Adicionalmente se identificaron los grupos de control y experimental. El porcentaje de grupos es homogéneo alrededor del 25%. Tabla 1. Grupos experimentales Tiempo Grupo Frecuencias % del Total % Acumulado t-1 Control 281 28.9 % 28.9 % Experimental 240 24.7 % 53.7 % t Control 219 22.6 % 76.2 % Experimental 231 23.8 % 100.0 % Respecto de las titulaciones (Tabla 2), un alto porcentaje de las observaciones proviene de GADE y FICO, es comprensible por el amplio número de grupos y accesibilidad a ellos. Tabla 2. Frecuencias por asignatura y grado Grado Asignatura Frecuencias % del Total % Acumulado DGADE INTMK 50 5.7 % 5.7 % FICO INTMK 182 20.7 % 26.3 % GADE INTMK 305 34.6 % 61.0 % GECO INTMK 86 9.8 % 70.7 % GMIM INTMK 101 11.5 % 82.2 % GTUR PROTUR 157 17.8 % 100.0 % Metodología de análisis: Validación de escalas. La tabla 4 muestra los indicadores de fiabilidad y validez arrojados por el programa SmartPLS siguiendo las recomendaciones de Hair et al. (2020). La variable distracción es la única que no alcanza los indicadores mínimos recomendados, por lo que se analizará cada ítem de esta escala de forma independiente. Tabla 4. Indicadores de fiabilidad y validez Variable Alpha de Cronbach Fiabilidad compuesta (rho_a) Varianza media extraída (AVE) Desempeño 0.773 0.778 0.596 Distracción 0.280 0.712 0.555 Motivación 0.839 0.842 0.674 Satisfacción 0.909 0.909 0.846 Trabajo equipo 0.923 0.925 0.501 Resultados satisfacción con la experiencia de TikTok Se preguntó a los alumnos que pertenecieron a los grupos donde se implantó el tratamiento su opinión general sobre el uso de TikTok en clase. La tabla 3 muestra las preguntas del cuestionario, así como la media, desviación estándar (DE), mínimo y máximo. La figura 1 muestra gráficamente las dimensiones mejor valoradas siendo estas: que la experiencia resultó interesante, que recomendaría su aplicación a otras clases, que le ayudó a comprender los conceptos y que le ayudó a implicarse con la asignatura. Por ejemplo, el 40% de los alumnos afirmó que estaban totalmente de acuerdo con que la tarea les había ayudado a mejorar las relaciones con los compañeros. El 75% estaba muy de acuerdo o totalmente de acuerdo con que la tarea les había ayudado a comprender conceptos de la asignatura. Casi el 70% estaba muy de acuerdo o totalmente de acuerdo con que la tarea había mejorado su implicación con la asignatura. pág. 2 Tabla 3. Estadísticas sobre la experiencia con TikTok Pregunta del cuestionario Media DE Mínimo Máximo El uso de TikTok en esta clase ha favorecido mis relaciones personales con mis compañeros. 3.936 1.165 1 5 El uso de TikTok en esta clase me hizo sentirme valioso/a. 3.318 1.154 1 5 El uso de TikTok en esta clase me hizo sentir que mi opinión era tenida en cuenta. 3.632 1.071 1 5 El uso de TikTok en esta clase me ayudó a comprender y aplicar conceptos de la asignatura. 3.986 1.009 1 5 En general, me ha gustado la actividad del TikTok que hicimos en clase. 3.932 1.139 1 5 El uso de TikTok en esta clase ha sido interesante 4.086 1.010 1 5 El uso de TikTok en esta clase ha sido divertido 4.145 1.041 1 5 El uso de TikTok en esta clase ha hecho que me implique con la asignatura 3.982 1.038 1 5 Volvería a participar en la práctica de TikTok si tuviera ocasión en otra asignatura 3.686 1.277 1 5 Recomendaría el uso de este tipo de prácticas con TikTok en otras asignaturas 3.809 1.264 1 5 Figura 1. Gráficos de violín y cajas de la distribución de interesante, recomendación, implicación y comprender conceptos. Metodología de análisis: comprobación de objetivos Para comprobar si el tratamiento ha tenido éxito realizaremos un análisis de diferencias de diferencias (DD). DD es una técnica estadística utilizada en evaluaciones de impacto para medir el efecto causal de un tratamiento o intervención. Esta técnica compara la diferencia en los resultados entre dos grupos (uno de tratamiento y otro de control) antes y después de la intervención. El análisis se realiza mediante un análisis de regresión siendo el modelo el siguiente: y = β0 + β1Grupo + β1Tiempo + β1Grupos x Tiempo β1 + ε. Tras comprobar las asunciones necesarias se realiza el análisis con los siguientes resultados. Objetivo 1. Mejorar la satisfacción con la asignatura pág. 3 El análisis de regresión muestra que los alumnos disminuyeron su satisfacción entre el periodo t-1 y t. Los alumnos disminuyeron la satisfacción en general con las asignaturas entre antes y después del tratamiento (F(1,865)=56.536, , β = -.582, p<0.01), con un R2 de 0.082. Sin embargo, la diferencia en las diferencias muestra que la satisfacción mejoró con la asignatura considerando la variación de los periodos y entre los grupos experimentales (F(1,865)=64.048, , β = 0.757, p<0.001). Es decir, el tratamiento (uso de TikTok) aumentó la satisfacción con la asignatura. La figura 2 representa el resultado del análisis de la diferencia de las diferencias. Figura 2. Media marginal estima de la diferencia en las diferencias para la satisfacción: (dt)=(Experimental-Control)- (t-(t-1)). Objetivo 2. Mejorar el nivel de motivación De forma similar a la satisfacción, los alumnos mostraron un menor nivel de motivación en el periodo t que en el periodo t-1 (F(1,865)=40.128, , β = -.588, p<0.001), con un R2 de 0.054. Pero la diferencia en las diferencias muestra que la motivación con la asignatura mejoró considerando la variación de los periodos y entre los grupos experimentales (F(1,865)=42.165, , β = .736, p<0.001). Es decir, el tratamiento (uso de TikTok) aumentó la motivación con la asignatura. La figura 3 representa el resultado del análisis de la diferencia de las diferencias. Figura 3. Media marginal estima de la diferencia en las diferencias para la motivación Objetivo 3. Mejorar el trabajo en equipo Respecto de las variables de trabajo en equipo, encontramos un efecto significativo en la variable resolución de conflictos (F(1,857)=4.1, β = .147, p<0.05) con un R2 de 0.016 y en la variable gestión del conflicto (F(1,856)=4.933, β = .178, p<0.05) con un R2 de 0.012. La figura 4 muestra su evolución antes y después del tratamiento. No encontramos un efecto significativo del tratamiento sobre la eficacia colectiva o el comportamiento de apoyo. pág. 4 Figura 4. Media marginal estima de la diferencia en las diferencias para las variables resolución del conflicto y gestión del conflicto Objetivo 4. Mejorar el desempeño y la distracción El desempeño mejoró significativamente (F(1,865)=7.094, β = .215, p<0.01), con un R2 de 0.018 tras el tratamiento, pero en general disminuyó en el periodo t para ambos grupos. Respecto a la distracción, también mejoró (F(1,865)=16.203, β = -.267, p<0.001) con un R2 de 0.073. Nótese que la distracción fue consultada en sentido negativo. Así, un coeficiente negativo denota que los alumnos disminuyeron su falta a clase. La terminación de tareas a tiempo, la multi-tarea y la distracción en general no variaron a consecuencia del tratamiento. La figura 5 muestra las medias marginales de las variables analizadas. Figura 5. Media marginal estima de la diferencia en las diferencias para el desempeño y la distracción (ausencia). Results obtained (In English) Results Descriptive results A total of 971 observations were taken, distributed in four groups according to Table 1, where t-1 corresponds to the first information capture before treatment, and t corresponds to the information capture after treatment. Additionally, the control and experimental groups were identified. The percentage of groups is homogeneous around 25%. Tabla 1. Experimental groups Time Group Frequency % Total % Accumulated t-1 Control 281 28.9 % 28.9 % Experimental 240 24.7 % 53.7 % t Control 219 22.6 % 76.2 % pág. 5 Experimental 231 23.8 % 100.0 % Regarding the degrees (Table 2), a high percentage of observations come from GADE and FICO, which is understandable due to the large number of groups and accessibility to them. Table 2. Frequencies by module and grade Grade Module Frequencies % Total % Accumulated DGADE INTMK 50 5.7 % 5.7 % FICO INTMK 182 20.7 % 26.3 % GADE INTMK 305 34.6 % 61.0 % GECO INTMK 86 9.8 % 70.7 % GMIM INTMK 101 11.5 % 82.2 % GTUR PROTUR 157 17.8 % 100.0 % Analysis methodology: Scale validation. Table 4 shows the reliability and validity indicators obtained by the SmartPLS program following the recommendations of Hair et al. (2020). The distraction variable is the only one that does not reach the recommended minimum indicators, so each item of this scale will be analyzed independently. Students who belonged to the groups where the treatment was implemented were asked for their general opinion on the use of TikTok in class. Table 3 shows the questionnaire questions, as well as the mean, standard deviation (SD), minimum, and maximum. Figure 1 graphically shows the best-rated dimensions: that the experience was interesting, that they would recommend its application to other classes, that it helped them understand the concepts, and that it helped them engage with the subject. For example, 40% of students agreed that the task had helped them improve their relationships with their classmates. 75% strongly agreed or agreed that the task had helped them understand concepts of the subject. Almost 70% strongly agreed or agreed that the task had improved their engagement with the subject. Table 3. TikTok experience statistics Questionnaire question Mean ED Minim. Max. The use of TikTok in this class has favored my personal relationships with my classmates. 3.936 1.165 1 5 Using TikTok in this class made me feel valuable. 3.318 1.154 1 5 The use of TikTok in this class made me feel that my opinion was taken into account. 3.632 1.071 1 5 The use of TikTok in this class helped me to understand and apply concepts from the course. 3.986 1.009 1 5 Overall, I liked the TikTok activity we did in class. 3.932 1.139 1 5 The use of TikTok in this class has been interesting. 4.086 1.010 1 5 Using TikTok in this class has been fun. 4.145 1.041 1 5 The use of TikTok in this class has made me get involved with the subject. 3.982 1.038 1 5 I would participate in TikTok practice again if I had the opportunity in another subject. 3.686 1.277 1 5 I would recommend the use of this type of practice with TikTok in other subjects. 3.809 1.264 1 5 Figure 1. Violin and box plots of the distribution of interesting, recommendation, engagement, and understanding concepts. pág. 6 Analysis methodology: Objectives verification To verify if the treatment has been successful, a difference in differences (DD) analysis will be performed. DD is a statistical technique used in impact evaluations to measure the causal effect of a treatment or intervention. This technique compares the difference in results between two groups (one treatment and one control) before and after the intervention. The analysis is performed using a regression analysis, with the following model: y = β0 + β1Group + β1Time + β1Groups x Time β1 + ε. After checking the necessary assumptions, the analysis is performed with the following results. Objective 1. Improve satisfaction with the subject The regression analysis shows that the students decreased their satisfaction between the period t-1 and t. The students decreased their overall satisfaction with the subjects between before and after treatment (F(1,865)=56.536, β = -.582, p<0.01), with an R2 of 0.082. However, the difference in differences shows that satisfaction improved with the subject, considering the variation between periods and between experimental groups (F(1,865)=64.048, β = 0.757, p<0.001). That is, the treatment (use of TikTok) increased satisfaction with the subject. Figure 2 represents the result of the difference in differences analysis. Figure 2. Marginal average estimate of the difference in differences for satisfaction: (dt)=(Experimental-Control)-(t-(t1)). Objective 2. To improve the level of motivation pág. 7 Similar to satisfaction, students showed a lower level of motivation in period t than in period t-1 (F(1,865)=40.128, , β = -.588, p<0.001), with an R2 of 0.054. But the difference in differences shows that motivation with the subject improved considering the variation of periods and between experimental groups (F(1,865)=42.165, , β = .736, p<0.001). That is, the treatment (use of TikTok) increased motivation with the subject. Figure 3 represents the result of the difference-in-difference analysis. Figure 3. Marginal mean difference in difference estimates for motivation. Objective 3. Improve teamwork Regarding the teamwork variables, we found a significant effect on the conflict resolution variable (F(1,857)=4.1, β = .147, p<0.05) with an R2 of 0.016 and on the conflict management variable (F(1,856)=4.933, β = .178, p<0.05) with an R2 of 0.012. Figure 4 shows their evolution before and after treatment. We did not find a significant treatment effect on collective efficacy or supportive behaviour. Figure 4. Marginal mean estimates of the difference in differences for the variables conflict resolution and conflict management. Objective 4. Improve performance and distractibility Performance improved significantly (F(1,865)=7.094, β = .215, p<0.01), with an R2 of 0.018 after treatment, but overall decreased in the t-period for both groups. Regarding distractibility, it also improved (F(1,865)=16.203, β = - .267, p<0.001) with an R2 of 0.073. Note that distractibility was negatively queried. Thus, a negative coefficient denotes that student decreased their absence from class. On-time homework completion, multi-tasking and general distractibility did not change because of the treatment. Figure 5 shows the marginal means of the variables analysed. Figure 5. Marginal mean estimates of the difference in differences for performance and absenteeism (absence). pág. 8 E. Difusión y aplicación del proyecto a otras áreas de conocimiento y universidades Este proyecto se convertirá en un artículo científico que esperamos pueda ser publicado en una revista indexada en la base de datos Web of Science en acceso abierto. No obstante, los profesores participantes en el proyecto procederemos a divulgar los conocimientos adquiridos a través de nuestras redes sociales y generaremos una nota de prensa para ser distribuida en las redes sociales de la Universidad y Facultad, además de páginas web de difusión de conocimiento en innovación educativa. Respecto de la aplicación a otras áreas de conocimiento y universidades, nosotros creemos que esta innovación se puede aplicar directamente en otras carreras de otras ramas de conocimiento. Quizás fuera una excepcionalidad las áreas de dónde el cálculo sea el conocimiento troncal de la asignatura. Especialmente debido al carácter dinámico de la red social TikTok. En ese caso quizás fuera más recomendable usar redes sociales donde divulgar capturas de pantalla fuera más sencillo, por ejemplo Twitter o Instagram. En cualquier caso, la complementariedad del uso de TikTok puede ser útil en las ramas de ciencias sociales y jurídicas, algunas ciencias básicas pero esencialmente en cualquier asignatura o grado donde la competencia de trabajo en equipo esté presente. Dissemination and application of the project to other areas of knowledge and universities (In English) This project will become a scientific article that we hope can be published in a journal indexed in the Web of Science database in open access. However, the professors participating in the project will proceed to disseminate the knowledge acquired through our social networks and will generate a press release to be distributed in the social networks of the University and Faculty, in addition to web pages of knowledge dissemination in educational innovation. Regarding the application to other areas of knowledge and universities, we believe that this innovation can be applied directly to other careers in other branches of knowledge. Perhaps it would be an exception in areas where calculus is the core knowledge of the subject. Especially due to the dynamic nature of the social network TikTok. In this case, it might be more advisable to use social networks where it would be easier to disseminate screenshots, for example Twitter or Instagram. In any case, the complementarity of the use of TikTok can be useful in the branches of social and legal sciences, some basic sciences but essentially in any subject or degree where the competence of teamwork is present. F. Estudio de las necesidades para incorporación a la docencia habitual La aplicación de TikTok a la docencia no requiere de ninguna inversión. Esto facilita la incorporación del uso de esta red social a la docencia universitaria, incluso no universitaria de pre-grado. Pero debemos de seguir los cambios del entorno y la aceptación de cada red social en función de la generación-edad de los estudiantes. Este proyecto fue aplicado a los estudiantes de primer año (solo un grupo de segundo año DEGADE) que es el usuario más habitual de esta red social. Por tanto, creemos que la incorporación de esta dinámica de aprendizaje podría mejorar habilidades de trabajo en equipo pero también la motivación y la asistencia a clase. En definitiva, sí parece necesario incorporar este tipo de actividades a la docencia habitual. G. Puntos fuertes, las dificultades y posibles opciones de mejora Puntos fuertes. Encontramos cierto entusiasmo por parte del alumnado en la incorporación de este tipo de dinámicas que se alejan del entorno habitual de aprendizaje autónomo. La colaboración entre alumnos es un punto fuerte. Los alumnos tenían capacidades significativas y competencias digitales sobresalientes para crear videos e imágenes. Algunos de los TikToks fueron sobresalientes en el aspecto de calidad video-audivisual. Algunos alumnos