Mejorando la formación en Dirección de Operaciones: La visión del estudiante y su respuesta ante diferentes metodologías docentes

1 MEJORANDO LA FORMACIÓN EN DIRECCIÓN DE OPERACIONES: LA VISIÓN DEL ESTUDIANTE Y SU RESPUESTA ANTE DIFERENTES METODOLOGÍAS DOCENTES * A STEP FORWARD IN OM TRAINING: STUDENT VISIONS AND THEIR RESPONSE TO DIFFERENT LEARNING ENVIRONMENTS Rafaela Alfalla-Luque Grupo de investigación GIDEAO. Universidad de Sevilla. Departamento de Economía Financiera y Dirección de Operaciones. Avda. Ramón y Cajal, 1. 41005. Sevilla. España. Tel: 0034 954 556 456 Fax: 00 34 954 557 570. E-mail: [email protected] Carmen Medina-López Grupo de investigación GIDEAO. Universidad de Sevilla. Departamento de Economía Financiera y Dirección de Operaciones. Avda. Ramón y Cajal, 1. 41005. Sevilla. España. Tel: 0034 954 556 456 Fax: 00 34 954 557 570. E-mail: [email protected] Francisco J. Arenas-Márquez Grupo de investigación GIDEAO. Universidad de Sevilla. Departamento de Economía Financiera y Dirección de Operaciones. Avda. Ramón y Cajal, 1. 41005. Sevilla. España. Tel: 0034 954 556 456 Fax: 00 34 954 557 570. E-mail: [email protected] * Los autores agradecen los comentarios y sugerencias realizados por José A. Camuñez y por los evaluadores de la revista. Alfalla Luque, R., Medina López, C. y Arenas Márquez, F.J. (2011): “Mejorando la formación en Dirección de Operaciones: La visión del estudiante y su respuesta ante diferentes metodologías docentes”, Cuadernos de Economía y Dirección de la Empresa, 14, pp. 40-52. https://doi.org/10.1016/ j.cede.2011.01.002 2 MEJORANDO LA FORMACIÓN EN DIRECCIÓN DE OPERACIONES: LA VISIÓN DEL ESTUDIANTE Y SU RESPUESTA ANTE DIFERENTES METODOLOGÍAS DOCENTES A STEP FORWARD IN OM TRAINING: STUDENT VISIONS AND THEIR RESPONSE TO DIFFERENT LEARNING ENVIRONMENTS Resumen El presente trabajo busca la mejora de la formación de la Dirección de Operaciones (DO) tomando como punto de referencia al estudiante. Los resultados obtenidos muestran la necesidad de hacer más comprensibles y motivantes las asignaturas de DO ante la falta de interés del alumno por desarrollarse profesionalmente en esta área. Por tanto, debemos orientar la estrategia docente de forma que actúe sobre estas variables. Con tal objetivo, se han analizado tres metodologías (enseñanza asistida por ordenador, seminario presencial y enseñanza a distancia tradicional) determinando su influencia en variables como motivación, dificultad percibida, comprensión de la materia y percepción del aprendizaje. Haciendo uso, entre otros, del análisis factorial y el análisis de la varianza se han evaluado dichos entornos educativos, estableciendo los que resultan más adecuados para abordar la problemática que para el alumno presenta la formación en una disciplina tan importante para la gestión empresarial. Palabras clave: Dirección de Operaciones; Docencia; Estudiante, TIC; Encuesta. Código JEL: M1; A2; I2 Abstract This paper proposes to improve instruction in Operations Management (OM) by taking the student as a reference. The results show the need to make the subjects more understandable and motivating, given the student’s lack of interest in developing professionally in this area. The aim should therefore be for the teaching strategy to act upon these variables. Three educational environments (computer-assisted learning, presential seminar and traditional distance teaching) have been analysed with this goal in mind in order to determine their influence on such variables as motivation, perceived difficulty, understanding of the material and perception of the learning. Said educational environments have been evaluated making use of such aids as factor analysis and variance analysis. We have determined the environments that are best suited to dealing with the problems that instruction in such an important discipline for business administration presents for students. Keywords: Operations Management, Teaching, Student, ICT, Survey. JEL classification: M1; A2; I2 3 1. Introducción La Dirección de Operaciones (DO) es un área básica en el desarrollo de la estrategia empresarial y en la consecución de ventajas competitivas sostenibles para la empresa, por lo que se hace necesaria una sólida formación universitaria en este campo. Ello beneficiará al tejido empresarial en el que los estudiantes universitarios terminarán desempeñando su actividad profesional. No obstante, aunque esta materia tiene una importancia manifiesta, diversos autores señalan que los alumnos suelen considerarla como una disciplina difícil de entender y fuera de su interés profesional (Helms, 1991; Morris, 1997; Lankford y Padgett, 2000; Mukherjee, 2002; Polito et al., 2004; Cox y Walker, 2005; Yazici, 2006; Fish, 2008). Además, las propias titulaciones de Administración y Dirección de Empresas (ADE) parecen darle menor importancia que a otras áreas como Finanzas o Marketing (Reuter, 1983; Helms, 1991; Patterson y Helms, 1993; Bandyopadhyay, 1994; Wermus y Pope, 1995; Alfalla y Machuca, 2000; Machuca y Alfalla, 2002). En consecuencia, los discentes podrían verse faltos de interés por la DO debido a que no están tan familiarizados con ella como con otras disciplinas empresariales (Satzler y Sheu, 2002). Sin embargo, la percepción de los estudiantes de DO puesta de manifiesto por diferentes investigadores ha sido analizada empíricamente en escasos estudios y, todos ellos, en el contexto de asignaturas obligatorias de universidades estadounidenses (Ala, 1987; Helms, 1991; Desai e Inman, 1994; Pal y Busing, 2008). En consecuencia, no podemos asegurar que sus conclusiones sean extensibles a los discentes de universidades españolas y, por tanto, que podamos tomarlos como referente para el diseño y desarrollo de metodologías docentes efectivas. Debido a que el conocimiento del contexto, es decir, el saber dónde y a quién se enseña, es fundamental para afrontar con garantías de éxito el proceso de enseñanza-aprendizaje (Vaillant y Marcelo, 2001), es necesario determinar cuál es realmente la visión que los estudiantes tienen de la disciplina. Así, el primer objetivo que hemos planteado es determinar cuál es la percepción de nuestros alumnos sobre DO en el marco de sus estudios de ADE. La visión que tengan de la materia afecta a variables subjetivas (motivación, comprensión,L) que condicionan su proceso de aprendizaje (Pintrich et al., 1991; Mc Robbie y Tobin, 1997; Wolters y Pintrich, 1998). Por ejemplo, cuando los contenidos son percibidos como interesantes, importantes y útiles, los estudiantes están más dispuestos a aprender con comprensión (Mc Robbie y Tobin, 1997). Igualmente, que el alumno no vea la utilidad real de la asignatura es la causa más frecuente de falta de motivación (Ausubel, 1989). La motivación parece incidir sobre la forma de pensar y, con ello, sobre el aprendizaje (Alonso Tapia, 1995). Hemos de tener en cuenta que estas variables subjetivas no dependen exclusivamente del estudiante, sino que el docente tiene un claro margen de acción para favorecerlas (Rinaudo et al., 2003), 4 por lo que, si utilizamos métodos docentes adecuados, podremos mejorar la visión del alumno sobre esta disciplina y captar su interés. Sin embargo, en las investigaciones sobre docencia en DO encontramos escasos trabajos que permitan conocer el efecto que tiene la aplicación de diferentes metodologías sobre dichas variables subjetivas. La mayoría no evalúan formalmente el método docente empleado desde la perspectiva del estudiante y, cuando lo hacen, se suelen centrar básicamente en el análisis de la mejora de la comprensión (Yazici, 2004; Cox y Walker, 2005; Fish, 2008). Igualmente, tampoco realizan estudios comparativos entre métodos docentes. Como máximo, en algunos se hace una comparación indirecta respecto al método habitual que siguen en el desarrollo de la asignatura, que suele ser clases magistrales y libro de texto (Cox y Walker, 2005). Por tanto, ante la falta de investigación al respecto y la importancia del tema, nuestro segundo objetivo es evaluar, desde la óptica del estudiante y para la disciplina de DO, la efectividad de diferentes metodologías docentes (enseñanza asistida por ordenador, seminario presencial y enseñanza a distancia tradicional) en relación con variables subjetivas como motivación, comprensión de la materia, percepción del aprendizaje y dificultad percibida (que, en conjunto forman el concepto que hemos denominado percepción y actitud del alumno respecto de su proceso de aprendizaje). Con ello buscamos contribuir a la mejora de la formación en esta disciplina. El resto del trabajo se estructura en cuatro secciones. En la segunda sección se hace una revisión de los trabajos previos y se definen las hipótesis a investigar. A continuación se expone la metodología empleada en la investigación. La cuarta sección muestra los resultados del estudio sobre la percepción del estudiante de DO y la evaluación de las diferentes metodologías docentes aplicadas. Finalmente, se realizan unas conclusiones sobre los resultados obtenidos. 2. Revisión de la literatura y formulación de hipótesis Como hemos señalado, estudios previos realizados en asignaturas obligatorias de universidades estadounidenses (Ala, 1987; Helms, 1991; Desai e Inman, 1994; Pal y Busing, 2008) muestran que la DO presenta una imagen poco atractiva para los estudiantes, pero en ellos se observan dos situaciones diferentes. En primer lugar, los trabajos de Ala (1987), Helms (1991) y Desai e Inman (1994) señalan que los discentes que cursan asignaturas de DO lo hacen, mayoritariamente, por ser un requisito obligatorio del programa y no por el interés de los contenidos de la asignatura, no siendo conscientes, a priori, de la importancia que la formación en la disciplina pudiera aportarles. No obstante, una vez cursada la asignatura obligatoria de DO, parecen percibir claramente el beneficio obtenido de su estudio como parte integrante de su formación empresarial. Sin embargo, si esta asignatura hubiese sido optativa, probablemente, muchos 5 alumnos no la habrían elegido, pues se evidencia una falta de conocimiento e interés previo por la materia. Por tanto, el estudiante parece tener una falta de motivación inicial hacia las asignaturas de DO. En segundo lugar, un estudio más reciente (Pal y Busing, 2008) muestra una situación diferente. En él la mayoría de alumnos consideran que la DO debe ser una asignatura obligatoria en ADE, percepción que aumenta a final del curso (84.8% frente a 87.7%). También consideran que aprender DO es importante para su carrera profesional, aunque el porcentaje final disminuye (91.9% frente a 84.8%). Sin embargo, solo el 30,2% al inicio y el 24,3% al final cursarían asignaturas adicionales sobre DO. Estas conclusiones, sin duda, invitan a la reflexión y son una clara llamada de atención, pues se hace necesario el diseño de metodologías docentes que sean capaces de atraer el interés del alumno hacia la formación en esta estratégica área empresarial más allá de la asignatura obligatoria de DO. Teniendo en cuenta estos estudios previos, nuestro primer objetivo, que busca determinar la visión que tiene el estudiante sobre DO en el contexto de sus estudios de ADE, plantea como hipótesis: H1: Los alumnos tienen menor interés profesional por DO que por áreas empresariales más clásicas. H2: Los alumnos reconocen la importancia de formarse en DO. A esta percepción del discente se unen problemas clásicos atribuidos a las asignaturas de DO, que también deben ser tenidos en cuenta en el proceso de enseñanza-aprendizaje: falta de comprensión de los conceptos de DO (Johnson y Drougas, 2002; Yazici, 2006), elevada carga cuantitativa (Mukherjee, 2002; Peters et al., 2002; Yazici, 2006) y amplia variedad de temas abordados (Lankford y Padgett, 2000; Polito et al., 2004; Cox y Walker, 2005; Fish, 2008). De ellos, los dos últimos son elementos inherentes a la disciplina. En cambio, la falta de comprensión de los conceptos puede verse mejorada por la metodología docente empleada, por lo que debemos conocer si éste es un problema real entre nuestros estudiantes. Por ello, dentro de nuestro primer objetivo planteamos como tercera y última hipótesis: H3: Los alumnos manifiestan una falta de comprensión en los conceptos de DO. Como hemos indicado, las percepciones del alumno hacia la disciplina afectan a variables subjetivas que están presentes en todo proceso de aprendizaje (Pintrich et al., 1991; Mc Robbie y Tobin, 1997; Wolters y Pintrich, 1998). Así, por ejemplo, si el alumno percibe que los conceptos pueden ser aplicados en su profesión, mayor será el interés y la motivación (Turner et al., 2006). En este sentido, como señala Krajewski (1998), las claves para motivar al estudiante de DO son involucrarlo activamente en el proceso de aprendizaje y establecer un enfoque de enseñanza efectivo. En este proceso, la metodología docente empleada es un elemento clave, pues afecta a las diferentes variables subjetivas que experimenta el alumno en su proceso de aprendizaje (Draper et al., 1994). Sin embargo, entre las experiencias docentes en DO analizadas (Tabla 1) encontramos una mayoría que se centra en la descripción del método docente, sin 6 abordar empíricamente su efecto sobre las variables subjetivas del alumno más allá de los comentarios informales expresados por el mismo (Griffin, 1997; Ahire, 2001; Ammar y Wright, 2002; Holweg y Bicheno, 2002; Yazici, 2006). Las metodologías que son evaluadas formalmente desde la perspectiva del estudiante son escasas y centradas, principalmente, en el efecto que producen sobre la comprensión de los conceptos impartidos, el cual es uno de los problemas clásicos atribuidos a la disciplina. Así, Cox y Walker (2005) realizaron una simulación de una línea de producción, detectando que, a juicio del estudiante, es un método más efectivo para comprender los conceptos que la clásica lección magistral acompañada por un libro de texto. Los trabajos de Chong y Kukalis (1989), Darian y Coopersmith (2001), Satzler y Sheu (2002), Gattiker (2003), Kanet y Barut (2003), Yazici (2004), Fish (2008) o Pal y Busing (2008) también mostraron una adecuada comprensión de los conceptos explicados al aplicar diferentes metodologías (Tabla 1). Por su parte, los estudios que analizan cuestiones relativas a motivación son muy escasos, concluyendo una mejora de dicha variable al aplicar el aprendizaje basado en problemas (Kanet y Barut, 2003), los proyectos en equipo (Satzler y Sheu, 2002) o el software de simulación (Chong y Kukalis, 1989). Sin embargo, no se han analizado los efectos que la metodología docente puede tener en otras variables subjetivas que también afectan al proceso de enseñanza, como la percepción de la dificultad o del aprendizaje adquirido. Tampoco se han realizado estudios comparativos aplicando diferentes metodologías docentes para la formación en DO, más allá de comparaciones indirectas con el método tradicional (Cox y Walker, 2005). INSERTAR Tabla 1 Por tanto, nuestro segundo objetivo será investigar la relación existente entre metodología docente y variables subjetivas del alumno relacionadas con motivación, percepción de aprendizaje, comprensión y dificultad percibida en la materia. En concreto, se analizará, de forma comparativa, el efecto que tres metodologías docentes (enseñanza asistida por ordenador, seminarios presenciales y enseñanza a distancia tradicional) empleadas para la formación en DO tienen sobre dichas variables subjetivas por separado y en la interrelación existente entre ellas (es decir, en el concepto que hemos denominado “percepción y actitud del alumno respecto de su proceso de aprendizaje”), planteando como hipótesis: H4. El método docente influye en la motivación del estudiante. H5. El método docente influye en la comprensión percibida en la materia. H6. El método docente influye en la percepción de aprendizaje. H7. El método docente influye en la dificultad percibida en la materia. H8. El método docente influye en la percepción y actitud del alumno sobre su proceso de aprendizaje. La aceptación de estas hipótesis nos permitiría afirmar que a través del método docente se puede modificar la actitud del estudiante y, por tanto, su interés por el área de DO. Igualmente, se podrían identificar los 7 métodos más idóneos para la mejora de estas variables subjetivas, dándonos un marco de referencia para el desarrollo de estrategias de formación en DO. Por otra parte, también están presentes en la literatura planteamientos sobre el efecto que la aplicación de una metodología docente tiene en el rendimiento del alumno, medido a través de una prueba objetiva. Sin embargo, no son claros los resultados al respecto. Rayburn y Rayburn (1999) detectaron una correlación positiva entre la realización de actividades obligatorias fuera de las aulas y el rendimiento del estudiante en un curso introductorio de Contabilidad. En esta área, encontramos conclusiones similares respecto al uso del aprendizaje colaborativo (Kunkel y Shafer, 1997; Lancaster y Strand, 2001). Igualmente, el trabajo en equipo ha sido vinculado a la mejora del rendimiento en asignaturas de Marketing, Contabilidad o Dirección (Caldwell et al., 1996; Hampton y Grudnitski, 1996; Deeter-Schmeltz y Ramsey, 1998; Bacon et al., 1999; Miglietti, 2002). Sin embargo, Leeds et al. (1998) encontraron que metodologías de enseñanza activa, comparadas con la clásica lección magistral, no mejoraban los resultados del alumno, pues sus estudiantes de Economía obtenían mejores resultados con la lección magistral. Conclusiones similares muestran Collaud et al. (2000) con alumnos de Psicología o Catenazzi y Sommaruga (1999) con estudiantes de Informática. En el área de DO pocos estudios tratan el tema de forma empírica y, al igual que en otras áreas, sus conclusiones son diversas. Así, Fish (2008), que analiza el uso de proyectos en equipo, y Polito et al. (2004), que hacen uso de una factoría simulada, determinan que estas metodologías mejoran los resultados de los alumnos. En cambio, Peters et al. (2002) concluyen que el método empleado (trabajos fuera del aula dirigidos) no afecta al resultado de las pruebas cuantitativas, pero sí de las teóricas. Tampoco encuentran significativa la relación entre la asistencia a clase y los resultados del examen. Por tanto, el rendimiento del alumno en un examen parece estar condicionado por diversos factores, no siempre fáciles de controlar en la estrategia de enseñanza-aprendizaje. En este sentido, el efecto que las variables subjetivas al alumno ejercen sobre el mismo tampoco parece claro. Por ejemplo, Astudillo y Pelizza (1999) señalan que el reconocimiento de los factores motivacionales vinculados al aprendizaje y su incidencia en el rendimiento académico, suele ser un aspecto que evidencia comportamientos contradictorios en la enseñanza universitaria. En esta línea, Pintrich y DeGroot (1990) incluso afirman que la motivación no se relaciona directamente con el rendimiento. A este respecto, en nuestra investigación se ha empleado una medida de rendimiento, los resultados de un examen tipo test, como variable de control del proceso de enseñanzaaprendizaje. Ésta será incorporada en el contraste de las hipótesis 4 a 8 con objeto de conocer su influencia sobre la relación existente entre los métodos docentes y las variables subjetivas analizadas. 8 3. METODOLOGÍA Para la consecución del primer objetivo los investigadores realizaron una encuesta en la primera y última semana de clase en asignaturas obligatorias de DO de dos titulaciones de ADE de la Universidad de Sevilla, las cuales se impartían con el método tradicional de clases magistrales teórico-prácticas y libro de texto. Dicha encuesta replica diferentes aspectos tratados en estudios previos (Ala, 1987; Helms, 1991; Desai e Inman, 1994), estando constituida por preguntas de respuesta ordinal (preferencia profesional, Tabla 5), dicotómica (importancia de la formación en DO, Tabla 6) o abierta (problemas de la disciplina, Tabla 7), que se analizan en el apartado siguiente. Durante su preparación, fue revisada por docentes de DO y, posteriormente, testada con un grupo de alumnos que aportaron mejoras para su comprensión. Para realizar el proceso de encuestación, a principio de curso se realizó un muestreo por conglomerados, seleccionándose aleatoriamente dos grupos por asignatura a encuestar, pues todos los discentes no repetidores constituían una población homogénea que se encontraba asignada por grupos (cada uno se puede considerar un conglomerado) en función de un elemento tan aleatorio como los apellidos. Sin embargo, la encuesta final se realizó en todos los grupos, pues los alumnos ya habían cursado la asignatura y podían verse afectados por diferentes factores que condicionasen sus respuestas. En total se han encuestado 699 estudiantes no repetidores, 204 al inicio y 495 al final. Para el contraste de las hipótesis 1 a 3 se emplearon las pruebas de Friedman, Wilcoxon por pares y el contraste de proporciones. El segundo objetivo se ha abordado mediante la realización y evaluación, a través de una encuesta y una prueba de conocimiento, de dos experimentos de campo (Kerlinger, 1975). La adopción de un diseño experimental permite imponer un mayor grado de control sobre las condiciones del estudio y un mejor análisis de los efectos verdaderos de las variables independientes sobre las dependientes (Cohen y Manion, 1990). Para los experimentos se eligieron dos temas básicos para la disciplina, como son MRP y JIT (Goffin, 1998; Avella et al., 1999; Carretero y Delgado, 2000; Machuca y Alfalla, 2002; Slack et al., 2004; Schonberger, 2007; Martín y Díaz, 2009). Ambos experimentos usan como escenario experimental la enseñanza asistida por ordenador a distancia (EAOD) en comparación con otro método docente (escenario de control), como es la enseñanza a distancia tradicional (EDT), en el caso de JIT, y el seminario presencial (SP), en el caso de MRP. Es importante señalar que los escenarios docentes de control (EDT y SP) fueron cuidadosamente diseñados. Puesto que iban a ser la referencia con la que comparásemos la EAOD, debíamos garantizar que tuviesen la máxima calidad para que, en caso de resultar así, la EAOD resultase valorada positivamente por sus propios méritos y no por las deficiencias de los escenarios de control. 9 Por tanto, estudiamos tres métodos docentes muy diferentes entre sí y que permiten asimilar a ellos otras metodologías en la medida en que sus características estén cercanas a unas u otras. En concreto, el seminario presencial representa una formación teórico-práctica en grupos reducidos (en el experimento cada grupo tenía 20 alumnos), dirigida por el profesor y que busca fomentar la interacción y la participación activa del estudiante, en línea con el nuevo escenario docente que propugna el proceso de Bolonia. La EDT reflejaría el trabajo autónomo del alumno basado en el estudio de un libro de texto y tiene gran importancia en la formación continua (long life learning). Aunque este método no es habitual en las universidades presenciales, sería asimilable al que sigue un alumno que no asiste a clase y prepara la asignatura por su cuenta o a la realización de actividades fuera del aula en las que el estudiante debe formarse en base a unos textos recomendados. En el experimento se preparó un manual con explicaciones, actividades y ejercicios prácticos que facilitaban la autoformación. Para la EAOD se hizo uso de software multimedia educativo por ser un desarrollo tecnológico clave para la educación (Gunasekaran y Love, 1999; New, 2003) y que ha sido escasamente investigado en la formación en DO (New, 2003) pues, cuando se hace uso del ordenador, se tiende a experimentar con juegos o simulaciones. Con ello estudiaríamos la incorporación de las TIC al proceso de enseñanza-aprendizaje. Las aplicaciones interactivas multimedia, siguiendo las tres fases características en los procesos de desarrollo de software educativo (Chapman, 1995; Koper, 1998; Shabajee, 1999), fueron concebidas, producidas y evaluadas en nuestro grupo de investigación. En este sentido, fue de gran utilidad la experiencia previa del grupo en el desarrollo de otras herramientas de formación basadas en las TIC, fundamentalmente simuladores de empresas (Machuca y Pozo, 1997; González et al., 2000; Machuca et al., 2003). Para la programación de las aplicaciones se hizo uso de la herramienta de autor Adobe Authorware y se siguió un enfoque constructivista que confiere al alumno un papel muy activo dentro del proceso de enseñanza-aprendizaje (Shuell, 1996; Lewis, 1999) y en el que la interactividad juega un rol crucial para la adquisición del conocimiento y el desarrollo de nuevas habilidades (Sims, 1997). Así, las aplicaciones multimedia permiten un aprendizaje autónomo, abierto, interactivo y adaptable al ritmo de estudio de cada persona. Para ello, llevamos a cabo una cuidada selección de aquellos medios y formatos más idóneos para cada concepto impartido (textos, fotografías, gráficos, animaciones, vídeos o narradores). Asimismo, diseñamos diversas modalidades de ejercicios y formas de interacción que permiten al usuario ser parte activa en la construcción de su conocimiento: preguntas tipo test de autoevaluación, ejercicios interactivos con mensajes de ayuda en caso de error, hipervínculos que remiten a un glosario de conceptos, interacciones que explican el origen de los cálculos realizados, etc. Hemos buscado interfaces intuitivas y muy fáciles de utilizar, garantizando así el control de los usuarios sobre el software y la concentración del esfuerzo en las tareas puramente cognitivas. Para su diseño, 16 comprensión significativamente mayor que quienes han estudiado con EDT. En cambio, la diferencia de valoración entre EAOD y SP no resulta significativa. Sin embargo, diferenciando por grupos, el A solo muestra diferencias significativas de comprensión entre SP y EDT y el B solo entre EAOD y EDT. Es decir, los alumnos con mejores notas han percibido una mayor comprensión con el SP y los de peores notas con la EAOD, siendo siempre la EDT la peor valorada. Por tanto, en un tema tan importante en la DO como es la comprensión percibida en la materia, los métodos docentes de la EAOD y el SP se muestran más adecuados que la EDT basada en un libro de texto, a pesar de que el mismo se adapte para tal fin. De nuevo, las ventajas asociadas a los métodos docentes que aprovechan el potencial de las TIC o que ofrecen una atención presencial más personalizada son referentes claros para la mejora de la comprensión de los conceptos de esta disciplina. Como ya indicamos al analizar el factor motivación, desde nuestro punto de vista, la incorporación de herramientas TIC a los seminarios presenciales ayudaría a la mejora de variables subjetivas como es, en este caso, la comprensión percibida. Hipótesis 6. El método docente influye en la percepción de aprendizaje. Los resultados obtenidos al aplicar ANOVA nos llevan a aceptar esta hipótesis (Tabla 9). Tanto para el conjunto de estudiantes como para los dos grupos establecidos, las diferencias entre métodos muestran que la EAOD presenta unas valoraciones significativamente superiores al SP y la EDT, es decir, quienes han trabajado con EAOD tienen una percepción de aprendizaje más elevada. Por su parte, aunque, en términos medios, el SP es más valorado que la EDT (Tabla 8), no se han encontrado diferencias significativas. Esta diferencia entre métodos puede deberse a que la variedad de medios que permiten las TIC, como los ejercicios interactivos de autoevaluación o las herramientas de seguimiento incorporadas en las aplicaciones diseñadas, propician, en comparación con los otros métodos docentes, una mayor posibilidad de aprender de los errores cometidos y una percepción más clara del progreso en el estudio. A diferencia de lo que ocurre en el SP y la EDT, el alumno recibe una retroalimentación en tiempo real del avance de su conocimiento a medida que va realizando los ejercicios que se proponen en la aplicación interactiva, no teniendo que esperar a la realización y corrección de un examen. Hipótesis 7. El método docente influye en la dificultad percibida en la materia. Al aplicar ANOVA, podemos concluir que se acepta la hipótesis 7 (Tabla 9). Como se observa en la Tabla 8, la dificultad percibida de la materia no fue elevada para ninguno de los métodos docentes. En el análisis post hoc realizado para todos los alumnos, existen diferencias significativas entre SP y EDT. Para el grupo A, además de esta diferencia, también se detecta entre SP y EAOD. Es decir, para los estudiantes que han obtenido mejor nota, el SP se muestra como el método docente con el que menor dificultad perciben en la 17 materia. Ello, desde nuestro punto de vista, se debería al elemento principal de diferencia entre estos métodos, es decir, el profesor, que ante un grupo reducido de alumnos puede personalizar la enseñanza y hacer un seguimiento más continuo. Sin embargo, en el grupo B, aunque la menor dificultad en términos medios aparece en la EAOD y la mayor en la EDT (Tabla 8), no encontramos diferencias estadísticamente significativas entre los métodos. Ello nos lleva a plantear que los alumnos que presentan peores notas no encuentran en ninguno de los métodos una disminución significativa de la dificultad percibida de la materia. Hipótesis 8. El método docente tiene influencia en la percepción y actitud del alumno respecto de su proceso de aprendizaje. Al aplicar el análisis MANOVA, en la prueba Lambda de Wilks se obtiene un p-level de 0,000 para el conjunto de alumnos (Lambda de Wilks: 0,719; F transformado: 7,263; g.d.l.: 8,324), un p-level de 0,000 para el grupo A (Lambda de Wilks: 0,575; F transformado: 6,764; g.d.l.: 8,170) y un p-level de 0,034 para el grupo B (Lambda de Wilks: 0,795; F transformado: 2,163; g.d.l.: 8,142). Por tanto, podemos concluir que se acepta la hipótesis 8. Esto nos permite afirmar que el método docente tiene una influencia significativa sobre el concepto (percepción y actitud del alumno respecto de su proceso de enseñanza-aprendizaje) representado por las variables dependientes (motivación, comprensión percibida en la materia, percepción de aprendizaje y dificultad percibida en la materia). Es decir, a través del método docente se puede modificar la percepción y actitud del estudiante respecto de su proceso de aprendizaje y, por tanto, su propia visión de esta disciplina. Así, se pone de manifiesto la importancia de seleccionar unas metodologías adecuadas para la consecución de los objetivos formativos y la mejora del proceso de enseñanzaaprendizaje. 5. CONCLUSIONES Los cambios en el contexto universitario actual ponen de manifiesto la necesidad de adaptar los métodos docentes a nuevas demandas, sobre todo en un área que parece mostrarse lenta en la incorporación de métodos docentes innovadores (Goffin, 1998; Alfalla y Machuca, 2001). ¿Cómo abordar el cambio? No cabe duda de que, igual que si se tratara de una decisión empresarial, debemos hacer un análisis del entorno externo e interno para abordar con probabilidades de éxito la estrategia a implantar, potenciando nuestras fortalezas y aminorando nuestras debilidades. Por tanto, en dicho análisis, no sólo debemos plantearnos los recursos materiales y humanos, sino también analizar cómo nos ve y qué nos demanda el estudiante. Desde el área de DO, hemos hecho un análisis de las expectativas y percepciones de nuestros alumnos, para tener un punto de partida real sobre el que articular las estrategias de enseñanza-aprendizaje. La globalización en la que estamos inmersos, y a la que no es ajena la formación universitaria, hace que los 18 resultados obtenidos sean, en su mayoría, similares a los detectados en estudios previos en universidades estadounidenses. La falta de interés por desarrollar su vida profesional en el área, a pesar de reconocer la necesidad de formarse en la misma, los problemas ante la multiplicidad de técnicas y temas de la materia o la falta de compresión de la disciplina parecen patrones comunes del discente de las asignaturas de DO. Teniendo en cuenta que la percepción de la materia afecta a variables subjetivas que condicionan el proceso de aprendizaje, es necesaria una adecuada estrategia docente que sepa mostrar con mayor claridad la aplicación práctica y la utilidad de los conceptos y técnicas productivas. Frente a otras materias por las que el discente puede tener una mayor vocación, el profesorado de DO debemos hacer un esfuerzo suplementario. Ante esta situación, el proceso de Bolonia supone un reto para el docente y una oportunidad de cambio. ¿Qué estrategias pueden ayudarnos a mejorar el proceso de enseñanza-aprendizaje en DO? El presente trabajo ha evaluado formalmente algunos métodos docentes con objeto de poder dar respuesta a esta pregunta. La investigación realizada confirma que el método docente tiene una clara influencia en variables como la motivación, la comprensión, la percepción del aprendizaje y la dificultad percibida en la materia. Por tanto, aunque la materia, en sí misma, puede ser uno de los factores que afecten a estas variables, no es el único, puesto que, como se ha demostrado, la forma en la que se imparten los conceptos ejerce una gran influencia. En términos medios para el conjunto de estudiantes, la EAOD es mejor valorada en todas las variables analizadas, excepto en la dificultad percibida en la materia, que es menor en el SP. Sin embargo, el estudio estadístico muestra que la EAOD y el SP son métodos docentes igualmente bien valorados al analizar la motivación del estudiante, la percepción de dificultad y la comprensión de la materia. No obstante, la EAOD genera una mayor percepción de aprendizaje en el alumno que el SP y la EDT. Por su parte, la EDT motiva menos y favorece menos la comprensión de la materia que el SP y la EAOD, generando una mayor percepción de dificultad que el SP. Cuando incorporamos las notas del examen al estudio, en línea con algunos trabajos previos, comprobamos que el método docente no influye de forma estadísticamente significativa en los resultados obtenidos. Por tanto, con métodos docentes bien diseñados los alumnos pueden alcanzar resultados similares en las pruebas de conocimiento. Sin embargo, aquellos alumnos que han obtenido mejores notas (grupo A) presentan ciertas diferencias en la valoración de las variables subjetivas frente a los que han obtenido peores notas (grupo B). En concreto, el grupo A presenta los mayores valores medios en motivación y percepción del aprendizaje en la EAOD, mientras que perciben la mayor comprensión y la menor dificultad en el SP. En cambio, para el grupo B es la EAOD la que siempre presenta las mejores valoraciones medias. Por tanto, los alumnos que han obtenido mejores resultados parecen encontrar en el docente un elemento 19 claro que les ayuda en la comprensión percibida de la materia y disminuye su dificultad. Sin embargo, el grupo B se muestra más atraído por un entorno TIC, aunque ello no le lleva a la obtención de las mejores notas. A este respecto, debemos señalar que autores como Collaud et al. (2000) indican que las evidencias de un “buen” aprendizaje son difíciles de medir y que serán realmente mostradas cuando el alumno aplique adecuadamente los conocimientos a las situaciones reales que se presenten en su desarrollo profesional. Respecto al grupo B, quisiéramos incidir en la inexistencia de diferencias estadísticamente significativas asociadas a la dificultad percibida en la materia en función del método docente. Los resultados obtenidos muestran, como una de las conclusiones más relevantes del estudio, la conveniencia de complementar los métodos docentes en DO para la mejora de las variables subjetivas analizadas. En concreto, tanto el profesor como la incorporación de las TIC han mostrado su relevancia. Un contexto adecuado de pocos alumnos, con clases dinámicas en las que se busca la interactividad y participación, se revela tan efectivo como la EAOD (que hace uso de las TIC sin presencia del docente) en aspectos tales como la comprensión, motivación y dificultad percibida. En nuestra opinión, si uniésemos al uso de las TIC la presencia del profesor, se podría conseguir un efecto multiplicador en las variables analizadas. Tengamos presente que el profesor sigue desempeñando un papel clave, pues su capacidad de estimulación y motivación tiene una influencia decisiva sobre el comportamiento del estudiante (Romero y Pérez, 2009). En este sentido, quienes estudiaron con EAOD comentaron que hubieran preferido añadir al método docente la figura del profesor de manera presencial, de forma que pudiera contestarles en tiempo real las dudas suscitadas durante el estudio de los contenidos con el software. Con ello se hubiera conseguido, probablemente, un aumento de la valoración de las variables analizadas. Por tanto, el binomio profesor-TIC dentro de un contexto de SP, muestra un enorme potencial para abordar la mejora del proceso de enseñanza-aprendizaje en DO. En el estudio también se muestra que la incorporación de las TIC facilita la comprensión y la motivación del alumno, destacando su capacidad para mejorar la percepción del aprendizaje. Dados los resultados obtenidos en este último aspecto consideramos de gran interés aprovechar el potencial de las TIC para la mejora de esta variable. En este sentido, las herramientas que permiten al alumno conocer en tiempo real el progreso de su estudio y aprender de los errores cometidos, buscando una evaluación formativa frente a la clásica sumativa, resultan claves en este proceso. En términos generales, esta potencialidad de mejora del aprendizaje percibido que presentan las TIC no es exclusiva de las aplicaciones interactivas multimedia, sino que es posible emplear otras herramientas que nos ayuden a ello. Por ejemplo, si los alumnos cuentan con ordenador en el aula, podemos emplear plataformas virtuales (Moodle, WebCT, Blackboard,L) para la realización de tests cortos al final y/o al inicio de la clase, de forma que puedan valorar sus conocimientos y, 20 en consecuencia, su progreso. Igualmente, se pueden implementar herramientas de autoevaluación en la plataforma para realizar esta actividad fuera del aula, aunque se pierda cierta inmediatez en conocer el progreso obtenido. Si sólo el docente dispone de ordenador y se desea una retroalimentación de resultados en tiempo real se pueden emplear, por ejemplo, sistemas interactivos de respuesta que permiten realizar preguntas colectivas y recoger las respuestas individuales emitidas desde un mando electrónico, mostrando al final del proceso las respuestas correctas (Yourstone et al., 2008; Prim et al., 2009; Ruiz et al., 2010). Por otra parte, los resultados obtenidos permiten realizar algunas reflexiones respecto a la metodología a seguir en las actividades que el alumno debe desarrollar fuera del aula. Si asimilamos la EDT con el estudio autónomo del alumno de los manuales de texto, tenemos que poner de manifiesto su baja capacidad, frente a otros métodos docentes, para generar motivación, comprensión y percepción de aprendizaje, así como para disminuir la dificultad percibida en la materia. Y ello se agrava si consideramos que el manual usado en la EDT no era un libro de texto, sino que fue especialmente diseñado para el aprendizaje a distancia. Por ello, los resultados haciendo uso de un manual convencional hubieran sido, probablemente, más desalentadores. En consecuencia, si tenemos en cuenta el bajo interés por esta disciplina y las dificultades de comprensión de sus conceptos y técnicas, debemos buscar que las actividades no presenciales incorporen una metodología más motivante y comprensiva. En este sentido el uso de las TIC sin presencia del profesor parece ayudar a esta problemática. Así, por ejemplo, el empleo de aplicaciones interactivas multimedia, simuladores o plataformas virtuales en las actividades no presenciales favorecería el proceso de aprendizaje a través de la mejora de las variables subjetivas analizadas. Teniendo en cuenta que el aumento de interés por la DO y la mejora en la comprensión de conceptos y técnicas son problemas básicos a abordar en la docencia de esta disciplina, aquellos métodos que más se aproximen a una enseñanza tradicional (sea a distancia o presencial) se muestran menos adecuados. En consecuencia, las evidencias de la presente investigación muestran que debemos ir hacia entornos de enseñanza-aprendizaje que hagan uso del potencial de las TIC, como las aplicaciones interactivas multimedia de formación empleadas en el estudio, o que se aproximen al modelo que hemos llamado seminario presencial. A nuestro juicio, en la medida en la que se puedan combinar ambos métodos (seminarios presenciales y empleo de enseñanza asistida por ordenador) podrán alcanzarse mayores mejoras, pues se aprovecharían los beneficios derivados de ambas metodologías. Debemos poner especial énfasis en mostrar la aplicabilidad en la empresa de los conceptos explicados y estar seguros de que los estudiantes perciben la conexión. Para ello, las TIC nos ofrecen la posibilidad de incorporar videos, webs, noticias o módulos de seguimiento del aprendizaje. Por su parte, el SP favorece el empleo de herramientas 21 tales como la enseñanza basada en proyectos, el estudio de casos o la enseñanza basada en problemas que también pueden ayudarnos en esta labor. Las conclusiones que se desprenden de este estudio consideramos que podrían generalizarse a las titulaciones de ADE de la Universidad Española, ya que la investigación está realizada con alumnos que no presentan un perfil diferente al que podemos encontrar en otros centros públicos y que estudian dentro de planes de estudios oficiales, los cuales presentan estructuras y contenidos similares. Por otra parte, a la luz de los hallazgos de este trabajo, se nos plantean nuevas inquietudes que marcan futuras líneas de investigación. Así, dada la conveniencia de complementar los métodos docentes incorporando las ventajas de las TIC y los beneficios del SP, sería de interés comparar el uso conjunto de ambas metodologías frente a la utilización de las TIC en un contexto de masificación del alumnado, todavía presente en las titulaciones de ADE y que limita el uso del SP. Igualmente, sería adecuado evaluar comparativamente metodologías que apliquen diferentes herramientas TIC (aplicaciones multimedia, plataformas virtuales, simuladores,L) con objeto de profundizar en el efecto que éstas tienen sobre las variables subjetivas del proceso de aprendizaje. Por otra parte, consideramos de interés incorporar al estudio medidas de rendimiento del proceso dirigidas a analizar la consecución de competencias que no sean solamente las cognitivas (medidas a través de un examen), así como analizar el efecto que tendría la implantación de sistemas de evaluación formativos frente a los clásicos sumativos que se realizan sólo al final del proceso. El proceso de Bolonia nos está dirigiendo hacia el empleo de métodos docentes diversos, a veces, en un proceso de prueba y error. Estudios comparativos como el que presentamos aportan resultados que pueden servir de referente y ayuda a los profesores de esta disciplina en la búsqueda de una estrategia de enseñanzaaprendizaje adecuada a la materia que impartimos. Desde nuestro punto de vista, reflexionar sobre cómo nos ve nuestro “cliente” y establecer estrategias adecuadas a las problemáticas detectadas deben ser elementos claves para el docente de DO. Consideramos que la principal limitación del estudio viene dada por la propia variedad de métodos docentes que podrían ser implementados. No cabe duda, de que no ha sido nuestro objetivo valorar todos los métodos posibles, sino centrarnos en aquellos que pueden tener características diferenciadoras que permitan hacer extensibles los resultados a otros métodos similares. Igualmente, como hemos indicado, permitirá centrar futuras investigaciones en los métodos de mayor interés para la formación en DO. Para finalizar, debemos señalar que el mundo empresarial no es ajeno a la mejora de la docencia en esta disciplina. La incorporación de personal bien formado y motivado por el área puede reportarle grandes ventajas, pues se hace manifiesta la necesidad de mejora continua del sistema productivo. En los momentos actuales, las empresas están trabajando intensamente en conceptos, técnicas y herramientas 22 que son la base de esta materia. Un conocimiento adecuado de las mismas por los alumnos (futuros gestores) es, en consecuencia, un elemento esencial para la búsqueda de un incremento de la eficiencia y de la competitividad empresarial. 6. REFERENCIAS Y BIBLIOGRAFÍA Ahire, S.L. (2001): “Linking Operations Management students directly to the real world”. Interfaces, vol. 31, nº 5, págs. 104-120. Ala, M. (1987): “How students perceive the benefits of studying Production and Operations Management”. Production and Inventory Management Journal, vol. 28, nº 4, págs. 71-74. Alfalla Luque, R. y Machuca, J.A.D. (2000): “El profesorado de Dirección y Gestión de la Producción/Operaciones en la Universidad Española: Un estudio empírico”. Cuadernos de Economía y Dirección de la Empresa, nº 6, págs. 285-316. Alfalla Luque, R. y Machuca, J.A.D. (2001): “Estudio empírico sobre los métodos docentes y de evaluación en la enseñanza de la Dirección y Gestión de la Producción/Operaciones en la Universidad española”. Revista Europea de Dirección y Economía de la Empresa, vol. 10, nº 3, págs. 75-96. Alonso Tapia, J. (1995): Motivación y aprendizaje en el aula. Cómo enseñar a pensar. Ed. Santillana, Madrid. Ammar, S. y Wright, R. (1999): “Experiential learning activities in Operations Management”. International Transactions in Operational Research, vol. 6, nº 2, págs. 183-197. Ammar, S. y Wright, R. (2002): “A demostration of push/pull assembly line”. Informs Transactions on Education, vol. 2, nº 3, págs. 1-8. Astudillo M. y Pelizza, L. (1999): “Problemáticas en la enseñanza universitaria: aportes de la investigación psicoeducativa”. Contextos de Educación, año 2, vol. 1, págs. 165-175. Ausubel, D. P. (1989): Psicología educativa: un punto de vista cognitivo. Ed. Trillas, México. Avella Camarero, L., Fernández Sánchez, E. y Vázquez Ordás, C.J. (1999): “Análisis de las estrategias de fabricación como factor explicativo de la competitividad de la gran empresa inductrial española”. Cuadernos de Economía y Dirección de la Empresa, nº 4, págs. 235-258. Bacon, D., Stewart, K. y Silver, W. (1999): "Lessons from the best and worst student team experiences: how a teacher can make a difference". Journal of Management Education, vol. 23, págs.467-488. Bagozzi, R.P. y Yi, Y. (1988): “On the evaluation of structural equation models”. Journal of the Academy of Marketing Science, vol. 16, nº 1, págs. 74-94. Bandyopadhyay, J.K. (1994): “Redesigning the POM major to prepare manufacturing managers of the 1990s”. Production and Inventory Management Journal, nº First Quarter, págs. 26-30. Batley, T.W. (1991): “Microcomputer Simulation for Teaching Operations Management”. International Journal of Operations and Production Management, vol. 11, nº 1, págs. 5-13. Berry, W. L. y Mabert, V. A. (1992): “ITEC: An Integrated Manufacturing Instructional Exercise”. International Journal of Operations and Production Management, vol. 12, nº 6, págs. 3-20. Bou Bouzá, G. (1997): El guión multimedia. Ed. Anaya Multimedia, Madrid. Boykin, R. F. y Martz Jr., B. (2004): “The integration of ERP into a logistics curriculum: applying a systems approach”. Journal of enterprise information management, vol. 17, nº 1, págs. 45-55. Boykin, R.F., Martz, W.B. y Mensching, J.R. (1999): “The integration of enterprise information systems in the 23 operations management curriculum”. Journal of Computer Information Systems, vol. 39, nº 4, págs. 68–73. Cabero Almenara, J. (2001): Tecnología Educativa. Diseño y utilización de medios en la enseñanza. Ed. Paidós, Barcelona. Cabero Almenara, J. y Duarte Hueros, A. (1999): “Evaluación de medios y materiales de enseñanza en soporte multimedia”. Píxel-Bit, Revista de Medios y Educación, vol.13, págs. 23-45. Caldwell, M., Weishar, J. y Glezen, G. (1996): "The effect of cooperative learning on student perceptions of accounting in the principles course". Journal of Accounting Education, vol. 14, nº 1, págs. 17-36. Carretero Díaz, L.E. y Delgado Estirado, L.M. (2000): “Logística ajustada: un análisis estratégico del sector de componentes de automoción de primer nivel en España”. Cuadernos de Economía y Dirección de la Empresa, nº 7, págs. 419-440. Catenazzi, N. y Sommaruga, L. (1999): “The evaluation of the Hyper Apuntes interactive learning environment”. Computers and Education, vol. 32, págs. 35-49. Chapman, B.L. (1995): “Accelerating the design process: a tool for instructional designers”. Journal of Interactive Instruction Development, vol. 8, nº 2, págs 8-15. Chong, P.S. y Kukalis, S. (1989): “Using Microcomputer-based MRP software to teach materials management”. Production and Inventory Management Journal, nº Fourth Quarter, págs. 56-60. Cohen, L. y Manion, L. (1990): Métodos de investigación educativa, Ed. La Muralla / Routledge, Madrid. Collaud, G., Gurtner, J.L. y Coen, P.F. (2000): “Design and use of a hypermedia system at the University level”. Journal of Computer Assisted Learning, vol. 16, págs. 137-147. Cox, J.F., y Walker, E.D. (2005): “Increasing Student Interest and Comprehension of Production Planning and Control and Operations Performance Measurement Concepts Using a Production Line Game”. Journal of Management Education, vol. 29, nº 3, págs. 489-511. Darian, J. C. y Coopersmith, L. (2001): “Integrated marketing and operations team projects: Learning the importance of Cross-Functional Cooperation”. Journal of marketing education, vol. 23, nº 2, págs. 128-136. De Lurgio, S. y Zhao, J. (1989): “Teaching Integrated Production and Information Control System Principles Using A Spreadsheet Simulator”. Production and Inventory Management Journal, First Quarter, págs. 29-34. Deeter-Schmeltz, D. y Ramsey, R. (1998): "Student team performance: a method for classroom assessment". Journal of Marketing Education, vol. 20, nº 2, págs.85-93. Desai, K., y Inman, R.A. (1994): “Student bias against DO coursework and manufacturing”. International Journal of Operations and Production Management, vol. 14, nº 8, págs. 70-87. Draper, S.W., Brown, M.I., Edgerton, E., Henderson, F.P., Mcateer, E., Smith, E.D. y Watt, H.D. (1994): Observing and measuring the performance of Educational Technology. Report by the University of Glasgow's institutional project TILT in the Teaching and Learning Technology Programme. Glasgow. Fish, L. (2008): “Graduate student project: employer operations management analysis”. Journal of Education for Business, nº september/october, págs. 18-30. Flynn, B.B., Sakakibara, S., Schroeder, R.G., Bates, K.A. y Flynn, E.J. (1990): “Empirical Research Methods in Operations Management”. Journal of Operations Management, vol. 9, nº 2, págs. 250-284. Fullerton, R.R. y McWatters, C.S. (2001): “The production performance benefits from JIT implementation”. Journal of Operations Management, vol. 19, nº 1, págs. 81-96. Gattiker, T. F. (2003): “P-Chart SPC card game: The case of the new supplier”. Decision sciences journal of innovative education, vol. 1, nº 2, págs. 289-294. Goffin, K. (1998): “Operations Management Teaching on European MBA Programmes”. International Journal 24 of Operations and Production Management, vol .18, nº 5, págs. 424-451. González Zamora, M.M., Machuca, J.A.D., y Ruiz del Castillo, J.C. (2000): “SITMECOM 1.0 PC: a transparent-box multifunctional simulator of competing companies”. Simulation and Gaming, vol. 31, nº 2, págs. 240-256. Greasley, A., Bennett, D., y Greasley, K. (2004): “A virtual learning environment for operations management: Assessing the student's perspective”. International Journal of Operations and Production Management, vol. 24, nº 9/10, págs. 974-985. Griffin, B. (1997): “Using origami to teach production management”. Production and Inventory Management Journal, vol. 38, nº 2-Second Quarter, págs. 1-6. Gunasekaran, A. y Love, P. E. D. (1999): “A review of multimedia technology in manufacturing”. Computers in Industry, nº 38, págs. 65-76. Haapasalo, H. y Hyvönen, J. (2001): “Simulating business and operations management - A learning environment for the electronics industry”. International Journal of Production Economics, vol. 73, nº 3, págs. 261-270. Hair, J.F., Anderson, R.E., Tatham, R.L. y Black, W.C. (1999): Análisis Multivariante. Ed. Prentice Hall, Madrid. Hampton, D. y Grudnitski, G. (1996): "Does cooperative learning mean equal learning?". Journal of Education for Business, vol. 72, nº 1, págs. 5-7. Harvey, J. (1998): “Building the service operations course around a field project”. Production and Operations Management, vol. 7, nº 2-Summer, págs. 181-187. Helms, M.M. (1991): “P/DO as a Career”. Industrial Management and Data Systems, vol. 91 nº 4, págs. 8- 12. Holweg, M. y Bicheno, J. (2002): “Supply chain simulation - a tool for education, enhancement and endeavour”. Int. J. Production Economics, nº 78, págs. 163-175. Hoskisson, R.E., Hitt, M.E., Johnson, R.A. y Moesel, D.D. (1993): “Construct Validity of an Objective (Entropy) Categorical Measure of Diversification Strategy”. Strategic Management Journal, vol. 14, nº 3, págs. 215-235. Johnson, A.C., y Drougas, A.M. (2002): “Using Goldratt’s game to introduce simulation in the introductory operation management course”. INFORMS Transactions on Education, vol. 3, nº 1, págs. 20-33. Disponible online en http://ite.pubs.informs.org/. Julien, F., Doutriaux, J. y Couillard, J. (1998): “Teaching the Production/Operations Management Core Courses: Integrating Logistics Planning Activities”. Production and Operations Management, vol. 7, nº 2- Summer, págs. 161-170. Kanet, J. J. y Barut, M. (2003): “Problem-based learning for production and operations management”. Decision sciences journal of innovative education, vol. 1, nº 1, págs. 99-118. Kemp, B. y Buckner, K. (1999): “A taxonomy of design guidance for hypermedia design”. Interacting with Computers, vol.12, págs. 143-160. Kerlinger, F.N. (1975): Investigación del comportamiento: técnicas y metodología. Nueva editorial Interamericana, México. Koper, R. (1998): “A method and tool for the design of educational multimedia material”. Journal of Computer Assisted Learning, vol. 14, págs. 19-30. Krajewski, L.J. (1998): “Motivating students in the Operations Management class: challenges for the 25 publishing industry”. Production and Operations Management, vol. 7, nº 2, págs. 188-193. Kunkel, J.G. y Shafer, W.E. (1997), "Effects of student team learning in undergraduate auditing courses", Journal of Education for Business, vol. 72, nº 4, págs. 197-200. Laforge, R.L. y Busing, M.E. (1998): “The use of industrial software to create experiential learning activities in Operations Management courses”. Production and Operations Management, vol. 7, nº 3-Fall, págs. 325-334. LaForge, R.L. y McNichols, C.W. (1989): “An Integrative, Experiential Approach to Production Management Education”. Decision Sciences, nº 1, págs. 198-207. Lainema, T. (2005): “Learn more, better and faster: computer-based simulation gaming of production and operations”. International Journal of Business Performance Management, vol. 7, nº 1, págs. 34-48. Lancaster, K. y Strand, C. (2001), "Using the team-learning model in a managerial accounting class: an experiment in cooperative learning". Issues in Accounting Education, vol. 16, nº 4, págs.549-567. Lankford, W.M. y Padgett, T.C. (2000): “Developing Computer Interactive Learning for Production Operations Management”. Training & Management Development Methods, vol. 14, nº 2, págs. 501-507. Leeds, M., Stull, W. y Westbrook, J. (1998): “Do changes in classroom techniques matter? Teaching strategies and their effects on teaching evaluations”. Journal of Education for Business, vol. 74, nº 2, págs. 75-78 Lewis, M.A., y Maylor H.R. (2007): “Game playing and Operations Management education”. International Journal of Production Economics, vol. 105, nº 1, págs. 134-149. Lewis, R. (1999): “The role of technology in learning: managing to achieve a vision”. British Journal of Educational Technology, vol. 30, nº 2, págs. 141-150. Lovejoy, W.S. (1998): “Integrated Operations. A proposal for operations management teaching and research”. Production and Operations Management, vol. 7, nº 2, págs. 106-124. Machuca, J.A.D. (1998): “Improving POM Learning: System Thinking and Transparent-Box Business Simulators”. Production and Operations Management, vol. 7, nº 2, págs. 210-227. Machuca, J.A.D. y Alfalla Luque, R. (2002): “Un análisis de los programas docentes de Dirección de Producción/Operaciones en la Universidad Española: Un estudio empírico”. Cuadernos de Economía y Dirección de la Empresa, nº 11, págs. 149-185. Machuca, J.A.D. y Barajas, R.P.(2004): "The impact of electronic data interchange on reducing bullwhip effect and supply chain inventory costs". Transportation Research Part E, nº 40, págs. 209–228. Machuca, J.A.D., González Zamora, M.M., y Ruiz del Castillo, J.C. (2003): “Innovation in POM teaching and learning: a new generation of business simulators”. Proceedings of 10th International EurOMA Conference, Como, Italy, págs. 939-948. Machuca, J.A.D. y Pozo Barajas, R.D. (1997): “A computerized network version of the Beer Game via the Internet”. System Dynamics Review, vol. 13, nº 4, págs. 323-340. Marquès Graells, P. (2000): “Nuevos instrumentos para la evaluación de materiales multimedia”. Comunicación y Pedagogía, vol.166, págs. 103-117. Martín-Peña, M.L. y Díaz-Garrido, E. (2009): “Posicionamiento estratégico de las empresas industriales en las prioridades competitivas de operaciones: desarrollo y aplicación de un indicador de medida”. Cuadernos de Economía y Dirección de la Empresa, nº 39, págs. 59-94. Martínez Sánchez, F., Prendes Espinosa, M.P., Alfageme González, M.B., Amorós Poveda, L., Rodríguez Cifuentes, T. y Solano Fernández, I.M. (2002): “Herramienta de evaluación de multimedia didáctico”. Píxel- Bit, Revista de Medios y Educación, vol.18, págs. 71-88.