La evaluación de las innovaciones docentes a través del concept mapping

ID-08. LA EVALUACIÓN DE LAS INNOVACIONES DOCENTES A TRAVES DEL CONCEPT MAPPING Femando Criado García-Legaz ([email protected]) Emilio Diez de Castro ([email protected]) Rafael Periáñez Cristóbal ([email protected]) Universidad de Sevilla Departamento de Administración de Empresas y Comercialización e Investigación de Mercados RESUMEN: Desde hace años la Universidad de Sevilla viene desarrollando un programa de actuación cuyos objetivos son fomentar y apoyar las innovaciones docentes propuestas por el profesorado. De ellas se han analizado diferentes aspectos relativos a su planificación, desarrollo y resultados, empleando los instrumentos V.A.A.D.U, C.D.E. y otras técnicas de Investigación Cualitativa. Aunque estos estudios han aportado valiosas conclusiones, se observa la carencia de un modelo estructurado que permita evaluar del modo más objetivo posible el grado de innovación de una actividad docente y que sirva de ayuda en el proceso de reparto de los apoyos institucionales. En este trabajo se detalla un proyecto que se desarrollará en el curso 2001-2002 donde las ideas y propuestas de profesores y alumnos serán analizadas mediante las técnicas Concept Mapping y Pattern Matching para realizar una conceptualización estructurada que permita diseñar el modelo buscado. PALABRAS CLAVE: Innovación docente, Evaluación, Concept Mapping, Pattern Matching. 1. INTRODUCCIÓN La innovación organizacional dista mucho de ser un tema agotado (Van de Ven, 1999). Aunque la precisa conceptuación del término es ya de por sí complicada, los estudios que han pretendido abordar el mejor conocimiento del fenómeno se han enfrentado tradicionalmente a la dificultad añadida que introducen las múltiples interrelaciones existentes con otros aspectos organizativos de reconocida trascendencia (Kilduff y Dogherty, 2000). Asi, el desarrollo organizacional (Worren et al, 1999), la gestiómdel cambio (Burke, 1995), el aprendizaje organizativo (Gopalakrishnan y Bierly, 2001), la génesis, transmisión y almacenamiento del conocimiento (Von Krogh ct al, 2000), o la identificación de los elementos estructurales que facilitan una cultura de la proactividad (Damanpour, 1991; Nadler y Tushman, 1999), son sólo algunos ejemplos de la multiplicidad de aspectos desde los que el problema puede ser abordado. Sin embargo, y a pesar de estas dificultades, estamos convencidos de que las organizaciones modernas no pueden permitirse las lagunas existentes en esta campo de investigación, sobre todo en lo relativo a la ausencia de un marco conceptual de apoyo que caracterice el fenómeno y sistematice su gestión. Esta realidad resulta especialmente evidente en las instituciones dedicadas a la enseñanza superior. Si aceptamos que las Universidades son (o deberían ser) agentes con un papel destacado en el progreso humano, convendremos también que se hace precisa una mayor dedicación de sus investigadores al estudio de la innovación, ya que ésta es parte esencial del avance social. Desde nuestro punto de vista, por tanto, se hace preciso indagar con mayor insistencia las siguientes cuestiones: Cuáles son las condiciones que hacen posible la innovación en el seno de la Universidad; Qué fuentes son las que la originan; Qué implicaciones internas y externas a la organización posee el fenómeno; y, por último. Cuáles son los caminos que deben habilitarse para su estímulo, gestión y mejor aprovechamiento. La intención de este trabajo es precisamente ahondar en esta línea de investigación. Se trata de esbozar la forma en que se aplicará un técnica contrastada de investigación (Concept Mapping) a la caracterización del constructo "innovación en las metodologías docentes" a partir de las propuestas de alumnos y profesores de la Universidad de Sevilla que, durante el curso 2001-2002, participarán en iniciativas innovadoras auspiciadas por el Vicerrectorado de Calidad y Nuevas Tecnologías y el Instituto de Ciencias de la Educación (ICE) de dicha Universidad. 243 2. INNOVACIÓN ORGANIZACIONAL El Diccionario de la Real Academia Española de la Lengua en su edición de 2001 define el término "innovar" como: "Mudar o alterar algo introduciendo novedades". Asimismo, al acudir al significado de la palabra "novedad" se nos remite a la idea de "nuevo", precisándose que tal característica debe ser aplicada a aquello "distinto o diferente de lo que antes había o se tenía aprendido" o a lo que "sobreviene o se añade a una cosa que había antes". Si atendemos a esta cadena de significados, repararemos en que la idea de innovación no puede considerarse de forma aislada respecto de ciertos factores contextúales. En primer lugar, el elemento temporal parece determinante. La innovación sucede en el tiempo a una situación previa en la que el contenido esencial de la reforma no estaba presente. Lo innovador requiere, por tanto, de un escenario temporal anterior de carencia o de suboptimización que incite al cambio. Pero, además, la alteración del orden establecido que toda innovación implica se produce en un contexto espacial determinado que es, precisamente, el que le otorga su auténtico carácter novedoso (Hoffman y Hegarty, 1993). En consecuencia, la innovación tampoco puede ser conceptualizada como entidad independiente de su ámbito espacial de generación o de aplicación. Como acertadamente señala Hoffman, "la innovación se define como algo nuevo para la firma más que para el mundo" (Hoffman, 1999, p.38). Las ideas o las conductas, por tanto, no son en sí mismas innovadoras o no innovadoras. Estos calificativos sólo pueden ser empleados utilizando referencias temporales y espaciales añadidas: por más que en el mundo civilizado el fuego sea conocido desde la noche de los tiempos, cuando una tribu que ha permanecido aislada durante siglos lo descubre, ello supone una evidente innovación para el grupo humano que lo ha hecho posible. Se debe ser cuidadoso también a la hora de homologar los significados de ciertas expresiones, ya que la tendencia natural hacia la asociación de ideas puede jugarnos aquí malas pasadas. Así, por ejemplo, resulta relativamente frecuente identificar los términos "innovación" e "invención" cuando en realidad existen entre ellos cierto matices diferenciadores. La idea de innovación es y debe ser entendida como de un nivel superior a la de invención (Greve y Taylor, 2000). Evidentemente toda invención supone una innovación sobre una situación dada, ya que implica una ruptura abierta con lo anterior para abrir caminos completamente inexplorados hasta ese momento. En cierto sentido, la "invención" está muy ligada a lo que algunos autores denominan innovación o cambio radical (Stringer, 2000), pero sería un error creer que esta "radicalidad" constituye una condición primordial. A veces los cambios que se introducen en determinado contexto no suponen una ruptura abierta con el pasado sino una modificación gradual que, partiendo de lo ya existente, introduce elementos innovadores manteniendo los ingredientes básicos de la situación precedente (Christensen, 1997; Hargadon y Sutton, 2000). Como señala Damanpour (1996, p.699), "las innovaciones radicales son aquéllas que producen cambios sustanciales en las actividades de la organización, representando una gran variación sobre las practicas instauradas; la innovación incremental, por su parte, es la que provoca un menor grado de variación sobre las prácticas actuales". Pero no debemos olvidar que la innovación se está produciendo en ambos casos, aunque los efectos sobre la organización sean, probablemente, muy diferentes (sobre todo en términos de resistencia) según se observe o no la presencia de ciertos factores (Piderit, 2000). La innovación presenta siempre aspectos positivos. Es cierto que, en contra de lo que muchas veces se piensa, "lo nuevo" no tiene que ser, necesariamente, sinónimo de "algo mejor"; pero hasta en los casos en los que la situación de partida no se ve claramente mejorada, la organización debería ser capaz de aprender de sus errores. Los intentos fallidos pueden provocar en el corto plazo ineficicncias en el uso de los recursos disponibles, pero esta capacidad de aprendizaje organizacional es en nuestros dias un atributo crítico para el éxito. En los últimos tiempos se han venido utilizando diferentes denominaciones para reflejar esta realidad organizacional: TQM, Learning o World Class han sido algunas de ellas. Sin embargo, y a pesar de los esfuerzos de algunos autores (Hodgetts et al., 1994) , creemos que las fronteras entre unos modelos organizativos y otros no están todavía meridianamente claras. Lo realmente importante, sin embargo, es constatar que el valor cultural del aprendizaje continuo, o su consecuencia sobre el diseño organizacional en forma de "organización que aprende" (Senge, 1990; Pedler et al, 1991; Garvín, 1993), se fundamenta en la facilitación de los procesos de innovación, en el análisis de los resultados obtenidos y en diseño de estrategias proactivas de mejora para el futuro (Senge, 1994). Como acertadamente señalan Martensen y Dahlgaard (1999, p. 627): "la innovación y la mejora continua se fundamentan en la capacidad de la organización para ser creativa y para aprender". La innovación organizacional es, en resumen, un campo de estudio enormemente abierto, con múltiples aspectos susceptibles de ser analizados y en el que la acotación de los límites resulta tan esencial como dificultosa. Como indica Damanpour (1996, p.694), el estudio de la innovación puede estar referido a muy diferentes unidades de análisis: sector, empresa o individuo. La innovación puede incidir, según los casos, en la aparición de nuevos productos o servicios, cambios en las tecnologías de proceso, nuevas formas estructurales o sistemas 244 administrativos, programas o planes, etc. §in embargo, refiriéndose de manera expresa a la innovación organizacional, el autor la define como "la adopción de una nueva idea o conducta por parte de la organización", matizando posteriormente que la importancia del fenómeno reside en el cambio organizacional que provoca, con independencia de que "sea en respuesta a una alteración en el entorno externo o provocado por actuaciones anticipadoras que intenten influenciarlo". Para ser efectiva, esta innovación ha de ser gestionada siguiendo una serie de pautas (Tucker, 2001): La innovación debe responder a un plan global de la organización Debe incluir una organizada, sistemática y continua búsqueda de oportunidades Debe implicar en el proceso a todos los miembros Se debe trabajar constantemente en la creación de un clima organizacional propicio a la innovación. Como posteriormente tendremos oportunidad de contrastar, el proyecto de investigación que presentamos en este trabajo pretende ahondar en el logro de estos objetivos, haciendo que la innovación docente en la Universidad de Sevilla avance gradualmente en la línea de las pautas antes apuntadas. 3. INNOVACIÓN ORGANIZACIONAL Y UNIVERSIDAD Las instituciones universitarias se han visto afectadas en los últimos tiempos por una profunda dinámica de cambio en el entorno que las está obligando a interiorizar a marchas forzadas la cultura de la innovación, aunque sólo sea para afrontar los nuevos retos sociales y, muy especialmente, el de conectar la educación superior con un mercado laboral cada vez más exigente y en permanente estado de mutación (Teichler, 1999). Aunque algunos autores lleguen a afirmar que "la gestión de la innovación y el cambio es la más importante de las tareas directivas" (Tushman y Nadler, 1996, p. 627), nuestro convencimiento es que en el ámbito universitario este compromiso ha de ser asumido por todos y cada uno de sus miembros, sea cual sea su actividad y su nivel de responsabilidad y, de modo muy especial, por el profesorado, que debe afrontar el reto de convertirse en un auténtico agente de innovación al desarrollar sus actividades docentes e investigadoras (Cowan, 1998). Collis (1998) pone de manifiesto esta realidad y concreta las presiones que están sufriendo las universidades para introducir innovaciones en las formas tradicionales de llevar adelante la enseñanza. De entre ellas creemos que merecen ser destacadas las siguientes: El impacto cada vez mayor de las nuevas tecnologías de la información y, muy especialmente, de Internet. Según esto, el futuro de la universidad dependerá de su capacidad para adaptarse a la nueva sociedad de la información y a un mercado cada vez más exigente en cuanto a la profesionalidad de los universitarios. Cambios en los principios básicos que guiaban tradicionalmente lo que se entendía como una buena enseñanza o un buen aprendizaje. Cambios demográficos en la población estudiantil con el consiguiente incremento de la diversidad en sus necesidades. Factores relacionados con la necesidad de ofrecer una enseñanza más flexible. Incremento de la responsabilidad individual del profesorado para asumir el liderazgo de la articulación y el modelado de las nuevas metodologías didácticas dentro de su práctica docente. Estas demandas han propiciado que en los últimos años hayamos asistido en todo el mundo a la aparición de múltiples innovaciones docentes universitarias que, por regla general, han estado asociadas de manera directa o indirecta al empleo de nuevas tecnologías como complemento o como sustitutivo de la tradicional enseñanza presencial (Alien, 1998; Bullock y Ory, 2000). La búsqueda de una formación mucho más conectada a la realidad a través de la práctica profesional, unida al aprovechamiento del potencial de las nuevas tecnologías, han hecho posible un planteamiento mucho más realista del tradicional autoaprendizaje, generando lo que empieza a conocerse como Work-Based Learning (WBL) (Bradley y Oliver, 2001), una combinación de aprendizaje teórico y practica de trabajo que aúna los esfuerzos de universidades y empresas mediante la instauración de tutores en ambas instancias, y todo ello apoyado en la edición de materiales didácticos complementarios para el estudio. Estas prácticas se suelen ver complementadas con metodologías evaluadoras en las que las opiniones de profesores y alumnos juegan un papel relevante, no sólo a efectos de la evaluación de la innovación propiamente dicha, sino también como fórmula para conceptuar cualquier otro constructo relacionado con el aprendizaje (Winer y Cooperstock, 2001). Estas nuevas formas de entender la formación no carecen de detractores. Según los estudios realizados por algunos autores (Rovai, 2001), estos sistemas de aprendizaje suponen para los estudiantes un claro deterioro del sentimiento de "comunidad", con la consiguiente pérdida de beneficios que ello implica: menor intercambio de 245 información entre los discentes, menor accesibilidad^.elementos de apoyo, menor compromiso con los fines del grupo, menor cooperación entre los alumnos, menor sentimiento de satisfacción con los logros del grupo, etc. Sin embargo, y a pesar de críticas como la apuntada, el común denominador de las iniciativas innovadoras puestas en marcha en las universidades en los años recientes es fomentar el autoaprendizaje para convertir la clase tradicional en lo que algunos autores denominan una "clase learning": aquella que ha sido "diseñada y rediseñada para exprimir sus experiencias con vistas a la generación de ideas y al uso de esas ideas con el objetivo de progresar en todos los sentidos"(Mazen et al., 2000, pp.150-151). Aspirando a objetivos más ambiciosos, se entiende que la proliferación de aulas de esta naturaleza es la clave de la conversión de las universidades en auténticas organizaciones learning (Ward y Chandler, 1999). 4. ANTECEDENTES DE EVALUACIÓN La Universidad de Sevilla no ha permanecido al margen de esta fiebre innovadora. Cada año, desde el ICE se habilita una convocatoria de apoyo a las actividades innovadoras que propongan y piensen desarrollar sus profesores a lo largo de ese curso. Las llevadas a cabo en años precedentes (cuyas semblanzas aparecen recogidas en diferentes números extraordinarios de la Revista de Enseñanza Universitaria editada por la Universidad de Sevilla) podrían encuadrarse perfectamente en lo que algunos autores han catalogado como "Constructivismo Pedagógico" (Bostock, 1998; Tenenbaum et al., 2001). Apoyadas en muchos casos en el empleo de nuevas tecnologías, esta forma de entender la enseñanza universitaria se fundamenta en una dinámica de aprendizaje caracterizada por: Argumentaciones, discusiones y debates entre alumnos y profesores Disponibilidad de mecanismos que permitan compartir ideas con otros Materiales y mediciones enfocadas hacia la búsqueda de soluciones Reflexión e investigación de conceptos Conexión con las necesidades de los estudiantes Búsqueda de la comprensión de los conceptos y utilización de ejemplos extraídos de la vida real El apoyo ofrecido por el ICE no ha sido sólo de naturaleza económica. La colaboración y el esfuerzo desinteresado de ciertos profesores (entre los que merece mención especial el Doctor Villar Angulo, Catedrático de Didáctica y Organización Escolar de la Universidad de Sevilla) ayudan a que las actividades que se proponen no se queden en meras prácticas esporádicas. Cada año se forman grupos de trabajo en los que profesores y alumnos autoanalizan su labor, de forma que el estudio de los resultados alcanzados sirve para obtener jugosas conclusiones que facilitan la puesta en práctica de la filosofía de mejora continua (Villar et al., 1997;1998;1999;2000a;2000b). Esta autoevaluación se realiza a partir de entrevistas a profesores y estudiantes con el objetivo de obtener las percepciones de ambos colectivos así como dimensiones del ambiente del aprendizaje, identificación de perfiles, etc. En un contexto de metaanálisis (Walker, 1999), las transcripciones de las entrevistas entran en un proceso identificación de categorías, para que, posteriormente, éstas sean analizadas mediante el programa Hiperresearch (Hesse-Biber et al., 1991) de apoyo a la investigación cualitativa (Kelle, 1997). La investigación de evaluación se completa con los resultados que se obtienen tras someter a diferentes técnicas de análisis cuantitativo las informaciones obtenidas a partir de cuestionarios como el VAADU (Valoración de Actividades de Ayuda a la Docencia Universitaria) (Villar et al., 1997) o el CDE (Cuestionario Demográfico del Estudiante) (Villar, et al., 1998). La innovación debe ser el fruto de un proceso reflexivo cuya finalidad no es otra que cambiar el estado actual de las cosas para conseguir un mejor ajuste de cara al cumplimiento de los objetivos. La evaluación de las innovaciones que ha venido desarrollándose estos años en la Universidad de Sevilla ha buscado desde luego este mejor ajuste. Ha proporcionado a los profesores interesantes feedbacks informativos sobre sus iniciativas; ha ayudado de forma notable a la identificación de las divergencias habidas entre los planes inicialmente trazados y los realizados en última instancia; y, finalmente, ha prestado especial atención a las diferencias entre resultados reales y previstos al objeto de indagar en sus causas. 5. NUEVOS OBJETIVOS Para que una innovación resulte realmente efectiva es preciso cuidar la pulcritud del proceso que lleva a generarla e implantarla. Abraham y Knight (2001) sugieren que este proceso debe dar cumplimiento a las siguientes fases: 1. Generación. Se pretende dar el pistoletazo de salida haciendo que la misma generación de las ideas sea el resultado de compartir conocimientos y experiencias tácitas de los participantes. 246 2. Conceptualización. La puesta en común del conocimiento tácito pretende convertirlo en expreso haciendo posible la generación de conceptos bien definidos. 3. Optimización. Comparación de conceptos con criterios explícitos para justificar la selección de las soluciones y encontrar las mejores respuestas. 4. Implantación. Prueba de las soluciones mediante su operativización y testeo a través de proyectos piloto. Se generan así nuevos conocimientos y experiencias de cara a la mejora continua. 5. Captar, codificar y compartir el conocimiento y la experiencia explícita, identificando al tiempo nuevos conocimientos y experiencias tácitas y las posibles lagunas existentes aún respecto de ellos. Lo realizado hasta ahora en la Universidad de Sevilla presenta claras similitudes con el proceso anteriormente descrito. Los grupos de trabajo aludidos en el epígrafe anterior han servido de foro de debate para conocer las experiencias de profesores y alumnos respecto de la innovación docente. Sin embargo, a pesar de que estos trabajos han incrementado de manera notable nuestro conocimiento del fenómeno, se sigue careciendo de un modelo formal científicamente contrastado que permita transformar este conocimiento (todavía tácito en muchos casos) en directrices operativas que puedan ser aplicadas como criterios explícitos a las propuestas de innovación. Un modelo de esa naturaleza permitiría discernir qué actividades de las propuestas resultan más innovadoras; en qué medida mejoran la formación; si se adecúan o no a las demandas y expectativas de alumnos, profesores, etc.; y lo que es más importante, cómo influyen en la mejora de la formación de los estudiantes. El proyecto que presentamos en este trabajo pretenderá, por encima de cualquier otra cosa, obtener una conceptuación lo más afinada posible del constructo "innovación en metodología docente", poniendo de manifiesto las legítimas diferencias que pudieran existir entre los modelos mentales aplicados por los distintos colectivos interesados en el fenómeno. Cuando se utiliza en forma genérica la expresión "metodología docente" se está simplificando la realidad. Aunque puedan identificarse ciertos rasgos comunes a las distintas materias o áreas de conocimiento, parece lógico pensar que las especificidades asociadas a cada rama del saber (por las características de la realidad estudiada -objeto materialo por la perspectiva desde la que se aborda la misma -objeto formal-) pueden introducir variantes sobre una hipotética metodología docente óptima aplicable a todas las disciplinas científicas. Además, la definición clara de los contextos temporales y espaciales a los que aludimos al comienzo de este trabajo, pueden ser de especial importancia al hablar de metodología docente innovadora. Es más que probable, por ejemplo, que lo que hoy constituye una auténtica revolución metodológica, mañana deje de serlo para convertirse en algo perfectamente contrastado y asumido por todos los estamentos universitarios. O que lo que para un centro sea ya algo normal, para otro suponga un campo de actuación completamente desconocido e inexplorado. La conceptuación de la innovación en metodología docente debe llevar a conocer los diversos aspectos asociados al constructo, pero es posible que el nivel de detalle que se obtenga sea excesivo y poco operativo. Por otra parte, cabe esperar que no todos las vertientes identificadas posean la misma importancia en cuanto a la jerarquización de una actividad como más o menos innovadora. Por todo ello, los atributos serán sometidos a un proceso de agregación basado en las similitudes observadas, para, posteriormente, asignar a cada agrupación la importancia relativa que posee en términos de innovación metodológica. 6. PLAN DE TRABAJO Para cubrir los objetivos anteriores seguiremos una metodología de trabajo que cubrirá las siguientes etapas: 1. Elección de las personas que formarán parte del equipo de investigación que liderará el proyecto. 2. Diseño de los protocolos de actuación de las personas que actuarán como facilitadores del proceso. 3. Agrupación por áreas de conocimiento de las actividades de innovación propuestas para el curso 20012002. 4. Sesiones formativas a alumnos y profesores sobre la sistemática de trabajo a emplear. 5. Sesiones de creatividad. Los alumnos de cada actividad serán convocados a sesiones de brainstorming para generar atributos relativos al núcleo de la investigación {innovación en metodología docente). Por su parte, los profesores de las actividades adscritas a un mismo área de conocimiento desarrollarán en paralelo idéntica actividad sobre el mismo constructo. 6. Selección de un grupo de alumnos por área de conocimiento que serán los encargados de dar cumplimiento a las siguientes fases del proceso. En el caso del profesorado no será necesario alterar los grupos ya establecidos en el punto 4. 7. Agrupación y priorización. Los miembros de cada grupo otorgarán a cada ítem de los generados en su ámbito una puntuación indicativa de la importancia que le asignan en el contexto de la innovación en 247 metodología docente. Asimismo, agruparán dichos ¡ternes en conjuntos homogéneos según los criterios individualizados de cada participante en el proceso. 8. Construcción de modelos. El grupo de investigadores (a partir de las prioridades y grupos de atributos surgidos en el apartado anterior) realizará los oportunos análisis estadísticos para construir mapas conceptuales que reflejen de manera gráfica las ideas vertidas por los distintos grupos de trabajo. 9. Interpretación de los resultados. Concluida la etapa anterior, los investigadores dispondrán de diferentes modelos que podrán ser clasificados según un doble criterio: a. Área de conocimiento donde fue generado. b. Participantes en el proceso de generación (alumnos o profesores). 10. Búsqueda de similitudes y diferencias al objeto de perfilar un modelo genérico al que puedan incluírsele matizaciones en función de la audiencia interesada en el proceso de evaluación y/o del área de conocimiento sobre la que se aplique. 11. Contrastación de los resultados mediante la aplicación del modelo a una muestra de actividades de innovación elegida al azar. El proceso anteriormente descrito debería ser puesto en práctica periódicamente al objeto de verificar las variaciones experimentadas en la conceptuación del constructo objeto de estudio por el paso del tiempo. Del mismo modo, esta primera experiencia estará centrada en las opiniones vertidas por alumnos y profesores especialmente relacionados con el fenómeno de la innovación. Sin embargo, con carácter ulterior, el estudio será ampliado a otros colectivos o agentes externos a la Universidad cuyas opiniones son también de gran interés, pudiendo ser éstas utilizadas, además, como herramienta complementaria para contrastar los primeros hallazgos. 7. CONCEPT MAPPING Para la ejecución material del proyecto de investigación al que venimos aludiendo, se empleará la metodología Concept Mapping por entender que se ajusta, tanto en su desarrollo como en los resultados que de ella se derivan, a los objetivos ya reseñados. Al objeto de facilitar una mejor comprensión del trabajo a realizar, exponemos a continuación las líneas maestras de aplicación de esta técnica de investigación. Existen diferentes procedimientos para estructurar las ideas sobre un fenómeno o realidad, sea ésta de índole, social, económica, etc. De entre ellos destacan de manera especial dos: los denominados "Concept Mapping" (CM) y "Cognitive Mapping" or "Mind Mapping" (MM). Las diferencias existentes entre ambos residen, principalmente, en la manera de construir los mapas así como en su interpretación (Kolb y Shepherd, 1997). El concept mapping fue introducido por Novak et al (1983, 1984) como una técnica que permitiera a los educadores organizar y estructurar el conocimiento durante el proceso de aprendizaje. Sus orígenes más técnicos pueden situarse a finales de los años sesenta, cuando el profesor Joseph D. Novak de la Universidad de Cornell, apoyándose en las teorías de David Ausubel (1968), concluyó que el aprendizaje involucra la asimilación de nuevos conceptos y proposiciones sobre otras estructuras cognitivas ya existentes (Plotnick, 1997). Se trata de un método que ayuda a los individuos o grupos a describir de manera gráfica sus ideas sobre determinado asunto, fenómeno o realidad sometido a análisis (Trochim, 1989). La gráfica o mapa resultante pone de manifiesto las relaciones temporales o de causalidad entre diferentes conceptos o grupos de éstos (Plotnick, 1997). El concept mapping ha recibido un aumento sustantivo de uso en muy diferentes campos, alcanzando en la actualidad gran popularidad dentro de diversos foros de investigación (Trochim, 1993). Ha sido aplicado en muy diferentes ámbitos que van desde la sanidad (Valentine, 1989) -y más específicamente a las cuestiones de salud mental (Cook, 1992; Kane, 1992; Lassegard, 1993; Marquart, 1988; Marquart, 1992; Marquart et al, 1993; Penney, 1992)-, la educación (Rice et al., 1998; Grayson, 1992; Kohler, 1992; Kohler, 1993), la administración educativa (Gurowitz et al, 1988), los servicios sociales (Galvin, 1989; Mannes, 1989) o la investigación sobre sistemas de información (Nelson et al., 2000). En la ciencia de la Dirección Estratégica fue Huff (1990) el pionero en aplicarlo, si bien posteriormente se han desarrollado trabajos haciendo uso de esta metodología en campos como la cultura organizativa (Kolb y Shepherd, 1997) o el liderazgo entre otros. A diferencia de la versión original, el que se pretende aplicar en el proyecto de investigación que venimos comentando presenta las siguiente especificidades: 1. Está indicado para el caso de personas que tienen que trabajar juntas. Los otros métodos trabajan con individuos aislados. 2. Usa una aproximación fácil y estructurada. Un facilitador ayuda al grupo (siguiendo unos pasos preestablecidos) a articular sus ideas y a comprenderlas mas claramente. 24S 3. El núcleo esencial consiste en el empleo de varios métodos estadísticos multivariantes que, a partir de los inputs aportados por los individuos, obtienen un producto agregado. 4. El método requiere del uso de programas informáticos para manejar datos. El CM es un proceso estructurado, centrado en torno a un tópico o constructo de interés, que considera los inputs de uno o más participantes y que genera un mapa o gráfico de los atributos asignables a un determinado constructo así como de la forma en la que están relacionados (Plotnick, 1997). Los pasos a seguir pueden ser realizados a veces en un único día, aunque lo normal es que ocupe algunas semanas y, ocasionalmente, algunos meses en función de cuál sea la situación. De manera resumida, los pasos a dar serían los siguientes: 1. Preparación: Implica la selección de los participantes y la fijación de la agenda de los procesos a desarrollar posteriormente (Trochim, 1993). Las actividades a realizar suelen ser tres: a. El facilitador del proceso trabaja con el iniciador/es (p.ej. el equipo de investigación que aborda el proyecto) para identificar quiénes serán los participantes. Pueden ser tantos como se desee, aunque suele ser recomendable no superar la cifra de 20. b. El iniciador trabaja con los participantes para desarrollar el núcleo del proyecto (en nuestro caso, caracterizar el constructo "innovación en metodología docente"). c. Finalmente el grupo toma la decisión sobre cuál será el calendario de las actividades a desarrollar en el proceso. 2. Generación: Los participantes desarrollan una extensa lista de puntos que puedan aplicarse al núcleo de la investigación (en nuestra investigación se trataría de identificar rasgos de lo que podría entenderse como una actividad de innovación docente). La técnica de creatividad puede ser cualquiera de las conocidas, aunque lo habitual es utilizar sesiones de brainstorming para generar en torno a 200 ítemes aplicables al núcleo de la investigación. 3. Estructuración: Cada participante agrupa los ítemes en bloques homogéneos atendiendo a sus particulares criterios de similaridad (mediante tarjetas o directamente en el ordenador). Asimismo, otorga una ponderación a cada ítem según una escala prediseñada midiendo así su importancia relativa respecto de los restantes (Rosenberg y Kim, 1975; Romney et al., 1986). Finalmente, cada individuo idea una denominación que sintetice lo que de común tienen los aspectos englobados en un mismo bloque. 4. Representación. Implica el tratamiento estadístico de los datos recabados. Es el paso el que se hace el análisis (tomando como inputs las ordenaciones y puntuaciones para representarlas luego en un mapa). En este punto se utilizan dos técnicas estadísticas multivariantes: a. Multidimensional scalingi Toma los datos ordenados de todos los participantes y desarrolla un mapa básico, en el que cada ítem es un punto y dónde aquellos que fueron agrupados del mismo modo por más personas están colocados también más cerca dentro del mapa. En principio y, aun cuando no existe consenso respecto al número de dimensiones, según Trochim (1989), el analista que dirige la investigación debe fijarlas, considerando que a partir de tres, el tratamiento e interpretación gráfica se complica enormemente. Un amplio tratamiento sobre el multidimensional scaling puede encontrarse en Kruskal y Wish (1978) y Davison (1983). b. Análisis cluster: A partir del resultado de la técnica anterior, se particiona el mapa en grupos de ítemes o ideas formando clusters. Si los ítemes describen, por ejemplo, las actividades de un programa, los clusters muestran el modo en que pueden formarse grupos lógicos de actividades; si se trata de resultados, los clusters pueden interpretarse como factores dentro del constructo o concepto sometido a estudio. Existen diversas técnicas para la obtención de los clusters aunque la presencia de disenso entre los autores marca distancias que incluyen la propia concreción del término cluster (Everitt, 1980; Anderberg, 1973). 5. Interpretación. El facilitador trabaja con los participantes para ayudarlos a desarrollar sus propias estrategias e interpretaciones para los distintos mapas. 6. Utilización. Los mapas elaborados se usan para abordar el núcleo de investigación. Si se tratara de un programa, el mapa puede ser usado como una estructura visual para hacerlo operativo; y si habláramos de resultados, se podría utilizar como la base para desarrollar mediciones o como un esquema o modelo conceptual que permitiera clasificar de manera lógica dichos resultados. 7. COMENTARIOS FINALES Como fácilmente habrá podido observarse, el procedimiento a seguir en la aplicación del CM. es perfectamente compatible con el plan de trabajo diseñado. Si nos hemos decantado por la utilización de la mencionada técnica como instrumento base para la investigación, ha sido atendiendo a lo que entendemos son sus principales ventajas: 244 1. Supone un método participativo en el que los individuos pueden sentir que sus perspectivas han sido tomadas en consideración para la elaboración del modelo final. 2. Es una técnica contrastada que, como hemos tenido oportunidad de comprobar, ha sido utilizada en muy diferentes esferas de conocimiento, ofreciendo sistemáticamente resultados más que estimables. 3. En lo que a los participante en el proceso se refiere, es una técnica relativamente simple de aplicar y que no necesita de conocimientos muy sofisticados para que un individuo pueda participar activamente en el proceso. 4. Es una metodología abierta, en el sentido de que es flexible y permite su fácil adaptación a la problemática que en cada caso se esté estudiando. 5. Su coste de aplicación es relativamente bajo y, en cualquier caso, creemos que la comparación entre medios utilizados y resultados obtenidos resultará beneficiosa. 6. Utiliza técnicas estadísticas muy probadas para el tratamiento de datos. Si a ello le unimos, además, la participación directa de los individuos en condiciones de igualdad y la consecuente utilización de múltiples sensibilidades respecto al núcleo de la investigación, creemos que todo ello le otorga una gran legitimidad a los resultados. BIBLIOGRAFÍA Abraham, J.L. & Knight, D.J. (2001): "Strategic innovation: leveraging creative action for more proíitable growth". Strategy & Leadership, Vol. 29, n° 1, pp. 21-26. Alien, R. (1998): " The web: interactive and multimedia education". Computer Network and ISDN Systems, Vol. 30, pp. 17171727. Anderberg, M.R. (1973): "Cluster analysis for applications". Academic Press. New York. Ausubel, D. (1968): "Educational psychology: A cognitive view". Holt, Rinehart, and Winston. New York. Bostock, S.J. (1998): "Constructivism in mass higher Education: a case study". British Journal of Educational Technology Vol. 29, n° 3, pp. 225-240 Bradley, C. & Oliver, M. (2001): "The evolution of pedagogic models for work-based learning within a virtual university". Computers and Education (en prensa). Bullock, C & Ory, J. (2000): "Evaluating Instructional Technology Implementation in a Higher Education Environment". American Joumal of Evaluation, Vol. 21, n° 3, pp.315-328. Burke, W. (1995): "Organization Change. What we know, what we need to know". Journal o/ Management Inquiry. Vol. 4, n° 2, June, pp. 158-175. Collis, B. (1998): "New didactics for university instruction: why and how?". Computers and Education, Vol. 31. pp. 373-393. Cook, J. (1992): "Modeling staff perceptions of a mibile job support program for persons with severe mental illness". Annual Conference of the American Evaluation Association, Seattle. Cowan, J. (1998): "On becoming an innovative university teacher". London Society for Research into Higher Education and Buckinghand. Open University Press. London Christensen, CM. (1997): "The innovator's dilemma: when new technologies causes great firms to fail". Harvard Business School Press. Boston. Damanpour, F. (1991): "Organizational Innovation: A Meta-Analysis of Effects of Det". Academy of Management Journal; Vol.34, n° 3, Sept., pp.555-590. Damanpour, F. (1996): "Organizational complexity and innovation: Developing and testing múltiple contingeney models". Management Sciece, Vol. 42, n° 5, May, pp.693-716. Davison, M.L. (1983): "Multidimensional Scaling". John Wiley and Sons. New York. Everitt, B. (1980): "Cluster Analysis". 2nd Edition. Halsted Press, A División of John Wiley and Sons. New York. Calvin, P.F. (1989): "Concept mapping for planning and evaluation of a Big Brother/Big Sister program". Evaluation and Program Planning. Vol. 12, n" 1, pp.53-58. Garvin, D.A.(1993): "Building a learning organization". Harvard Business Review, Vol. 71, n°4, July-August, pp. 78-91. Gopalakrishnan, S. y Bierly, P. (2001): "Analyzing innovation adoption using a knowledge-based approach". Journal o) Engineering and Technology Management,. Vol. 18, n° 2, June, pp. 107-130 Grayson, T E. (1992): "Practical issues in implementing and utilizing concept mapping". Annual Conference of the American Evaluation Association, Seattle. Greve, H.R. & Taylor, A. (2000): "Innovations as catalysts for organizational change: Shifts in organizational cognition and search". Administrative Science Quarterly, Vol. 45, n° 1, March, pp. 54-80 250 Gurowitz, W.D.et al. (1988): "A process for planning". The Journal of the National Association of Student Personnel Administrators, Vol. 25, n" 4, pp. 226-235. Hargadon, A. & Sutton, R.l. (2000): "Building an innovation factory". Harvard Business Review, Vol. 78, n° 3, May/Jun, pp. 157-166. Hesse-Biber, S. et al. (1991): "HyperRESEARCH, a computer program for the analysis of qualitative data with an emphasis on hypothesis testing and multimedia analysis". Qualitative Sociology, Vol. 14, n" 3, pp. 289-306. Hodgetts, R.M. et al. (1994): "New Paradigm Organizations: From Total Quality to Learning to World Class". Organizational Dynamics, Vol. 23, n" 3, Winter, pp. 3-18. Hoffman, R. C, & Hegarty, W. H. (1993). "Top Management Influences on Innovation: Effects of Executive Characteristics and Social Culture". Joumal of Management, Vol. 19, n° 3, Fall, pp. 549-574 Hoffman, R.C. (1999): Organizational Innovation: Management intluence across cultures. Multinational Business Review, Vol. 7, n° 1, Spring, pp. 37-49. Huff, A. (1990): "Mapping strategic thought". Wiley. New York. Kane, T.J. (1992): "Using concept mapping to identity provider and consumer issues regarding housing for persons with severe mental illness". Annual Conference ofthe American Evaluation Association, Seattle. Kelle, U. (1997): "Theory Building in Qualitative Research and Computer Programs for the Management of Textual Data" Sociological Research Online, vol. 2, n". 2, http://www.socresonline.org.Uk/socresonline/2/2/l .html. Kilduff, M. & Dogherty, D. (2000): "Change and development in a pluralistic world: the view from the classics". Academy of Management Review, Vol. 25, n" 4, October, pp. 777-782. Kohler, P.D. (1992): "Services to students with disabilities in postsecondary education settings: Identifying program outeomes". Annual Conference ofthe American Evaluation Association, Seattle. Kohler, P.D. (1993): "Serving students with disabilities in postsecondary education settings: Using program outeomes for planning, evaluation and empowerment". Annual Conference ofthe American Evaluation Association, Dallas. Kolb, D. & Shepherd, D. (1997): "Concept Mapping Organizational Cultures". Journal o/ Management Inquirv, Vol. 6, n° 4, pp. 282-295. Kruskal, J.B. & Wish, M. (1978): "Multidimensional Scaling". Sage Publications. Beverly Hills, CA. Lassegard, E. (1993): "Conceptualization of consumer needs for mental health services". Annual Conference of the American Evaluation Association, Dallas. Mannes, M. (1989): "Using concept mapping for planning the implementation of a social technology". Evaluation and Program Planning. Vol. 12, n° 1, pp. 67-74. Marquart, J.M. (1988): "A pattern matching approach to link program theory and evaluation data: The case of employersponsored child care". Doctoral dissertation, Comell University, Ithaca, New York. Marquart, J.M. (1992): "Developing quality in mental health services: Perspectives of administrators, clinicians, and consumers". Annual Conference of the American Evaluation Association, Seattle. Marquart, J.M., et al. (1993): "Quality in intake assessment and case management: Perspectives of administrators, clinicians and consumers". En R. Friedman et al. (Eds.): A system of care for children's mental health: Organizing the research base. Tampa: Florida Mental Health Institute, University of South Florida. Martensen, A. & Dahlgaard, J.J.(1999): "Integrating business excellence and innovation management: developing mission, blueprint and strategy for innovation in creative and learning organizations". Total Quality Management, Vol. 10, n° 4-5, pp.627635. Mazen, A.M. et al (2000): "Transforming the class into a learning Organization". Management Learning, Vol. 31, n° 2, pp. 147161. Nadler, D.A. & Tushman, M.L. (1999): "The Organization of the future: strategic imperatives and core competencies for the 21" century". Organizational Dynamics, Vol. 28, n" 1. Summer, pp.45-60 Nelson, K.M., et al. (2000): "Revealed causal mapping an evocative method for information systems research". 33rd Hawai International Conference on System Sciences. Hawai. Novak, J. D., et al. (1983): "The use of concept mapping and knowledge vee mapping with júnior high school science students". Science Education. Vol. 67, pp. 625-645. Novak, J.D. & Gowan, D.B. (1984): "Learning how to team". Cambridge University Press. Cambridge. Pedler, M. et al (1991): "The Learning Company: A Strategy for Sustainable Development". McGraw-Hill, Maidenhead. Penney, N.E. (1992): "Mapping the conceptual domain of provider and consumer expectations of inpatient mental health treatment: New York Results". Annual Conference ofthe American Evaluation Association, Seattle. 251 Piderit, S.K. (2000): "Rethinking resistance and recognizing ambivalence: a multidimensional view of attitudes toward an organizational change". Academy of Management Review, Vol. 25, n° 4, Oct., pp.783-794 Plotnick, E. (1997): "Concept Mapping: A Graphical System for Understanding the Relationship between Concepts". ERICClearinghouse on Information and Technology Syracuse, New York. Rice, D. C. et al. (1998): "Using concept maps to assess student learning in the science classroom: Must different methods compete?" Journal of Research in Science Teaching, Vol. 35, n° 10, pp. 1103-1127. Romney, A.K., et al. (1986): "Culture as consensus: A theory of culture and informant accuracy". American Anthropologist, Vol. 88, n° 2, pp 313-338. Rosenberg, S. & Kim, M.P. (1975): "The method of sorting as a data gathering procedure in multivariate research". Multivariate Behavioral Research, Vol. 10, pp. 489-502. Rovai, A.P. (2001): "Classroom community at a distance. A comparative analysis of two ALN-based university programs". Internet and Higher Education, Vol. 4, pp. 105-118. Senge, P.M. (1994): "Learning to alter mental models". Executive Excellence, Vol. 11, n° 3, pp. 16-20. Senge, P.M. (1990): "The Fifth Discipline: The Art and Practice of the Learning Organization". Currency/Doubleday. New York. Stringer, R. (2000): "How to manage radical innovation". California Management Review; Vol.42, n° 4, Summer, pp.70-88. Teichler, U. (1999): "Higher Education Policy and the World of Work: Changing Conditions and Challenges". Higher Education Policy, Vol. 12, pp.285-312. Tenenbaum, G. et al. (2001): "Constructivist pedagogy in conventional on-campus and distance learning practice: an exploratory investigation". Learning and Instruction, Vol. 11, pp. 87-111 Trochim, W. (1989): "An introduction to concept mapping for planning and evaluation". Evaluation and Program Planning, Vol. 12, n" 1, pp. 1-16. Trochim, W. (1993): "The Reliability of Concept Mapping". Annual Conference ofthe American Evaluation Association, Dallas, Texas. Tucker, R.B. (2001): "Innovation discipline". Executive Excellence, Vol. 18, n° 9, Sept., pp.3-4 Tushman, M. y Nadler, D. (1996): "Organizing for innovation", en Starkey, K. (ed): How Organizations Learn. International Thomson Business Press, London. Citado en Martensen, A. y Dahlgaard, J.J. (1999): "Integrating Business Excellence and Innovation Management: Developing Vision, Blueprint and Strategy for Innovation in Creative and Learning Organizations". Total Quality Management, Vol. 10, n°4-5 pp.627-635. Valentine, K. (1989): "Contributions to the theory of care". Evaluation and Program Planning. Vol. 12, n° 1, pp. 17-24. Van de Ven, A. et al. (1999): "The Innovation Joumey". Oxford University Press. New York. Villar, L.M. et al. (1997): "Metaanálisis de innovaciones curriculares de la Universidad de Sevilla". Revista de Enseñanza Universitaria, N° extraordinario, pp.291-311. Villar, L.M. et al. (1998): "Procesos institucionales en aulas innovadoras de la Universidad de Sevilla: Un estudio multicaso y de metaanálisis". Revista de Enseñanza Universitaria, N° extraordinario, pp. 439^)61 Villar, L.M. et al. (1999): "El valor de la innovación. Profesores e investigadores se implican en procesos de indagación colaborativa". Revista de Enseñanza Universitaria, N° extraordinario, pp. 559-577 Villar, L.M. et al. (2000a): "Metasíntesis de innovaciones curriculares en la docencia hispalense (curso 98-99)". En Ortega, A. et al. (eds): Materiales para la Calidad Vol. II. ICE y Vicerrectorado de Calidad. Universidad de Sevilla. Villar, L.M. et al. (2000b): "Innovaciones en la docencia de la Universidad de Sevilla (curso 99-00): Una perspectiva interfacultativa". Revista de Enseñanza Universitaria, N° extraordinario, pp. 313-341 Von Krogh, G. et al. (2000): "Enabling knowledge creation: How to unlock the mystery of tacit knowledge and reléase the power of innovation". Oxford University Press. New York. Walker, D.A. (1999): "A model for assessing assessment activities". College Student Journal, Vol. 33, n° 3, pp 439-443. Ward, B. y Chandler, W.D. (1999): "Applying Quality Management Concepts to Managing Business Schools". SAM Advanced Management Journal, Autumn, pp. 21-24. Winer, L.R. y Cooperstock, J. (2001): "The 'Intelligent Classroom': Changing Teaching and Learning with a Evolving Technological Environment". Computers and Education (en prensa). Worren, N.A.M. et al (1999): "From Organizational Development to Change Management". The Journal of Applied Behavioral Science. Vol. 35, n° 3, September, pp.273-286. 252