El meta análisis como instrumento de investigación en la determinación y análisis del objeto de estudio

EL META ANÁLISIS COMO INSTRUMENTO DE INVESTIGACIÓN EN LA DETERMINACIÓN Y ANÁLISIS DEL OBJETO DE ESTUDIO RESUMEN Este trabajo propone un método para obtener y tratar información para determinar el problema de investigación a través de un enfoque de meta análisis. Este procedimiento es ejemplificado con la identificación del objeto de estudio sistemas de información dentro del área de Dirección de Empresas. PALABRAS CLAVE Meta análisis, Metodología de investigación, Bases de Datos Electrónicas, Sistemas de información 2 1. INTRODUCCIÓN Sarabia Sánchez (1999) en relación al papel del investigador frente a la información indica que “el elemento básico de la investigación es la información. Investigar es, entre otras cosas, obtener datos, y tratarlos para obtener información distinta. Por ello el investigador no ha de ser concebido como alguien que la maneja como si un puzzle se tratase, sino como quien decide cómo obtenerla, qué hay que hacer con ella, cómo hay que tratarla y guardarla y, finalmente, a quién y por qué hay que entregársela”. Si bien, en el pasado durante las investigaciones del área de Dirección de Empresas la escasa literatura existente sobre algunos fenómenos particulares así como el difícil acceso a ella fue un impedimento, tanto para la confección del estado de la cuestión como para lograr precisar el problema de investigación, hoy en día, el gran volumen y facilidad de acceso a la información, y en especial a la disponible en medios digitales a través de bases de datos en la red, presenta dificultades para su valoración y síntesis de forma eficiente. Atendiendo a estas dificultades, en este trabajo presentamos una propuesta para obtener y tratar información con el propósito de determinar el objeto de estudio en una investigación del área de Dirección de Empresas utilizando un enfoque de meta análisis. El procedimiento propuesto es ejemplificado en una investigación sobre sistemas de información.1 En la figura 1 se muestra cómo la determinación del objeto de estudio asiste en la fase preliminar de la investigación científica. El hecho que la mayoría de las revistas científicas de alto índice de impacto demanden que los artículos publicados en ellas lleven una cuidada revisión de la literatura relacionada con el fenómeno de estudio, refleja tanto la importancia como el nivel de rigurosidad exigido para esta etapa del proceso de investigación. Antes de emprender una investigación particular, el investigador debe preguntarse qué sabemos sobre el fenómeno, pues sin una visión clara sobre el estado de la cuestión, un nuevo estudio que simplemente se agregue a los existentes no será de mucha utilidad. En relación a ello, Sánchez-Meca (1999) indica que las “revisiones de la investigación constituyen un eslabón imprescindible entre el quehacer científico del pasado y del futuro, estableciendo el punto de partida de nuevas investigaciones”. Gutiérrez Cillán y Rodríguez Escudero (1999) exponen que a la formulación de hipótesis científicas se puede llegar a través de diversos caminos y de múltiples aproximaciones: la inducción, generalización a partir de varios casos particulares; la lógica deductiva, deducción a partir de principios de teorías anteriores; la analogía, aplicación analógica de los hallazgos y descubrimientos de otras áreas científicas más o menos afines; y el mecanismo extra científico, fruto de la inspiración en el saber no científico. En forma adicional, estos autores señalan al análisis y la explotación provechosa de la tradición investigadora como una práctica habitual para la generación de hipótesis, no sin advertir el riesgo de la degeneración de este camino al plantear hipótesis cuyo posterior contraste genere hallazgos triviales. FIGURA 1 Contexto del método propuesto 1 Aunque las bases de datos utilizadas recogen muy poca literatura española (pues nos basamos en el índice factor de impacto), el mismo procedimiento podría ser seguido cambiando las fuentes en otros estudios. El meta análisis como instrumento de investigación en la determinación y análisis del objeto de estudio 3 Fuente: Confección propia. Relacionado a lo anterior, una idea que ha sido desarrollada por múltiples investigadores es combinar los resultados de estudios independientes para producir un conocimiento más general del fenómeno de interés. Varios métodos se han desarrollado con el objetivo de crear una única conclusión de muchos estudios individuales. En un extremo de los métodos para combinar resultados de estudios encontramos la revisión narrativa. Esta alternativa ha sido utilizada por muchos años para acumular resultados cruzando distintos estudios. En este método el investigador tras el estudio de las aportaciones más relevantes con relación a un determinado fenómeno expone su visión particular del estado de la cuestión. Si bien este tipo de revisión tiene desventajas asociadas a la carencia de sistematización que han sido indicadas por la literatura (Light y Pillemar, 1984), habilita al investigador a ver en forma más clara el fenómeno de estudio. En otro extremo de este espectro encontramos el meta análisis, este método “integra cuantitativamente los resultados de las investigaciones sobre un determinado tema para poder establecer qué es lo que la evidencia empírica, hasta ese momento, ha demostrado” (Sánchez Meca, 2002). El propósito de este método es dotar a las revisiones de la investigación el rigor, objetividad y sistematización necesaria para una productiva acumulación del conocimiento científico. Entre estos dos extremos, encontramos diversos autores que realizan una revisión sistemática de determinado fenómeno a partir de los estudios realizados, pero no concentrándose solo en investigaciones cuantitativas. Ejemplos de estos estudios son Lai y Mahapatra (1997), Klaus et al. (2000) y Croasdell (2003). Si bien los autores citados denominan a su método de trabajo meta análisis, creemos conveniente llamarlo enfoque meta analítico para diferenciarlo del descrito con anterioridad. A continuación propondremos un método para realizar una revisión del dominio de la investigación con el objeto de establecer el problema de investigación que utiliza un enfoque meta analítico para tratar la información obtenida de fuentes bibliográficas. 2. EL MÉTODO DE REVISIÓN Las fases del método propuesto para explorar el dominio del problema se muestra en la figura 2. A continuación nos referiremos a cada una de estas fases. FIGURA 2 Fases de la exploración del dominio del problema 4 Fuente: Confección propia. Fase 1: Determinar revistas de la disciplina. El primer paso para explorar el dominio del problema es determinar cuáles son las revistas científicas utilizadas en la disciplina o área estudiada. El primer acercamiento a estas revistas se debe realizar consultando las bases de datos electrónicas que listan por área los nombres de las publicaciones almacenadas en ellas. Luego, proponemos que se revisen las principales conferencias de las asociaciones científicas que abordan el área en exploración en busca de artículos compilatorios de los trabajos presentados a ellas. En conjunto, los nombres de revistas obtenidos de las bases de datos electrónicas y los resultados de los artículos compilatorios de las conferencias, nos permitirán a establecer la lista de revistas científicas del área. 2 El resultado de esta fase es una lista de revistas científicas utilizadas en el área estudiada. Fase 2: Establecer revistas relevantes. Luego de determinar las revistas científicas que abordan el tema seleccionado se debe establecer cuáles son las revistas más relevantes entre ellas, estas revistas serán base para nuestro posterior análisis. Para realizar esta determinación deberemos utilizar criterios de relevancia asociados al análisis de citación de artículos. Las “citas son explicitas relaciones entre artículos que tienen aspectos comunes” (Chandy y Williams, 1994), estas relaciones son criticas para construir un conocimiento base dentro de una disciplina determinada y son uno de los fundamentos sobre los cuales el método científico esta construido (Knight et al., 2000). Por otra parte, las citas también pueden ser consideradas intercambios sociales entre autores y lectores (Zinkhan et al., 1992). Siguiendo esta idea, Knight et al. (2000) indican que el uso de la citación de un determinado artículo puede ser considerado como un indicador de calidad de dicho trabajo. Los artículos “valiosos” serán citados e impulsarán tanto la nueva investigación como los futuros esfuerzos de publicación. Una revista que es más citada es más usada por la comunidad científica, y por tanto, será más atractiva para enviar nuevos manuscritos. Si no consideramos otros elementos en nuestro análisis, más manuscritos aumentan la competencia por el espacio de publicación en tal revista, y asociado a ello, la calidad de la revista aumentará. Luego, el número de citas puede ser considerado un indicador de la calidad de las revistas científicas. En específico, proponemos utilizar los siguientes criterios: a) Factor de impacto ISI; b) Veces que es citada la publicación por la revista con mayor factor de impacto ISI; y c) Factor de frecuencia de citación recogido de los estudios compilatorios de conferencias en el área. Adicionalmente, en esta selección debemos atender al origen de la publicación como criterio de relevancia, pues en algunas disciplinas o áreas existen compartimentos estancos entre las escuelas 2 Una mejora considerable en la materia utilizada para este análisis seria incluir revistas nacionales, lamentablemente la existencia de silos entre la información electrónica de las principales revistas nacionales hace este trabajo muy lento y por tanto inviable. El meta análisis como instrumento de investigación en la determinación y análisis del objeto de estudio 5 europeas y americanas. Estas diferencias se pueden advertir tanto en metodologías y disciplinas de referencia, como en la riqueza o beneficios logrados en un campo específico (Evaristo y Karahanna, 1997). El resultado de esta fase es una lista de revistas científicas relevantes en el área estudiada. Fase 3: Poblar la base de datos con artículos. Luego de determinar las revistas más relevantes se deberá poblar una base de datos con las variables de los artículos que han sido publicados en ellas. Como es sabido, la utilidad del conocimiento incluido en un artículo se desvanece a medida que pasa el tiempo, a este período de utilidad se le conoce como vida media de citación (Knight et al., 2000). Por tanto, debemos utilizar un horizonte temporal para nuestra exploración acorde al problema. Si bien 15 años es un horizonte temporal aceptado en forma general (ver ejemplos en Claver et al. (2000), Zinkhan y Leigh (1999) y Knight et al., 2000), esto dependerá del fenómeno en estudio. Para obtener los datos de los artículos a explorar recomendamos utilizar las facilidades que entregadas por ISI Web of Science. Esta base de datos, con acceso vía Internet, otorga la opción de exportar a un archivo texto un conjunto de variables relacionadas con cada artículo encontrado como resultado de una búsqueda en su repositorio. Este archivo de texto podrá ser manipulado por programas como MS Excel o MS Access. La figuras 3 y 4 presentan las pantallas de búsqueda de información y de exportación a archivo de texto de ISI Web of Science. En la pantalla de búsqueda se deberá indicar el titulo de la revista de la cual deseamos recuperar las variables asociadas a los artículos contenidos en ella, luego en exportación deberemos marcar las casillas de las variables que deseamos explorar. Se deberá efectuar un proceso de búsqueda y exportación por cada revista científica relevante. Al término de los procesos de búsqueda y exportación, deberemos consolidar todas estas variables en una sola tabla de datos para efectuar sobre ella los análisis posteriores. El resultado de esta fase es una base de datos con las variables de cada uno de los artículos de las revistas científicas relevantes en el área estudiada. FIGURA 3 Pantalla de búsqueda de información de ISI Web of Science Fuente: ISI Web of Science. Fase 4: Análisis de autores y artículos. La primera revisión que proponemos es calcular el promedio anual de citas de los artículos en las revistas bases para el estudio. El resultado de este procedimiento nos señalara aproximadamente la importancia relativa de cada fuente así como la evolución de ella en el período de estudio. Muy relacionado con lo anterior, proponemos identificar en una segunda revisión una lista de los artículos que han sido más citados por revistas ISI. Por otra parte, será necesario identificar tanto los autores que han sido más veces publicados por las revistas analizadas como aquellos que son más citados por otros estudios. Esta exploración nos indica qué investigadores Se indica la revista de la cual se desea extraer los artículos 6 son los que lideran en términos cuantitativos la publicación y referencia de estudios en la disciplina o área (Knight et al., 2000). Además, aconsejamos recoger qué revistas son las más citadas por los estudios explorados, pues esto nos entrega, por una parte, la posibilidad de probar nuestra selección inicial de revistas, como por otra, identificar nuevas fuentes relevantes más allá de las directamente asociadas a la disciplina o área. 3 El resultado de esta fase que nos señala las revistas, autores y artículos más relevantes en el área estudiada. FIGURA 4 Pantalla de exportación a archivo de texto de ISI Web of Science Fuente: ISI Web of Science. Fase 5: Análisis de palabras claves. El último paso de nuestro estudio exploratorio es el de mayor importancia para efectos de detectar los tópicos de investigación que el área o disciplina enfrenta. Para realizar este análisis se deberán utilizar los indicadores o palabras claves de los artículos recopilados en las fases anteriores. La utilidad para los investigadores de las palabras claves asociadas a los artículos es reconocida por diversos autores, tanto para analizar el contenido de las publicaciones como para investigar las tendencias en algún dominio de conocimiento (Salton y McGill, 1983; Elam et al. 1986; Barki et al., 1988; Barki et al., 1993). La revisión de estos indicadores proporciona importantes elementos para entender, apoyándose en propuestas de investigación publicadas, como ha evolucionado la investigación en la disciplina o área estudiada, y que temas son los importantes dentro de ella para abordar en el futuro. El resultado de esta fase serán los tópicos de investigación relevantes en el área estudiada. 3. APLICACIÓN AL ESTUDIO DE SISTEMAS DE INFORMACIÓN A continuación el procedimiento propuesto es ejemplificado con la identificación del objeto de estudio sistemas de información dentro del área de Dirección de Empresas. Fase 1: Determinar revistas de la disciplina. Para determinar las revistas científicas más utilizadas en la área de sistemas de información se utilizo tanto el estudio recopilatorio de Galliers et al. (2002) sobre la Conferencia Europea de Sistemas de Información como la propuesta de títulos de las bases de 3 También es posible que se realice una exploración de los centros de investigación que albergan la investigación en el área, si bien no creemos que sea esencial para determinar el objeto de estudio. Variables que se pueden exportar El meta análisis como instrumento de investigación en la determinación y análisis del objeto de estudio 7 datos electrónicas Abi-inform y Business Source Premier. El resultado de esta fase se muestra en la primera columna de la tabla 1. Fase 2: Establecer revistas relevantes. Se selecciono las revistas de mayor relevancia en el área utilizando criterios asociados a la citación. El proceso seguido fue el siguiente. Primero, se ordenaron las revistas según el factor de impacto indicado en ISI Journal Citation Report Edition 2002. Realizada esta labor, se destaco claramente MIS Quarterly sobre las otras revistas científicas, su índice factor de impacto de 2,872 casi dobla a su seguidora, la revista Communications of the ACM, cuyo índice factor de impacto es de 1,492. A partir de este último hecho, como segundo criterio de relevancia consideramos pertinente determinar cuantas veces artículos publicados en cada una de estas revistas científicas eran citados por la revista con mayor índice de factor de impacto del área, es decir, por MIS Quarterly. Utilizando la base de datos de ISI Journal Citation Report Edition 2002 logramos determinar estos valores. Finalmente, y como tercer criterio de relevancia, utilizamos los hallazgos de Galliers et al. (2002) sobre el porcentaje de trabajos presentados a European Conference on Information Systems (ECIS) que utilizaron como fuente la revista científica identificada. La tabla 1 presenta la información recopilada. TABLA 1 Revistas científicas de sistemas de información Título Origen Impacto MISQ ECIS M IS Quarterly EEUU 2,872 235 35% Communications of the ACM EEUU 1,497 76 < 6% J ournal of Strategic Information Systems Europa 1,346 19 8% I nformation Systems Research EEUU 1,326 65 10% I nformation & Managemen t Europa 1,299 22 <6% J ournal of Information Technology Europa 1,268 4 8% J ournal of Management Information Systems EEUU 1,043 9 <6% E uropean Journal of Information Systems Europa 0,632 23 7% I nformation Systems Journal Europa 0,226 3 6% Fuente: Elaboración propia. A partir de la revisión de la tabla 1, y concientes de la diferencia de la investigación en este campo entre Europa y América, tal como lo señalan Evaristo y Karahanna (1997), seleccionamos las cuatro revistas que según los criterios definidos representan la investigación más relevante en el área, dos de origen Europeo y dos de origen americano. Esta selección se muestra en la tabla 2. TABLA 2 Revistas científicas seleccionadas para exploración Título Origen Impacto MISQ ECIS M IS Quarterly EEUU 2,872 235 35% J ournal of Strategic Information Systems Europa 1,346 19 8% I nformation Systems Research EEUU 1,326 65 10% J ournal of Information Technology Europa 1,268 4 8% Fuente: Elaboración propia. El resultado de esta fase nos indica que la exploración de las revistas MIS Quarterly, Journal of Strategic Information Systems, Information Systems Research y Journal of Information Technology asegura material de calidad para nuestro análisis futuro sobre el área de sistemas de información. Fase 3: Poblar la base de datos con artículos. Se determinó que entre el año 1993 y junio del año 2003 se publicaron un total 990 artículos en las cuatro revistas exploradas. Lamentablemente, la fecha de la primera edición de algunas de estas publicaciones es posterior a 1993. Considerando lo anterior, y el objetivo de actualidad de nuestro trabajo, se redujo el horizonte de análisis al período comprendido entre el año 1998 y junio del año 2003. Para efectuar la población de la base de datos con las variables de todos los artículos que han sido publicados en estas revistas utilizamos las facilidades que entregadas por ISI Web of Science. Luego de un proceso de búsqueda y exportación de 8 archivos se consolidaron los resultados en una sola tabla de datos. Con todo, los artículos incluidos en la base de datos fueron en total 535. Un resumen del resultado de esta fase se presenta en la tabla 3. TABLA 3 Resumen del número artículos publicados Revista 1998 1999 2000 2001 2002 2003 Total I nformation Systems Research 26 25 26 26 29 6 138 J ournal of Information Technology 28 36 27 22 24 5 142 J ournal of Strategic Information Systems 21 33 12 20 16 5 107 M IS Quarterly 26 33 28 21 27 13 148 Total 101 127 93 89 96 29 535 Fuente: Elaboración propia. Fase 4: Análisis de autores y artículos. Con relación a las veces que han sido citados los artículos en otras publicaciones ISI, en la tabla 4 se muestra desde el año 1998 al año 2002 el promedio de veces que los artículos pertenecientes a cada revista han sido citados. Es importante observar que en promedio los artículos publicados en estas revistas han sido citados tres veces en revistas ISI. TABLA 4 Promedio de citas en revistas ISI Revista 1998 1999 2000 2001 2002 Total I nformation Systems Research 7,2 5,7 3,0 2,2 1,1 3,8 J ournal of Information Technology 1,8 1,3 1,9 0,6 0,3 1,2 J ournal of Strategic Information Systems 1,3 1,3 3,4 0,5 0,3 1,2 M IS Quarterly 8,3 8,1 5,3 3,2 0,3 5,2 Total 4,8 3,9 3,4 1,7 0,6 3,0 Fuente: Elaboración propia. Los diez artículos más citados en revistas ISI por cada revista analizada se presentan en la tabla 5. La última columna indica la cantidad de veces que tal artículo ha sido citado. Claramente, las revistas más citadas tienen a su vez los artículos más citados. TABLA 5 Artículos más citados Revista Título del artículo Autores Año Citas A set of principles for conducting and evaluating interpretive f ield studies in information systems Klein, HK; Myers, MD 1999 38 Strategic information systems planning success: An investigation of the construct and its measurement Segars, AH; Grover, V 1998 32 Social cognitive theory and individual reactions to computing technology: A longitudinal study Compeau, D; Higgins, CA; Huff, S 1999 29 I ssues and opinion on structural equation modelling Chin, WW 1998 25 I nformation technology adoption across time: A cross-sectional comparison of pre-adoption and post-adoption beliefs Karahanna, E; Straub, DW; Chervany, NL 1999 24 Creation of favourable user perceptions: Exploring the role of intrinsic motivation Venkatesh, V 1999 23 A n empirical investigation of information technology sourcing p ractices: Lessons from experience Lacity, MC; Willcocks, LP 1998 22 Why don't men ever stop to ask for directions? Gender, social influence, and their role in technology acceptance and usage behaviour Venkatesh, V; Morris, MG 2000 21 A theory of task/technology fit and group support systems effectiveness Zigurs, I; Buckland, BK 1998 21 M IS Quarterly R eview: Knowledge management and knowledge management systems: Conceptual foundations and research issues Alavi, M; Leidner, DE 2001 20 'Mind the Gap': diagnosing the relationship between the IT organization and the rest of the business Peppard, J; Ward, J 1999 9 I t is what one does": why people participate and help others in electronic communities of practice" Wasko, MM; Faraj, S 2000 7 J ournal of Strategic information Systems I ndividual and collective congruence in the knowledge management process Merali, Y 2000 7 El meta análisis como instrumento de investigación en la determinación y análisis del objeto de estudio 9 Revista Título del artículo Autores Año Citas The use of collaborative electronic media for information sharing: an exploratory study of determinants Jarvenpaa, SL; Staples, DS 2000 6 A n investigation of factors that influence the management of knowledge in organizations Holsapple, CW; Joshi, KD 2000 6 The role of AI-based technology in support of the knowledge management value activity cycle Fowler, A 2000 5 The strategic impact of IT on the retail financial services industry Channon, DF 1998 5 The effects of knowledge management systems on emergent teams: towards a research model Gray, PH 2000 4 K nowledge management technology and the reproduction of knowledge work practices Schultze, U; Boland, RJ 2000 4 IT -enabled organizational transformation: a case study of BPR f ailure at TELECO Sarker, S; Lee, AS 1999 4 I nformation systems evaluation in practice: a case study of organizational change Serafeimidis, V; Smithson, S 2000 10 L earning from adopters' experiences with ERP: problems encountered and success achieved Markus, ML; Axline, S; Petrie, D; Tanis, C 2000 9 E valuating information systems projects: a multidimensional approach Fitzgerald, G 1998 9 R elationship marketing in electronic commerce environments Davis, R; Buchanan-Oliver, M; Brodie, R 1999 7 F inancial appraisal and the IS/IT investment decision making p rocess Ballantine, J; Stray, S 1998 6 I s there a place for department stores on the Internet? Lessons f rom an abandoned pilot. Sauer, C; Burton, S 1999 5 Towards a hermeneutic method for interpretive research in information systems Butler, T 1998 5 P EArL: a systems approach to demonstrating authenticity in information systems design Champion, D; Stowell, FA 2001 4 The journal: developments Willcocks, L; Sauer, C 2000 4 J ournal of I nformation Technology A cts of faith: instinct, value and IT investment decisions Bannister, F; Remenyi, D 2000 4 D eterminants of perceived ease of use: Integrating control, intrinsic motivation, and emotion into the technology acceptance model Venkatesh, V 2000 22 Testing media richness theory in the new media: The effects of cues, feedback, and task equivocality Dennis, AR; Kinney, ST 1998 21 A ccounting for the contradictory organizational consequences of information technology: Theoretical directions and methodological implications Robey, D; Boudreau, MC 1999 19 A conceptual and operational definition of personal innovativeness in the domain of information technology Agarwal, R; Prasad, J 1998 18 The multilevel and multifaceted character of computer selfefficacy: Toward clarification of the construct and an integrative framework for research Marakas, GM; Yi, MY; Johnson, RD 1998 17 A case for using real options pricing analysis to evaluate information technology project investments Benaroch, M; Kauffman, RJ 1999 15 I nformation and communication: Alternative uses of the Internet in households Kraut, R; Mukhopadhyay, T; Szczypula, J; Kiesler, S; Scherlis, B 1999 14 I nformation technology assimilation in firms: The influence of senior leadership and IT infrastructures Armstrong, CP; Sambamurthy, V 1999 13 A paradigmatic analysis contrasting information systems development approaches and methodologies Iivari, J; Hirschheim, R; Klein, HK 1998 13 I nformation Systems R esearch F acilitator influence in group support systems: Intended and unintended effects Griffith, TL; Fuller, MA; N orthcraft, GB 1998 13 Fuente: Elaboración propia. Se debe destacar que existen cuatro autores que han sido publicados más de tres veces como autor principal en estas revistas. El detalle de este resultado se muestra en la tabla 6, la última columna de la tabla indica las veces que ha sido citado el artículo en revistas ISI. El promedio de citas a los artículos de la tabla es de 7,7 citas por artículo publicado, muy superior al ya indicado promedio general de 3,0. En esta tabla se ha excluido el material de tipo editorial que algunos autores de la muestra han confeccionado. 16 CHANDY, P. R. Y WILLIAMS, T.G.E. (1994). “The impact of Journals and Authors on International Business Research: A Citational Analysis of JIBS Articles”. Journal of International Business Studies, Vol. 25, n° 4, pgs. 715-728. CLAVER, E.; GONZÁLEZ, M.R. Y LLOPIS, J. (2000). “An analysis of research in information systems (1981-1997)”. Information & Management. Vol. 37, nº 4, pgs. 181-195. CROASDELL, D. T.; JENNEX, M.; YU, Z. Y CHRISTIANSON, T.; CHAKRADEO, M.; MAKDUM, W. (2003). “A Meta-Analysis of Methodologies for Research in Knowledge Management, Organizational Learning and Organizational Memory: Five Years at HICSS”. Proceedings of the 36th Hawaii International Conference on System Sciences (HICSS’03). ELAM J.; HUBER G. Y HURT M. (1986).”An Examination of the DSS Literature (1975-1985)” en Sol H. (Ed.) “Decision Support Systems: A Decade in Perspective”, Amsterdam: North Holland. EVARISTO, JR Y KARAHANNA, E. (1997): “Is North American IS research different from European IS research?”. Data Base for Advances in Information Systems, Vol. 28, n°3, pgs. 32-43. GALLIERS, R. Y WHITLEY, E. (2002). “An Anatomy of European Information Systems Research ECIS 1993–ECIS 2002: Some Initial Findings”. Documento de Trabajo. GUTIÉRREZ CILLÁN, J. Y RODRÍGUEZ ESCUDERO, A. I. (1999).”La investigación científica”, en Sarabia Sánchez, F. J., “Metodología para la Investigación en Marketing y Dirección de Empresas”, Ediciones Pirámide, Madrid, pgs. 51-68. KLAUS, H.; ROSEMANN, M. Y GABLE, G.G. (2000). “What is ERP?”. Information Systems Frontiers, Vol. 2, n° 2, pgs. 141-162. KNIGHT, G. A.; HULT, G. T. Y BASHAW E. (2000). “Research Productivity in the Journal of Business Research: 1985 – 1999”. Journal of Business Research, Vol. 49, n°3, pgs. 303-314. LAI, V. S. Y MAHAPATRA, R. K. (1997). ”Exploring the research in information technology implementation”. Information & Management, n° 32, pgs. 187-201. LIGHT, R.J. Y D.B. PILLEMAR (1984). Summing Up: The Science of reviewing research, Harvard University Press, Cambridge, Massachusetts, and London, England. RAHMAT, M. (2001). “Key issues in information systems management: Indonesia 2001”, Documento de Trabajo. SALTON, G. Y MCGILL, M. J. (1983). Introduction to Modern Information Retrieval. McGraw-Hill, New York, NY. SÁNCHEZ MECA, J. (1999). “Meta análisis para la investigación científica”, en Sarabia Sánchez, F. J., “Metodología para la Investigación en Marketing y Dirección de Empresas”, Ediciones Pirámide, Madrid, pgs.173-200. SÁNCHEZ MECA, J. (2002). “La revisión del estado de la cuestión: El meta-análisis”. Taller PreDoctoral I: “Concepción de Trabajos de Investigación”. VIII Taller de Metodología de ACEDE. SARABIA SÁNCHEZ, F. J. (1999).”Definición del tema a investigar”, en Sarabia Sánchez, F. J., “Metodología para la Investigación en Marketing y Dirección de Empresas”, Ediciones Pirámide, Madrid, pgs. 69-94. ZINKHAN, G. M. Y LEIGH T. (1999). "Assessing the Quality Ranking of the Journal of Advertising,". Journal of Advertising. N° 28, pgs. 51-70. ZINKHAN, G. M.; ROTH, M. Y SAXTON M. J. (1992). "Knowledge Development and Scientific Status in Consumer Behavior Research: A Social Exchange Perspective". Journal of Consumer Research, n° 18, pgs. 282-291.