Los delphi como fundamento metodológico predictivo para la investigación en sistemas de información y tecnologías de la información (IS/IT)

LOS DELPHI COMO FUNDAMENTO METODOLÓGICO PREDICITVO PARA LA INVESTIGACIÓN EN SISTEMAS DE INFORMACIÓN Y TECNOLOGÍAS DE LA INFORMACIÓN (IS/IT) DELPHI LIKE AS A PREDICTIVE METHODOLOGICAL BASE FOR RESEARCH OF INFORMATION SYSTEMS AND INFORMATION TECHNOLOGY (IS/IT) Paula Luna Huertas Catedrática de la Universidad de Sevilla [email protected] Alfonso Infante Moro Profesor asociado de la Universidad de Huelva [email protected] Francisco José Martínez López Catedrático de la Universidad de Huelva [email protected] Resumen. La afirmación de los Sistemas de Información como campo científico independiente de otras áreas se viene sustentando en la gran cantidad de trabajos académicos y de investigación que sobre este tema se vienen realizando. Este corpus doctrinal adolece no obstante de un mayor bagaje metodológico y de estudios sobre la aplicación de determinadas metodologías a la investigación en Sistemas de Información. Bajo estas premisas hemos realizado un análisis de la doctrina existente sobre la investigación metodológica en sistemas de Información, centrándonos en una de las metodologías que venimos utilizando de forma más habitual en nuestros trabajos de investigación, el método delphi, al que consideramos como una de las técnicas de obtención de información más útiles y eficaces en nuestro campo científico. A pesar de su importancia, el método delfhi aún ha sido poco estudiado en nuestro país desde la perspectiva epistemológica en el ámbito de los Sistemas de Información, por lo que consideramos necesario la realización de un análisis de esta metodología y de las investigaciones que se han realizado sobre su aplicación para poder comprender mejor los aspectos que debemos potenciar de la misma y conocer cuando es adecuada su utilización. Palabras clave: Metodología de los Sistemas de Información, Técnica delphi, Tecnologías de la Información Abstract. The statement of the Information Systems as a independent scientific field of other areas one comes sustaining in the great quantity of academic works and of investigation that it has more than enough this topic one comes carrying out. This doctrinal corpus suffers nevertheless of a bigger methodological baggage and of studies on the application of certain methodologies to the investigation in Information Systems. Under these premises we have carried out an analysis of the existent doctrine on the methodological investigation in Information Systems, centering us in one of the methodologies that come using in a more habitual way in our investigation works, the method delphi, to which we consider like one of the most useful and effective techniques of obtaining of information in our scientific field. In spite of their importance, the method delfhi has still been little studied in our country from the perspective epistemológica in the environment of the Information Systems, for what we consider necessary the realization of an analysis of this methodology and of the investigations that have been carried out on its application to be able to understand the aspects that we should develop of the same one better and to know when its use is adapted. Keywords: Information Systems Methodology, Delphi method, Information Technologies 1. Tipologías de estudios empíricos en IS/IT. Los Sistemas de Información y las Tecnologías de la Información (en adelante IS/IT) es un área académica relativamente reciente que ha evolucionado como área independiente a partir de los años setenta. Uno de los factores que nos indican de forma nítida que nos encontramos en un momento de consolidación de este nuevo campo científico es la gran cantidad de trabajos que han intentado polemizar o al menos dudar sobre la afirmación de los Sistemas de Información como ciencia. Así, siguiendo una evolución histórica, destacamos a Leavitt y Whisler que en 1958 articularon el núcleo de esta disciplina emergente, posteriormente, (Culnan y Swanson, 1986; Boland y Hirschheim, 1987; y Culnan, 1987) llegan a la conclusión de que el área de los Sistemas PIXELBIT-ENERO2005 http://www.sav.us.es/pixelbit/pixelbit/articulos/n26/n26art/art2608.htm 1 de 16 29/09/2014 12:48 de Información, enriquecido por las aportaciones realizadas desde otras áreas de investigación como la Informática y la Organización de la empresa, empieza a conformar un campo de estudio propio e independiente a partir de la década de los ochenta con su propio cúmulo de tradición. Mención especial requiere el estudio recopilatorio de los trabajos que analizaban si los Sistemas de Información eran una ciencia emergente de (Mingers y Stowell, 1997). Calificamos el área de conocimiento de los Sistemas de Información como científica, al constituir una materia de estudio concreta y distinta que pueda ser objeto de descripción y clasificación, en la cual, al igual que (Friedman, 1994; Khazanchi y Munkvold, 2000), incluimos las Tecnologías de la Información (en adelante, IT), componente, por cierto, que ha provocado que este campo esté cada vez adquiriendo más importancia en los estudios empresariales debido al incremento del uso de las IT en los Sistemas de Información de las empresas. Kroenke y Dolan en 1987, y posteriormente, en 1990, Ahitur y Neumann, definieron los cinco elementos constituyentes del campo de los Sistemas de Información, que son: hardware, software, datos, procedimientos y personal relacionado con el Sistema de Información. Coincidimos con la delimitación del campo de los Sistemas de Información propuesta, en 1997, por Davis, Gorgone, Couger, Feinstein y Longnecker que incluye dos amplias áreas: una primera dedicada a la adquisición, despliegue y gestión de los servicios y recursos de IT, y otra relativa al desarrollo y evolución de infraestructura y sistemas para su uso en los procesos organizacionales. Siendo sus contribuciones principales: el impacto del Sistema de Información en la organización; la gestión efectiva y el uso de las IT en las organizaciones; y la difusión de las IT en las organizaciones. Posteriormente, en 1999, Simon y Wang realizaron un estudio en donde encuestaron a 1.047 instituciones académicas (675 de EE.UU. y Canadá) utilizando como cuestionario una versión actualizada del utilizado por Arpan, Folks y Kowk en 1993. Como resultado del estudio se concluyó que más de un 75% de los encuestados consideraban que la gestión de los Sistemas de Información constituía una disciplina académica independiente, con su propio cuerpo de teorías. Los Sistemas de Información de las organizaciones y su informatización han sido uno de los aspectos más importantes en la bibliografía sobre la Administración y Dirección de empresas en las últimas décadas. No debe extrañarnos que se pueda hablar de más de cien mil artículos catalogados sobre ellos, tanto en investigación cualitativa como cuantitativa (Benbasat y Zmud, 1999), si bien existen estudios que la han clasificado de forma muy minuciosa, entre los que podemos destacar los realizados por (Hardgrave y Walstrom, 1997; Walczak, 1999; Whitman, Hendrickson y Townsend, 1999), y más recientemente, (Athey y Polotnicki, 2000; Claver, González y Llopis, 1999, 2000). Consideramos que este tipo de recopilaciones son muy importantes para la afirmación de los Sistemas de Información como disciplina científica, por lo que hemos recogido algunos de los más importantes trabajos realizados en los últimos veinte años, por orden cronológico, en la Tabla 1. 1980 Davis, G. B. Dickson, G., Benbasat, I. y King, W. Hamilton, S. y Ives, B. Keen, P.G.W. 1981 Dickson, G. W. 1982 Hamilton, S. e Ives, B. 1983 Hamilton, S. e Ives, B. 1984 Vogel, D. R. y Wetherbe, J. C. 1986 Culnan, M. Culnan, M. J. y Swanson, E. B. 1987 Doke, E. R. y Luke, R. H. Keen, P.G.W. M. J. Culnan Shim, J. y English, P. 1989 Boyer, G. y Carlson, G. Jackson, W. M. y Nath, R. Koong, K. S. y Weistroffer, H. R. 1991 Gillenson, M. L. y Stutz, J. D. Keen, P. G. W Nath, R. y Jackson, W. N. Omar, M. H. y Goodwin, J. S. Orlikowski, W. J. y Baroudi, J. J. Tsai, R., Richards, T. y Yellen, R 1993 Barki, H., Rivard, S. y Talbot J. Cheon, M. J., Grover, V. y Sabherwal, R. Grover V., Lee, C. C. y Durand, D. Holsapple, C., Jonson, L., Manakyan, H. y Tanner, J Suomi R. Swanson, E.W. y Ramiller, N.C. PIXELBIT-ENERO2005 http://www.sav.us.es/pixelbit/pixelbit/articulos/n26/n26art/art2608.htm 2 de 16 29/09/2014 12:48 1994 Holsapple, C., Johnson, L., Manakyan, H. y Tanner, J. Szajna, B. 1995 Holsapple, C. M., Johnson L. E., Manakyan, H. y Tanner. J. Morrison, J. y George, J. F. Nord, J. H. y Nord, D. G. Trower, J. Walsham, G. Walstrom, K. A., Hardgrave, B. C. y Wilson, R. L. 1996 Adam, F. y Fitzgerald, B. 1997 Gosain, S.; Lee, Z. y Im, I. Hardgrave, B. C. y Walstrom, K. A. Lai, Vincent S. y Mahapatra, Radha K. 1999 Dalal, N. P., Singh, S. N. y Lanis, T. Walczak, S. Whitman, M. E., Hendrickson, A. R. y Townsend, A. M. Zoonky, L., Sanjay, G., e Ie, I. 2000 Athey, S. y Polotnicki, J. Baldwin A. A., Morris B. W. y Scheiner J. H. Claver, Enrique; González, Reyes y Llopis, Juan Daigle, Ronald J. y Arnold, Vicky Hu, Q. y Grandon Gill, T. Kleijnen, J. P. C. y Van Groenendaal, W. Vincent, A. y Rossn D. Walstrom, Kent A. y Leonard, Lori N. K. Watson, T.M., Sousa, R.J. y Junglas, M.R. 2001 Boudreau, M.C., Gefon, D. y Traub, D.W. Forgionne. Guisseppi A. y Kohli, Rajiv Grandon Gill, T. Lee, A.S. Moggridge, A. 2002 Avgerou, C. Baskerville, Richard L. y Myers, Michael D. Belanger, F., Watson-Manheim, M.B. y Jordan, D.H. Hollocks, Brian W. Lee, S., Koh, S., Yen, D. y Tang, H.L. Palvia, P.C., Palvia, S.C.J. y Whitworth, J.E. Paul, R.J. Raisinghnani, M-S. Vessey, I., Ramesh, V. y Glass, R.L. Wilson, M. y Howcroft, D. 2003 Emurian, H. Tabla 1. Recopilaciones sobre la literatura en Sistemas de Información. Si bien en la primera mitad de la década de los ochenta predominaban los trabajos de investigación sobre Sistemas de Información de tipo teórico o normativo, a mitad de la década de los ochenta, los esfuerzos de investigación sobre este tema comienzan a centrase en trabajos más de índole empírico, que teóricos (Alavi y Carlson, 1992). Dentro de estos estudios empíricos, predominan aquéllos que utilizan como método de investigación el estudio de campo (39%), el estudio de casos (21,2%), y por el contrario, no están tan extendido los experimentos de laboratorio (7,5%) y los experimentos de campo (1%) (Claver, González y LLopis, 1999, 2000). Desde nuestro punto de vista, creemos que a la vista de la literatura existente, podemos proponer que el método científico que, más frecuentemente se utiliza en el campo de los Sistemas de Información es el empírico desarrollado desde la perspectiva del falsacionismo. Su principal elemento es la construcción de hipótesis que posteriormente son falsadas con datos empíricos. Parafraseando a Orlikowski y Baroudi (1991), "la perspectiva dominante en la investigación realizada en el área de los Sistemas de Información ha siso el positivismo". Consideramos que el componente empírico ha sido la tónica general de la mayoría de los trabajos científicos publicados por las revistas de más prestigio en este campo, caracterizándose las revistas de tipo científico en la parte cuantitativa (Rouse y Daellenbach, 1999; McMaster, 2001), y el resto de publicaciones en la cualitativa, si bien no podemos excluir ningún aspecto investigado en ambos tipos de publicaciones (Gosain, Lee e Im, 1997). Al tratarse de una rama científica que se encuentra en sus albores, destacan los aspectos relacionados con la disputa tradicional en el mundo de la ciencia entre la teoría y la práctica, lo cuantitativo y lo cualitativo, siendo numerosos los autores que abogan por la combinación de ambos para la configuración de esta nueva disciplina científica. PIXELBIT-ENERO2005 http://www.sav.us.es/pixelbit/pixelbit/articulos/n26/n26art/art2608.htm 3 de 16 29/09/2014 12:48 En este sentido han surgido una serie de movimientos abanderados por Kaplan y Duchon (1988) que intentan armonizar los dos mundos, cuantitativo y cualitativo, siendo todo ello un esfuerzo que cada día cobra más fuerza en aras a desarrollar los Sistemas de Información como área científica, siendo este objetivo uno de los ya enunciados en los primeros trabajos en este ámbito, como el programa de investigación en gestión de los Sistemas de Información de Mason y Mitroff (1973), el estudio de la dimensión de esta materia de Zmud (1978), o el análisis de las variables a tener en cuenta en las investigaciones en esta materia de (Benbasat y Schroeder, 1978; Benbasat y Weber, 1996). Por nuestra parte, somos partidarios, al igual que otros autores (Gable, 1994; Fitzgerald y Howcroft, 1998; Bryman, 1999; Mingers, 2001), de utilizar una metodología plural, que combine métodos cualitativos (para poder realizar aportaciones al desarrollo de una teoría) y cuantitativos (para confirmar teorías existentes) en las investigaciones en el área de los Sistemas de Información. Por su parte, Lai y Mahapatra (1997) hablan incluso de preferencia y necesidad en una fase inicial de esta ciencia, y Cheon, Grover y Sabherwal (1993) de maduración de dichos métodos empíricos, aunque se están fomentado desde más de una década los trabajos cualitativos (Straub, 1989; Estay-Nicular y Pastor Collado, 2000), i.e., lo que se denomina "investigación intensiva" (Markus y Lee, 1999), en los que predominan los estudios de tipo etnográfico (Myers, 1999; Schultze, 2000), social (Avison, Kendall y DeGross, 1993), interpretativos y con metodologías basadas en el método del caso para obtener la máxima contextualización de los datos, que han ido adquiriendo gran preponderancia hasta casi equipararse a los empíricos en el ámbito de las revistas científicas, sobre todo cuando se están generando procesos de validación de la investigación en los dos ámbitos (Boudreau, Gefen y Straub, 2001). Todo ello está provocando que se estén constantemente redefiniendo los límites y la naturaleza de los métodos de investigación en Sistemas de Información (Ciborra, 1998), aspecto sobre el que algunos autores como (Argyris, 1971; Gorry y Scout-Morton, 1971; Van Horn, 1973; Bariff y Ginzberg, 1982; Cushing, 1990; Keen, 1991; Avison, 1997; Galliers, 1996; Ciborra, 1998; Dalal, Singh y Lanis, 1999; Dennis y Valacich, 2001; Weinberg, 2001; Sein, 2001; Mason, 2001) vienen debatiendo desde hace tres décadas. Por otro lado, uno de los principales problemas que se encuentra nuestra área al ser abordada desde la óptica científica es su relativa falta de información primaria obtenida en el propio ámbito investigador, lo que impide en muchos casos abordar con seriedad los procesos normativos. Este problema ha determinado que ciertos autores como Klemke y Nick (2001), hayan indicado la necesidad de los mismos, ya que hacen falta aplicar cada vez más métodos de investigación que recaben colecciones de datos y materiales empíricos, que son la base del posterior análisis tanto cualitativo como cuantitativo de nuestra materia. Estas técnicas se basan en procesos como entrevistas, estudios de casos, investigación en archivos de las propias empresas, y sobre todo, en encuestas para la recolección de datos en las mismas. De todas formas existe una amplia corriente metodológica que aboga por estas técnicas, si bien con una definición del concepto de dato más amplia para que se llegue a la combinación y equilibrio entre el análisis cuantitativo y cualitativo, como, (Rouse y Daellenbach, 1999; Lee, Gossain, e Im, 1999). Coincidimos con autores como Gable (1994) en la necesidad de abordar trabajos de investigación en el área de los Sistemas de Información con una metodología plural o, como apuntan Fitzgerald y Howcroft (1998), con una estrategia pluralista, que combine métodos cualitativos (para poder realizar aportaciones al desarrollo de una teoría) y cuantitativos (para confirmar teorías existentes) (Bryman, 1999). Diversos ejemplos de estudios en donde se han utilizado este tipo de metodología plural se pueden encontrar en (Kaplan y Duchon, 1988; Mantei y Teorey, 1989; Mingers, 2001). Una de las técnicas de obtención de información grupal muy utilizada en el campo del conocimiento de los IS/IT es el método delphi, cuyo uso en nuestro país es muy reducido en comparación con otros países de nuestro entorno (Landeta, 1999). Como ahora veremos, entre los métodos de expertos, es probablemente el más eficaz. Constituye un proceso iterativo que pretende obtener una opinión grupal fidedigna de un conjunto de individuos sobre cualquier tema planteado a través de una metodología más o menos formalizada, que se apoya en tres pilares fundamentales: 1) mantenimiento del anonimato de los participantes, 2) retroalimentación controlada y 3) respuesta estadística representativa del grupo. 2. La metodología Delphi. El método delphi, que desde hace tiempo está muy sólidamente establecido (Patton, 1987), fue creado en la década de los cincuenta en los EE.UU. por la organización de investigación y desarrollo Rand Corporation de Santa Mónica (California), partiendo de las investigaciones de Olaf Helmer y Norman Dalkey (Dalkey y Helmer, 1963). El primer experimento importante data de 1953, cuando Helmer y Dalkey encuestaron a siete expertos mediante cinco cuestionarios con objeto de obtener información sobre la estrategia de defensa de EE.UU. en caso de una posible guerra nuclear (Coccia, 2001, 161) Es una técnica para realizar estudios de predicción, es decir, de exploración del futuro, fundamentada en las opiniones de los expertos sobre el tema en cuestión, ya que en los fundamentos del método subyace la hipótesis de que el futuro se está determinando en el presente, de que esos expertos en la materia están ya trabajando, investigando y decidiendo cómo PIXELBIT-ENERO2005 http://www.sav.us.es/pixelbit/pixelbit/articulos/n26/n26art/art2608.htm 4 de 16 29/09/2014 12:48 serán las cosas en el porvenir, al menos en el área en que las personas consultadas se consideran competentes. Ha sido usado con otros muchos tipos de aplicaciones (Mc Millan, Atkinson, Prophet y Clarke, 1989; Mitchell, 1991), a varias de las cuales hemos tenido acceso, y cuya revisión nos ha llevado a concluir que este método, fundamentalmente, se ha usado en aquellas aplicaciones que podemos denominar como predictivas (Reid, 1988; Sackman, 1975; Linstone y Turoff, 1975), destacando estudios provisionales en campos tan diferentes como la medicina (Spiby, 1988), la administración pública (Preble, 1983; Coccia, 2001), el futuro de determinadas industrias (Brockhaus y Mickelsen, 1977; Kendall 1977; Elliot, 1986; Dull, 1988; Preble, 1984; Berthea, 1988; Vincent-Wayne, 1992), marketing (Story, Hurdley, Smith y Saker, 2001) o la difusión de las tecnologías (Gray y Nilles, 1983; Cuhls y Kuwahara, 1994), entre otros. La técnica delphi, a diferencia de otras técnicas cualitativas tales como los grupos focales o los grupos nominales, permite obtener información y opiniones de sujetos físicamente alejados, y posibilita la generación de ideas con respuestas abiertas, de forma bien estructurada y con un componente cualitativo añadido. Según diferentes experimentos realizados para comparar la precisión de la técnica delphi con otras técnicas de toma de decisión en grupo como los grupos de conferencia (Riges, 1983) y el análisis de juicio social (Rohrbaugh, 1979), se demostró la superioridad del método delphi. Especial mención requiere el trabajo de (Rowe y Wright, 1999), en donde se revisa los estudios delphi realizados en orden a evaluar la efectividad de esta técnica. El método delphi es muy adecuado para aquellos problemas en donde la mejor información disponible es la opinión de los expertos en la materia (Scout, 1998, 20), y siempre que se espere obtener como resultado del proceso de encuestación, más que una explicación estadística de causalidad, ideas no estructuradas previamente, y opiniones, (Braun, 1998, 119; Masini, 1993) La técnica delphi, debido a su flexibilidad, es la técnica que mejor se adapta a la exploración de elementos que supongan una mezcla de evidencia científica y valores sociales (Webler, Levine, Rabel y Renn, 1991, 256) Es también una técnica de consenso, que permite la priorización de las ideas surgidas de los participantes y favorece un intercambio reflexivo y confidencial de puntos de vista entre los participantes antes de su resolución final. Este método pretende extraer y maximizar las ventajas que presentan los métodos basados en grupos de expertos y minimizar sus inconvenientes. Para ello se aprovecha la sinergia del debate en el grupo y se eliminan las interacciones sociales dentro de todo grupo, como por ejemplo, las influencias por jerarquía. De esta forma se espera obtener un consenso lo más fiable posible del grupo de expertos. Coincidimos con (Kono y Pérez, 1990) en que no es la naturaleza explícita de la aplicación lo que determina la adecuación del método delphi, sino las circunstancias particulares en que se ve envuelto el proceso de comunicación del grupo. En esta línea, (Sahal y Yee, 1975) sostienen que la base de la metodología delphi surge del reconocimiento de la superioridad del juicio de grupo sobre el juicio individual. Los juicios emitidos a nivel individual han demostrado ser ineficientes en términos de resultados que se quieren obtener, especialmente cuando se trata de resolver problemas complejos en condiciones de incertidumbre y con escasa información disponible. Desde nuestro punto de vista, los tipos de estudios que se adaptan a la utilización de este método delphi, serán aquellos que reúnan las siguientes características: No existe información disponible o la información con que se cuenta es insuficiente, con este método se puede extraer la información que posea cada participante. El problema no se presta para el uso de una técnica analítica precisa, pero si puede beneficiarse de juicios subjetivos sobre bases colectivas. Se necesitan más participantes expertos de los que pueden interactuar en forma eficiente en un intercambio cara a cara. Por problemas de costes y de tiempo de los participantes, no es posible llevar a cabo encuentros presénciales periódicos del grupo. Se desea mantener una cierta heterogeneidad de los participantes a fin de asegurar la validez de los resultados, por lo que es preferible este método a los encuentros cara a cara, por que así se evitan los efectos de grupos de dominación por personalidades. Habida cuenta de la separación geográfica de los expertos, que pertenecen a diferentes universidades de cada país que interviene en el proyecto, esta técnica es particularmente útil para generar flujos de retroalimentación. En general, podemos decir que esta técnica es recomendable cuando los participantes expertos están físicamente dispersos y requieren el anonimato, como ocurre en nuestro estudio. En resumen, la técnica delphi pretende obtener una visión colectiva de expertos sobre un tema a partir de rondas repetidas de preguntas, siendo un método capaz de obtener y depurar los juicios de grupo. La operativa del método delphi consiste en el envío de encuestas sucesivas a un grupo de expertos previamente elegidos. El consenso se obtiene por un procedimiento matemático de agregación de juicios individuales. En cada nueva vuelta se informa a los panelistas de la concentración y dispersión de las respuestas en la fase anterior, se les recuerda cuál era la opción que cada uno de ellos adoptó y se les pide que la ratifiquen o rectifiquen. PIXELBIT-ENERO2005 http://www.sav.us.es/pixelbit/pixelbit/articulos/n26/n26art/art2608.htm 5 de 16 29/09/2014 12:48 Es preciso subrayar que, a pesar de que hablemos de encuestas, no se trata de un muestreo, ni se trata de obtener los parámetros de una distribución. La técnica delphi difiere de las encuestas corrientes en algunos aspectos: Incluye, varias rondas de cuestionarios o interacciones. Cada ronda puede verse influida por el resultado grupal de la anterior. Existe un proceso de interacción anónima que tiende a la convergencia en la opinión grupal resultante. Las respuestas son anónimas, lo cual evita que los participantes de más prestigio influyan excesivamente en las opiniones de los demás. Este anonimato se entiende en el sentido de que cada encuestado desconoce la forma en que contestan los demás, salvo en forma de agregado. Cada miembro del grupo es considerado por igual. El anonimato facilita una mayor franqueza de opiniones y además que el participante pueda modificar sus opiniones iniciales, sin verse influido por las opiniones de los expertos con más prestigio. Existe una interacción con retroacción controlada. La interacción entre los elementos del grupo se realiza mediante sucesivas iteraciones del cuestionario, comunicando la opinión de la mayoría. En sucesivos envíos el experto debe contestar reafirmándose en su opinión o rectificándola. Los participantes lo son a nivel personal y no representan a las instituciones a las cuales están vinculados. Podemos resumir en tres, las características fundamentales del método delphi (Taylor y Meinhardt, 1985): Anonimato: ningún experto conoce la identidad de los otros que componen el grupo de debate. Esto tiene una serie de aspectos positivos, como son: o Impide la posibilidad de que un miembro del grupo sea influenciado por la reputación de otro de los miembros o por el peso que supone oponerse a la mayoría. La única influencia posible es la de la congruencia de los argumentos. o Permite que un miembro pueda cambiar sus opiniones sin que eso suponga una pérdida de imagen. o El experto puede defender sus argumentos con la tranquilidad que da saber que en caso de que sean erróneos, su equivocación no va a ser conocida por los otros expertos. o Y, por supuesto, impide la interacción del grupo. Iteración y realimentación controlada: la iteración se consigue al presentar varias veces el mismo cuestionario. Como, además, se van presentando los resultados obtenidos con los cuestionarios anteriores, se consigue que los expertos vayan conociendo los distintos puntos de vista y puedan ir modificando su opinión si los argumentos presentados les parecen más apropiados que los suyos. Respuesta del grupo en forma estadística: la información que se presenta a los expertos no es sólo el punto de vista de la mayoría, sino que se presentan todas las opiniones indicando el grado de acuerdo que se ha obtenido. Por tanto, los elementos esenciales del método delphi son: * El panel de expertos. Son personas elegidas para que formulen su opinión. La elección debe recaer sobre las personas más competentes en la materia y, a ser posible, que la contemplen desde perspectivas diferentes, tendiendo así a la formación de unos grupos interdisciplinarios. El tamaño del panel de expertos debería estar en el rango de quince a veinticinco expertos (Goldfisher, 1993), considerándose suficiente un panel constituido por diez a quince participantes, cuando el grupo sea homogéneo (Delbecq, Van de Ven y Gustafson, 1975). En el caso concreto de los estudios delphi realizados para identificar las competencias de diversas ocupaciones, han trabajado con un rango de 30 a 50 panelistas (Birdir y Pearson, 2000) Como ya hemos comentado, el método delphi consiste en la colaboración simultánea de un grupo de expertos (informadores-clave) para opinar sobre un tema (Delbecq y Van de Ven, 1984), a los que se les pide completar una serie de cuestionarios distribuidos en varias rondas. Sobre el número de rondas, son diferentes las opiniones de los autores, llegándose a proponer hasta un máximo de seis (Skutsch y Schofer, 1973), aunque la mayoría de los estudios delphi realizados han supuesto tres o menos rondas (Brockhaus y Mickelsen, 1977). Algunos autores consideran suficiente realizar dos rondas (Dalkey, 1969; Ford, 1975; Dodge y Clarke, 1977; Dietz, 1987; Mitchell, 1991, 347; McCoy, 2001, 25), especialmente en estudios donde se utilice un primer cuestionario no estructurado, con preguntas abiertas (Mitchell, 1991, 344). De hecho, los mayores cambios en las respuestas delphi ocurren en las dos primeras rondas (Dodge y Clark, 1977). Según el estudio realizado por (Armstrong, 1977) se conseguía una mayor precisión en las respuestas mediante la inclusión de nuevos expertos en la segunda ronda que mediante una tercera ronda. * El cuestionario. Es un documento que recoge en forma de preguntas, las cuestiones sobre las que deben pronunciarse los expertos elegidos. Como en todo cuestionario, las preguntas deben ser concretas y precisas, de manera que se evite toda ambigüedad de su interpretación y además, el cuestionario no deberá ser largo, es recomendable que incluya unas veinte preguntas (Estes y PIXELBIT-ENERO2005 http://www.sav.us.es/pixelbit/pixelbit/articulos/n26/n26art/art2608.htm 6 de 16 29/09/2014 12:48 Kuespert, 1976) o alrededor de veinticinco preguntas (Johnson, 1976) y que el tiempo para su cumplimentación no exceda de treinta minutos (Vincent-Wayne, 1992). Asimismo, como apunta (Cohen y Nagel, 1971), procuraremos reemplazar los términos vagos, por otros más definidos y precisos en la medición. En la metodología delphi clásica es típico que en la primera ronda el cuestionario sea más abierto, es decir, no estructurado, con una primera batería de preguntas abiertas que, aunque más difíciles de analizar, permiten la creatividad y libertad del participante, enriqueciendo el campo de análisis (Martino, 1983). Antes de dar por definitivo el primer cuestionario, se debe utilizar en un proceso de encuestación piloto entre los miembros del comité científico, con objeto de asegurar su validez y utilidad. Esta prueba piloto, tal como afirman (Martino, 1970; O´Brien, 1979), no suele ser habitual en los estudios delphi, pero coincidimos con (Mitchell, 1991) en que es muy recomendable. En el caso de utilizar electronic mail delphi, los participantes recibirán vía correo electrónico el primer cuestionario (primera ronda), una carta de presentación del director del trabajo de investigación. Además, va una nota informativa sobre el método delphi, así como las instrucciones y aclaraciones pertinentes para la contestación del cuestionario. Si bien no somos partidarios de utilizar en la metodología delphi, grupos de discusión basado en la WWW, como por ejemplo, foros de discusión o lista de correo, que si bien pueden facilitar la interacción en el panel de expertos, también puede impedir o disminuir la discusión, si somos partidarios de realizar los envíos y la recepción de los cuestionarios por correo electrónico por cuestiones de costes, motivación y rápidez en obtener resultados, como viene ocurriendo en los estudios delphi más recientes, en vez del delphi convencional o de "papel y lápiz" que utilizaba el correo postal o el fax como forma habitual de establecer la comunicación entre los expertos y los coordinadores del estudio. Una vez recibidas las respuestas por correo electrónico, los coordinadores del estudio se reunirán para consensuar los criterios del análisis. El consenso se realizará mediante el análisis de los cuestionarios contestados, el entrecruzamiento de los mismos y la puesta en común para conciliar criterios. Existe una amplia gama de técnicas para analizar las respuestas de los expertos, entre ellas cabe destacar, técnica del diagrama de afinidad para identificar las diversas ideas propuestas en las respuestas a las preguntas abiertas del cuestionario de la primera ronda. Esta técnica se ha venido utilizando para el análisis de los resultados de la primera ronda de cuestionarios en diversos trabajos en donde se ha utilizado la metodología delphi, como el de (Feret y Marcinek, 1999) Los resultados grupales resultantes de la primera ronda son revertidos a cada uno de los participantes junto con un segundo cuestionario (segunda ronda). Los participantes tienen ahora la ocasión de reformular y darle nueva estructura a algunas de sus opiniones, después de conocer el criterio que destaca en el grupo. Es decir, el contenido de este último cuestionario vendrá determinado por las respuestas dadas al primero. El contenido y diseño del segundo cuestionario vendrá determinado por las respuestas al anterior, con la intención clara por parte del grupo de analistas de ir haciendo cada vez las respuestas más cerradas. Siempre que sea posible se incluirá la lista ya categorizada de respuestas, con las respuestas medias y se solicitará a los participantes una nueva valoración cuantitativa de la importancia de cada elemento en forma de cuestionario, utilizándose la escala de Likert como el instrumento más común para cuantificar los resultados en los estudios delphi (Murry y Hammons, 1995). A veces, se llega a eliminar lo que se desvía demasiado de la media general, y si así se desea, es posible incluir algunas preguntas nuevas que no se consideraron importante cuando el estudio comenzó (Kekäle, Pirolt y Falter, 2002) o con objeto de mantener el interés de los expertos (Vicent-Wayne, 1992). Y en esta segunda ronda, habida cuenta que las preguntas serán principalmente de tipo cerrado, se utilizan fundamentalmente las técnicas estadísticas simples. Como vemos, el proceso de respuesta-análisis-retroalimentación-respuesta, se repetirá en el método delphi, dos veces o las veces necesarias, hasta que se logra un consenso general o al menos estabilizado. Al llegar a este punto, se supone que las opiniones están suficientemente consolidadas. Se puede ya calcular alguna característica de tendencia central y de dispersión (Calot, 1970). En un último envío se informará a los participantes del resultado del estudio. En todo momento se garantizará la confidencialidad de las respuestas por medio de la asignación de un código escrito en el cuestionario que cada experto tendrá que devolver. Los ficheros con las respuestas y los nombres de los expertos serán guardados por separado y se dispondrá de procedimientos informáticos para restringir el acceso. Los principales sesgos con los que deberá enfrentarse el estudio son los inherentes a la propia metodología. Con respecto a los participantes nos podremos encontrar con que aquellos que considerábamos expertos no lo son en realidad o que el número de cuestionarios no contestados dejara a nuestro estudio delphi en cifras de irrelevancia. Estos dos aspectos se intentaran controlar mediante la asesoría de personas de reconocida fiabilidad para la confección de las listas de los posibles participantes. Los resultados obtenidos con esta metodología tienen las fortalezas y limitaciones propias de las PIXELBIT-ENERO2005 http://www.sav.us.es/pixelbit/pixelbit/articulos/n26/n26art/art2608.htm 7 de 16 29/09/2014 12:48 técnicas cualitativas que los sustentan. Entre las primeras, la técnica delphi se ha mostrado eficaz para generar una lista priorizada de factores. En cuanto a sus limitaciones, la forma de selección de los sujetos a estudio y el tamaño de la muestra lógicamente introducen un cierto nivel de subjetividad grupal. Forzosamente, los resultados, por su carácter de consenso, tienen un nivel limitado de detalle. A pesar de sus limitaciones, los resultados son cualitativamente valiosos, por haber sido facilitados por un grupo de profesionales especialmente conocedor del tema y del contexto real. Aunque la valoración de la validez y fiabilidad del instrumento de medida resulta difícil de establecer en estudios cualitativos, permite hacer aproximaciones bastante certeras. 3. Utilización del método Delphi en las investigaciones en IS/IT. El método delphi ha resultado muy adecuado para abordar la problemática de campos científicos nuevos y en continua evolución como el de los IS/IT, en donde ha proliferado entre los investigadores de este campo la utilización del clásico o convencional delphi en su modalidad ranking ("ranking-type" delphi), que lo han utilizado para identificar y clasificar los aspectos fundamentales relacionados con el área de los Sistemas de Información/Tecnologías de la Información. Son muchos los trabajos dentro del área de los IS/IT que han utilizado la metodología delphi, destacando su uso para identificar y clasificar los aspectos fundamentales relacionados con la gestión de los recursos humanos en el Sistema de Información (Couger, 1988; Couger, 1988a), con la estrategia tecnológica (Kameoka y Suzuki, 2002), con los factores de riesgo en los proyectos de software (Mursu, Soriyan, Olufokunbi y Korpela, 1999; Schmidt, Lyytinen, Keil y Cule, 2001), con los factores en la implantación de sistemas ERP en el sector público (Chang, Gable, Smythe y Timbrell, 2000), para identificar y priorizar las variables de decisión en la elección del prototipado en el desarrollo de proyectos de Sistemas de Información (Doke y Swanson, 1995), para fijar las prioridades en la industria de las Tecnologías de la Información (Madu, Kei y Madu, 1991), para examinar los factores críticos de éxito de los proveedores de servicios EDI (Alpar, 2002), para detectar los servicios de negocio en línea a través de Internet más interesante para los empresarios (Evans y Volery, 2001), para determinar la estrategia de búsqueda de información más exitosa (Zins, 1999) o para detectar las necesidades de información de las pequeñas empresas (Taylor y Meinhardt, 1985) También se han realizado diversos estudios delphi para detectar las oportunidades y obstáculos de la educación a distancia por Internet y realizar previsiones sobre su utilización (Trujillo, Gopalakrishnan, Michael, Gerdsri y Srivannaboon, 2001) en diversos campos del conocimiento, como por ejemplo, en agricultura (Buriak y Shinn, 1989) Especial mención haremos de la adecuación del método delphi para detectar los factores clave en la gestión de los Sistemas de Información, tal como se demuestra en los múltiples trabajos realizados focalizados en diferentes países recogidos en la Tabla 2. PIXELBIT-ENERO2005 http://www.sav.us.es/pixelbit/pixelbit/articulos/n26/n26art/art2608.htm 8 de 16 29/09/2014 12:48 Tabla 2. Estudios delphi sobre los factores claves en la gestión de los Sistemas de Información en distintos países. Este tipo de estudios delphi comenzaron a realizarse en EE.UU. en la década de los ochenta, con los trabajos de Ball y Harris (1982), Dickson, Leitheiser, Wetherbe y Nechis (1984), y Brancheau y Wetherbe (1987). Ya en 1986, la Society for Information Management (SIM) junto con el MIS Research Center de la Universidad de Minnesota (MISRC) realizaron un estudio delphi entre sus miembros, que repitieron en años posteriores, para determinar la importancia de los aspectos (issues) más críticos en la gestión de los Sistemas de Información, donde se detectó, al igual que en los estudios anteriores, que la mayoría de los factores (issues) eran tecnológicos. Concretamente los factores claves en la gestión de los Sistemas de Información detectados en el estudio realizado por Brancheau, Janz y Wetherbe en 1996 en el seno de esta asociación norteamericana fueron: 1. Creación de una infraestructura eficaz de IT 2. Facilitación y gestión del rediseño de los procesos de negocios 3. Desarrollo y gestión de sistemas distribuidos 4. Desarrollo e implantación de una arquitectura de información. 5. Planificación y gestión de las redes de comunicación. 6. Mejora de la efectividad (effectiveness) del desarrollo del software 7. Hacer un uso efectivo (effective) de los datos como recursos 8. Reclutamiento y desarrollo de recursos humanos de Sistema de Información 9. Alineamiento de la organización del Sistema de Información dentro de la empresa 10. Mejora de la planificación estratégica del Sistema de Información. Watson y Brancheau (1991) recogieron todos los estudios sobre key issues realizados antes de 1991 y comentaron la importancia de realizar estos estudios en diferentes países, para lo que proponían el trabajo de Dickson, Leitheiser, Wetherbe y Nechis (1984) realizado en el seno de la Society for Information Management (SIM) como modelo de base. Ese trabajo fue replicado por (Watson, Kelly, Galliers y Brancheau, 1997) los cuales analizaron unos once estudios delphi realizados más recientemente, detectando diez issues internacionales, incluidos al menos en cinco de los once estudios revisados, la mayoría, ya no relacionados con factores tecnológicos sino relacionados con la gestión, los cuales son: 1. Planificación estratégica. 2. Ajuste organizacional del Sistema de Información (IS organization alignment) 3. Arquitectura de la información 4. Utilización del Sistema de Información para obtener ventaja competitiva 5. Datos como recursos 6. Recursos humanos 7. Seguridad y control 8. Tecnología de integración (Integrating technology) 9. Desarrollo de software 10. Rol del Sistema de Información y su contribución (IS´role and contribution). De la comparación de este ranking de factores internaciones de 1997 con el de Watson y Brancheau (1991), podemos deducir que los dos factores principales se mantienen y aparecen dos factores nuevos: Seguridad y control y Tecnología de integración, que han desplazado a los factores: Informática de usuario final (End-user Computing) y Aprendizaje organizacional (Organizational learning), respectivamente. Una mención especial requiere el estudio delphi realizado por Niederman, Branchau y Wetherbe en 1991, en cuyos resultados se han basado estudios posteriores, al realizar una contribución teórica mediante la clasificación de los factores clave o fundamentales (key issues) en la gestión de los Sistemas de Información a lo largo de las tres dimensiones procedentes de los trabajos de Branchau y Wetherbe (1987), y de Hirschheim, Earl, Feeny y Lockett (1988): " Factores de gestión versus factores tecnológicos; " Factores de planificación versus factores de control; " Factores internos versus factores externos. Además, categorizaron los factores (issues) en cuatro grupos: " Relaciones de negocio, que incluye aquellos issues concernientes a las relaciones del departamento de Sistemas de Información con el resto de la empresa, como por ejemplo: datos como recursos, planificación estratégica, aprendizaje organizacional, ajuste organizacional del SI (IS organization alignment) o la utilización del Sistema de Información para obtener ventaja competitiva. " Infraestructura tecnológica, que incluye aquellos aspectos relacionados con la tecnología, como son: arquitectura de la información, Infraestructura tecnológica, sistemas de telecomunicación, sistemas distribuidos o intercambio electrónico de datos. " Efectividad interna (internal effectiveness), que incluye aquellos aspectos relacionados con las funciones del Sistema de Información, como son: recursos humanos, desarrollo de software, cartera de aplicaciones o evaluación de la efectividad del Sistema de Información (IS effectiveness measurement), entre otros. " Aplicaciones tecnológicas, que incluye aquellos factores relativos a la aplicación empresarial de tecnologías de la información específicas. Este grupo incluye a factores como la tecnología CASE, PIXELBIT-ENERO2005 http://www.sav.us.es/pixelbit/pixelbit/articulos/n26/n26art/art2608.htm 9 de 16 29/09/2014 12:48 Quarterly, Minneapolis; Mar Vol. 24, Nº 1. Pgs. 3-42. Sein, Maung K. (2001) "The Relevance of IS Academic Research: Not As Good As It Can Get". Cais, Vol. 6, Nº 23. http://cais.isworld.org/articles/default.asp?Vol=6&art=23 [15-09- 2003] Silver, M. y Markus, L. (1995) "The information technology interactive model: a foundation for the MBA Core Course". MIS Quarterly. Septiembre. Pgs. 361-390. Simon, S.J. y Wang, S. M. (1999) "The currente status of the IS Discipline: A survey of american and international business schools". Information Resources Management. Vol. 12, Nº 2, Abril-Junio, Skutsch, M. y Schofer, J. (1973) "Goal-delphis for urban planning: concepts in their design". Socio-Econ. Planning Science, Nº 7. Spiby, J. (1988) "Advances in medical technology over the next 20 years". Comminity Medicine. Vol. 10, nº 4. Pgs. 273-278. Story, V., Hurdley, L., Smith, G. y Saker, J. (2001) "Methodological and practical implications of the delphi technique in marketing decision-making: a re-assessment". The Marketing Review. Nº 1. Pgs. 487-504. Straub, D. W. (1989) "Validating Instruments in MIS Research". MIS Quarterly, Vol. 13, Nº 2. Pgs. Taylor, R. E. y Meinhardt, D. J. (1985) "Defining computer information needs for small business: A delphi method". Journal of Small Business Management. Nº 23, Abril. Pgs. 3-9. Thach, E.C. y Murphy, K.L.(1995) "Competencies for distance education professionals" Educational Technology Research & Development. Vol. 43, Nº 1. Pgs. 57-79. Trujillo, G., Gopalakrishnan, R., Michael, P., Gerdsri, N. y Srivannaboon, S. (2001) "Delphi method applied to distance learning forescasting". Management of Engineering and technology. PICMET´01. Portland International Conference on. 29 de Julio-2 de Agosto. Vol. 1. Pg. 213. Van Eynde, D.F. y Tucker, S.L. (1997) "A queality human resource curriculum: Recommendations from leading senior HR". Human Resource Managenet. Vol. 36, Nº 4, invierno. Pgs. 397-408 Van Horn, R. L. (1973) "Empirical studies of management information systems". Data Base, Vol. 5, Nº 4-5. Pgs. 172-180. Vincent, A. y Rossn D. (2000). "Citation analysis of the Decision Sciences journal". Decision Line, vol. 31, Nº 1. Pgs. 4-8. Vincent-Wayne, M. (1992) "Using delphi to forecast in the new technology industries". Marketing Intellingence & Planning. Vol. 10, Nº 2. Pgs. 4-9. Walczak, S. (1999). "A Re-Evaluation of Information Systems Publication Forums". Journal of Computer Information Systems, Vol. 40, Nº 1. Pgs. 88-97. Wang, P. (1994) "Information systems management issues in the Republic of China for the 1990s". Information & Management. Vol. 26. Pgs. 341-352. Warfield, J. (1994) A prism handbook. Saunders Consulting Group. Ottawa, Ontario, Canada. Watson, R. T. y Brancheau, J.C. (1991) "Key issues in Information Systems Managenet: an international perspective" Information & Management. Vol. 20, Nº 3. Pgs. 213-223. Watson, R.T., Kelly, G.G., Galliers, R.D. y Brancheau, J.C. (1997) "Key issues in Information Systems Management: an international perspective". Journal of Management Information Systems. Vol. 13, Nº 4. Pgs. 91-115. Weaver, M. O. y Connoll, S. M. (1988) "From de beginning: using delphi for currículum development". Training and Development Journal. Vol. 42, Nº 2, Febrero. Pgs. 18-23. Webler, T., Levine, D., Rabel, H. y Renn, O. (1991) "A novel approach to reducing uncertainty: the group delphi". Technological Forescasting and Social Change. Vol. 39. Pgs. 253-263. Weinberg, Paul (2001) "Relevance of MIS research to the business community". Cais, Vol. 6, Nº 25. http://cais.isworld.org/articles/default.asp?Vol=6&art=25 [15-09-2003] Whitman, M. E., Hendrickson, A. R. y Townsend, A. M. (1999). "Research Commentary. Academic Rewards for Teaching, Research and Service: Data and Discourse". Information Systems Research, Vol. 6, Nº 2. Pgs. 99-109. Zins, Ch. (1999) "Sucess-structured search strategy: information retrieval in the age of global information". 65th IFLA Council and General Conference. Bangkok. Thailandia. 20-28 de Agosto. http://www.ifla.org/IV/ifla65/papers/081-143e.htm. [15-11-2003] Zmud, R. W. (1978) "An Empirical Investigation of the Dimesionality of the Concept of Information". Decision Sciences, Vol. 9, Nº 2. Pgs. 187-196. PIXELBIT-ENERO2005 http://www.sav.us.es/pixelbit/pixelbit/articulos/n26/n26art/art2608.htm 16 de 16 29/09/2014 12:48