Elaboración y aplicación de una metodología para la obtención de un Indicador Sintético de Opinión para analizar las condiciones de contexto de desarrollo del sector TIC en Andalucía

Revista de Estudios Andaluces (REA) e-ISSN: 2340-2776. REA Núm. 37 (2019). http://dx.doi.org/10.12795/rea.2019.i37 Elaboración y Aplicación de una Metodología para la Obtención de un Indicador Sintético de Opinión para Analizar las Condiciones de Contexto de Desarrollo del Sector TIC en Andalucía Preparation and Application of a Methodology to Obtain a Synthetic Opinion Indicator to Analyse the Context Conditions for the Development of the ICT Sector in Andalusia Joaquín García-Tapial Arregui1 [email protected] ORCID ID https://orcid.org/0000-0001-8594-8965 Rocío Crespo-Álvarez1 [email protected] ORCID ID https://orcid.org/0000-0002-7288-3864 1 Departamento de Gestión Empresarial. Universidad Loyola Andalucía. Universidad Loyola Andalucía. Parque de Innovación y Desarrollo Dehesa de Valme. Avda. Miguel Manaute Humanes, 1. 41704-Dos Hermanas (Sevilla) Correspondencia autores: [email protected] (Joaquín García-Tapial Arregui) Formato de cita / Citation: García-Tapial Arregui, J. y Crespo-Álvarez, R. (2019). Elaboración y Aplicación de una Metodología para la Obtención de un Indicador Sintético de Opinión para Analizar las Condiciones de Contexto de Desarrollo del Sector TIC en Andalucía. Revista de Estudios Andaluces, 37, 1-24. doi: http://dx.doi.org/10.12795/rea.2019.i37.01 Enlace artículo/to link to this article: http://dx.doi.org/10.12795/rea.2019.i37.01 Esta obra se distribuye con la licencia Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional (CC BY-NC-ND 4.0.) © Editorial Universidad de Sevilla 2019 https://editorial.us.es/es/revistas/revista-de-estudios-andaluces https://revistascientificas.us.es/index.php/REA 1 Revista de Estudios Andaluces, núm. 37 (2019) pp. 1-24 Revista de Estudios Andaluces, núm. 37 (2019) pp. 1-24. e-ISSN: 2340-2776 http://dx.doi.org/10.12795/rea.2019.i37.01 Esta obra se distribuye con la licencia Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional Elaboración y Aplicación de una Metodología para la Obtención de un Indicador Sintético de Opinión para Analizar las Condiciones de Contexto de Desarrollo del Sector TIC en Andalucía Preparation and Application of a Methodology to Obtain a Synthetic Opinion Indicator to Analyse the Context Conditions for the Development of the ICT Sector in Andalusia Joaquín García-Tapial Arregui Universidad Loyola Andalucía [email protected] Rocío Crespo-Álvarez Universidad Loyola Andalucía [email protected] Recibido: 27 de agosto, 2018 Revisado: 30 de noviembre, 2018 Aceptado: 14 de diciembre, 2018 Resumen La Junta de Andalucía ha puesto en marcha la “Estrategia de Impulso del sector TIC Andalucía 2020” cuyo objetivo es fomentar el fortalecimiento del sector TIC en la región. Vinculados a los objetivos de dicha estrategia se han definido 15 indicadores, que deben servir para evaluar su impacto. Entre los indicadores definidos, el denominado “Indicador Sintético de Condiciones de Contexto de Desarrollo del Sector TIC” está orientado a medir el grado de contribución de la Estrategia a la mejora de las condiciones del entorno de negocios en el que desarrollan su actividad las empresas del sector TIC andaluz. Sin embargo, la Estrategia TIC2020 no recoge el método a seguir para la obtención del Indicador. Así, el objetivo de nuestro trabajo descrito ha sido definir y aplicar una metodología para su cálculo. Para ello, se ha definido un índice sintético basado en la agregación simple con pesos iguales, con una metodología basada en la del índice TANKAN japonés. Como resultado de todo ello se ha obtenido el Índice Sintético para el año 2017, con un valor de 9,81, así como un método de trabajo que debe servir de base para la obtención del Índice en el período de vigencia de la Estrategia. Palabras clave: Índice Sintético, TIC, Andalucía, Entorno Empresarial. Abstract The Andalusian regional government approved on May 16th 2017 the "Strategy to Promote the ICT sector Andalucía 2020”. Linked to the objectives of the TIC2020 strategy, 15 indicators have been defined, which should serve as a basis for evaluating the impact of the Strategy. Among the defined indicators, the so-called "Synthetic Indicator of Conditions of Context of Development of the ICT Sector" is aimed at measuring the contribution of the Strategy to improving the conditions of the business environment for the Andalusian ICT sector. 2 Elaboración y Aplicación de una Metodología para la Obtención de un Indicador Sintético de Opinión para Analizar las Condiciones de Contexto de Desarrollo del Sector TIC en Andalucía Revista de Estudios Andaluces, núm. 37 (2019) pp. 1-24. e-ISSN: 2340-2776 http://dx.doi.org/10.12795/rea.2019.i37.01 Esta obra se distribuye con la licencia Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional However, the TIC2020 Strategy does not include the method to be followed to obtain this Indicator. Thus, the objective of our research has been to define and apply a methodology for calculating the indicator. For this, a synthetic index based on simple aggregation with equal weights has been defined, for which a methodology based on the Japanese TANKAN index has been designed. As a result of all this, the Synthetic Index has been obtained for the year 2017, with a value of 9.81, as well as a work method that should serve as the basis for obtaining the index during the Strategy period. Keywords: Synthetic Index, ICT, Andalusia, Business Environment. 1. INTRODUCCIÓN El pasado 16 de mayo de 2017 fue aprobada por el Consejo de Gobierno de la Junta de la “Estrategia de Impulso del sector TIC Andalucía 2020” (en adelante, la Estrategia TIC2020). Dicha Estrategia surge para fomentar que la economía regional andaluza evolucione hacia un modelo económico más sostenible, que se apoye en favorecer la evolución del actual sistema económico andaluz hacia un modelo avanzado de economía sostenible que tenga como pilares fundamentales la innovación y el conocimiento. Este modelo, además, debe caracterizarse por favorecer el desarrollo de mayores tasas de empleo, productividad y crecimiento. Si consideramos que a nivel local, cada región tiene capacidades y competencias específicas, diferenciadas de otras, y que dichas capacidades deben ser analizadas e impulsadas de manera conjunta (Martínez Puche, 2012), la potenciación de las empresas que conforman el sector de las tecnologías de la Información y la Comunicación en Andalucía es fundamental. Para alcanzar esta meta, la Estrategia TIC2020 se traduce en siete objetivos, uno de los cuales es “mejorar las condiciones de contexto de desarrollo del sector TIC andaluz” (Junta de Andalucia, 2018). En el marco de esta Estrategia, se entiende que el contexto de desarrollo hace mención a las condiciones del entorno de negocios en el que desarrollan su actividad las empresas del sector TIC andaluz. Junto con estos objetivos, la Estrategia se despliega en nueve ejes estratégicos, que desarrollan cada una de las áreas de actuación en las que se traduce la misma. Cada área, a su vez, se vincula directamente con los objetivos establecidos. En el caso del objetivo de mejora de las condiciones de contexto, está vinculado con los ejes estratégicos relacionados con la gestión del capital humano de las empresas del sector TIC andaluz (Eje 1), la vertebración del sector TIC andaluz (Eje 6), la financiación empresarial (Eje 8) y el carácter tractor y dinamizador de la Administración Pública andaluza (Eje 9). Asimismo, la estrategia propone una serie de actuaciones concretas que desarrollan cada uno de los ejes. De entre las actuaciones propuestas, nueve se asocian directamente a este objetivo. Estas actuaciones están relacionadas con la puesta en marcha de programas de formación y desarrollo profesionales para trabajadores y trabajadoras del sector TIC Andaluz, el despliegue de medidas para el impulso de la igualdad de género en dicho sector, el desarrollo de una estrategia de reputación regional para el sector TIC andaluz, el apoyo a la utilización de nuevas fuentes de financiación o la coordinación de las actuaciones de las distintas administraciones en lo que se refiere al sector TIC. 3 Joaquín García-Tapial Arregui y Rocío Crespo-Álvarez Revista de Estudios Andaluces, núm. 37 (2019) pp. 1-24. e-ISSN: 2340-2776 http://dx.doi.org/10.12795/rea.2019.i37.01 Esta obra se distribuye con la licencia Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional Finalmente, la Estrategia TIC 2020 establece una serie de procedimientos de seguimiento y evaluación, entre los que se encuentran los indicadores. Dichos indicadores son el principal medio previsto para poder realizar el seguimiento y evaluación de esta, ya que son el medio que permite verificar qué se ha ejecutado, cómo ha sido dicha ejecución, qué resultados se han obtenido y, por último, qué impacto se ha producido como consecuencia de dicha ejecución. En otras palabras, estos indicadores deben permitir comprobar si se han alcanzado los objetivos previamente establecidos. La mayor parte de estos indicadores se encuentran ya definidos, tanto en su contenido como en su método de cálculo, en el documento de Estrategia TIC 2020 ya mencionado. Los indicadores definidos para la Estrategia TIC 2020, a su vez, se dividen en dos tipos: indicadores de impacto, que miden si se han alcanzado los objetivos establecidos; y por otro, los indicadores de realización y resultado, que miden el grado de desarrollo de las actuaciones y programas previstos (Junta de Andalucía, 2018). Los indicadores de impacto se obtienen en base a la información ofrecida por fuentes estadísticas oficiales (INE e IECA principalmente) mientras que los indicadores de realización y resultado se obtienen en base a la información ofrecida por las instituciones responsables de su puesta en marcha (en su gran mayoría, servicios de la propia Consejería de Empleo, Empresa y Comercio y organismos dependientes de la misma). Sin embargo, entre los indicadores de impacto (que son 15 en total), uno de ellos es el denominado “Indicador Sintético de Condiciones de contexto de desarrollo del sector TIC”. Este indicador debe medir el sentir de las empresas andaluzas integradas en el sector TIC sobre la evolución de las características del entorno en el que desarrollan su actividad dichas empresas. Por tanto, la información para la elaboración de este indicador no es posible obtenerla de fuentes estadísticas oficiales, ya que se trata de un indicador definido expresamente en el desarrollo de la mencionada Estrategia TIC2020. Y esto, según establece la propia Estrategia, se debe traducir en la evaluación de la evolución de tres factores que integran dicho entorno: la adecuación de los recursos humanos, la demanda de productos y servicios del sector TIC y el acceso a fuentes de financiación para las empresas del sector, para los cuales no se dispone de información estadística oficial. Sin embargo, la Estrategia TIC2020 no recoge el método a seguir para la obtención de dicho Indicador, sino que simplemente menciona que el mismo “se realizará en base a una encuesta anual dirigida a una muestra significativa de empresas del sector TIC andaluz” (Junta de Andalucía, 2018). Por ello, este paper describe el método propuesto para su obtención, así como los resultados obtenidos al aplicar el mismo. Para ello hemos seguido la siguiente estructura: en el capítulo dos, se describe el marco teórico que ha servido de base para la definición del indicador así como para establecer el método de cálculo del mismo; en el capítulo tres, se desarrolla la metodología propuesta para la elaboración del indicador; en el capítulo cuatro, se presentan y analizan los resultados obtenidos; y en el capítulo cinco, se comentan las principales conclusiones así como algunas restricciones y limitaciones del método propuesto. 2. MARCO TEÓRICO PARA LA DEFINICIÓN DEL ÍNDICE SINTÉTICO Y DE SU MÉTODO DE CÁLCULO A la hora de realizar previsiones o análisis sobre el entorno en el que se desarrollará la actividad económica o una actividad empresarial concreta en el futuro, existen varias posibilidades: índices o indicadores que permitan prever la evolución en el futuro de determinadas variables, estudios o predicciones realizadas por las distintas instituciones relacionadas con la economía o incluso la realización de encuestas donde se 4 Elaboración y Aplicación de una Metodología para la Obtención de un Indicador Sintético de Opinión para Analizar las Condiciones de Contexto de Desarrollo del Sector TIC en Andalucía Revista de Estudios Andaluces, núm. 37 (2019) pp. 1-24. e-ISSN: 2340-2776 http://dx.doi.org/10.12795/rea.2019.i37.01 Esta obra se distribuye con la licencia Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional cuestione directamente a los agentes económicos sobre cuales prevén que serán sus próximas actividades (Lucio et al., 2009). De estas tres opciones, tradicionalmente ha sido el uso de indicadores la más aceptada ya que permite obtener resultados de forma rápida y sencilla, pero con el mínimo error posible (Mondéjar- Jiménez et al., 2014). Un indicador puede definirse como una “información procesada, generalmente de carácter cuantitativo, que genera una idea clara y accesible, en un momento y un espacio determinados, sobre un fenómeno complejo, su evolución, y sobre cuánto difiere de una situación deseada” (Blanco et al., 2001). Normalmente, un índice se presenta como un dato estadístico (porcentajes, tasas, razones…) o cualquier otra forma de indicación numérica, que permite analizar y establecer cuál es la situación actual o de partida y marcar hacia dónde queremos ir en lo que se refiere al logro de unos objetivos o metas previamente fijados. También facilitan la evaluación e impacto de planes de actuación concretos (Horn, 1993). En cuanto a las funciones que habitualmente desempeña un indicador, las más habituales son dos: por un lado, son un elemento descriptivo, ya que un indicador debe proporcionar información sobre la situación real de una política pública, una medida o serie de medidas, un plan de actuación concreto, etc. Y por otro, son un elemento valorativo, ya que, además de lo anterior, permiten evaluar si los resultados obtenidos por la política pública, medida o plan de actuación son los deseados o no y, en consecuencia, si los mismos están alcanzando sus objetivos (Armijo, 2011). En otras palabras, un indicador es una manera sencilla de resumir y condensar una gran cantidad de datos, pero sin dejar de lado información esencial para analizar posteriormente dichos datos. Esto supone que un indicador debe sintetizar la información que proporcionan los diversos parámetros o variables que afectan a la situación que se quiere analizar. Además, un indicador debe estar referenciado a un momento temporal determinado, ya que esto va a permitir que posteriormente se puedan comparar distintos períodos de tiempo, así como ver la evolución y el progreso del indicador en el tiempo. La posibilidad de analizar la evolución temporal de un indicador, además, proporciona a éstos un gran valor como factor de análisis en los procesos de evaluación de políticas públicas, ya que posibilitan el análisis de tendencias y son una aportación muy valiosa en los procesos de toma de decisiones. En cuanto a las características que debe tener un indicador, podemos mencionar las siguientes (Mondragón Pérez, 2002):  Estar basado en un marco teórico que justifique que miden de manera adecuada la situación, política, programa, etc. objeto de la investigación.  Ser concreto y directamente relacionado con la situación, política, programa, etc. que se pretende analizar.  Obtenerse a lo largo de varios años, de forma que se pueda medir y analizar la evolución del objeto de la investigación a lo largo del tiempo.  Ser sencillo, de manera que sea fácilmente interpretable y no haya dudas a la hora de analizar su significado. Además, debe ser reconocido con carácter general como una medida válida del objeto de la investigación.  Ser reproducible por terceros, al estar claramente definida la forma en que se calcula, así como los datos que se emplean en dicho cálculo.  Utilizar un método de recogida de datos que facilite el cálculo del indicador a lo largo del tiempo de manera consistente, haciendo por tanto posible la comparación de este a lo largo del tiempo. 5 Joaquín García-Tapial Arregui y Rocío Crespo-Álvarez Revista de Estudios Andaluces, núm. 37 (2019) pp. 1-24. e-ISSN: 2340-2776 http://dx.doi.org/10.12795/rea.2019.i37.01 Esta obra se distribuye con la licencia Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional  Emplear un método de recogida de datos y cálculo con un coste razonable que haga factible su cálculo de manera periódica.  Ser receptivo a las variaciones que se produzcan en el objeto de la investigación, tanto para aumentar como para disminuir en su valor.  Debe ser un resultado de la combinación de precisión científica e información disponible a un costo razonable (Saisana et al., 2002). Un indicador puede ser simple, entendiendo como tal un número, dato o variable que reporta información sobre un aspecto concreto de un concepto, o compuesto, que se define como la combinación matemática de varios indicadores simples y cuyo resultado es la condensación en un índice unidimensional (simple) de un fenómeno multidimensional, siendo el cálculo del mismo consecuencia de un modelo teórico subyacente (Nardo et al., 2005). Un indicador compuesto tiene varias ventajas, ya que permite reducir la complejidad de la información (de un amplio set de indicadores, sin perder información de base), lo que permite mostrar el estado y las tendencias del objeto de estudio. Además, son más fáciles de interpretar, lo que posibilita la evaluación de la validez de políticas, programas y medidas. También permiten comparar dimensiones complejas de forma eficiente. Sin embargo, los indicadores compuestos presentan ciertas limitaciones, como que pueden proporcionar mensajes confusos y no robustos si los indicadores están mal diseñados, interpretados o falta alguno fundamental, dando lugar a sesgos de percepción, confirmación o simplificación. Asimismo, se corre el riesgo de facilitar información errónea en función de los indicadores seleccionados, el método de recolección de los datos y los pesos asignados. Por último, los indicadores compuestos están limitados a los indicadores simples seleccionados como parte de ellos, ya que éstos han de ser medibles. Por tanto, la agregación de indicadores simples en compuestos podría llegar a ser arbitraria (Sharpe, 2004). Si nos ceñimos en concreto al empleo de indicadores compuestos para el análisis y evaluación de políticas, programas y medidas públicas, éstos resultan especialmente útiles para los poderes públicos, ya que les permiten la identificación de tendencias que a su vez simplifican su comprensión de los distintos escenarios que deben tener en cuenta a la hora de fijar prioridades en la toma de decisiones (Saltelli, 2007). Dentro de los indicadores compuestos se encuentran los índices sintéticos, que pueden definirse como una variable no observada que puede construirse a partir de las variables observadas que le son determinantes. En otras palabras, se trata de identificar los distintos factores en que se descompone al fenómeno a evaluar, identificar los indicadores simples asociados a dichos factores y combinarlo matemáticamente, de manera que el fenómeno queda evaluado de manera multidimensional (Saisana et al., 2002). Dependiendo del ejercicio estadístico que se quiera hacer, la construcción de índices sintéticos se puede efectuar por medio de distintas metodologías de estimación. Así, por un lado, podemos calcular índices basados en la agregación simple con pesos iguales, índices basados en métodos participativos e índices basados en técnicas de análisis multivariante. En la Tabla adjunta se resumen las ventajas y desventajas de las diferentes maneras de realizar una estimación de índices sintéticos. 6 Elaboración y Aplicación de una Metodología para la Obtención de un Indicador Sintético de Opinión para Analizar las Condiciones de Contexto de Desarrollo del Sector TIC en Andalucía Revista de Estudios Andaluces, núm. 37 (2019) pp. 1-24. e-ISSN: 2340-2776 http://dx.doi.org/10.12795/rea.2019.i37.01 Esta obra se distribuye con la licencia Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional Tabla 1. Ventajas y desventajas de las distintas metodologías de estimación de Índices Sintéticos. Metodología de Estimación Ventajas Desventajas Agregación simple con pesos iguales Simplicidad de cálculo El peso que se le da a cada indicador simple dentro de un subindicador va a depender del tamaño relativo de los subindicadores Facilidad para la interpretación No controla doble causalidad de los subindicadores que la componen Métodos participativos Simplicidad de cálculo Dependerá de las opiniones que el grupo le dé al peso de las variables Facilidad para la interpretación Puede ser difícil conseguir resultados generalizables cuando se tienen más de 10 variables No controla la doble causalidad de los subindicadores que la componen Técnicas de Análisis Multivariante Componentes principales Puede reducir la cantidad de variables sin perder información Sólo permite comparaciones ordinales, dado que los resultados no tienen interpretación intuitiva No incurre en doble contabilidad Es un método matemáticamente correcto que puede obviar relaciones intuitivas. Puede recuperar la importancia relativa de cada subindicador Puede no utilizar la información disponible. Fuente: Ardila et al., 2017 Los pasos a dar para la construcción de un indicador compuesto (Nardo et al. 2005) que seguiremos en nuestro caso son los siguientes: 1. Elaboración del marco teórico y conceptual en el que se basará el cálculo del Índice 2. Recolección de los datos 3. Preparación y análisis de los datos 4. Ponderación de los datos 5. Agregación de los datos 3. METODOLOGÍA PARA LA ELABORACIÓN DEL ÍNDICE SINTÉTICO A partir de lo anterior, para nuestro caso se ha decidido utilizar la metodología de Agregación Simple con Pesos Iguales. Además, para estimar el peso de los factores que integran cada componente del índice y de cada componente entre sí, se ha usado el mismo criterio que en el índice TANKAN1 japonés y el Índice de Confianza Empresarial del INE, donde no existen ponderaciones. El índice TANKAN se basa en un cálculo estadístico que se rige por una variable opinática. Eso quiere decir que la metodología utilizada se basa en 1 TANKAN viene del japonés TANKI KEIZAI KANSOKU CHOUSA (Encuesta coyuntural económica a empresas) (Sáez, 2014). 7 Joaquín García-Tapial Arregui y Rocío Crespo-Álvarez Revista de Estudios Andaluces, núm. 37 (2019) pp. 1-24. e-ISSN: 2340-2776 http://dx.doi.org/10.12795/rea.2019.i37.01 Esta obra se distribuye con la licencia Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional variables cualitativas, que reflejan aspectos o áreas del fenómeno a estudiar, y que las personas que participan en el estudio deben elegir entre tres alternativas posibles (opinión positiva, negativa e indiferente) cuál es la que mejor describe la situación, excluyendo factores estacionales (Sáez, 2014). Por su parte, el INE, partiendo de la metodología usada en el índice TANKAN, opta por utilizar el saldo simple sin ponderar entre las respuestas positivas y las negativas, ya que entiende que la diferencia entre trabajar con saldos ponderados y sin ponderar es irrelevante (INE, 2014). Aunque desde un punto de vista metodológico, el Índice de Confianza Empresarial del INE no tiene aportes relevantes respecto al Índice TANKAN, es la principal encuesta que se realiza en España basada en la opinión de empresarios y no en datos, por lo que se ha convertido en la metodología sobre la que mayor consenso existe a la hora de realizar este tipo de índices (IDESCAT, 2018). Por otro lado, esta metodología supuso en su momento una novedad en la definición de indicadores. Ello se debe a que todas las respuestas recibidas tienen el mismo peso (i.e., no hay ponderación en función de la unidad opinante), por lo que todas las respuestas recibidas son agregadas con el mismo valor (Bank of Japan, 2018), independientemente del sector de actividad, antigüedad, tamaño o facturación de la empresa y de las circunstancias personales de la persona encuestada. Las razones que justifican el uso de esta metodología son de dos tipos: por un lado, tenemos una justificación desde el punto de vista operativo, al ser el más práctico y viable de los métodos disponibles, ya que nos permite una rápida integración de los resultados (Muñiz et al., 2006) así como una inmediata coordinación entre los diferentes agentes intervinientes (INE, 2014). Y por otro, existe una justificación desde el punto de vista empírico, ya que en su momento se consideraron diferentes opciones mediante simulaciones, siendo las diferencias en los resultados mínimas entre los obtenidos por este método y los obtenidos por otros basados en técnicas multivariantes, de mayor complejidad. El resultado de estas comprobaciones empíricas es que el uso de la metodología TANKAN está justificado cuando se trata de estimar la opinión de sectores empresariales concretos (INE, 2014). Sin embargo, tanto el TANKAN como el Índice de Confianza Empresarial trabajan con dos tipos de opiniones: por un lado, recogen opiniones sobre la situación actual del entorno de negocios y, por otro, recogen opiniones sobre las expectativas que tienen los encuestados sobre la evolución futura del entorno. En el caso que nos ocupa, se ha trabajado únicamente con opiniones respecto al año a evaluar, dejando fuera del índice opiniones sobre expectativas de evolución futura del entorno de negocios, ya que, como hemos visto en el apartado anterior, el elemento de la estrategia que se pretende evaluar es la situación presente de dicho entorno y no las expectativas sobre su evolución. Por ese motivo, y a petición expresa de la Consejería de Empleo, Empresa y Comercio de la Junta de Andalucía, no se ha estimado oportuno incluir la estimación de dichas expectativas. Este hecho ha sido relevante para nuestra investigación, ya que en el TANKAN y en el Índice de Confianza Empresarial la medida estadística empleada para el cálculo del índice es la media geométrica normalizada entre los indicadores de Situación y de Expectativas. Pero en nuestro caso de estudio al no existir indicadores de expectativas, sino solamente de situación, no resultaba posible utilizar esta medida, motivo por el cual se ha optado por la media aritmética, ya su cálculo es más sencillo y proporciona el mismo resultado. Como ya se ha descrito, el Índice Sintético desarrollado mide las tres componentes del entorno de negocios en las que, según la Estrategia TIC 2020, se considera que se desglosa el mismo: por un lado la adecuación del capital humano (entendida ésta como que dicho entorno debe potenciar la captación, fidelización y 8 Elaboración y Aplicación de una Metodología para la Obtención de un Indicador Sintético de Opinión para Analizar las Condiciones de Contexto de Desarrollo del Sector TIC en Andalucía Revista de Estudios Andaluces, núm. 37 (2019) pp. 1-24. e-ISSN: 2340-2776 http://dx.doi.org/10.12795/rea.2019.i37.01 Esta obra se distribuye con la licencia Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional capacitación de los recursos humanos disponibles para las empresas que conforman el sector TIC andaluz); por otro la disponibilidad de financiación (entendida ésta como la facilidad de acceso de las empresas del sector TIC andaluza a los recursos financieros, imprescindibles para la puesta en marcha de sus iniciativas) y por último la demanda de productos (ya que ésta reflejará como la estrategia contribuye a la vertebración del sector TIC andaluz). La Estrategia TIC 2020 considera un cuarto componente, relacionado con el carácter tractor y dinamizador de la Administración Pública andaluza. Sin embargo, se ha considerado que este componente está implícito en los tres anteriores, por lo que no será objeto de medición de manera diferenciada. Por ello, el Índice Sintético definido será el resultado de la media aritmética de tres subíndices, que denominaremos:  Sub-Índice Sintético de Adecuación de Capital Humano  Subíndice Sintético de Disponibilidad de Financiación  Subíndice Sintético de Demanda de Productos TIC A su vez, para cada uno de estos subíndices se han definido los factores que configuran los componentes asociados. Para definir estos factores, hemos utilizado una combinación de metodologías de investigación cualitativa. En primer lugar, se ha realizado un análisis de las actuaciones contenidas en cada uno de los Ejes de la Estrategia TIC2020 relacionados con estos componentes, basando dicho análisis en el método del Análisis Temático. El Análisis Temático es una metodología de investigación cualitativa, que permite reconocer, estructurar y examinar en detalle modelos y cuestiones de distinta índole a partir de una lectura metódica de la información disponible y de una relectura de la misma que permita obtener conclusiones que permitan explicar e interpretar el hecho objeto de estudio (Braun et al., 2006). El uso de esta metodología permite reconocer e indagar en distintas temáticas, explicando el alcance de las mismas y permitiendo reconocer qué circunstancias de las que afectan al desarrollo de los hechos objeto de estudio son consecuencia de un estado de opinión de la sociedad (Mieles et al., 2012). Asimismo, se ha llevado a cabo una Técnica de Grupo Nominal con un grupo de personas procedentes del mundo empresarial, financiero, académico y de la Administración. La Técnica de Grupo Nominal o Nominal Group Technique (TGN) es una técnica de investigación cualitativa aplicable a grupos que permite obtener opiniones y agregar juicios para aumentar la racionalidad y la creatividad en el análisis de situaciones problemáticas no estructuradas (Delp et al., 1977). Este método fue introducido por Delbecq y Van de Ven (Van de Ven et al., 1974) y desarrollado posteriormente por los mismos autores. Tiene como principal utilidad el incremento de la eficiencia de las reuniones de trabajo y la dinamización de su operativa, ya que permite optimizar su productividad, generando resultados y conclusiones prácticas provenientes de la participación de todos los asistentes, en un corto espacio de tiempo. Desde entonces, se ha desarrollado un campo teórico relacionado con esta técnica (por ejemplo, Rohrbaugh, 1979, Harvey et al., 2012; Olaz Capitán, 2016;). La Técnica de Grupo Nominal se lleva a cabo de un modo altamente estructurado, combinando la recopilación de datos cuantitativos y cualitativos en un entorno grupal, y evita los problemas de dinámicas grupales asociadas con otros métodos, como el Brainstroming, Delphi y Grupos Focales (Gallagher et al., 1993). En este caso, se ha aplicado la versión mejorada de dicha técnica (Fox, 1989), basada en el uso de tarjetas para recoger las aportaciones de las participantes, ya que permite el anonimato en las contribuciones, facilita el proceso de jerarquización de ideas y posibilita realizar la misma en un corto espacio de tiempo, cuestión importante en este caso, al ostentar los participantes en las mismas posiciones 9 Joaquín García-Tapial Arregui y Rocío Crespo-Álvarez Revista de Estudios Andaluces, núm. 37 (2019) pp. 1-24. e-ISSN: 2340-2776 http://dx.doi.org/10.12795/rea.2019.i37.01 Esta obra se distribuye con la licencia Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional Tabla 7. Respuestas relativas al Factor Adecuación del Capital Humano. Pregunta Resultados (Respuestas) Ha mejorado Permanece Igual Ha empeorado La formación necesaria para trabajar en el sector TIC de los alumnos/as procedentes de instituciones de educación de grado medio (formación profesional para el empleo, formación dual)… 139 134 24 La formación necesaria para trabajar en el sector TIC de los graduados/as de las Universidades Andaluzas… 110 158 29 La formación continua para el reciclaje profesional del personal de empresas andaluzas del sector TIC… 71 168 58 La conexión entre el sector TIC andaluz y los organismos docentes públicos (universidades, institutos de formación profesional, etc.)… 64 183 50 La capacidad de retención y atracción de talento por parte de las empresas andaluzas del sector TIC … 59 153 85 El atractivo de las condiciones laborales (salario, carrera profesional, flexibilidad…) para los/as trabajadores/as del sector TIC andaluz… 52 140 105 La conciliación entre la vida personal y laboral para los trabajadores/as del sector TIC andaluz… 73 149 75 El número de mujeres directivas que ocupan puestos de dirección en empresas del sector TIC… 53 203 41 La diversidad, en términos de género, de los equipos de trabajo… 76 182 39 TOTAL 697 1470 506 Fuente: Elaboración propia. Esto ha dado como resultado el siguiente Subíndice para el factor Adecuación del Capital Humano Tabla 8. Cálculo del Subíndice Adecuación del Capital Humano. Ítem Resultado Porcentaje de respuestas positivas respecto a la situación actual 26,08% Porcentaje de respuestas negativas respecto a la situación actual 18,93% Porcentaje de respuestas indiferentes 54,99% Total 100% Saldo entre respuestas positivas y negativas (Subíndice) 7,15% Fuente: Elaboración propia. 16 Elaboración y Aplicación de una Metodología para la Obtención de un Indicador Sintético de Opinión para Analizar las Condiciones de Contexto de Desarrollo del Sector TIC en Andalucía Revista de Estudios Andaluces, núm. 37 (2019) pp. 1-24. e-ISSN: 2340-2776 http://dx.doi.org/10.12795/rea.2019.i37.01 Esta obra se distribuye con la licencia Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional En cuanto al Subíndice Disponibilidad de Financiación, las respuestas obtenidas fueron las siguientes: Tabla 9. Respuestas relativas al Factor Disponibilidad de Financiación. Pregunta Resultados (Respuestas) Ha mejorado Permanece Igual Ha empeorado La existencia de líneas de financiación públicas… 58 157 82 La accesibilidad a las fuentes de financiación privada tradicionales (Bancos)… 61 133 103 La existencia de fuentes de financiación alternativas (crowdfunding, capital riesgo, business angels, etc.)… 139 126 32 Los requisitos formales a cumplir para la obtención de financiación (garantías, avales, etc.)… 34 156 107 Los trámites administrativos necesarios para acceder a la financiación (tanto pública como privada) 29 167 101 El conocimiento acerca de las fuentes de financiación disponibles… 57 180 60 TOTAL 378 919 485 Fuente: Elaboración propia. Esto ha dado como resultado el siguiente Subíndice para este factor: Tabla 10. Cálculo del Subíndice Disponibilidad de Financiación. Ítem Resultado Porcentaje de respuestas positivas respecto a la situación actual 21,21% Porcentaje de respuestas negativas respecto a la situación actual 27,22% Porcentaje de respuestas indiferentes 51,57% Total 100% Saldo entre respuestas positivas y negativas (Subíndice) -6,00% Fuente: Elaboración propia. 17 Joaquín García-Tapial Arregui y Rocío Crespo-Álvarez Revista de Estudios Andaluces, núm. 37 (2019) pp. 1-24. e-ISSN: 2340-2776 http://dx.doi.org/10.12795/rea.2019.i37.01 Esta obra se distribuye con la licencia Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional Finalmente, se recogen las respuestas obtenidas con relación al factor Demanda de Productos y Servicios del Sector TIC. Tabla 11. Respuestas para el factor Demanda de Productos y Servicios TIC. Pregunta Resultados (Respuestas) Ha mejorado Permanece Igual Ha empeorado La imagen y reputación de las empresas andaluzas del sector TIC … 125 152 20 La difusión de casos de éxito de empresas andaluzas del sector TIC … 117 156 24 La especialización de las empresas andaluzas del sector TIC … 144 132 21 El conocimiento por parte de terceros acerca de la oferta de productos y servicios del sector TIC andaluz… 64 199 34 La existencia de estructuras organizativas tipo Clúster que vertebren el sector TIC andaluz y favorezcan la cooperación entre las empresas del sector… 84 178 35 El carácter innovador de la oferta de productos y servicios de las empresas andaluzas del sector TIC … 139 143 15 La colaboración de las empresas del sector TIC andaluz con entidades ajenas al sector… 87 187 23 TOTAL 760 1147 172 Fuente: Elaboración propia. Como consecuencia de estas respuestas, el subíndice obtenido es el que se muestra a continuación: Tabla 12. Cálculo del Subíndice Demanda de Productos y Servicios TIC. Ítem Resultado Porcentaje de respuestas positivas respecto a la situación actual 36,56% Porcentaje de respuestas negativas respecto a la situación actual 8,27% Porcentaje de respuestas indiferentes 55,17% Total 100% Saldo entre respuestas positivas y negativas (Subíndice) 28,28% Fuente: Elaboración propia. Como consecuencia de los resultados que acabamos de exponer, el Indicador Sintético de Condiciones de contexto de desarrollo del sector TIC (Índice TIC 2020) para el año 2017 obtenido ha sido de 9,81 (media aritmética de los tres subíndices). Asimismo, se han calculado los subíndices para cada una de las componentes y el Índice TIC 2020 correspondiente para cada una de las 8 provincias andaluzas, tal y como se refleja en la tabla adjunta. 18 Elaboración y Aplicación de una Metodología para la Obtención de un Indicador Sintético de Opinión para Analizar las Condiciones de Contexto de Desarrollo del Sector TIC en Andalucía Revista de Estudios Andaluces, núm. 37 (2019) pp. 1-24. e-ISSN: 2340-2776 http://dx.doi.org/10.12795/rea.2019.i37.01 Esta obra se distribuye con la licencia Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional Tabla 13. Índice TIC2020 a nivel regional y provincial. Subíndice Adecuación RRHH Subíndice Acceso a Financiación Subíndice Demanda Productos TIC Índice TIC 2020 TOTAL 7,15 -6,00 28,28 9,81 Almería 14,22 -3,33 23,43 11,44 Cádiz 0,97 -16,67 19,25 1,18 Córdoba 4,76 -7,74 20,41 5,81 Granada 8,89 0,56 42,38 17,28 Huelva 0,00 -24,00 14,86 -3,05 Jaén 10,34 2,30 14,86 9,17 Sevilla 6,84 -1,83 37,36 14,12 Málaga 9,60 -9,47 29,22 9,78 Fuente: Elaboración propia. Como se puede ver, en el caso del Subíndice de Adecuación de los RR.HH., el valor más alto se obtiene en las provincias de Almería y Jaén, mientras que el más bajo corresponde a Huelva y Cádiz. En el caso del Subíndice de Acceso a Financiación, los valores más altos corresponden a las provincias de Jaén y Granada (únicas con valores positivos) mientras que los más bajos vuelven a corresponder a Huelva y Cádiz. Y en el caso del Subíndice de Demanda de Productos y Servicios TIC, los valores más altos son los de Granada y Sevilla y los más bajos los de Huelva y Jaén. Como consecuencia de ellos, el mayor Índice TIC 2020, a nivel provincial, corresponde a Granada, mientras que el más bajo corresponde a la provincia de Huelva. Por otro lado, también se han calculados los subíndices en función de la dimensión de la empresa, obteniéndose los siguientes resultados: Tabla 14. Índice TIC2020 y Subíndices en función de la dimensión de la empresa. Subíndice Adecuación RRHH Subíndice Acceso a Financiación Subíndice Demanda Productos TIC Índice TIC 2020 TOTAL 7,15 -6,00 28,28 9,81 Trabajador/a autónomo/a / Empresa sin empleados/as -4,69 -13,54 18,97 0,25 Entre 001 y 010 trabajadores/as 14,38 -11,11 27,45 10,24 Entre 011 y 050 trabajadores/as 7,52 2,21 33,4 14,38 Entre 051 y 250 trabajadores/as 14,07 4,44 33,81 17,44 Más de 250 trabajadores/as 0,72 -2,15 35,48 11,35 Fuente: Elaboración propia. En este caso, en el caso del Subíndice de Adecuación de los RR.HH., el valor más alto se obtiene en las empresas entre 0 y 10 empleados y entre 51 y 250, mientras que el más bajo corresponde a los trabajadores autónomos y empresas sin empleados/as. En el caso del Subíndice de Acceso a Financiación, los valores más altos corresponden a las empresas entre 11 y 250 trabajadores (únicas con valores positivos) mientras que los más bajos vuelven a corresponder a los trabajadores autónomos y empresas sin empleados/as. Y en el caso del Subíndice de Demanda de Productos y Servicios TIC, los valores más altos son los de las empresas de más de 11 trabajadores y los más bajos los de los trabajadores autónomos y empresas sin empleados/as. Como consecuencia de ellos, el mayor Índice TIC 2020, en función de la dimensión de la empresa, 19 Joaquín García-Tapial Arregui y Rocío Crespo-Álvarez Revista de Estudios Andaluces, núm. 37 (2019) pp. 1-24. e-ISSN: 2340-2776 http://dx.doi.org/10.12795/rea.2019.i37.01 Esta obra se distribuye con la licencia Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional corresponde a las empresas de entre 51 y 250 trabajadores, mientras que el más bajo corresponde a los trabajadores autónomos y empresas sin empleados/as. 5. DISCUSIÓN Y CONCLUSIONES Para conocer el impacto que la Estrategia TIC2020 va a tener al final de su periodo de vigencia, en la misma se han marcado unos objetivos estratégicos que pretende evaluar a través de 15 indicadores y sus correspondientes metas. Para ello, será necesario conocer la evolución temporal del valor de cada uno de esos indicadores definidos, siendo uno de ellos el que mide el sentir de las empresas andaluzas integradas en el sector TIC sobre la evolución de las características del entorno en el que desarrollan su actividad dichas empresas. Este indicador es el que se ha denominado como “Indicador Sintético de condiciones de contexto de desarrollo del sector TIC en Andalucía“ y en este paper se muestra cómo se ha medido su valor para el período inicial, estableciendo además una metodología de cálculo susceptible de ser repetida anualmente, de manera que se pueda conocer la evolución del indicador durante el periodo en que se desarrolle dicha Estrategia TIC2020. Esta posibilidad de repetición es especialmente importante para este trabajo, ya que el mismo constituye sólo el punto de partida de esta evaluación, que sólo se podrá completar cuando el indicador se calcule usando el mismo método durante varios años sucesivos. No obstante, en el camino recorrido desde la puesta en marcha de la primera de las actividades hasta lograr el objetivo del cálculo del indicador, han surgido ciertas dificultades, que han llevado al equipo investigador a sugerir ciertas correcciones y mejoras en las actividades realizadas para un mejor desarrollo del proyecto de cálculo del Indicador Sintético para los años sucesivos. Así, el método de cálculo elegido para el cálculo del Indicador difiere ligeramente de lo establecido en la propia Estrategia al definir el indicador. En la Estrategia se habla de que el valor objetivo sería que el 70% de las empresas tuvieran una opinión positiva respecto de la evolución del entorno de negocios o contexto. Pero dado que el Índice propuesto considera que no se le debe dar la misma importancia a las respuestas negativas que a las respuestas neutras (lo que a su vez supone que con un mismo % de respuestas positivas se dé lugar a índices diferentes en función de cómo se distribuyan las respuestas negativas y las neutras), entendemos necesario replantear el objetivo final para este indicador, y que en lugar de establecer un porcentaje mínimo de respuestas favorables (que a su vez puede dar lugar a diferentes índices en función de cómo se distribuyan las respuestas indiferentes y las desfavorables), el objetivo final se establezca a partir del valor del Índice para este primer año (que ha sido de 9,81), siendo un bien un valor objetivo para el Índice en términos absolutos o un valor objetivo basado en incrementos anuales porcentuales del valor de partida del Índice. Por otro lado, la metodología propuesta para el cálculo del índice, debido a que se ha buscado una simplicidad que facilite su obtención, así como la utilización de esta en varios años consecutivos, ha supuesto una serie de restricciones y limitaciones. En primer lugar, al utilizar una metodología de agregación simple con pesos iguales, se le ha dado la misma importancia a cada elemento en los que se ha desglosado el entorno de negocios para el sector TIC. Sin embargo, el esfuerzo que la Administración pública andaluza hace en términos financieros no es el mismo para cada uno de los ejes. A modo de ejemplo, la cantidad destinada al eje estratégico relacionado con los Recursos Humanos es siete veces mayor que la destinada al eje estratégico relacionado con la financiación empresarial. Es cierto que la importancia que la estrategia otorga a cada elemento no sólo se puede valorar en términos financieros (ya que puede haber otro tipo de medidas, 20 Elaboración y Aplicación de una Metodología para la Obtención de un Indicador Sintético de Opinión para Analizar las Condiciones de Contexto de Desarrollo del Sector TIC en Andalucía Revista de Estudios Andaluces, núm. 37 (2019) pp. 1-24. e-ISSN: 2340-2776 http://dx.doi.org/10.12795/rea.2019.i37.01 Esta obra se distribuye con la licencia Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional como cambios normativos, que sean más oportunas para facilitar la mejora de las condiciones de financiación que una mera asignación presupuestaria) y que además este criterio no considera las correlaciones entre las variables como ya vimos (Becker et al., 2017), pero creemos que esta descompensación entre partidas presupuestarias sugiere que en futuros ejercicios se deba profundizar en la correlación entre la evolución de los sub-índices en que se desglosa el índice calculado y las partidas presupuestarias relacionadas con los factores que conforman dicho subíndices. Otra de las limitaciones que hemos encontrado en el desarrollo del índice está relacionada con los factores en los que se ha desglosado cada una de las tres componentes. Estos factores no siempre están ligados directamente a actuaciones puestas en marcha o previstas por la Junta de Andalucía. Por tanto, podría entenderse que la inclusión de estos factores (como el acceso a la financiación privada tradicional, la capacidad de retención y atracción de talento por parte de las empresas andaluzas pertenecientes al sector TIC o la especialización de las empresas del sector) distorsiona el Índice. Sin embargo, por otro lado, no siempre la mejora o deterioro de estos factores están ligados directamente a actuaciones presupuestadas. Así, estos factores pueden mejorar o empeorar como consecuencia indirecta de actuaciones que se han presupuestado o de actuaciones que no conllevan una partida presupuestaria (como por ejemplo una actuación de tipo normativo o regulatorio), motivo por el cual se ha decidido incluirlos en el indicador. Otro elemento de análisis es el elevado porcentaje de respuestas neutras obtenidas. Esto es consecuencia del diseño de una metodología basada en el índice TANKAN y el Índice de Confianza Empresarial, que establecen siempre una escala con tres factores, de los cuales el central es neutro, ya que el objetivo de estas es medir si ha habido una evolución positiva o negativa de cada elemento. Ello conlleva que, al estar midiendo el impacto de la estrategia en el mismo año en que se pone en marcha, el efecto de esta sobre el contexto sea aún muy bajo y, por tanto, el porcentaje de respuestas neutras alto. Es de suponer que este porcentaje vaya disminuyendo con el paso de los años, motivo por el cual este índice solo será un indicador realmente válido cuando dispongamos de una serie de cálculos para varios años consecutivos. En cuanto a los resultados obtenidos en el cálculo del indicador el elemento peor valorado es el relacionado con el acceso a la financiación. En nuestra opinión, esto sugiere que la Administración Pública andaluza debe profundizar en las causas de esta baja valoración, y si la misma es específica de las empresas del sector TIC o es común a todo el sector empresarial. También es el elemento donde más factores dependen de cuestiones externas, por lo que hay que valorar si el peso de estos factores externos, en los que la Estrategia TIC2020 incide de manera indirecta no es excesivo en el cálculo del Índice. Por otro lado, la demanda de productos y servicios del sector TIC andaluz es el elemento del entorno de negocios del sector TIC del cual se tiene una percepción más positiva. Por último, en lo que se refiere a la adecuación de los Recursos Humanos a las necesidades de las empresas TIC andaluzas, existe un alto porcentaje de respuestas (rozando el 55%) que consideran que la situación permanece igual. Ello puede deberse a distintos motivos, como que las políticas de Recursos Humanos tienen un efecto más a medio plazo, al estar ligadas en muchos casos a la puesta en marcha de planes de estudio, a que los encuestados no tengan relación directa con los procesos de selección o con que existan problemas relacionados con este factor que las empresas del sector entienden que deben ser resueltos. Por ese motivo, creemos que profundizar en los motivos de estas respuestas abre una potencial línea de investigación en esta materia. En definitiva, el trabajo realizado ha proporcionado una buena visión de la percepción del empresariado andaluz del sector TIC sobre el entorno en el que se desarrolla su actividad y proporciona líneas de trabajo 21 Joaquín García-Tapial Arregui y Rocío Crespo-Álvarez Revista de Estudios Andaluces, núm. 37 (2019) pp. 1-24. e-ISSN: 2340-2776 http://dx.doi.org/10.12795/rea.2019.i37.01 Esta obra se distribuye con la licencia Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional tanto para investigadores como para la propia Administración Pública en esta materia. Además, ha servido de punto de partida para futuras investigaciones, ya que si, como es previsible que ocurra, el Índice se calcula de manera sucesiva durante los próximos años, la evolución de este podrá ser materia de futuros trabajos. REFERENCIAS Ardila Delgado, A., & García Solano, D. J. (2017). Construcción de un índice sintético de desempeño institucional municipal en Colombia. Revista del CLAD Reforma y Democracia, (67), 125–162. Armijo, M. (2011). Planificación estratégica e indicadores de desempeño en el sector público. En Naciones Unidas, CEPAL, pp. 1–105. Bank of Japan. (2018). Explanation of the Tankan (Short-Term Economic Survey of Enterprises in Japan). Bank of Japan. Recuperado de: https://www.boj.or.jp/en/statistics/outline/exp/tk/extk03.htm/ Ultimo Acceso: 20 de agosto de 2018. Becker, W., Saisana, M., Paruolo, P. & Vandecasteele, I. (2017). Weights and importance in composite indicators: Closing the gap. Ecological Indicators, 80, 12-22. doi: https://doi.org/10.1016/j.ecolind.2017.03.056 Betanzos-Martín, J.M., Echaves-García, A., Moya-Alonso, R., & Navarro-Yáñez, C.J. (2018). La Evaluación de las Políticas de Regeneración Urbana. Propuesta Metodológica para la Delimitación de Áreas Experimentales y Equivalentes. Revista de Estudios Andaluces. 36, 147-177. doi: http://dx.doi.org/10.12795/rea.2018.i36.07 Blanco, H., Wautiez, F., Llavero, A., & Riveros, C. (2001). Indicadores regionales de desarrollo sustentable en Chile: ¿Hasta qué punto son útiles y necesarios? EURE (Santiago), 27(81), 85–95. doi: https://doi.org/10.4067/S0250-71612001008100005 Braun, V., & Clarke, V. (2006). Using Thematic Analysis in Psychology. Qualitative Research in Psychology, 3(May 2015), 77–101. doi: https://doi.org/10.1191/1478088706qp063oa Casal, J., & Mateu, E. (2003). Tipos de muestreo. Revista Epidemiología y Medicina Preventiva, 1(1), 3–7. doi: https://doi.org/10.1111/j.1541-0064.2008.00202.x Castaño, C., Martín, J. & Martínez, J.L. (2011). La brecha digital de género en España y Europa: medición con indicadores compuestos. Revista Española de Investigaciones Sociológicas (REIS), 1 (136), 127-140. Chapple, M. & Murphy, R. (1996). The nominal group technique: Extending the evaluation of students' teaching and learning. Assessment & Evaluation in Higher Education, 21(2), 147. doi: https://doi.org/10.1080/0260293960210204 Cherchye, L., Moesen, W., Rogge, N. & Van Puyenbroeck, T. (2007). Social Indicators Research, 82(1), 111- 145. doi: https://doi.org/10.1007/s11205-006-9029-7 22 Elaboración y Aplicación de una Metodología para la Obtención de un Indicador Sintético de Opinión para Analizar las Condiciones de Contexto de Desarrollo del Sector TIC en Andalucía Revista de Estudios Andaluces, núm. 37 (2019) pp. 1-24. e-ISSN: 2340-2776 http://dx.doi.org/10.12795/rea.2019.i37.01 Esta obra se distribuye con la licencia Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional Cox, D. R., Fitzpatrick, R., Fletcher, A. E., Gore, S. M., Spiegelhalter, D. J., & Jones, D. R. (1992). Quality-of-Life Assessment: Can We Keep It Simple? Journal of the Royal Statistical Society. Series A (Statistics in Society), 155(3), 353–393. doi: https://doi.org/10.2307/2982889 Delp, P., Thesen, A., Motiwalla, J., & Seshardi, N. (1977). Nominal Group Technique. Systems Tools for Project Planning, 14–18. doi: https://doi.org/10.1111/j.1365-2044.1980.tb03924.x Dobbie, A., Rhodes, M., Tysinger, J. W., & Freeman, J. (2004). Using a modified nominal group technique as a curriculum evaluation tool. Family Medicine, Kansas City, 36, 402–406 Fox, W. (1989). The Improved Nominal Group Technique (INGT). Journal of Management Development, 8(1), 20-27. doi: https://doi.org/10.1108/EUM0000000001331 Gallagher, M., Hares, T., Spencer, J., Bradshaw, C., & Webb, I. (1993). The nominal group technique: a research tool for general practice? Family Practice, 10(1), 76–81. doi: https://doi.org/10.1093/FAMPRA/10.1.76 Harvey, N., & Holmes, C. A. (2012). Nominal group technique: An effective method for obtaining group consensus. International Journal of Nursing Practice, 18(2), 188–194. doi: https://doi.org/10.1111/j.1440- 172X.2012.02017.x Horn, R. (1993). Statistical Indicators for the economic and social sciences. Cambridge University Press, 1(422), 20. doi: https://doi.org/10.1017/CBO9780511518164 ICEA (2018). Índice de Confianza Empresarial Armonizado: Nota metodológica. Idescat, Recuperado de: https://www.idescat.cat/pub/?id=clem&m=m&lang=es. Último acceso: 1 de Julio de 2018. INE. (2014). Indicadores de Confianza Empresarial. Recuperado de: https://www.ine.es/dyngs/INEbase /es/operacion.htm?c=Estadistica_C&cid=1254736163552&menu=ultiDatos&idp=1254735576550. Último acceso: 15 de mayo de 2018. Julio Mejía Navarrete. (2000). El Muestreo en la Investigación Cualitativa. Investigaciones Sociales, 5, 165– 180. Lucio, J. de, & Valero, A. M. (2009). El Indicador de Confianza Empresarial de las Cámaras de Comercio. Revista de Estadística y Sociedad, (32), 14–17. Martínez Puche, A. (2012). Análisis de las redes empresariales y su incidencia territorial. Transferencia tecnológica, aprendizaje e innovación. Revista de Estudios Andaluces. 29, 18-58. doi: http://dx.doi.org/10.12795/rea.2012.i29.02 Mieles, M., Tonon, G., & Alvarado, S. (2012). Investigación cualitativa: el análisis temático para el tratamiento de la información desde el enfoque de la fenomenología social. Universitas Humanística, 4807(201212), 195– 225. 23 Joaquín García-Tapial Arregui y Rocío Crespo-Álvarez Revista de Estudios Andaluces, núm. 37 (2019) pp. 1-24. e-ISSN: 2340-2776 http://dx.doi.org/10.12795/rea.2019.i37.01 Esta obra se distribuye con la licencia Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional Mondéjar-Jiménez, J., & Vargas-Vargas, M. (2014). Indicadores sintéticos: una revisión de los métodos de agregación. Revista Economía, Sociedad y Territorio, 8 (27). Mondragón Pérez, A. R. (2002). ¿Qué son los indicadores? Revista de Información y Análisis, (19), 52–58. Muñiz, F., Peón, B. M., & Ordás, J. M. V. (2006). Desarrollo y Validación de una escala de medición para el sistema de Gestión de la seguridad laboral. Investigaciones Europeas de Dirección y Economía de La Empresa, 12(3), 77–93. Nardo, M., Saisana, M., Saltelli, A., Tarantola, S., Hoffman, A., & Giovannini, E. (2005). Handbook on constructing composite indicators. OECD Statistics Working Papers. doi: https://doi.org /10.1787/533411815016 Olaz Capitán, A. (2016). La Técnica del Grupo Nominal en el Espacio Europeo de Educación Superior: Nominal Group Technique in the European Higher Education. Aposta: Revista de Ciencias Sociales. Potter, M., Gordon, S. & Hamer, P. (2004). Nominal Group technique: a useful consensus methodology in physiotherapy research. Journal of Physiotherapy, 32 (3), 126-130 Rohrbaugh, J. (1979). Improving the quality of group judgment: Social judgment analysis and the Delphi technique. Organizational Behavior and Human Performance, 24(1), 73–92. doi: https://doi.org/10.1016/0030-5073(79)90017-5 Sáez Alarcón, J. (2014). Análisis de la Influencia del Gobierno Corporativo en la confianza empresarial de dos empresas del sector retail. Horizontes Empresariales, 13(2), 7–19. Saisana, M., & Tarantola, S. (2002). State-of-the-art Report on Current Methodologies and Practices for Composite Indicator Development. Joint Research Centre. Italy: European Commission, (July), 1–72. doi: https://doi.org/10.13140/RG.2.1.1505.1762 Saltelli, A. (2007). Composite indicators between analysis and advocacy. Social Indicators Research, 81(1), 65–77. doi: https://doi.org/10.1007/s11205-006-0024-9 Sharpe, A. (2004). Literature Review of Frameworks for Macro-indicators. Development, (February), 1–79. Van de, A. H., & Delbecq, A. L. (1974). The Effectiveness of Nominal, Delphi, and Interacting Group Decision Making Processes. Academy of Management Journal, 17(4), 605–621. doi: https://doi.org/10.2307/255641 Varga-Atkins, T., Bunyan, N., Fewtrell, R. & McIsaac, J. (2001). The Nominal Group Technique –a practical guide for facilitators, University of Liverpool. Wall R., Ostertag, K. and Block, N. 1995. Synopsis of selected indicator systems for sustainable development. Report for the research project, 'Further development of indicator systems for reporting on the environment' of the Federal Ministry of the Environment. Franhofer Institute for Systems and Innovation Research, Karlsruhe. 24