Análisis de eficiencia de redes neuronales en el estudio de la calidad del servicio en el transporte público. Aplicación al área metropolitana de Granada

UNIVERSIDAD DE GRANADA E.T.S. Ingenieros de Caminos, Canales y Puertos Departamento de Ingeniería Civil PROGRAMA DE DOCTORADO: INGENIERÍA CIVIL Y ARQUITECTURA TESIS DOCTORAL ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA. Para la obtención del GRADO DE DOCTOR POR LA UNIVERSIDAD DE GRANADA AUTORA: Mª CONCEPCIÓN GARRIDO RODRÍGUEZ Granada, 2015 Editor: Universidad de Granada. Tesis Doctorales Autor: María Concepción Garrido Rodríguez ISBN: 978-84-1306-208-2 URI: http://hdl.handle.net/10481/55743 UNIVERSIDAD DE GRANADA E.T.S. Ingenieros de Caminos, Canales y Puertos Departamento de Ingeniería Civil TESIS DOCTORAL ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA. AUTORA: Mª CONCEPCIÓN GARRIDO RODRÍGUEZ DIRECTOR: JUAN DE OÑA LÓPEZ Doctor Ingeniero de Caminos, Canales y Puertos Universidad de Granada AGRADECIMIENTOS Mediante estas líneas me gustaría agradecer a todas aquellas personas que con su apoyo y colaboración me han animado y ayudado a elaborar esta tesis doctoral. Son muchos los amigos, compañeros de trabajo, compañeros de profesión y también jefes los que me han apoyado en este largo y tedioso camino, que no ha estado exento de dificultades, desánimos y contratiempos. Esta tesis doctoral es un trabajo no sólo de investigación, sino una labor de compañerismo, altruismo y colaboración. Gracias a todos. Quiero agradecer a mi director de tesis, D. Juan de Oña López el tiempo invertido en esta investigación. Muchas gracias por guiarme y asesorarme. A mis compañeros del Departamento de Ingeniería Civil, especialmente a Rocío y a José Luis. Gracias por vuestra ayuda. Por supuesto, no habría sido posible culminar este trabajo sin la ayuda siempre incondicional de mis padres, que han estado a mi lado en todo momento y me han alentado en los momentos difíciles. Sois unos luchadores incansables, y el coraje, saber hacer y constancia con el que habéis desempeñado vuestra labor como padres me ha dado la fuerza necesaria para conseguir éste y muchos otros objetivos en la vida. Simplemente gracias por estar siempre ahí. También imprescindible ha sido la ayuda de mi marido Gardier. Gracias por entender que esta tesis doctoral es importante para mí, y ayudarme y apoyarme siempre, y disculpa por los ratos que te he robado para dedicarlo a este trabajo en lugar de a ti. Gracias por ser como eres. Mientras escribo estas líneas, nuestro hijo crece en mis entrañas. Este trabajo y a partir de ahora todo lo que consiga en la vida irá dedicado a él. No quiero olvidarme de darle las gracias a mi hermana, Mª Dolores, y a mi abuela Concha, os quiero y sois un pilar fundamental en mi vida. Abuela, a pesar de ser nonagenaria, eres una mujer moderna, de mente abierta, y siempre has tenido la convicción de que tanto mi hermana como yo llegaríamos hasta donde quisiéramos con nuestro trabajo y esfuerzo. Aunque a ti la vida no te ha permitido tener las mismas oportunidades de realizarte profesionalmente, siempre las has visto cumplidas a través de nosotras. Esta tesis también es logro tuyo. Por último, quería dar las gracias al Consorcio de Transportes de Granada por facilitarnos los datos necesarios para desarrollar esta investigación. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 1 RESUMEN El éxito de un servicio de transporte público depende en gran medida del número de usuarios que es capaz de captar, y de la influencia que ejerce en la movilidad de una determinada ciudad o área. Los planificadores, administraciones y empresas gestoras de un modo de transporte público deben encontrar la fórmula de atraer a nuevos pasajeros y crear fidelidad en los que ya son usuarios, para rentabilizar el servicio y además para mitigar los problemas que el uso masivo del vehículo privado generan actualmente en las ciudades: contaminación, atascos, salud, accidentes, etc. En los últimos años parece que existe un consenso generalizado en los expertos en la materia sobre la necesidad de satisfacer las demandas y las expectativas de la población si se quiere que el transporte público tenga un papel relevante en la sociedad actual, y es por ello que el concepto de calidad del servicio, íntimamente relacionado con la satisfacción y el grado de cumplimiento de dichas expectativas está siendo estudiado en profundidad y desde distintos ámbitos y puntos de vista. La valoración que los usuarios actuales y/o potenciales tienen de un determinado servicio de transporte público es captada normalmente por medio de encuestas, en las que se obtiene información relacionada tanto con la valoración global de la calidad del servicio como de los distintos atributos que caracterizan al mismo. Partiendo de ellas, se han desarrollado numerosos estudios en los que se han aplicado diversos métodos para analizar tanto la valoración global de un determinado servicio de transporte público como la importancia que los usuarios asignan a cada uno de los atributos que lo definen. Todos ellos han aportado luz para mejorar y profundizar el conocimiento en este ámbito del transporte, pero cuentan con las limitaciones propias e inherentes de los propios métodos, de ahí que sea necesario seguir investigando en la materia y aplicando nuevas técnicas que puedan salvar las dificultades presentes en los métodos empleados hasta la actualidad. En esta tesis doctoral se realiza un estudio de la calidad del servicio en el transporte público por autobús en el área metropolitana de Granada utilizando una técnica novedosa y no convencional, las Redes Neuronales Artificiales. Su elevada capacidad de predicción, clasificación y tolerancia a fallos la ha convertido en una herramienta válida y de uso generalizado en numerosos y muy variados campos de investigación. El principal objetivo de esta tesis doctoral es validar si las Redes Neuronales Artificiales son una técnica adecuada para el estudio de la calidad del servicio en el transporte público, y pueden convertirse en una herramienta válida para que los planificadores y gestores de un servicio público puedan extraer información interesante sobre los atributos que cualifican la calidad del servicio. Los datos utilizados para el desarrollo de este estudio proceden de una encuesta de satisfacción realizada por el Consorcio de Transportes de Granada en el año 2007. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 2 Además, en este trabajo de investigación se ha propuesto y desarrollado una nueva metodología para determinar la importancia relativa de los atributos de calidad del servicio considerados en este estudio. Los resultados de esta investigación han mostrado que las Redes Neuronales Artificiales son una técnica válida para el estudio de la calidad del servicio en el transporte público por autobús, y que la metodología para determinar la importancia relativa de los atributos que la definen es asimismo válida y robusta, suponiendo esta nueva metodología una aportación novedosa y un valor añadido al campo de las Redes Neuronales Artificiales, que puede ser utilizada en cualquier estudio en el que se emplee esta técnica. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 3 ABSTRACT Nowadays the success of a public transport system depends largely on the amount of users that can attract and on the influence that it exerts on the mobility of a city or area. Planners, administrations and operators of a public transport system need to find the formula to attract new customers and to build consumers loyalty, in order to make profitable the service, and to mitigate the problems that currently a massive use of the private vehicle generates in the cities: contaminations, traffic jams, health, accidents, etc. In the last few years, experts agree that population´s requests and expectations need to be satisfied to achieve that public transportation plays an important role in the society. That is why the service quality concept, closely linked to the satisfaction and expectation´s concepts, is been deeply studied from different points of view. Normally, the information referred to a public transportation service´s assessment is collected by means of the surveys carried out on current and/or potential customers, and information related both to the global valuation of the service quality and to the several specific attributes is gathered from them. Several studies, which involve different methods for analyzing both service quality and attributes´ assessments, have been developed from surveys. All them have made substantial contributions to improve and to get more fully acquainted with this transportation field, but there are some inevitable limitations in each one of them, so that a further research on this issue needs to be carried out, and new techniques that overcome the current restrictions needs to be developed. This PhD thesis studies the service quality of a metropolitan public bus transportation service in Granada by using a new and non-conventional technique, Artificial Neural Networks. Its high capability for prediction, classification a fault tolerance has converted it into a valid tool, and it has been used in an extremely wide range of areas. The main goal of this PdD thesis is to validate that Artificial Neural Networks is an adequate methodology for analyzing service quality in a public bus transportation system, and whether this methodology can become a potential tool for transport planners, and for extracting interesting information from the attributes that qualify the quality of the service. The data used for the development of this study come from a customer satisfaction survey conducted by the Granada Consorcio de Transportes in 2007. Furthermore, in this research work a new methodology for determining the relative importance of the service quality´s attributes has been proposed and developed. The results of this research work showed that Artificial Neural Network are a valid technique for studying the service quality in the public bus transportation system, and that the methodology for determining the relative importance of the quality service´s attributes is likewise novel. It is an added value to the Artificial Neural Network field, that can be used in any research field where this technique is applied. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 10 LISTA DE FIGURAS Figura 1. Representación de neurona biológica…………………………………………..29 Figura 2. Paralelismo entre neurona biológica y neurona artificial……………………32 Figura 3. Estructura jerárquica de un sistema de ANN………………………………..…33 Figura 4. Localización del Área Metropolitana de Granada……………………………..50 Figura 5. Evolución de viajeros en las líneas interurbanas del Área de Granada…..53 Figura 6. Esquema de red de servicios del transporte público metropolitano………54 Figura 7. Líneas del sistema de transporte por autobús del Área de Granada..........56 Figura 8. Arquitectura de una red neuronal artificial tipo MLP…………………………63 Figura 9. Algoritmo de aprendizaje de descenso por gradiente……………..…………64 Figura 10. Evolución de los errores de entrenamiento y validación durante el entrenamiento de un MLP……………………………………………………………………...66 Figura 11. Esquema de entrenamiento de DT y de cálculo de la importancia relativa de las variables de estudio…………………………………………………………………….71 Figura 12. Arquitecturas de ANNs……………………………………………………………77 Figura 13. Diagrama de cajas de importancia relativa de las variables predictoras según el método PERTURB……………………………………………………………………79 Figura 14. Diagrama de cajas de importancia relativa de las variables predictoras según el método PROFILE…………………………………………………………………….79 Figura 15. Diagrama de cajas de importancia relativa de las variables predictoras según el método CW……………………………………………………………………………80 Figura 16. Diagrama de cajas de importancia relativa de las variables predictoras según el método PaD…………………………………………………………………………...80 Figura 17. Importancia relativa de los atributos de calidad del servicio según el método PROFILE………………………………………………………………………….……..81 Figura 18. Perfiles de variación de los atributos de calidad del servicio según el método PROFILE………………………………………………………………………………...82 Figura 19. Perfiles de variación del MSE de los atributos de calidad del servicio según el método PERTURB……………………………………………………………….…..83 Figura 20. Importancia relativa de los atributos de calidad del servicio según el método PERTURB……………………………………………………………………………….84 ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 11 Figura 21. Importancia relativa de los atributos de calidad del servicio según el método CW…………………………………………………………………………….…………84 Figura 22. Importancia relativa de los atributos de calidad del servicio según el método PaD………………………………………………………………………………………85 Figura 23. Ranking de importancia relativa de los atributos de calidad del servicio según los métodos PROFILE, PERTURB, CW y PaD………………………………..……86 Figura 24. Importancia relativa de la variable FRECUENCIA en función de H según el método aplicado………………………………………………………………………..………131 Figura 25. Desviación típica de la importancia relativa de la variable FRECUENCIA en función de H según el método aplicado……………………………………………….131 Figura 26. Importancia relativa de la variable VELOCIDAD en función de H según el método aplicado……………………………………………………………………………….132 Figura 27. Desviación típica de la importancia relativa de la variable VELOCIDAD en función de H según el método aplicado…………………………………………………..132 Figura 28. Importancia relativa de la variable INFORMACIÓN en función de H según el método aplicado…………………………………………………………………………….133 Figura 29. Desviación típica de la importancia relativa de la variable INFORMACIÓN en función de H según el método aplicado……………………………………………….133 Figura 30. Importancia relativa de la variable SEGURIDAD en función de H según el método aplicado………………………………………………………………………………..134 Figura 31. Desviación típica de la importancia relativa de la variable SEGURIDAD en función de H según el método aplicado…………………………………………………...134 Figura 32. Importancia relativa de la variable PROXIMIDAD en función de H según el método aplicado………………………………………………………………………………..135 Figura 33. Desviación típica de la importancia relativa de la variable PROXIMIDAD en función de H según el método aplicado……………………………………………….135 Figura 34. Importancia relativa de la variable PUNTUALIDAD en función de H según el método aplicado…………………………………………………………………………….136 Figura 35. Desviación típica de la importancia relativa de la variable PUNTUALIDAD en función de H según el método aplicado……………………………………………….136 Figura 36. Importancia relativa de la variable TRATO en función de H según el método aplicado………………………………………………………………………………..137 ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 12 Figura 37. Desviación típica de la importancia relativa de la variable TRATO en función de H según el método aplicado…………………………………………………...137 Figura 38. Importancia relativa de la variable TEMPERATURA en función de H según el método aplicado…………………………………………………………………………….138 Figura 39. Desviación típica de la importancia relativa de la variable TEMPERATURA en función de H según el método aplicado……………………………………………….138 Figura 40. Importancia relativa de la variable ESPACIO en función de H según el método aplicado………………………………………………………………………………..139 Figura 41. Desviación típica de la importancia relativa de la variable ESPACIO en función de H según el método aplicado…………………………………………………...139 Figura 42. Importancia relativa de la variable PRECIO en función de H según el método aplicado………………………………………………………………………………..140 Figura 43. Desviación típica de la importancia relativa de la variable PRECIO en función de H según el método aplicado…………………………………………………...140 Figura 44. Importancia relativa de la variable LIMPIEZA en función de H según el método aplicado………………………………………………………………………………..141 Figura 45. Desviación típica de la importancia relativa de la variable LIMPIEZA en función de H según el método aplicado…………………………………………………...141 Figura 46. Importancia relativa de la variable ACCESIBILIDAD en función de H según el método aplicado………………………………………………………………..…..142 Figura 47. Desviación típica de la importancia relativa de la variable ACCESIBILIDAD en función de H según el método aplicado………………….……...142 ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 13 ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 14 CAPÍTULO 1. INTRODUCCIÓN ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 15 CAPÍTULO 1. INTRODUCCIÓN 1.1. Visión general del problema En la actualidad, uno de los objetivos fundamentales de las administraciones públicas es conseguir que los diferentes modos de transporte público sean de uso extendido por los ciudadanos. La realidad, sin embargo, muestra que los ciudadanos consideran el transporte público como una alternativa al vehículo privado, en lugar de desempeñar el rol predominante y generalizado en el movimiento de pasajeros (Simoes, 2013). Los desplazamientos en vehículo privado son percibidos en general como más cómodos, flexibles y rápidos, adecuándose mejor al estilo de vida imperante en nuestros días (Jakobsson Bergstad et al., 2011). Sin embargo, el uso excesivo del vehículo privado genera problemas medioambientales y sociales en las ciudades (contaminación, congestiones de tráfico, ruido, etc.) que en ocasiones convierte la movilidad de las ciudades en un sistema insostenible. Los gestores de los servicios de transporte público tienen que demostrar a la población que pueden competir con los demás modos de transporte, garantizando efectividad y calidad en el servicio prestado. Las administraciones públicas, por su parte, están tendiendo a incentivar a los operadores de los servicios públicos en función de la calidad del servicio que éstos ofrecen (Mouwen y Rietveld, 2013). Puesto que los servicios de transporte público se prestan directamente a los pasajeros, la calidad del servicio debe ser resultado de la percepción que el usuario tiene de ella (Das y Pandit, 2013), porque como afirmó Bordagaray et al. (2013), “sin el consumidor, el mercado no tiene razón para existir”. Por tanto, el nivel de calidad de un servicio será elevado cuando cubra las necesidades y expectativas que los pasajeros han fijado. En las últimas décadas, investigadores, planificadores y gestores han centrado su atención en este aspecto, intentando conocer con mayor detalle cómo evalúan los pasajeros un servicio público, teniendo en cuenta la influencia de los atributos que lo caracterizan. Varios autores han puesto de manifiesto que la calidad del servicio es un concepto complejo, difuso y abstracto (Carman, 1990; Parasuraman et al., 1985), debido fundamentalmente a las tres propiedades que lo caracterizan: intangibilidad, heterogeneidad e inseparabilidad, pero también por la subjetividad inherente en la medición de la opinión de los pasajeros sobre la calidad del servicio. En la literatura, existen diferentes métodos para determinar esta influencia, pero no existe consenso sobre cuál es el mejor, por lo que la medición de la calidad del servicio sigue siendo un reto para investigadores y planificadores del transporte. La influencia de las características que definen la calidad del servicio sobre la evaluación global del mismo han sido estudiadas en los últimos años a través de distintas técnicas: modelos de ecuaciones estructurales (de Oña et al., 2013; Eboli y Mazzulla, 2007; 2012; Irfan et al., 2011; Ngatia et al., 2010) y modelos de elección discreta (Bordagaray et al. 2013; Eboli y Mazzulla, 2008;2010; Hensher, 2014; Hensher y Prioni, 2002; Hensher et al. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 16 2003; Marcucci y Gatta, 2007) fundamentalmente. Sin embargo, la mayoría de estos modelos parten de premisas y de limitaciones en cuanto a las relaciones subyacentes entre las variables dependientes e independientes, como la normalidad de los datos, las relaciones de dependencia entre variables, baja multi-colinealidad, etc. Según Garver (2003), estos requisitos casi nunca se cumplen en el campo de satisfacción del cliente. Kikuchi (2012) afirma que “los paradigmas tradicionales de predicción, diagnóstico, regulación u optimización, no son suficientes para tratar los sistemas humanos y sociales extremadamente complejos, de los que la ingeniería del transporte forma parte”. Siguiendo esta idea, de Oña et al. (2012) aplicaron exitosamente árboles de decisión al estudio de la calidad del servicio en el transporte público, ya que esta técnica no sufre algunas de las limitaciones presentes en las usadas tradicionalmente. Así, en esta tesis doctoral, se plantea el estudio de la calidad del servicio en el transporte público con una técnica de minería de datos, las Redes Neuronales Artificiales, que al igual que los árboles de decisión, supera varias de las debilidades que presentan los métodos que hasta ahora se han utilizado para su análisis. Las Redes Neuronales Artificiales son sistemas de procesamiento de la información que han sido aplicados en otros campos de la calidad del servicio ajenos al de los transportes con resultados muy satisfactorios (Lee et al., 2010; Xie et al., 2003), debido a su elevada capacidad de predicción y tolerancia a fallos, sin necesidad de disponer de un modelo de partida con limitaciones inherentes al mismo o requisitos previos, y sin verse afectado por las posibles relaciones de dependencia entre las variables consideradas para el desarrollo de los modelos. Sin embargo, presentan una importante limitación debido a su incapacidad para determinar de forma clara y explícita la influencia que cada una de las variables dependientes del modelo ejerce sobre las dependientes, por lo que las Redes Neuronales Artificiales se han incluido durante mucho tiempo dentro del conjunto de técnicas denominadas “cajas negras” (Cao y Qiao, 2008; Cortez y Embrechs, 2013). Existen diversos métodos de cálculo de la influencia de las variables predictoras respecto a las dependientes, pero éstos presentan problemas de inestabilidad en los resultados y no se ha llegado a alcanzar un consenso sobre cuál de ellos presenta un mejor comportamiento global. Por tanto, con este estudio se pretende determinar si la técnica de las Redes Neuronales Artificiales es válida para analizar con eficacia la calidad del servicio de transporte público por autobús e identificar los factores claves que la afectan. 1.2. Objetivos El principal objetivo de esta tesis doctoral es validar si la técnica de las Redes Neuronales Artificiales es una metodología apropiada para analizar la calidad del servicio en el transporte público. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 17 Las Redes Neuronales Artificiales son una técnica de minería de datos novedosa para analizar la calidad del servicio en el campo del transporte público, que puede resultar muy útil para los planificadores y gestores del servicio, debido a su elevada capacidad de predicción y de captar las relaciones altamente no lineales subyacentes en los atributos considerados en los modelos. Para completar este objetivo principal, en este trabajo de investigación también se proponen una serie de objetivos específicos, tales como el desarrollo de una nueva metodología para determinar la importancia relativa de las variables predictoras consideradas en los modelos de Redes Neuronales Artificiales entrenados, y que mitigue la inestabilidad que actualmente presentan los modelos de cálculo existentes. Esta nueva metodología podría aplicarse, no sólo a la calidad del servicio en el transporte, sino a cualquier otro ámbito de estudio en el que se utilicen Redes Neuronales Artificiales. En este estudio se analiza la robustez de esta metodología, para comprobar si puede ser aplicada de forma genérica, de modo que se consiga agilizar el tiempo empleado aplicando esta técnica hasta obtener los resultados adecuados, sin que éstos se vean afectados por esta mejora. Además, se realiza una comparación entre las Redes Neuronales Artificiales y los árboles de decisión en este caso de estudio, para poder determinar las fortalezas y debilidades que ofrecen cada una de estas técnicas. Con la verificación de estos objetivos, se proporciona a los planificadores, gestores y operadores de transporte público nueva información sobre la calidad del servicio, que servirá a su vez para diseñar líneas de acción enfocadas a la mejora del servicio prestado, y por ende a un uso más extendido del transporte público. 1.3. Estructura de la tesis doctoral En este apartado se realiza una breve descripción de la estructura de esta tesis doctoral, que está compuesta por ocho capítulos y un apéndice: Capítulo 1, incluye una introducción de la tesis, una breve descripción de los objetivos propuestos, de la estructura del documento y de las principales contribuciones de esta investigación. Capítulo 2, presenta una visión general sobre las características que definen la calidad del servicio en el transporte público, y una recopilación de las principales técnicas aplicadas hasta el momento para su análisis. También se realiza una descripción de la técnica de las Redes Neuronales Artificiales, así como una recopilación de los diferentes métodos de cálculo de importancia relativa de las variables que se han desarrollado y aplicado en diversos estudios de la literatura científica que han usado esta técnica. Además, se han descrito brevemente las principales aplicaciones de las Redes Neuronales Artificiales al campo de la calidad del servicio, sus principales ventajas e inconvenientes. Capítulo 3, presenta los objetivos a verificar en este trabajo de investigación. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 18 Capítulo 4, describe las principales características del sistema de transporte que se ha tomado como base en esta investigación, así como el contexto experimental que da dado lugar a la base de datos de este estudio. Capítulo 5, incluye los materiales y métodos usados en esta tesis doctoral. Se describe la tipología de red neuronal artificial usada en este trabajo de investigación, y la técnica utilizada para validar y evaluar los modelos y los métodos de cálculo de la importancia relativa de las variables que definen la calidad del servicio que han sido aplicados. También se describe la técnica de los árboles de decisión, que será comparada con la de redes neuronales artificiales. En este capítulo además se presenta la metodología desarrollada en este trabajo de investigación. Capítulo 6, muestra los resultados obtenidos tras aplicar la técnica de Redes Neuronales Artificiales a la calidad del servicio, así como aquéllos que indican el grado de validez y de robustez de la nueva metodología de cálculo de la importancia relativa de las variables que se plantea en esta investigación. También se indican los resultados extraídos tras aplicar una técnica estadística para determinar la existencia de grupos homogéneos de variables con diferencias estadísticamente significativas, y aquéllos obtenidos tras aplicar la técnica de árboles de decisión a la base de datos de este estudio. Capítulo 7, presenta las principales conclusiones de este trabajo y las líneas futuras de investigación. Capítulo 8, incluye todas las referencias usadas en esta tesis. Finalmente, este documento incluye varios apéndices: Apéndice 1, reproduce la encuesta que se elaboró para los trabajos de campo en los que se recabó la información que posteriormente se ha utilizado en esta investigación. Apéndice 2, incluye los datos obtenidos tras analizar la robustez y la estabilidad de la metodología novedosa desarrollada en esta investigación por medio de gráficos y tablas. Apéndice 3, en el que aparecen los artículos relacionados con este trabajo de investigación y publicados en revistas científicas. 1.4. Principales contribuciones Las principales contribuciones de esta tesis son tres artículos científicos, que han sido publicados o están en revisión, y un poster presentado en un congreso internacional de transportes. Ellos incluyen las principales aportaciones obtenidas de este trabajo de investigación. Las contribuciones mencionadas son las siguientes: Artículo 1. Juan de Oña y Concepción Garrido. Extracting the contribution of independent variables in neural network models: a new approach to handle instability. Publicado en Neural Computing and Applications, 24(5). DOI: 10.1007/s00521-014-1573-5. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 19 Artículo 2. Concepción Garrido, Rocío de Oña y Juan de Oña. Neural Networks for analizing service quality in public transportation. Publicado en Expert Systems with Applications, 41, 6830-6838. Artículo 3. Juan de Oña, Rocío de Oña y Concepción Garrido. How to extract the attributes’ importance from satisfaction surveys with data mining techniques: A comparison between Neural Networks and Decision Trees. En revisión en Transportation Letters. Poster. Juan de Oña, Rocío de Oña y Concepción Garrido. Extracting importance of attributes from customer satisfaction surveys with data mining: decision trees and neural networks. Transportation Research Board 94 th Annual Meeting. January 11-15 2015. Washington D.C. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 26 siendo S   la media de los ratios de satisfacción expresados por los usuarios para un atributo k y W k el peso del atributo k calculado como el ratio entre la importancia media expresada por los usuarios para el atributo k y la suma de los ratios de importancia media asignados a los demás atributos considerados en el estudio. Aunque este método considera pesos diferentes para cada atributo, presenta el inconveniente de que no puede medir la heterogeneidad que pueden presentar los ratios de ciertos atributos (de Oña y de Oña, 2015). Eboli y Mazzulla (2009) introdujeron un nuevo índice HCSI para tener en cuenta la heterogeneidad de los atributos: HCSI=∑S   ·W     (3) S   =S   ·    (  )  ∑(      (  ) ) ·N (4) W   =   (  )  ∑(     (  ) ) (5) donde S   es la media de los ratios de satisfacción expresados por los usuarios para un atributo k corregidos teniendo en cuenta la desviación respecto al valor medio de los valores registrados y W   tiene el mismo significado que W k en la fórmula (2), pero está corregido teniendo en cuenta la dispersión I de los ratios del atributo k. Por otra parte, varios autores han incluido en estos métodos análisis multicriterio, incluso combinado con lógica difusa (Kuo et al., 2007; Chang y Yeh, 2002; Liou y Tzeng, 2007; Tsaur et al., 2002; Nejati et al., 2009). 2.1.4.2. Métodos agregados basados sólo en la percepción Entre los métodos agregados que se basan sólo en la percepción de la calidad del servicio, el más conocido de ellos fue el desarrollado por Cronin y Taylor (1992), que determinaron la calidad del servicio a través de un índice SQ que sigue la expresión: SQ=∑P    (6) Donde P ij es la percepción del estímulo i frente al atributo j. Al igual que ocurría con el método de Parasuraman et al. (1985), éste no tiene en cuenta pesos o importancias diferentes para cada atributo, por lo que, como en el mencionado método, diversos autores (Yeh et al., 2010; Awasthi et al., 2011; Kuo, 2011; Nathanil, 2008) han aplicado variaciones al mismo incluyendo análisis multicriterio y lógica difusa para considerar este aspecto. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 27 2.1.4.3. Métodos desagregados basados sólo en la percepción Los métodos desagregados basados sólo en la determinación de la percepción de los usuarios han utilizado mayoritariamente cuadrantes para analizar la calidad del servicio. El más conocido es el análisis IPA (importance-performance analysis), que representa en coordenadas la importancia asignada por el usuario a cada atributo (eje y) versus el valor medio del ratio con el que el usuario caracteriza a ese atributo (eje x). Debido a su simplicidad, ha sido utilizado en numerosos estudios para evaluar la calidad del servicio de diversos modos de transporte (Weinstein, 2000; Chou et al., 2011b; Chen y Chang, 2005, Christopher et al., 1999; Figler et al., 2011; Foote and Stuart, 1998). Este método es muy fácil de interpretar visualmente y proporciona una valoración rápida y sencilla de los atributos que caracterizan un determinado servicio, haciendo posible incidir en aquellos aspectos que hayan presentado una valoración baja (Slack, 1994), pero los resultados que ofrecen son una guía que indica una jerarquía de importancia de los atributos según el usuario, no siendo posible cuantificar con exactitud los valores de esa importancia (Abalo et al., 2007). Recientemente, Eboli y Mazzulla (2011) han desarrollado un método que tiene en cuenta tanto la percepción de los pasajeros como la medida del rendimiento proporcionada por la entidad gestora del servicio. Según este método, a cada atributo le son asignados dos parámetros, uno subjetivo (S) resultado del valor medio de satisfacción de los usuarios, y uno objetivo (O), calculado como la media de las puntuaciones que los operadores del servicio le han asignado. Con estos dos parámetros, se obtiene un indicador combinado (X), y en función del valor de la varianza de este último indicador se puede conocer cuánta componente subjetiva u objetiva debe considerarse en la valoración de cada atributo, esto es, si la varianza del indicador objetivo es muy baja, con valores cercanos a cero, el valor X casi coincidirá con el parámetro objetivo O, pudiendo considerarse que los efectos del parámetro S son muy bajos, y viceversa. 2.1.4.4. Métodos desagregados basados en la percepción y en las expectativas Básicamente, los métodos incluidos en este grupo definen una serie de índices relacionados con diversos conceptos de percepción y expectativas, y realizan comparaciones analizando los valores obtenidos tras calcular sus diferencias. Parasuraman et al. (1991) definieron dos parámetros para caracterizar las expectativas de los usuarios: servicio deseado (DS), que es el servicio que el usuario espera recibir y servicio adecuado (AS), que es el nivel de calidad mínimo que el usuario considera aceptable, y uno para el servicio percibido (PS). La zona de tolerancia de expectativas (ZOT) se calcula como la diferencia entre DS y AS, la superioridad del servicio (SS) se calcula como la diferencia entre DS y PS y la idoneidad del servicio (SA) se calcula como la diferencia entre PS y AS. Otros autores han utilizado otros índices para medir la calidad del servicio, también calculados como diferencia entre parámetros. Así, Hu y Jen (2006) definieron un índice para cuantificar la calidad del servicio, calculando la diferencia entre los parámetros calidad tolerable (similar al parámetro AS) y la calidad del servicio percibida (similar al ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 28 parámetro PS). Chang et al. (2012) introdujeron el concepto de ZOT difusa, Tsai et al. (2011) aplicaron de forma combinada un proceso analítico para jerarquizar la importancia de los atributos teniendo en cuenta el índice IPA y Hu (2010) propuso el concepto de expectativas para evaluar la calidad del servicio (ZSQ), basándose en los índices ZOT e IPA. 2.1.4.5. Métodos estadísticos para determinar la importancia relativa de los atributos Para determinar la importancia de cada atributo, normalmente se recurre a la elaboración de encuestas al usuario a partir de las cuales se recaba información sobre la calidad del servicio prestado mediante la puntuación de cada atributo en una escala de valores comprendida en un determinado intervalo, es lo que se conoce como métodos de importancias manifestadas. Los principales inconvenientes achacados a estos métodos residen en que la puntuación que los usuarios asignan a cada atributo no tiene por qué coincidir con la importancia asignada al atributo, y además es necesario realizar un mayor número de encuestas para poder realizar un análisis aceptable (Weinstein, 2000). En otros casos, se pregunta a los encuestados sobre una valoración global del servicio, y posteriormente se emplean métodos estadísticos para determinar la importancia de las relaciones entre cada atributo (análisis factorial, análisis de regresión múltiple, modelos de ecuaciones estructurales, etc.) y la calidad del servicio global, conocidos como métodos de importancias derivadas (De Oña, 2013). El análisis factorial es una técnica estadística que permite determinar si existen relaciones entre un conjunto de variables de estudio y un reducido número de factores no observables, considerando para ello que existe un modelo causal subyacente. Este método suele emplearse como un paso previo al empleo de otros modelos más complejos, puesto que permite detectar las similitudes existentes entre varios de los atributos de estudio, y por tanto reducir el número de variables a considerar en las siguientes fases del estudio (Kim y Lee, 2011). El método de correlación bivariante es capaz de establecer un ranking de importancia relativa de los atributos que se consideren en un estudio asignando unos ratios o valores a cada uno de ellos. Sin embargo, no capta adecuadamente las posibles relaciones de dependencia entre estas variables, por lo que siempre resulta necesario matizar los resultados de los coeficientes obtenidos. Los métodos de regresión han sido extensamente utilizados en el campo del transporte público en general y del estudio de la calidad del servicio en particular (Kim y Lee, 2011; Aksoy et al., 2003; Tyrinopoulos y Aifadopoulo, 2008; Tyrinopoulos y Antoniou, 2008; Dell´Ollio et al., 2010, Huse y Evangelho, 2007; Henser et al., 2010; Castillo y Benítez, 2012) para estudiar el efecto que cada variable independiente tiene sobre la adopción de cada uno de los posibles valores de la variable dependiente. Los modelos de ajuste responden a una combinación lineal de las variables independientes, afectadas por un coeficiente, más un término independiente. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 29 Los modelos de ecuaciones estructurales han cobrado fuerza en los últimos años en el campo de la calidad del servicio en el transporte público (Andreasen, 1995; Eboli y Mazzulla, 2007; Friman y Gärling, 2001; Friman et al., 2001; Joewono y Kubota, 2007a; 2007c; Karlaftis et al., 2001; Lai y Chen, 2011; Minser y Webb, 2010; Nurul-Habib et al., 2011; Stuart et al., 2000), al ser una herramienta que combina técnicas de análisis de regresión, análisis factorial y análisis de la varianza para determinar las diversas relaciones de dependencia que comparten simultáneamente varias variables, analizando estas relaciones no sólo entre las variables que son directamente observables en el estudio, sino entre las variables latentes o subyacentes. 2.1.4.6. Árboles de decisión Recientemente, de Oña y de Oña (2012) han aplicado una técnica no convencional de minería de datos para analizar la importancia relativa de los atributos que caracterizan la calidad de un servicio de transporte público: los árboles de decisión. Los resultados obtenidos tras aplicarse a una base de datos de transporte público metropolitano por autobús y a una base de datos de transporte público en tren (de Oña et al., 2014) han demostrado que es una herramienta válida para este tipo de estudios. 2.2. Redes neuronales artificiales 2.2.1. Fundamento biológico de las redes neuronales artificiales Una neurona biológica está compuesta esquemáticamente por tres partes: dendritas (canal de entrada de la información a través de sinapsis), soma (procesador) y axón (canal de salida de la información) (Figura 1). Figura 1. Representación de neurona biológica ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 30 En estado de reposo, el interior de la neurona está cargada negativamente, con un potencial de unos -60 mV. Los elementos químicos más importantes que influyen en la transmisión de la información son el fósforo, el sodio y el potasio (P2-, Na+ y K+). La membrana de la neurona tiene unos canales, que en el caso del potasio son simples aperturas, y en el caso del sodio son canales que permiten que éste entre a la neurona. El fósforo siempre está dentro debido a su gran tamaño. Otra neurona, que transmite información a ésta, denominada presináptica, libera una serie de sustancias químicas con pequeños potenciales: excitadores (si son positivos) o inhibidores (si son negativos). Si se acumulan una cantidad suficiente de excitadores en el interior de la neurona postsináptica, y el potencial pasa de -60 mV a -45 mV, se activa el umbral de disparo y el Na+ penetra en la neurona postsináptica a través de su canal, elevando el potencial a +50 mV. En ese momento se genera una señal nerviosa que transmite información. 2.2.2. ¿Qué son las redes neuronales artificiales? Las redes neuronales artificiales (ANN, Artificial Neural Networks en inglés) son sistemas de procesamiento de la información basados en el comportamiento biológico del cerebro humano (Martín del Brío y Sanz Molina, 2006). Una neurona artificial está compuesta por: • Conjunto de entradas x j (t), que pueden ser de tipo binario [0,1] o analógicas (un intervalo continuo de valores). • Pesos sinápticos de la neurona i, w ij , que representan la intensidad de interacción entre cada neurona presináptica j y la neurona postsináptica i. Si el peso es positivo, tenderá a excitar a la neurona postsináptica, y si es negativo tenderá a inhibirla. • Regla de propagación, σ(w ij , x j (t)), que proporciona el valor del potencial postsináptico hi(t) = σ(wij, xj(t)) en función de los valores de entrada y de los pesos sinápticos. • Función de activación a i (t) = f i (a i (t-1),h i (t)), que proporciona el estado de activación actual en función del estado de activación anterior y del potencial postsináptico. • Umbral o bías θ i , que se resta del potencial sináptico, y que ejerce una función asimilable al del umbral de disparo de la neurona biológica. • Función de salida F i (a i (t)), que proporciona la salida actual de la neurona en función de su estado de activación actual. En muchos modelos de ANN, se hace la simplificación de considerar que el estado actual de la neurona no depende de su estado anterior, es decir, que a i (t) = f i (h i (t)), y que además la función de salida F i (a i (t)), y la propia salida y i (t), coincide con la función de activación: ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 31 y i (t) = F i (a i (t)) = a i (t) (7) Las funciones de activación más habituales son las que se representan en la Tabla 1: FUNCIÓN RANGO GRÁFICA Identidad y = x [-∞,∞] Escalón y = signo  ( x ) y = H  x  {-1,1} {0,1} Lineal a tramos y   l  si  x   l y  xsi  l  x  l y  l  si  x  l {-1,1} Sigmoidea y  1 1  e   y  tgh  x  [0,1] [-1,1] Gaussiana y  A  e   [0,1] Sinusoidal y  A  senw  x  φ [-1,1] Fuente: Martín del Brío y Sanz, 2006 Tabla 1. Funciones de activación habituales Con frecuencia, se añade al conjunto de pesos de las neuronas un parámetro denominado umbral o bias, θ i , que se resta del potencial sináptico, de manera que el argumento de la función de activación es: h i (t) = ∑w ij · x j (t) - θ i (8) Si se establece un paralelismo entre una neurona biológica y una neurona artificial (Figura 2), podría decirse que el conjunto de entradas x j (t) del modelo artificial ejerce una función asimilable a las dendritas de la neurona biológica, ya que actúan como canales de entrada de la información. El procesamiento de la información y la transformación de ésta mediante la determinación del potencial postsináptico h i (t) y el cálculo del estado de activación a través de la correspondiente función de activación tiene lugar en el cuerpo de la neurona artificial, equivalente al núcleo celular. Finalmente, la función de salida y i (t) ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 32 ejerce la función de transmisora de la información transformada, al igual que el axón en la neurona biológica. Figura 2. Paralelismo entre neurona biológica y neurona artificial Ni las neuronas biológicas ni las artificiales funcionan por sí solas de forma independiente, sino que lo hacen en estructura de red. Una ANN está compuesta por unidades elementales de información, las neuronas artificiales, organizadas en capas e interconectadas entre sí a través de los pesos sinápticos. Cada peso sináptico representa la intensidad de la interacción entre cada par de neuronas. Así, los elementos que componen un sistema neuronal artificial (Figura 3) son (Martín del Brío y Sanz Molina, 2006; Rumelhart y McClelland, 1986): • Un conjunto de procesadores elementales o neuronas artificiales. • Un patrón de conectividad o arquitectura. • Una dinámica de activaciones. • Una regla o dinámica de aprendizaje. • El entorno donde opera. Cualquier sistema neuronal, debe diseñarse para que funcione de la siguiente manera (Martín del Brío y Sanz Molina, 2006): • Que procese la información en paralelo, y no en serie ejecutando de manera secuencial un paso tras otro. • Que tenga memoria distribuida, es decir, en los sistemas neuronales biológicos la información se distribuye entre las sinapsis de la red, de modo que si una ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 33 neurona muere, el sistema se redistribuye para que todo siga funcionando bien. Los sistemas neuronales admiten errores. • Adaptabilidad al entorno, pudiendo modificar las sinapsis en función de las condiciones de contorno y de lo aprendido. Neurona Capa Red Sistema neuronal Fuente: Martín del Brío y Sanz, 2006 Figura 3. Estructura jerárquica de un sistema de ANN 2.2.3. Clasificación de las redes neuronales artificiales Atendiendo a cómo se mueve el flujo de datos en la red neuronal, los sistemas neuronales artificiales se clasifican en (Martín del Brío y Sanz, 2006): • Redes unidireccionales (feedforward), la información circula en un único sentido, desde las neuronas de entrada hacia las de salida. • Redes recurrentes o retroalimentadas (feedback), la información puede circular entre las capas en cualquier sentido, incluido el de salida-entrada. Atendiendo a la dinámica de actualización del estado de las neuronas de los sistemas neuronales artificiales, ésta se clasifica en: • Dinámica síncrona, cuando la información se actualiza siguiendo un cierto reloj común, es decir, en una misma capa toda la información se actualiza al mismo tiempo. • Dinámica asíncrona, cuando no siguen un cierto reloj común, sino que cada neurona actualiza su estado sin atender a cuándo lo hacen las demás. Con esta dinámica es con la que funcionan los sistemas neuronales biológicos. • Dinámica no determinista (estocástica), cuando se fuerza a que la salida de una neurona tenga carácter probabilístico. Atendiendo a los modos de recuerdo y aprendizaje, existen dos modos de trabajo en las redes neuronales: aprendizaje o entrenamiento y recuerdo o ejecución. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 34 El aprendizaje consiste en ajustar los grados de libertad que tiene la red neuronal, a partir de un proceso de estimulación por el entorno que rodea la red. En la mayoría de las ocasiones consiste en ajustar los valores de los pesos sinápticos, que a priori comienzan el entrenamiento con valores nulos o arbitrarios. Existen 2 niveles de aprendizaje: • El de modelado de la sinapsis, que consiste en modificar los pesos sinápticos siguiendo una cierta regla de aprendizaje, construida a partir de la optimización de una función de error (que mide la eficacia actual de la red). Este proceso normalmente es iterativo. • El de creación o destrucción de neuronas, en el cual se modifica la propia arquitectura de la red. Por otra parte, existen 4 tipos de aprendizaje: • Supervisado, se define una función E[W], que es función de los pesos sinápticos, y que representa el error esperado en la red. Se pretende estimar una función multivariable (desconocida en principio), que representará el funcionamiento de la red neuronal, a partir de valores x e y (entradas y salidas) tomados aleatoriamente, por medio de minimización iterativa de E[W]. Es decir, se presentan a la red un conjunto de entradas con sus respuestas esperadas u objetivos, y se ajustan los pesos hasta que las salidas tiendan a ser las deseadas. • No supervisado o auto-organizado, donde se introducen un conjunto de valores x de entrada, sin adjuntar la respuesta que se espera. Mediante una función de probabilidad p(x), que describe la distribución de patrones que capta de los datos de partida, se pueden reconocer características comunes en el conjunto de entradas, y extraer rasgos o agrupar patrones según su similitud. • Híbrido, es una mezcla de los dos anteriores. En unas capas se aplica el aprendizaje supervisado y en otras el auto-organizado. • Aprendizaje reforzado, está a medio camino entre el supervisado y el autoorganizado, pero no es exactamente ninguno de ellos. En este caso, se introducen valores de entrada pero no los valores de salida esperados. Sin embargo, sí que se define, al igual que en los modelos supervisados, una función error que indica de manera global el funcionamiento de la red. 2.2.4. Métodos de cálculo de la importancia relativa de las variables consideradas en los modelos de redes neuronales artificiales Las ANN no se basan en una ecuación predefinida o formula, sino en su capacidad para capturar la información inherente en los datos durante el proceso de entrenamiento. Su arquitectura contiene unos parámetros que son capaces de proporcionar, una vez que la red ha sido entrenada correctamente, respuestas correctas a los nuevos casos que se le presentan. En estos parámetros reside su conocimiento (Palmer y Montaño, 2002a). Esta ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 35 forma singular de aprendizaje permite capturar las relaciones altamente no lineales (Watts y Worner, 2008) y complejas (Mohammadipour y Alavi, 2009) existentes entre las variables predictoras, pero dificulta que sea fácil extraer una explicación explícita sobre la relación que existe entre las variables explicatorias (de entrada) y las dependientes (de salida). Sin embargo, las técnicas estadísticas clásicas sí que permiten conseguir este objetivo (Azadeh et al., 2011). Es por ello que las ANN se incluyen en el grupo de técnicas de minería de datos denominadas “cajas negras” (Cortez y Embrechts, 2013) ya que, para un fenómeno dado (variable de salida) teóricamente es muy difícil conocer la importancia relativa de cada variable predictora (variable de entrada). Debido a este problema, en la literatura científica han proliferado en las dos últimas décadas diversos métodos para determinar la importancia relativa de cada variable predictora en los modelos de ANN. Sung (1998) aplicó tres métodos: análisis de sensibilidad (Zurada et al., 1994; Engelbrecht et al., 1995), curvas difusas (Lin y Cunningham, 1995) y cambio del error cuadrático medio (MSE) (He et al., 1997) a una base de datos relacionada con la ingeniería del petróleo y comparó los resultados obtenidos, concluyendo que el método de las curvas difusas se comportaba mejor que los otros dos. Olden y Jackson (2002) describieron varios métodos que habían sido desarrollados por otros autores: el método del diagrama de interpretación neuronal (Özesmi y Özesmi, 1999), el algoritmo de Garson (Garson, 1991; Goh, 1995) y un método de análisis de sensibilidad (Lek et al, 1995; 1996a, 1996b), y propusieron uno nuevo, denominado “randomization approach”. Tras aplicar estos métodos a una base de datos de ecología, demostraron que los resultados diferían en función del método aplicado. Palmer y Montaño (2002b) también pusieron de manifiesto los problemas de aplicabilidad y de inestabilidad de resultados que presentaban tanto los métodos de cálculo basados en los valores de los pesos sinápticos como aquéllos basados en análisis de sensibilidad. Argumentaron que los primeros no eran efectivos (Garson, 1991; Rzempoluk, 1998; Hunter et al., 2000) y que los segundos presentaban algunos problemas en función de la naturaleza cualitativa o cuantitativa de las variables. Así, desarrollaron una nueva metodología de cálculo de la importancia relativa de las variables dependientes en modelos de ANN, denominada Análisis de Sensibilidad Numérico (NSA) (Palmer y Montaño, 2003), que determina la relación entre cada variable de entrada de la ANN y de salida, mediante el concepto de “pendiente”, sin tener en cuenta la naturaleza cuantitativa o cualitativa de las variables. Gevrey et al. (2003) analizaron y compararon los resultados obtenidos tras aplicar a una base de datos de ecología siete métodos ya existentes: derivadas parciales (Dimopoulos et al., 1995), método de Garson (Garson, 1991; Goh, 1995), método Perturb (Yao et al., 1998; Scardy y Harding, 1999), método Profile (Lek et al. 1995; 1996a; 1996b), y “stepwise” con algunas de sus variantes (Sung, 1998). El estudio concluyó que el método de derivadas parciales aportaba resultados más coherentes, mientras que el método “stepwise” clásico presentaba peor comportamiento. Olden et al. (2004) continuaron el trabajo de Gevrey et al. (2003) y aplicaron los mismos siete métodos más uno nuevo denominado Connection Weights (Olden y Jackson, 2002) a una base de datos simulada. En este caso, el nuevo método Connection Weights proporcionó los mejores resultados. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 42 2.2.6. Ventajas y desventajas de las redes neuronales artificiales Tras la revisión literaria realizada sobre las ANN en los apartados anteriores, pueden señalarse las principales ventajas que presenta el uso de esta técnica: • Las ANN no necesitan establecer un modelo o formulación previa (Palmer y Montaño, 2002a), sino que capturan la información inherente en los datos suministrados durante el proceso de entrenamiento y van ajustando los parámetros que la definen hasta que finaliza el entrenamiento. Esta forma singular de aprendizaje, permite captar relaciones intrínsecas altamente no lineales entre las variables de estudio (Watts y Worner, 2008) y complejas (Mohammadipour y Alavi, 2009). • Los modelos de ANN entrenados presentan una elevada capacidad predictiva, en la inmensa mayoría de las ocasiones superior a los modelos lineales, debido a que han demostrado ser muy buenos aproximadores de funciones complejas (Hastie et al., 2001), y algunas de las tipologías de ANN son aproximadores universales de funciones (Funahashi 1989; Hornik et al., 1989). • Su elevada capacidad asociativa la convierte en una técnica robusta cuando trabaja con casos de entrenamiento en los que faltan datos o en los que la información es imprecisa (Bejou et al., 1996) y presenta ruido (Kasabov, 1996). • Las relaciones de colinealidad entre las variables predictoras consideras en el estudio no afectan al comportamiento ni a la exactitud de las ANN, siendo ésta una de las mayores desventajas de las técnicas estadísticas convencionales (Bejou et al., 1996). Sin embargo, esta técnica también presenta algunas desventajas, citadas a continuación: • La capacidad explicatoria de los modelos de ANN es muy baja (Azadeh et al., 2011), esto es, es muy difícil conocer la influencia que cada una de las variables tiene en el modelo, y por tanto, su importancia relativa. Es por ello que en la literatura científica esta las ANN se incluyen dentro del grupo de técnicas denominadas “cajas negras” (Cortez y Embrechts, 2013). • No existe consenso sobre cuál de los métodos de cálculo de importancia relativa de las variables es más adecuado y proporciona mejores resultados, ya que cuando se aplican varios métodos a una arquitectura de ANN óptima ó sub-óptima entrenada, el ranking de importancia de las variables obtenido difiere de un método a otro, indicando la inestabilidad que presentan estos métodos (de Oña y Garrido, 2014). • Es muy difícil seleccionar la ANN óptima debido a varios factores como la aleatoriedad de los valores iniciales de los pesos sinápticos, la existencia de múltiples arquitecturas posibles y algoritmos de aprendizaje que convergen hacia mínimos locales en una superficie de error compleja (Cao y Qiao, 2008). ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 43 • Lentitud en el proceso de entrenamiento (Martín del Brío y Sanz, 2006; Hagan et al., 1996). • Es necesario realizar un pretratamiento de los datos, puesto que haciendo coincidir el rango de valores de las variables predictoras con el de las funciones de activación, se acelera la convergencia en la fase de entrenamiento (Martín del Brío y Sanz, 2006). 2.3. Consideraciones finales De la revisión realizada sobre el campo de estudio de la calidad del servicio en el transporte público y sus metodologías de análisis y sobre la técnica de las Redes Neuronales Artificiales, se pueden establecer las siguientes consideraciones: • El concepto de calidad del servicio en el transporte público es complejo. Las características que mejor lo definen son su intangibilidad, heterogeneidad e inseparabilidad. La calidad del servicio está sujeta a una gran subjetividad, debido a que está relacionada con la percepción y las expectativas de los usuarios de un determinado modo de transporte, y a una gran heterogeneidad en cuanto a las características socioeconómicas y de población de esos usuarios y a las particularidades de cada servicio. • Se ha producido un cambio de tendencia en cuanto a qué aspecto de la calidad del servicio en el transporte público prestar más atención, pasándose de una perspectiva centrada fundamentalmente en el análisis de las administraciones y gestores sobre la eficacia y rendimiento del servicio, a otra más reciente en la que la mayoría de los estudios analizan la perspectiva de calidad percibida por los usuarios del mismo. • El análisis de la calidad del servicio en el transporte público ha sido realizado desde dos puntos de vista principales: aquél que la caracteriza a través de un único índice global, que origina el conjunto de métodos denominados agregados, y el que lo hace analizando los diversos atributos que lo definen, que da lugar a los métodos denominados desagregados. Ambas tipologías de métodos aportan información valiosa sobre la calidad del servicio, ya que los modelos agregados son muy útiles para realizar un seguimiento temporal sobre las variaciones en la valoración de la calidad del servicio, mientras que los desagregados permiten obtener un conocimiento más profundo sobre los atributos que más influyen en la calidad del servicio percibida por el usuario. • Existen varias interpretaciones en cuanto a las relaciones entre el concepto de calidad del servicio en el transporte público y los conceptos de percepción y expectativas de los usuarios, de modo que hay autores que consideran que ambos influyen en la calidad del servicio, mientras otros creen que solamente uno de estos conceptos la afecta. De ahí que los modelos agregados y desagregados mencionados en el punto anterior se desglosen a su vez en varios, que consideran en sus formulaciones unas u otras interpretaciones. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 44 • La herramienta de uso más extendido para obtener información sobre aspectos de la calidad del servicio relacionados tanto con su valoración global como con la valoración asignada a cada uno de los atributos que la definen son las encuestas. Existen multitud de criterios para realizarlas y para que los usuarios encuestados evalúen la calidad global y sus atributos, utilizando diversos valores incluidos en un cierto rango o intervalo o mediante respuestas lingüísticas. A pesar de la diversidad de elementos que pueden analizarse a través de las encuestas, parece que hay cierto consenso en que es necesario incluir en los cuestionarios no sólo aspectos que son comunes en las encuestas de satisfacción de un servicio de transporte público, sino que deben tenerse en cuenta otros particulares de dicho servicio, que consideren aspectos socioeconómicos, de población o especiales de él. • Es frecuente utilizar técnicas estadísticas para seleccionar las variables y la información más relevante recopilada en las encuestas, además de otras como análisis cluster o lógica difusa, así como el criterio de los expertos en la materia o el aplicado en estudios similares. • Las técnicas estadísticas (p.e., análisis factorial, métodos de correlación bivariante, modelos de regresión y modelos de ecuaciones estructurales) han sido aplicadas extensamente en numerosos estudios de calidad del servicio en el transporte público, pero las limitaciones propias de cada una de ellas, que no ha hecho posible llegar a un consenso global sobre qué método es más adecuado para el estudio de la calidad del servicio en el transporte público, está llevando a la búsqueda de otros métodos que solventen al menos parte de éstas. • Recientemente, se ha aplicado una técnica no paramétrica de minería de datos al análisis de la calidad del servicio en el transporte público, los árboles de decisión, que salva algunas de las limitaciones presentes en los métodos anteriores hasta la fecha, pero que sin embargo, presenta otras como problemas de estabilidad en los resultados y exactitud. • Las Redes Neuronales Artificiales son una técnica matemática novedosa y no paramétrica que se basa en la simulación del funcionamiento biológico del cerebro humano. Ha sido aplicada en numerosos campos de investigación muy diferentes como la sanidad, la economía, el tráfico, la agricultura, etc., y en todos ellos ha proporcionado buenos resultados de exactitud, debido fundamentalmente a su gran capacidad de tratamiento de información inexacta, imprecisa y subjetiva, y de captar relaciones altamente no lineales inherentes en las variables de estudio. • Hasta el momento, se han empleado Redes Neuronales Artificiales en el estudio de la calidad del servicio en otros campos diferentes al del transporte público, habiéndose obtenido en estos estudios muy buenos resultados. Sin embargo, no se tiene constancia de la aplicación de esta técnica al análisis de la calidad del servicio en el transporte público por autobús. • Los expertos en esta técnica coinciden en apuntar que su principal debilidad reside en su incapacidad para conocer explícitamente el grado de importancia de cada variable independiente respecto a la/las variables dependientes consideradas en el estudio, por lo que se incluye dentro de las técnicas denominadas “cajas negras”. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 45 Esta limitación, ha impedido su uso en diversos estudios en los que resulta muy importante conocer la importancia que un determinado atributo tiene en un resultado en concreto, sobre todo en ámbitos relacionados con la sanidad, la economía o la geotecnia. Es por ello que en las dos últimas décadas han proliferado numerosos métodos matemáticos con el objetivo de mejorar esta capacidad explicativa, pero no ha sido posible encontrar ninguno que pueda considerarse como el que presenta mejor comportamiento; de hecho, uno de los problemas achacados a estos métodos es la inestabilidad de sus resultados, es decir, cuando son aplicados a distintos modelos de Redes Neuronales Artificiales, los resultados de importancia relativa de cada variable independiente respecto a la/las variables dependientes difiere mucho en cada caso, siendo por tanto necesaria la opinión de un experto que evalúe la bondad de estos valores de importancia. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 46 CAPÍTULO 3. OBJETIVOS ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 47 CAPÍTULO 3. OBJETIVOS Esta tesis doctoral aplica Redes Neuronales Artificiales al campo de la calidad del servicio en el transporte público, dado que esta técnica ha demostrado ser eficiente para tratar problemas complejos en numerosos ámbitos de estudio. Estudios previos han utilizado técnicas estadísticas, y árboles de decisión para analizar la calidad del servicio en el transporte público. Sin embargo, la aplicación de Redes Neuronales Artificiales en este campo es nueva y proporciona una visión diferente que salva algunos de los inconvenientes que presentan las técnicas estadísticas y los árboles de decisión. 3.1. Objetivo general El principal objetivo de esta tesis doctoral es validar la técnica de redes neuronales artificiales en el estudio de la calidad del servicio en el transporte público. Conocer los atributos que son más valorados por los usuarios de un modo de transporte público es una necesidad fundamental de las administraciones y empresas encargadas de operar estos servicios, ya que es la herramienta que les permite mejorar las condiciones y expectativas de los usuarios, pudiendo captar así más viajeros y haciendo del transporte público un modo competitivo con el vehículo privado. 3.2. Objetivos específicos Para evaluar la calidad del servicio en el transporte público mediante la técnica de redes neuronales artificiales, en esta tesis doctoral se han definido varios objetivos específicos. • Determinar la importancia relativa de los atributos de calidad del servicio considerados en el estudio. • Comprobar la coherencia de los resultados con los obtenidos en otros estudios presentes en la literatura científica. • Desarrollar una nueva metodología para mitigar la inestabilidad inherente en las ANN al determinar la importancia relativa de las variables predictoras consideradas en el estudio. • Comprobar la robustez y estabilidad de esta nueva metodología. • Comparar la técnica de las redes neuronales artificiales con la técnica de los árboles de decisión, aplicadas ambas a la calidad del servicio en el transporte público por autobús. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 48 CAPÍTULO 4. CASO DE ESTUDIO ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 49 CAPÍTULO 4. CASO DE ESTUDIO Para estudiar un sistema de transporte es fundamental caracterizar tanto los aspectos relacionados con la prestación del servicio, esto es, líneas en funcionamiento, horarios, tiempos de recorrido y espera, etc., como aquéllos datos socieconómicos que definen el contexto en el que el servicio opera, así como el grado de cumplimiento de la expectativas que los usuarios esperan satisfacer, ya que la capacidad para captar viajeros va a depender enormemente del conocimiento que se tenga de estos factores. Por ello, las entidades encargadas de gestionar los servicios realizan encuestas a los usuarios. Este capítulo se desglosa en dos apartados. El apartado 4.1 realiza una descripción del sistema de transporte del que se han extraído los datos en los que se basa esta investigación, describiendo aspectos relacionados con el marco territorial, urbanístico y socioeconómico que justifican el modo en el que el sistema se ha ido desarrollando, y dando algunas pinceladas sobre la entidad encargada de su gestión, las líneas que operan el servicio y las características de funcionamiento del mismo. El apartado 4.2 se centra en la descripción del procedimiento seguido para la toma de datos que se recopilaron en una encuesta realizada por el organismo gestor de este sistema de transporte, y que han servido como base para el desarrollo de este trabajo, y de las características de la muestra encuestada. 4.1. Descripción del sistema de transporte en estudio 4.1.1. Marco territorial y urbanístico La ciudad de Granada se asienta en el contacto de Sierra Nevada con la Vega del Genil. Precisamente la relación de la ciudad con su vega y la forma de resolver ese contacto han centrado gran parte de la reflexión y el debate sobre el crecimiento de la ciudad en la sociedad y en la planificación urbanística y territorial desde los años 80 del siglo pasado. El Plan de Ordenación del Territorio de Granada se elaboró en 2000 y fue revisado en 2005, estableciendo para el Área Metropolitana sus límites actuales. La vega de Granada es un espacio protegido de excepcional valor que forma parte esencial del paisaje de la ciudad. La protección de este espacio es la justificación del trazado de la carretera de circunvalación, que se ciñe a la ciudad de forma espectacular conformando su borde este, un borde rotundo e impermeable entre la ciudad y su vega. Paradójicamente, mientras el crecimiento de Granada hacia la vega se impedía por la planificación urbanística de la ciudad, las protecciones ambientales y territoriales han tenido una eficacia escasa en los pequeños municipios de la vega en los que la población se ha multiplicado. La ciudad, de hecho, ha crecido en la vega, de forma extensiva y con estructuras urbanas primarias que generan desplazamientos atraídos por la ciudad central. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 50 Por tanto, el área metropolitana se caracteriza por la presencia de una ciudad, Granada, que actúa como centro neurálgico de un conjunto de 50 municipios circundantes (Figura 4), con fuertes relaciones de dependencia económica, laboral y social con la capital. Mientras la población de Granada está concentrada, la del área metropolitana ha continuado el proceso de dispersión poblacional iniciado en la década de los 80, disminuyendo el peso específico del volumen de población de Granada frente al conjunto que forma el resto de municipios del área. Figura 4. Localización del Área Metropolitana de Granada En total en el año 2006 se concentraba un total de 484.168 habitantes. En los 25 años anteriores al mencionado, ya se venía produciendo un proceso de expansión poblacional en los núcleos situados en la corona metropolitana, situados alrededor de la ciudad central. Año Granada (hab) Resto Área Granada (hab) Total Área Granada (hab) 1981 249.821 123.158 372.979 1991 257.580 152.065 409.645 2001 243.341 197.437 440.778 2006 237.929 246.239 484.168 Tabla 2. Evolución de la población en Granada capital y en su Área Metropolitana Estos datos corresponden al conjunto de los municipios que constituyen el Área de Granada, sin embargo existen otros núcleos que establecen también una relación directa con la ciudad central y que pueden considerarse integrados igualmente en la estructura funcional de la aglomeración urbana (Tabla 2). ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 51 El conjunto de todos estos municipios, los integrantes es el Área de Granada y los que justificarían su integración representan una población superior al medio millón de habitantes (536.898) en el año 2006 (Tabla 3). Área de Granada (2006): 484.168 Municipios externos (2006): 52.730 TOTAL (2006): 536.898 Municipio Población 2006 Agrón 283 Alhama de Granada 6.137 Beas de Granada 1.092 Calicasas 565 Chimeneas 1.456 Cogollos de la Vega 2.095 Colomera 1.570 Deifontes 2.478 Dúdar 292 Dúrcal 6.856 Escúzar 738 Güejar Sierra 2.915 Huétor de Santillán 1.784 Íllora 10.304 La Malahá 1.703 Nigüelas 1.149 Nívar 668 Padul 7.871 Quéntar 1.036 Ventas de Huelma 734 Villamena 1.004 TOTAL 52.730 Tabla 3. Población de los municipios integrantes del Área Metropolitana en el año 2006 La creciente demanda de movilidad del vehículo privado y los problemas de congestión de tráfico han motivado, en las administraciones involucradas, mejoras en la capacidad de la red viaria mediante la ejecución de nuevos tramos y acondicionamiento de otros ya existentes. Este tipo de actuaciones, planificadas y ejecutadas respondiendo a las necesidades del transporte privado no han hecho más que fortalecer y promocionar el uso del mismo, generando en el tiempo nuevas y acuciantes situaciones de congestión. Por ello, sólo el fortalecimiento y promoción de los modos de transporte colectivos, con eficiencias espaciales, energéticas y ambientales mucho más optimizadas que el vehículo privado, permitirá un trasvase modal en el sistema de transportes hacia los modos colectivos, una optimización del espacio limitado del viario y la emisión de contaminantes, por tanto, una mejora sustancial de la actual calidad de vida de los ciudadanos del Área. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 58 4.2. Datos La encuesta de la que provienen los datos utilizados en esta investigación fue realizada a usuarios del servicio de transporte público en autobús que opera en el área metropolitana de Granada (España). Este servicio consta de 13 compañías operadoras que conectan diferentes aglomeraciones urbanas del área metropolitana de Granada. El Consorcio de Transportes de Granada llevó a cabo entrevistas cara a cara en marzo de 2007, durante los cinco días de una semana, en las principales paradas de autobús, de modo que finalmente se recopilaron 858 encuestas. Posteriormente se han realizado encuestas anuales, pero el año 2007 fue el único en el que se preguntó a los usuarios tanto por aspectos relacionados con la importancia asignada a las variables que definen el servicio recibido como por la percepción de la calidad del mismo. Este es el motivo por el que se han seleccionado los datos de la encuesta de ese año en lugar de los procedentes de encuestas de años más recientes. El cuestionario se estructuró en dos secciones. El objetivo de la primera fue recopilar información relacionada con: información general del viaje (p.e., parada de autobús, línea, operador, origen, destino), características socioeconómicas de los pasajeros (p.e. sexo, edad, disponibilidad de vehículo privado) y hábitos de viaje (motivo del viaje, frecuencia, tipo de billete, modos complementarios usados por el usuario desde el origen hasta la parada de autobús y desde la parada de autobús hasta el lugar de destino). La mayoría de los entrevistados fueron mujeres (Tabla 6). Más de la mitad tenían edades comprendidas entre los 18 y los 30 años, y sólo un 9,5% eran mayores de 60 años. La mayoría de los encuestados (61,1%) disponía de vehículo privado para hacer el viaje. Un 29,4% viajaba por motivos de trabajo y otro porcentaje similar por estudios, mientras que el resto de los encuestados lo hacía por otras razones, como visita al médico, compras, vacaciones, etc. La mayoría de ellos usaba el autobús con una frecuencia casi diaria, o con bastante frecuencia, mientras que sólo un 10% de la muestra encuestada lo usaba de forma esporádica. El modo de transporte complementario al autobús y que completaba sus trayectos era a pie. También indicaron otros modos que completaran el trayecto como el coche, el autobús urbano, la motocicleta, etc., pero su porcentaje de uso era mucho menor. En cuanto a la tipología de billete usado, el abono de transporte y el billete simple eran los más usados, representando entre ambos un porcentaje superior al 80%. La segunda sección de la encuesta estaba más orientada a captar las opiniones de los usuarios sobre el servicio prestado, es decir, a obtener información sobre la percepción de calidad del servicio prestado. Para ello, entre otras variables, se definieron 12 atributos de calidad del servicio que lo caracterizaban, y una variable de valoración global del servicio. Cada atributo podía ser valorado por el usuario en una escala de valores del 0 al 10. Los atributos utilizados para caracterizar la calidad del servicio fueron: información, puntualidad, seguridad a bordo, amabilidad del conductor, limpieza del interior del autobús, espacio en el autobús, temperatura en el autobús, accesibilidad a/desde el autobús, tarifa, velocidad, frecuencia del servicio y proximidad a/desde el origen/destino. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 59 VARIABLE DISTRIBUCIÓN DE RESPUESTAS Sexo Hombre (33,0%), Mujer (67,0%) Edad 18-30 (56,5%), 31-60 (34,1%); >60 años (9,5%) Disponibilidad de vehículo privado Sí (38,9%), No (61,1%) Motivo del viaje Trabajo (29,4%), Estudios (22,9%), Médico (14,2%), Compras (4,4%), Actividades personales (18,7%), Vacaciones (0,2%), Ocio (8,6%), Otros (1,5%) Frecuencia Casi diaria (67,9%), Frecuentemente (20,6%), Ocasionalmente (9,0%), Esporádicamente (2,5%) Modos de transporte complementarios desde el origen hasta la parada de autobús A pie (77,6%), Coche (1,9%), Autobús urbano (16,9%), Motocicleta (0,5%), Otros (3,1%) Modos de transporte complementarios desde la parada de autobús hasta el destino A pie (94,5%), Coche (2,1%), Autobús urbano (2,3%), Motocicleta (0,2%), Otros (0,9%) Tipo de billete Abono de transporte (49,6%), Billete sencillo (41,2%), tarjeta de la cercera edad (4,8%), Otros (4,4%) Tabla 6. Características de la muestra encuestada La Tabla 7 muestra los ratios de importancia media calculados a partir de los datos obtenidos. En esta tabla se reflejan las dos perspectivas de la encuesta: por una parte, el ratio de importancia media refleja cómo de importantes consideran los usuarios cada uno de los atributos o variables definidos, mientras que por otra, mediante el ratio de percepción media se obtiene un valor de la calidad que ese atributo o variable ofrece según el punto de vista del usuario. Puede observarse que hay una variación muy pequeña en cuanto a los ratios de importancia asignados por los pasajeros en la encuesta, lo que implica que todos los atributos son considerados como importantes. El valor medio de importancia está comprendido en el rango de valores de 8,5 a 9,5. Por lo tanto, la importancia es uniforme y prácticamente igual en todos los atributos, y ésta es una de las principales limitaciones que se plantean cuando se estudia la importancia de las variables de calidad del servicio basadas en la opinión de los pasajeros (Weinstein, 2000; de Oña et al., 2012). Por el contrario, los ratios de percepción media muestran mayores diferencias entre atributos. En todos los casos se los valores son inferiores a los obtenidos en el cálculo de ratios de importancia media, concentrándose en valores comprendidos entre 6 y 8. Estos valores pueden considerarse bastante buenos porque todos los atributos son percibidos con al menos una calidad adecuada (>6), y algunos de ellos con una calidad bastante buena (>7). Los atributos que recibieron mejor valoración fueron Amabilidad del conductor, Seguridad a Bordo y Temperatura en el autobús, y el peor valorado fue la Tarifa. En general, los usuarios mostraron estar bastante satisfechos con el servicio, puesto que la evaluación de la valoración global media fue de 7,10. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 60 ATRIBUTO RATIO DE IMPORTANCIA MEDIA RATIO DE PERCEPCIÓN MEDIA (INF) Información 8,62 6,86 (PUN) Puntualidad 9,14 7,41 (SEG) Seguridad a bordo 8,98 7,73 (TRA) Amabilidad del conductor 8,77 7,96 (LIM) Limpieza del interior del autobús 8,86 7,46 (ESP) Espacio en el autobús 8,66 7,21 (TEM) Temperatura en el autobús 8,72 7,43 (ACC) Accesibilidad a/desde el autobús 8,91 6,90 (PRE) Tarifa 8,77 6,44 (VEL) Velocidad 8,73 7,30 (FRE) Frecuencia 9,05 6,99 (PRO) Proximidad desde/a origen/destino 8,71 7,43 (SQ) Calidad global del servicio 7,10 Tabla 7. Ratios de importancia y de percepción media de los atributos de calidad del servicio En el Apéndice 1 se incluye el formulario de encuesta elaborado para los trabajos de toma de datos. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 61 CAPÍTULO 5. MATERIALES Y MÉTODOS ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 62 CAPÍTULO 5. MATERIALES Y MÉTODOS En este capítulo se exponen las principales técnicas, métodos y herramientas de cálculo aplicados para conseguir los objetivos descritos en el capítulo 3 (sección 5.1), así como la metodología desarrollada en este estudio (5.2). 5.1. Métodos En este apartado se describe la técnica de redes neuronales artificiales (ANN), que ha sido aplicada en esta investigación a la calidad del servicio en el transporte público (apartado 5.1.1), indicándose en él la división y tratamiento que se le da a los datos (5.1.1.1), los criterios utilizados para la parada de la fase de entrenamiento (5.1.1.2) y el método utilizado para medir la bondad o rendimiento de cada ANN entrenada (5.1.1.3). El apartado 5.1.2 describe los cuatro métodos que se han utilizado en esta investigación para calcular la importancia relativa de las variables que definen los atributos de calidad del servicio. También se ha descrito la técnica de los árboles de decisión (5.1.3), ya que ésta ha sido aplicada en la segunda fase de la investigación, descrita en el apartado 5.2. 5.1.1. El Perceptrón Multicapa (MLP) En este estudio se ha utilizado la tipología de ANN denominada Perceptrón Multicapa MLP (Multilayer Perceptron) por dos motivos fundamentales: en primer lugar, diversos grupos de investigación (Funahashi 1989; Hornik et al., 1989) demostraron matemáticamente por separado que una ANN tipo MLP con una capa oculta es un aproximador universal de funciones, y en segundo lugar, porque ha sido usada aproximadamente en el 70% de los estudios realizados aplicando ANN, en numerosos y diversos campos de investigación, habiéndose obtenido buenos resultados. El MLP es una tipología de ANN cuya arquitectura tiene una o varias capas ocultas (Figura 8) interconectadas entre sí por medio de pesos sinápticos, a través de los que fluye la información. Su arquitectura genérica puede grafiarse según el siguiente esquema: ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 63 Fuente: Martín del Brío y Sanz, 2006 Figura 8. Arquitectura de una red neuronal artificial tipo MLP Siendo x i las entradas a la red, y j las salidas de la capa oculta y z k las salidas de la capa de salida. w ij son los pesos sinápticos que conectan la capa de entrada con la capa oculta, y w jk los pesos sinápticos que conectan la capa oculta con la capa de salida. El valor objetivo o salida que se desea obtener tras introducir cada patrón es denominada t. El parámetro θ j es el bias de la capa oculta, y θ k el bias de la capa de salida. La función f representa a las funciones de transferencia de la capa oculta y de la capa de salida, de tipo sigmoideo, cuya función es transformar los valores de llegada de la capa de entrada y de la capa oculta en el intervalo [0,1], según la siguiente formulación: f(x)=    (13) La regla de aprendizaje por excelencia del MLP es el algoritmo back-propagation (BP), primero introducida por Werbos (1974) y posteriormente desarrollado por Rumelhart y McClelland (1986a; 1986b). Es la regla de aprendizaje más popular (Azadeh et al., 2011), y además es la más utilizada y de uso más extendido en numerosas investigaciones previas (Gedeon, 1995). La regla de aprendizaje BP se basa en la existencia de una función error E(w) representada mediante una superficie de crestas y valles, dependiente de los pesos sinápticos w ij y w jk , que proporciona un valor del error actual de la red, como diferencia entre los valores obtenidos por la red en esa iteración y los valores objetivo o esperados. De forma iterativa, la función de error desciende a lo largo de la línea de máxima pendiente de esta superficie de error (Figura 9), modificando el valor de sus pesos sinápticos hasta que alcanza un mínimo, que puede ser local o global. La configuración de pesos finalmente adoptada es aquélla que se corresponde con el mínimo alcanzado en la superficie de error. Así, en cada iteración: ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 64 W(t+1) = W(t) – α·∆E(W) (14) Fuente: Martín del Brío y Sanz, 2006 Figura 9. Algoritmo de aprendizaje de descenso por gradiente Se denomina back-propagation porque funciona calculando los errores hacia atrás, de manera que en primer lugar se calcula el valor de la denominada señal de error, que es una medida del error proporcional al error de salida actual de la red, con el que se calcula la actualización de los pesos de w jk . Seguidamente, se propagan hacia atrás los errores calculados en la capa de salida a través de las sinapsis, proporcionando las señales de error correspondientes a las sinapsis de la capa oculta; por último con éstas se calcula la actualización de los pesos sinápticos w ij . Uno de los inconvenientes achacado al MLP con aprendizaje tipo BP es la lentitud del algoritmo en la convergencia hacia un mínimo en la superficie de error (Martín del Brío y Sanz, 2006). Esto es debido a que la curvatura de la superficie de error varía mucho en algunas regiones del espacio, de modo que cuando se avanza en el algoritmo de aprendizaje modificando a un ritmo constante los pesos sinápticos en cada iteración, los valores de actualización de los pesos, y por tanto la trayectoria de descenso hacia un mínimo local, pueden verse ralentizados muchísimo en zonas casi planas en las que el gradiente es cercano a cero (Hagan et al., 1996). Así, es típico en el algoritmo de descenso por gradiente encontrar periodos prolongados de tiempo en los que la trayectoria hacia el mínimo local apenas avanza, mientras que cuando llega a una zona con un gradiente elevado, lo hace a buen ritmo. Existen dos modificaciones heurísticas del aprendizaje BP que aceleran notablemente el periodo de descenso hacia el mínimo local y la superficie de error: el método del momentum y el del ratio de aprendizaje. El parámetro momentum es un factor constante que multiplica los valores de los pesos sinápticos durante el entrenamiento, y que tiene la función de mitigar las oscilaciones seguidas por la trayectoria de descenso a lo largo de la superficie de error, mejorando la estabilidad del método BP y acelerando la convergencia hacia el mínimo local, ya que ayuda a mantener la trayectoria en una misma dirección. Esto lo consigue modificando el ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 65 ritmo de aprendizaje fijado en función del signo de las actualizaciones de los pesos. Por su parte, el parámetro ratio de aprendizaje es un factor de valor también constante que controla el tamaño del cambio de los pesos. De este modo, si los incrementos en un determinado peso tienen siempre el mismo signo (lo que indica que la trayectoria de descenso va avanzando rápido a lo largo de la superficie de error porque el gradiente es elevado), las actualizaciones en cada iteración serán mayores; sin embargo, si los incrementos en cierto peso oscilan (a veces son positivos y a veces negativos), el incremento efectivo o acumulado se reduce al cancelarse. De este modo, en zonas estrechas y profundas de la superficie de error con forma de valle angosto, los pesos correspondientes a las dimensiones estrechas sufren incrementos pequeños, mientras que los de las direcciones que descienden directamente al fondo se ven potenciados (Bishop, 1994). 5.1.1.1. Conjuntos de entrenamiento, validación y test Cuando se diseña una red neuronal tipo MLP, los datos de entrada suelen dividirse en tres grupos: aprendizaje, validación y test (Bishop, 1995; Haykin, 1999). Durante el aprendizaje los pesos de la red se modifican de forma iterativa con objeto de minimizar el error cometido entre la salida obtenida por la red y la salida deseada u objetivo. Para cada patrón que se presenta a la red, los pesos se van ajustando en función de la diferencia entre la salida obtenida y la esperada u objetivo. El problema que puede presentar este entrenamiento, sobre todo cuando el número de parámetros (pesos y bías) de la red es elevado, es que el modelo aprenda particularidades irrelevantes de los patrones de entrada que le son presentados, de modo que, si bien disminuye el error durante la fase de entrenamiento, posteriormente presenta errores de generalización importantes. Es decir, cuando a la red entrenada le son introducidos patrones nuevos diferentes a los que se le presentaron durante el entrenamiento, ésta tiende a cometer errores de clasificación o predicción importantes en las salidas que devuelve. A este efecto se le llama problema de sobreajuste. Para evitarlo, se utiliza el conjunto de validación, compuesto por un conjunto de datos diferente a los del entrenamiento, que controlan el proceso de aprendizaje. Con la introducción de este conjunto, durante el aprendizaje la red va modificando los pesos en función de los datos de entrenamiento, y de forma alternada se va obteniendo el error que comete la red ante los datos de validación. El error de entrenamiento y el error de validación van disminuyendo a medida que aumenta el número de iteraciones, hasta alcanzar un mínimo en la superficie del error, momento en el que se para el aprendizaje de la red (Figura 10). ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 66 Figura 10. Evolución de los errores de entrenamiento y validación durante el entrenamiento de un MLP Por último, para medir de forma completamente objetiva la eficacia de la ANN entrenada, no es objetivo basarse en el error cometido por la red que ha sido calculado con los datos de validación, ya que estos datos han participado en la fase de entrenamiento. Se debe contar con un tercer grupo de test, que proporcionará una estimación del error de generalización. 5.1.1.2. Criterios de parada Normalmente se establecen simultáneamente varios criterios de parada, de modo que la ANN da por finalizado su entrenamiento cuando alcanza el primero de ellos. Estos criterios son: • Nº de iteraciones o epochs. • Valores de error y porcentaje de acierto en los grupos de entrenamiento y validación. Si durante el entrenamiento el error o el porcentaje de acierto en los grupos de entrenamiento y validación alcanza los valores marcados, el entrenamiento se detiene; si no es así, continúa hasta que agota el número de iteraciones. 5.1.1.3. Medida del error de generalización El error de generalización, que define la exactitud que puede alcanzar la ANN entrenada, es decir, la capacidad de clasificar adecuadamente nuevos casos que se le presenten, se mide a través del Porcentaje de Error Medio Absoluto (MAPE) (Delen et al., 2006), por medio de la fórmula: MAPE =   ·∑abs(         )   (15) ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 67 Es decir, para un conjunto de datos T del grupo test, este índice mide la media del error, en valor absoluto, entre los valores obtenidos tras introducir en la red entrenada un caso i, y su valor esperado. El valor del MAPE siempre estará comprendido en el intervalo [0,1], y cuanto menor sea su valor, mejor será la capacidad de generalización de la red y, por tanto, su rendimiento. 5.1.2. La importancia relativa de las variables Los métodos seleccionados en este estudio para determinar la importancia relativa de las variables en un modelo de ANN, han sido propuestos y aplicados por numerosos autores en diversos campos de investigación (Olden y Jackson, 2002; Gevrey et al., 2003). Éstos han sido: método Perturb, Profile, Connection Weights (CW) y Derivadas Parciales (PaD). 5.1.2.1. Método Perturb Este método se basa en el principio de perturbar o introducir ruido a una de las entradas mientras que las restantes variables mantienen sus valores originales. Posteriormente, se compara el error cuadrático medio (MSE) entre las salidas obtenidas antes y después de la perturbación (Yao et al., 1998; Scardy y Harding, 1999). Un ruido δ es progresivamente aplicado a cada variable en cinco pasos: 10%, 20%, 30%, 40% y 50% de su valor original. Así, la variable x i cambia sus valores a x i = x i + δ. Cuanto mayor sea el error medido al introducir las perturbaciones, mayor será la importancia relativa de la variable en ese modelo de red. 5.1.2.2. Método Profile Este método analiza la evolución de cada variable de entrada a lo largo de un rango de valores, mientras las variables restantes se quedan bloqueadas en unos valores fijados (Lek et al., 1995; 1996a; 1996b). Cada variable predictora x i adopta 11 valores diferentes que son resultado de la división del rango comprendido entre sus valores máximo y mínimo en diez intervalos iguales. Seguidamente, todas las variables excepto una fijan inicialmente sus valores en su mínimo, y sucesivamente en su primer cuartil, mediana, tercer cuartil y valor máximo. En consecuencia, se obtienen 5 valores de la variable respuesta para cada uno de los 11 valores adoptados por x i , y se calcula la mediana de esos 5 valores. Finalmente, para cada variable se representa una curva con el perfil de variación. Cuanto mayor sea la variación relativa de los valores representados en el perfil para cada variable, mayor será la importancia relativa de esa variable en el modelo estudiado. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 74 5.2.2. Fase 2. Comparación entre ANN y DT En una segunda fase se compara la técnica de ANN aplicada en la fase 1 con los resultados obtenidos tras aplicar la técnica de los árboles de decisión (DT). Esto permite, no sólo observar diferencias en cuanto a exactitud de cada una de las técnicas, sino también analizar otros aspectos como fortalezas y debilidades de cada una de ellas, tiempo de cálculo requerido, complejidad computacional, estabilidad de resultados, etc. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 75 CAPÍTULO 6. RESULTADOS Y DISCUSIÓN ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 76 CAPÍTULO 6. RESULTADOS Y DISCUSIÓN En este capítulo se exponen los principales resultados obtenidos tras la aplicación de la técnica de ANN a la base de datos de calidad del servicio del transporte público de autobús descrita en el apartado 4.2. Se definen diferentes apartados, y en cada uno de ellos se pretende conseguir uno o varios objetivos específicos. El apartado 6.1 analiza la capacidad de predicción y la exactitud de los modelos de ANN entrenados, con objeto de conocer el grado de validez de esta técnica (medido a través de su error de generalización). El apartado 6.2 aborda el problema de la inestabilidad inherente en los modelos de cálculo de la importancia relativa de las variables predictoras, que se aplican a las ANN entrenadas, y expone los resultados extraídos tras aplicar la metodología propuesta en esta investigación, que pretende mitigar esta inestabilidad. El apartado 6.3 analiza, mediante técnicas estadísticas, los resultados obtenidos en el apartado anterior con objeto de determinar si existen grupos homogéneos de variables que presenten diferencias estadísticamente significativas, y la concordancia de estos resultados con los obtenidos en otros estudios previos en los que se han aplicado otras técnicas diferentes. El apartado 6.4 profundiza en la robustez de la metodología de cálculo de importancia relativa de las variables predictoras para los modelos de ANN desarrollado en el apartado 6.2. Finalmente, el apartado 6.5 compara la técnica de ANN con la de DT, siendo ambas técnicas de minería de datos. No sólo se comparan los resultados obtenidos tras aplicar ambas, sino también se analizan las fortalezas y debilidades que presentan cada una de ellas. 6.1. Capacidad de generalización de las ANN entrenadas Cada una de las N=30 arquitecturas de ANN fue entrenada independientemente un número M=50 veces, resultando un total de 1.500 ANN entrenadas. Su arquitectura queda reflejada en la Figura 12. Todas las variables predictoras presentaban unos valores de respuesta comprendidos en el intervalo [0,10]. Para hacer coincidir este intervalo de valores con el de las funciones de activación de tipo logarítmico sigmoideo, acelerando así la convergencia del entrenamiento (Masters, 1993; Delen et al., 2006), se consideraron directamente en un rango de valores comprendido en el intervalo [0,1]. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 77 Figura 12. Arquitecturas de ANNs Para medir su exactitud y capacidad de generalización, se calculó el valor del MAPE para cada una de ellas, obteniéndose el rango de valores para cada uno de los conjuntos que se recogen en la Tabla 8. Todas las ANN entrenadas han alcanzado una exactitud muy elevada, superior al 90% en todos los casos. Estos resultados concuerdan con los obtenidos por otros autores que han aplicado la técnica de las ANN para evaluar la contribución relativa de las variables que definen la calidad del servicio en otros campos no relacionados con el transporte, como el sector de la educación (Mahapatra y Khan, 2006), el sector servicios (Lin, 2007; Deng et al., 2008; Deng y Pei, 2009; Larasati et al., 2012), o el grado de satisfacción en el trabajo percibido por los empleados de varias compañías de refinería de gas (Azadeh et al., 2011). En todos estos estudios los modelos de ANN alcanzaron una exactitud muy elevada. Estos resultados, junto con el obtenido en esta investigación, refuerzan la idea defendida por Garver (2002) de que las ANN son una técnica adecuada para evaluar la importancia relativa de las variables que definen la satisfacción de los clientes en cualquier sector, incluido por tanto el del transporte. Además, la exactitud alcanzada por todas las ANN entrenadas en este estudio es significativamente superior a la obtenida del estudio elaborado por de Oña et al. (2012), en el que se utilizaron árboles de decisión para analizar la contribución relativa de los atributos de calidad del servicio en el ámbito del transporte público, que estuvo comprendida entre el 59,72% y el 62,16%. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 78 H Mínimo Media Desviación estándar Máximo 1 0,0400 0,0531 0,0082 0,0874 2 0,0401 0,0532 0,0090 0,0943 3 0,0438 0,0525 0,0045 0,0679 4 0,0372 0,0519 0,0067 0,0668 5 0,0424 0,0528 0,0062 0,0765 6 0,0325 0,0475 0,0064 0,0580 7 0,0417 0,0514 0,0052 0,0643 8 0,0437 0,0520 0,0044 0,0858 9 0,0436 0,0513 0,0036 0,0620 10 0,0368 0,0530 0,0074 0,0744 11 0,0399 0,0505 0,0051 0,0674 12 0,0384 0,0520 0,0086 0,0938 13 0,0396 0,0526 0,0106 0,0997 14 0,0427 0,0517 0,0043 0,0616 15 0,0354 0,0526 0,0065 0,0706 16 0,0365 0,0514 0,0087 0,0853 17 0,0379 0,0513 0,0056 0,0610 18 0,0416 0,0513 0,0070 0,0761 19 0,0406 0,0513 0,0046 0,0600 20 0,0419 0,0516 0,0049 0,0635 21 0,0395 0,0508 0,0056 0,0611 22 0,0346 0,0524 0,0078 0,0863 23 0,0424 0,0518 0,0700 0,0742 24 0,0393 0,0497 0,0047 0,0591 25 0,0385 0,0508 0,0067 0,0715 26 0,0405 0,0524 0,0063 0,0708 27 0,0417 0,0520 0,0078 0,0923 28 0,0375 0,0507 0,0056 0,0633 29 0,0427 0,0534 0,0075 0,0789 30 0,0413 0,0517 0,0091 0,0890 Tabla 8. Rango de valores de MAPE para los conjuntos de ANN entrenados Aunque no existen grandes diferencias de exactitud en las arquitecturas entrenadas, aquélla con H=6 neuronas en la capa oculta presenta menores valores mínimo y medio de MAPE (Tabla 8), así que fue la seleccionada para desarrollar las siguientes fases de esta investigación. 6.2. Importancia relativa de las variables Los valores de importancia relativa obtenidos por cada uno de los métodos fueron escalados en el rango [0,100]. Es decir, tras conocer el rango de valores de importancia relativa obtenido para todas las variables de un método, se le asignó un valor de 100 al mayor de ellos, mientras que la importancia relativa de las restantes variables fueron escaladas en función del rango de valores de dicho método. Esta transformación es necesaria para comparar y analizar adecuadamente los resultados entre métodos, ya que ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 79 el rango de valores de importancia relativa obtenido por cada método difiere de los demás incluso en varios órdenes de magnitud. Los diagramas de cajas representados en las Figuras 13 a 16 muestran las importancias relativas de las 12 variables independientes obtenidas tras aplicar cada uno de los cuatro métodos seleccionados para este estudio (Perturb, Profile, CW y PaD) a cada una de las 50 ANN pertenecientes al conjunto con H=6 neuronas en su capa oculta. Las figuras muestran que el rango de valores de importancia relativa de cada variable predictora es muy amplio, no sólo tras aplicar diferentes métodos, sino al aplicar el mismo método a dos ANN distintas entrenadas partiendo de pesos iniciales aleatorios diferentes. Algunos autores (Zhou et al., 2002; Cao and Qiao, 2008) ya pusieron de manifiesto este problema, y sugirieron trabajar con conjuntos de ANN para mitigar los problemas de estabilidad derivados de los análisis de sensibilidad. Estas propuestas han reforzado la idea desarrollada en esta investigación de trabajar, no sólo con una única ANN, sino con un conjunto de ellas. Figura 13. Diagrama de cajas de importancia relativa de las variables predictoras según el método PERTURB Figura 14. Diagrama de cajas de importancia relativa de las variables predictoras según el método PROFILE ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 80 Figura 15. Diagrama de cajas de importancia relativa de las variables predictoras según el método CW Figura 16. Diagrama de cajas de importancia relativa de las variables predictoras según el método PaD Los métodos Profile y Perturb proporcionan rangos de valores de importancia relativa más restringidos para ciertas variables, como la FRECUENCIA, que siempre tiene una importancia relativa superior al 70% según el método Profile, y superior al 55% según el método Pertub; o la variable LIMPIEZA, cuya importancia relativa siempre está por debajo del 50% según el método Profile, y por debajo del 20% según el método Perturb. Los resultados de los otros dos métodos, especialmente del PaD, muestran que cualquier variable puede alcanzar cualquier valor de importancia relativa comprendido entre el 0%y el 100%. En cualquier caso, el ranking de importancia obtenido tras aplicar los cuatro métodos para todas las variables es demasiado impredecible, lo que supone una limitación muy importante para determinar de forma adecuada un valor de importancia relativa y un orden de magnitud del mismo. Sin embargo, si se calculan los valores medios de importancia relativa obtenidos para cada variable por cada uno de los métodos, los resultados obtenidos son mucho más homogéneos. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 81 En el método Profile, con los resultados de importancia relativa obtenidos en cada una de las N=50 ANN pertenecientes al conjunto con H=6 neuronas en la capa oculta, para cada una de las variables predictoras de la calidad del servicio, se generó un rango de 50 perfiles de variación en el intervalo [0,1] (Figura 18). Así, la importancia relativa de cada una de las variables viene determinada por la diferencia entre los valores máximo y mínimo (diferencia en el eje de ordenadas) de la línea que representa la media de valores del perfil de variación. La Figura 17 recoge los resultados obtenidos, que indican que la variable FRECUENCIA alcanza la importancia relativa más elevada (100,00%), seguida de la VELOCIDAD (77,72%), la INFORMACIÓN (64,15%) y la PROXIMIDAD (60,24%), por lo que estas variables tienen una importancia global en el modelo elevada. Un segundo nivel de importancia, considerado como medio-alto, puede ser asignado a las variables PUNTUALIDAD (54,45%), SEGURIDAD (53,28%) y TRATO (48,59%), seguido por un nivel de importancia media que contiene a las variables TEMPERATURA (38,44%), TARIFA (36,40%) y ESPACIO (27,22%). En el último escalón de importancia relativa quedarían las variables ACCESIBILIDAD (17,34%) y LIMPIEZA (3,36%). Tras aplicar el método Perturb, también se obtienen 50 perfiles de variación para cada variable, que representan la variación del error MSE, en función de cómo afecta el porcentaje de ruido o perturbación introducida a la capacidad de respuesta de la ANN. (Figura 19). De nuevo, la diferencia entre los valores máximo y mínimo de la línea que representa los valores medios de cada perfil, indica la importancia relativa de las variables, de modo que cuanto mayor sea esta diferencia, mayor será la importancia relativa de la variable. La Figura 20 muestra los resultados obtenidos tras aplicar este método. La FRECUENCIA (100,00%) es la variable globalmente más importante, seguida de la VELOCIDAD (63,60%). Las variables INFORMACIÓN (42,88%), PUNTUALIDAD (32,92%), SEGURIDAD (32,92%), TRATO (30,33%), PROXIMIDAD (23,28%) y TEMPERATURA (22,23%) se sitúan en un segundo nivel de importancia media. En las últimas posiciones del ranking de importancia quedan las variables PRECIO (17,90%), ESPACIO (14,51%), ACCESIBILIDAD (7,58%) y LIMPIEZA (7,12%). Figura 17. Importancia relativa de los atributos de calidad del servicio según el método PROFILE ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 82 Figura 18. Perfiles de variación de los atributos de calidad del servicio según el método PROFILE ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 83 Figura 19. Perfiles de variación del MSE de los atributos de calidad del servicio según el método PERTURB ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 90 con un mejor comportamiento global, pero si no existen diferencias importantes, esta metodología permitiría trabajar directamente con un conjunto de ANN cualquiera, considerando directamente un único grupo con H de neuronas en su capa oculta, sin necesidad de entrenar los grupos restantes, con lo que se agilizaría notablemente todo el procedimiento. Para comprobar si existe estabilidad y robustez en los resultados, se ha repetido el mismo procedimiento que se aplicó en la sección 6.2 al conjunto con H=6 neuronas en la capa oculta a todos los conjuntos H de ANN entrenados, con H є [1,30], aplicando cada uno de los cuatro métodos de importancia relativa (Perturb, Profile, CW y PaD) a cada conjunto. Las Tablas 11-14 representan la posición o ranking de importancia que ocupa cada atributo de calidad del servicio en función del conjunto H al que pertenece y del método de cálculo de importancia relativa aplicado. Como puede apreciarse, la FRECUENCIA ocupa la primera posición en el ranking de importancia para todos los conjuntos H de ANN y para los cuatro métodos, existiendo por tanto consenso total al considerarla como la variable más importante que define la valoración global de la calidad del servicio. La VELOCIDAD ocupa el segundo lugar en el ranking, existiendo consenso en los métodos Perturb, Profile y CW, y alguna disparidad en el método PaD, en el que para algunos conjuntos H esta variable ocupa la tercera posición. En el caso de la variable INFORMACIÓN, el método CW siempre considera que su posición en el ranking es la tercera, siendo ésta también la posición mayoritaria para el resto de métodos aplicados, aunque en ellos hay algunos conjuntos H en los que ocupa la cuarta posición. A continuación, se identifica un grupo de variables: SEGURIDAD, PROXIMIDAD, PUNTUALIDAD y TRATO, comprendidas entre las posiciones cuarta y séptima. En el caso de la variable SEGURIDAD, el método Perturb la sitúa mayoritariamente en el cuarto puesto, mientras que los métodos Perturb y CW la ubican en mayor número de conjuntos H en el quinto; el método PaD de nuevo presenta más discrepancias que los restantes, obteniéndose posiciones comprendidas entre el cuarto y el octavo puesto, según el subgrupo H considerado. La variable PROXIMIDAD queda enmarcada claramente en la cuarta posición según los métodos Profile y CW, mientras que el Perturb la ubica más en las posiciones quinta y sexta, y el PaD, con más diversidad de posiciones, la sitúa entre la tercera y la sexta. La PROXIMIDAD ocupa mayoritariamente la sexta posición, y el TRATO la séptima, especialmente según el método CW. En un tercer grupo del ránking quedarían las variables TEMPERATURA, que ocupa mayoritariamente el octavo puesto, con mayor diversidad de posiciones según los métodos Profile y PaD, y el ESPACIO y el PRECIO, que ocupan las posiciones novena ó décima, en los cuatro métodos, sin que los resultados permitan decantarse claramente por una u otra posición sea cual sea el método. La variable LIMPIEZA queda ubicada en la posición onceava por todos los métodos salvo por el Profile, que la coloca en la doceava, y la ACCESIBILIDAD ocupa la última posición del ranking según todos los métodos excepto el Profile, que la coloca en penúltima posición. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 91 H FRE VEL INF Prof ile Perturb CW PaD Profile Perturb CW PaD Profile Perturb CW PaD 1 1 1 1 1 2 2 2 2 3 3 3 3 2 1 1 1 1 2 2 2 2 3 3 3 3 3 1 1 1 1 2 2 2 3 3 3 3 2 4 1 1 1 1 2 2 2 2 3 3 3 3 5 1 1 1 1 2 2 2 2 3 3 3 3 6 1 1 1 1 2 2 2 2 3 3 3 3 7 1 1 1 1 2 2 2 2 3 3 3 3 8 1 1 1 1 2 2 2 3 3 3 3 2 9 1 1 1 1 2 2 2 2 3 3 3 3 10 1 1 1 1 2 2 2 2 3 3 3 3 11 1 1 1 1 2 2 2 2 3 3 3 3 12 1 1 1 1 2 2 2 3 3 3 3 2 13 1 1 1 1 2 2 2 2 3 3 3 3 14 1 1 1 1 2 2 2 3 3 3 3 2 15 1 1 1 1 2 2 2 2 3 3 3 4 16 1 1 1 1 2 2 2 2 3 3 3 4 17 1 1 1 1 2 2 2 2 3 3 3 3 18 1 1 1 1 2 2 2 2 3 3 3 3 19 1 1 1 1 2 2 2 2 3 3 3 3 20 1 1 1 1 2 2 2 2 4 3 3 3 21 1 1 1 1 2 2 2 2 5 4 3 3 22 1 1 1 1 2 2 2 2 3 3 3 3 23 1 1 1 1 2 2 2 2 3 3 3 3 24 1 1 1 1 2 2 2 2 3 3 3 3 25 1 1 1 1 2 2 2 2 3 3 3 3 26 1 1 1 1 2 2 2 2 3 3 3 3 27 1 1 1 1 2 2 2 3 3 3 3 2 28 1 1 1 1 2 2 2 2 3 3 3 3 29 1 1 1 1 2 2 2 2 3 3 3 3 30 1 1 1 1 2 2 2 3 3 3 3 2 Tabla 11. Ranking de importancia relativa de las variables FRECUENCIA, VELOCIDAD e INFORMACIÓN por métodos ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 92 H SEG PRO PUN Profile Perturb CW PaD Profile Perturb CW PaD Profile Perturb CW PaD 1 5 4 5 5 4 6 4 4 6 5 6 6 2 5 4 5 5 4 6 4 4 6 5 6 6 3 5 4 5 6 4 6 4 4 6 5 6 5 4 5 4 6 6 4 6 4 4 6 5 5 5 5 4 4 4 6 5 6 4 5 6 5 6 4 6 6 4 5 8 4 7 4 6 5 5 6 4 7 5 4 5 5 4 6 4 6 6 7 6 4 8 4 4 4 4 5 5 4 6 6 6 6 5 9 5 4 5 5 4 7 4 4 6 5 6 6 10 5 4 5 4 4 6 4 5 7 7 6 7 11 4 4 4 5 5 7 4 6 6 5 6 4 12 5 4 6 5 4 6 4 6 6 5 5 4 13 4 4 5 5 5 5 4 4 6 6 6 6 14 5 4 6 6 4 6 4 5 6 5 5 4 15 5 4 6 7 4 7 4 5 7 6 4 3 16 5 4 6 6 4 6 4 3 6 5 5 5 17 5 4 5 4 4 5 4 5 6 6 6 6 18 5 4 5 5 4 5 4 4 6 6 6 6 19 5 4 5 5 4 5 4 4 6 6 6 6 20 3 4 4 4 5 7 4 5 6 6 6 6 21 4 3 5 4 3 5 4 5 6 6 6 6 22 5 4 5 5 4 6 4 4 7 7 6 6 23 4 4 4 5 5 5 4 4 6 6 6 6 24 5 4 5 6 4 5 4 4 6 6 6 5 25 5 4 5 6 4 6 4 4 7 7 6 5 26 5 4 5 5 4 6 4 4 7 7 7 6 27 4 4 5 5 5 6 4 4 7 7 6 6 28 5 4 6 6 4 6 4 4 6 5 5 5 29 5 4 5 5 4 6 4 4 7 7 7 7 30 5 4 6 6 4 5 4 5 6 7 5 4 Tabla 12. Ranking de importancia relativa de las variables SEGURIDAD, PROXIMIDAD y PUNTUALIDAD por métodos ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 93 H TRA TEM ES P Profile Perturb CW PaD Profile Perturb CW PaD Profile Perturb CW PaD 1 7 7 7 7 10 8 10 10 8 9 8 8 2 7 7 7 7 10 9 10 9 8 8 8 8 3 7 7 7 8 8 8 8 7 9 9 9 10 4 7 7 7 7 9 9 9 8 8 8 8 10 5 7 7 7 7 10 10 10 11 8 8 8 8 6 7 6 7 5 8 8 9 7 10 10 8 11 7 7 5 7 7 10 10 10 8 8 8 8 9 8 7 7 7 8 10 8 10 7 9 9 9 9 9 7 6 7 7 10 9 10 8 8 8 8 10 10 6 5 7 6 9 8 10 8 8 9 8 9 11 7 6 7 7 8 9 8 8 10 10 10 10 12 7 7 7 7 8 8 8 11 10 10 9 8 13 7 7 7 7 9 8 10 10 10 9 8 8 14 7 7 7 7 8 8 9 8 10 9 8 9 15 6 5 7 6 8 8 8 8 10 10 9 10 16 7 7 7 7 8 9 9 11 9 8 8 8 17 7 7 7 9 10 9 10 10 8 8 8 7 18 7 7 7 7 8 8 9 9 10 10 10 10 19 7 7 7 7 8 8 9 9 9 9 8 8 20 7 5 7 7 8 8 8 8 9 9 10 11 21 7 7 7 7 8 8 8 10 9 9 9 8 22 6 5 7 8 9 9 10 11 10 10 9 10 23 7 7 7 7 8 8 8 8 10 10 10 10 24 7 7 7 7 8 8 8 8 9 9 9 11 25 6 5 7 7 9 10 8 8 8 8 10 9 26 6 5 6 7 8 8 9 10 9 10 8 8 27 6 5 7 7 8 8 8 9 9 9 9 8 28 7 7 7 7 8 8 9 9 10 10 10 10 29 6 5 6 6 9 8 8 8 10 9 10 9 30 7 6 7 7 8 8 8 9 10 9 10 10 Tabla 13. Ranking de importancia relativa de las variables TRATO, TEMPERATURA y ESPACIO por métodos ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 94 H PRE LIM ACC Profile Perturb CW PaD Profile Perturb CW PaD Profile Perturb CW PaD 1 9 10 9 9 11 11 11 11 12 12 12 12 2 9 10 9 10 12 11 11 11 11 12 12 12 3 10 10 10 11 12 11 11 12 11 12 12 9 4 10 10 10 9 12 11 11 11 11 12 12 12 5 9 9 9 10 12 11 11 9 11 12 12 12 6 9 9 10 9 12 12 11 10 11 11 12 12 7 9 9 9 10 12 11 11 11 11 12 12 12 8 8 10 8 10 12 11 11 11 11 12 12 12 9 9 10 9 9 12 11 11 11 11 12 12 12 10 10 10 9 10 12 11 11 11 11 12 12 12 11 9 8 9 9 12 12 11 11 11 11 12 12 12 9 9 10 9 12 12 11 10 11 11 12 12 13 8 10 9 9 12 11 11 11 11 12 12 12 14 9 10 10 11 12 11 11 10 11 12 12 12 15 9 9 10 12 12 11 11 9 11 12 12 11 16 10 10 10 9 12 11 11 10 11 12 12 12 17 9 10 9 8 12 11 11 12 11 12 12 11 18 9 9 8 8 12 11 11 11 11 12 12 12 19 10 10 10 10 12 11 11 11 11 12 12 12 20 10 10 9 10 12 11 11 9 11 12 12 12 21 10 10 10 9 12 11 11 11 11 12 12 12 22 8 8 8 7 12 11 11 9 11 12 12 12 23 9 9 9 9 12 11 11 11 11 12 12 12 24 10 10 10 9 12 11 11 10 11 12 12 12 25 10 9 9 10 12 11 11 12 11 12 12 11 26 10 9 10 9 12 11 11 11 11 12 12 12 27 10 10 10 11 12 11 11 10 11 12 12 12 28 9 9 8 8 12 11 11 11 11 12 12 12 29 8 10 9 10 12 11 11 11 11 12 12 12 30 9 10 9 8 12 11 11 11 11 12 12 12 Tabla 14. Ranking de importancia relativa de las variables PRECIO, LIMPIEZA y ACCESIBILIDAD por métodos Se han recogido en las Tablas 15 y 16 los resultados del porcentaje de importancia relativa y de desviación típica media obtenidos para cada variable en función del método aplicado para el conjunto total de ANN comprendidas en todos los subconjuntos H, con H є [1,30]. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 95 En el Apéndice 2 se han representado gráficamente (Figuras 24 a 47) los valores tanto de importancia como de desviación típica medios obtenidos para cada variable y en función de cada uno de los métodos (Perturb, Profile, CW y PaD) aplicados. ATRIBUTO PERTURB PROFILE CW PaD Max Min Max Min Max Min Max Min INF 55,46 37,57 75,16 60,47 73,71 59,01 77,60 58,15 PUN 32,92 20,52 55,69 44,56 56,28 45,05 68,35 42,08 SEG 45,53 31,13 67,79 49,75 64,38 45,48 60,84 41,04 TRA 34,05 17,00 51,35 37,15 47,81 36,33 60,67 35,84 LIM 15,68 3,42 11,59 1,35 27,39 16,22 45,64 19,51 ESP 18,22 9,23 35,55 25,68 36,45 26,28 44,95 25,65 TEM 25,41 8,22 46,41 24,44 44,49 23,41 52,65 25,63 ACC 10,30 2,37 19,55 8,76 22,98 11,93 46,25 13,56 PRE 17,90 7,84 36,40 24,26 35,50 24,55 45,43 26,37 VEL 73,81 50,32 84,98 70,02 84,44 69,13 88,47 58,53 FRE 100,00 100,00 100,00 100,00 100,00 100,00 100,00 100,00 PRO 30,02 21,25 67,75 56,10 65,13 53,66 66,73 48,91 Tabla 15. Porcentajes máximo y mínimo de importancia relativa de los atributos por métodos ATRIBUTO PERTURB PROFILE CW PaD Max Min Max Min Max Min Max Min INF 30,67 14,32 17,89 8,88 24,45 14,30 30,85 18,88 PUN 28,12 10,55 19,75 10,75 26,49 15,48 30,52 17,10 SEG 32,05 18,28 24,62 15,91 28,04 18,82 30,89 20,30 TRA 32,54 13,09 27,59 15,23 27,49 15,81 30,34 19,57 LIM 24,73 3,85 31,13 13,61 21,15 11,66 26,64 15,89 ESP 39,99 8,58 24,03 11,38 23,69 15,29 29,33 15,39 TEM 22,64 8,57 23,98 13,27 24,57 14,82 28,03 17,55 ACC 16,02 3,08 17,88 8,60 18,64 8,42 27,82 9,68 PRE 24,11 6,80 19,26 10,05 20,34 13,72 27,81 16,50 VEL 40,09 22,56 29,50 11,68 28,83 17,84 32,10 20,81 FRE 38,66 24,55 21,05 8,47 21,54 7,75 33,28 9,70 PRO 15,43 8,17 20,31 9,05 24,51 14,76 29,04 17,01 Tabla 16. Porcentajes máximo y mínimo de desviación típica de los valores de importancia relativa de los atributos por métodos La FRECUENCIA obtiene un 100,00% de importancia relativa independientemente del método de cálculo utilizado y del conjunto H considerado. En cuanto a la desviación típica, el método Perturb obtiene unos valores (en porcentaje) mayores que los demás métodos, estando su rango comprendido en el intervalo [24,55; 38,66]. Los métodos Profile y CW obtienen rangos de desviación típica más bajos, de [8,47; 21,05] y de [7,75; 21,54] respectivamente, mientras que los valores de desviación típica del método PaD oscilan en un rango de valores intermedio del [9,70; 33,28]. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 96 La segunda variable en el ranking de importancia relativa, la VELOCIDAD, tiene un rango de valores de importancia relativa comprendido en el intervalo [50,32; 88,47], aunque el método Perturb se diferencia de los tres métodos restantes en el hecho de que proporciona unos valores de importancia relativa más bajos ([50,32; 73,81]). Los métodos Profile y CW presentan unos valores de importancia relativa para esta variable muy similares, comprendidos en los intervalos [70,02; 84,98] y [69,13; 84,44], respectivamente; mientras que el método PaD proporciona valores intermedios del [58,53; 88,47] y en un rango más amplio que los demás métodos. En cuanto a la desviación típica respecto a la media, el método Perturb registra el rango de valores más elevado ([22,56; 40,09]), el método Profile el rango más bajo ([11,68; 29,50]), y los métodos CW y PaD valores intermedios entre los obtenidos por los otros dos métodos, de [17,84; 28,83] y [20,81; 32,10] respectivamente. En cuanto a la variable INFORMACIÓN, los métodos Profile, CW y PaD presentan porcentajes de importancia relativa muy similares, comprendidos en el rango [58,15; 77,60], mientras el método Perturb presenta unos valores de importancia relativa considerablemente más bajos ([37,57; 55,46]). Los valores de desviación típica más bajos son los que ofrecen los resultados del método Profile ([8,88; 17,89]), los más altos los que presenta el método PaD ([18,88; 30,85]), mientras que los métodos Perturb ([14,32; 30,67]) y CW ([14,30; 24,45]) presentan valores intermedios. El método que proporciona unos valores de importancia relativa mayores para la variable SEGURIDAD es el Profile ([49,75; 67,79]), seguido muy de cerca por los métodos CW ([45,48; 64,38]) y PaD ([41,04; 60,84)]. De nuevo, el método Perturb se diferencia de los anteriores y proporciona unos valores de importancia más bajos ([31,13; 45,53]). El rango de valores de importancia relativa que ofrece una desviación típica más baja es el obtenido tras aplicar el método Profile ([15,91; 24,62]), mientras los restantes métodos presentan unos rangos de desviaciones típicas muy parecidos, del [18,28; 32,05] para el método Perturb, del [18,82; 28,04] para el CW y del [20,30; 30,89] para el PaD. El mismo patrón en cuanto a asignación de importancia relativa se repite para la variable PROXIMIDAD, ya que el método Profile asigna unos valores ligeramente más elevados ([56,10; 67,75]) que los métodos CW ([53,66; 65,13]) y PaD ([48,91; 66,73]), aunque el rango de importancia extraído por estos tres métodos es notablemente superior al obtenido por el método Perturb ([21,25; 30,02]). Respecto a las otras variables analizadas, en este caso sí existe una jerarquía clara en cuanto al rango de desviación típica obtenido tras aplicar cada método. Así, el método PaD ofrece un espectro más elevado ([17,01; 27,04]), seguido del método CW ([14,76; 24,51]) y de los métodos Profile ([9,05; 20,31]) y Perturb ([8,17; 15,43]). Para la variable PUNTUALIDAD, los rangos asignados para la importancia relativa siguen el siguiente orden: [42,08; 68,35] para el PaD, [45,05; 56,28] para el CW, [44,56; 55,69] para el Profile y [20,52; 32,92] para el Perturb. En cuanto a la desviación típica, los rangos obtenidos son: [17,10; 30,52] para el PaD, [15,48; 26,49] para el CW; [10,55; 28,12] para el Perturb y [10,75; 19,75] para el Profile. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 97 Las variables TRATO, TEMPERATURA, ESPACIO y PRECIO presentan rangos de valores de importancia relativa muy parecidos entre sí, según los métodos PaD, CW y Perturb, y a su vez visiblemente superiores que los del método Perturb, mientras que los rangos de desviaciones típicas presentan diferencias más notables, siendo menor esta diferencia para la variable trato. Así, los rangos de importancia relativa por métodos para el TRATO son: [35,84; 60,67] para el PaD; [37,15; 51,35] para el Profile, [36,33; 47,81] para el CW y [17,00; 34,05] para el Perturb; para la TEMPERATURA: [25,63; 52,65] para el PaD; [46,41; 24,44] para el Profile; [44,49, 23,41] para el CW y [8,22; 25,41] para el Perturb; para el ESPACIO: [44,95; 25,65] para el PaD, [36,45; 26,28] para el CW; [25,68; 35,55] para el Profile y [9,23; 18,22] para el Perturb; para el PRECIO: [26,37; 45,43] para el PaD; [24,55; 35,50] para el CW; [24,26; 36,40] para el Profile y [7,84; 17,90] para el Perturb. Los rangos de desviación típica por métodos para el TRATO son: [19,57; 30,34] para el PaD; [15,81; 27,49] para el CW, [15,23; 27,59] para el Profile y [13,09; 32,54] para el Perturb; para la TEMPERATURA: [17,55; 28,03] para el PaD; [14,82; 24,57] para el CW; [13,27; 23,98] para el Profile y [8,57; 22,64] para el Perturb; para el ESPACIO: [8,58; 39,99] para el Perturb, [15,39; 29,33] para el PaD, [15,29, 23,69] y para el CW; [11,38; 24,03] para el Profile; para el PRECIO: [16,50; 27,81] para el PaD; [13,72; 20,34] para el CW; [10,05; 19,26] para el Profile y [6,80; 24,11] para el Perturb. En las dos últimas variables en el ranking de importancia relativa, LIMPIEZA y ACCESIBILIDAD, no se repite la pauta de que el método Perturb asigna un rango de valores de importancia relativa notablemente a los tres restantes, con los cuales se obtienen rangos bastante similares, sino que existe una diferenciación más clara. En el caso de la variable LIMPIEZA, estos rangos de valores aparecen ordenados por métodos, de mayor a menor, en el siguiente orden: [19,51; 45,64] para el PaD; [16,22; 27,39] para el CW; [3,42; 15,68] para el Perturb y [1,35; 11,59] para el Profile. El orden para las importancias relativas también aparece más diferenciado: [15,89; 26,64] para el PaD; [13,61; 31,13] para el Profile, [11,66; 21,15] para el CW y [3,85; 24,73] para el Perturb. Del mismo modo, si se ordenan los rangos de valores de la variable ACCESIBILIDAD siguiendo el mismo criterio, para la importancia relativa se obtiene: [13,56; 46,25] para el PaD; [11,93; 22,98] para el CW; [8,76; 19,55] para el Profile y [2,37; 10,30] para el Perturb. Para la desviación típica los rangos por métodos siguen la siguiente jerarquía: [9,68; 27,82] para el PaD; [8,42; 18,64] para el CW; [8,60; 17,88] para el Profile y [3,08; 16,02] para el Perturb. Tras analizar estos resultados, se puede afirmar que la elección en el número H de neuronas en la capa oculta no influye considerablemente en los resultados de importancia relativa obtenidos para cada variable, independientemente del método de cálculo de importancia relativa utilizado (Perturb, Profile, CW y PaD), con lo que es posible trabajar directamente con un único conjunto H de ANN concreto, sin necesidad de considerar un abanico de posibles grupos (H є [1,30]) para seleccionar el que presenta un mejor comportamiento global, ya que no se van a producir variaciones importantes en los resultados. De los cuatro métodos de cálculo de importancia relativa, los métodos Profile y CW son los más estables, puesto que proporcionan valores de porcentaje de importancia relativa más parecidos para cada una de las variables consideradas, independientemente ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 98 del conjunto H en el que han sido aplicados. El método que proporciona más disparidad en los resultados de importancia relativa, y por tanto es el menos estable, es el PaD. Por último, los resultados también ponen de manifiesto que el método Perturb proporciona unos valores de importancia relativa que son en general notablemente más bajos que los obtenidos por los tres métodos restantes para todas las variables, excepto para la FRECUENCIA, a la cual asigna una importancia relativa máxima, al igual que los restantes métodos, y para la variable LIMPIEZA, en el que asigna un porcentaje de importancia relativa muy similar al del método Profile. 6.5. Comparación entre las técnicas de ANN y DT aplicadas a la calidad del servicio Se ha desarrollado un modelo de DT, obteniéndose una varianza explicada del 49,7% de la varianza total, lo que indica que la exactitud del modelo es baja (de Oña et al., 2012). La Tabla 17 muestra el ranking de importancia de las variables según el ratio normalizado obtenido tras aplicar las pautas metodológicas expuestas en el apartado 4.1.3, así como el ratio de importancia medio para cada atributo. El modelo ha sido calibrado usando el software SPSS. ATRIBUTO RATIO NORMALIZADO RANKING INF 61,6 5 PUN 86,3 3 SEG 60,6 6 TRA 59,4 7 LIM 38,1 11 ESP 45,8 8 TEM 65,2 4 ACC 21,6 12 PRE 42,6 9 VEL 86,8 2 FRE 100 1 PRO 41,6 10 Tabla 17. Ratio de importancia relativa (%) y ranking de los atributos de calidad del servicio según la técnica DT Según este método, los factores clave que influyen en la satisfacción global del usuario son aquellos relacionados con la operación del servicio. Al igual que se hizo con los cuatro métodos de cálculo de importancia relativa de las ANN, la importancia relativa extraída del modelo de DT se ha normalizado asignando un valor del 100% al atributo con el mayor ratio de importancia relativa, para poder comparar estos resultados con los de la técnica de ANN. Así, la FRECUENCIA, VELOCIDAD y PUNTUALIDAD presentan valores de importancia normalizada por encima del 85%. La TEMPERATURA, INFORMACIÓN, SEGURIDAD y TRATO también son importantes, con ratios del orden del 60% (65,23%, ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 99 61,61%, 60,59% y 59,42%, respectivamente). El resto de variables tienen un impacto menor en la satisfacción, y están relacionados con el PRECIO, el confort (ESPACIO y LIMPIEZA) y la accesibilidad al servicio (ACCESIBILIDAD y PROXIMIDAD). De hecho, la ACCESIBILIDAD es la variable menos importante según este modelo de DT (21,59%). Esta investigación encuentra algunas diferencias de comportamientos entre ambas técnicas de minería de datos (ANN y DT) en cuanto a la exactitud de los modelos, del 95% de las ANN frente al 49,7% del modelo DT. Estos resultados son consistentes con los obtenidos por Xie et al. (2003) y Lee et al. (2010), que compararon el comportamiento de ambas técnicas en otros campos de investigación. La Tabla 18 muestra las principales ventajas y desventajas de ambos métodos. Como se ha mencionado anteriormente, y como era de esperar, ambas técnicas proporcionan resultados similares respecto a los factores clave que definen un servicio de transporte público por autobús eficiente. Estos factores son la FRECUENCIA y la VELOCIDAD de operación. Por tanto, ambas metodologías deberían considerarse válidas y útiles en los procesos de planificación y en las fases de operación y dirección de estos servicios. Otros estudios, en los que se han aplicado otras técnicas, también ponen de manifiesto la importancia de la FRECUENCIA del servicio (de Oña et al., 2012; Dell´Olio, 2010; 2011; Del Castillo and Benítez, 2013; Tyrinopoulos and Antoniou, 2008). Por otro lado, la ACCESIBILIDAD y la LIMPIEZA son las características que menos influyen en la valoración global de la calidad del servicio para ambas técnicas. Eboli y Mazzulla (2008) también identificaron la LIMPIEZA como la variable con menor influencia sobre los usuarios del transporte urbano de autobús en Cosenza (Italia). Las diferencias más notables entre las distintas técnicas empleadas aparecen en las variables con un nivel de importancia media. En este caso, el ranking de importancia oscila entre varias posiciones en función de la metodología aplicada. Si se comparan los ratios de importancia relativa obtenidos con las técnicas ANN y DT y aquéllos extraídos por los usuarios de las encuestas (Tabla 3), se observan algunas diferencias. Aunque existe poca variación en la importancia asignada por los pasajeros a los atributos de calidad del servicio, ya que consideran que todos ellos son importantes, en el ranking que establecen, la VELOCIDAD ocupa la séptima posición, mientras que ambas técnicas de minería de datos la consideran como una variable clave para la calidad del servicio de transporte metropolitano. Por otra parte, las variables ACCESIBILIDAD y LIMPIEZA, que fueron consideradas como las menos influyentes por ambas técnicas (ANN y DT), ocupan las posiciones cuarta y quinta, respectivamente, en el ranking de importancia. Esta falta de consenso también fue puesta de manifiesto por Weinstein (2000) en un estudio de la importancia de las variables basado también en las opiniones de los pasajeros. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 106 presenta mayor exactitud y capacidad de predicción. Esta nueva metodología, al trabajar con conjuntos de redes, ofrece la posibilidad de obtener resultados similares independientemente de la arquitectura de red seleccionada. • Se ha comprobado la robustez y estabilidad de esta nueva metodología, e modo que el procedimiento de cálculo de importancia relativa de las variables de estudio puede agilizarse considerablemente siendo posible trabajar directamente con un conjunto de ANN con un número determinado de neuronas en su capa oculta, sin necesidad de entrenar otros conjuntos con distinto número de neuronas en sus capas ocultas y seleccionar el que presenta un mejor comportamiento global. Esta mejora hace que esta técnica sea más competitiva, al disminuirse notablemente el tiempo necesario para su aplicación. • Las Redes Neuronales Artificiales es una herramienta válida para el estudio de la calidad del servicio en el transporte público por autobús, y los resultados de importancia relativa obtenidos tras aplicar esta técnica concuerdan y son coherentes con los obtenidos en otros estudios de calidad del servicio de transporte público en los que se han aplicado otras técnicas diferentes a ésta (Dell´Ollio et al. 2010, 2011; de Oña et al., 2012; Eboli y Mazzulla, 2010). • Se ha aplicado un análisis estadístico Kruskal-Wallis en el que se han identificado grupos homogéneos de atributos con diferencias estadísticamente significativas entre ellos desde el punto de vista de su influencia en la valoración global de la calidad del servicio, que coinciden con los grupos homogéneos identificados en otros estudios de servicio de transporte público por autobús (Eboli y Mazzulla, 2008), o con los genéricamente establecidos en varios manuales conocidos a nivel internacional (Comité europeo de estandarización, 2002; Transportation Research Board, 2004). De todos estos resultados se extrae como conclusión que las variables frecuencia y proximidad pueden considerarse atributos básicos, ya que tienen el mayor impacto en la valoración global de la calidad del servicio, mientras que la limpieza, la accesibilidad y el trato son las que menos impacto tienen en dicha valoración. En cambio, tras realizar este mismo análisis estadístico al método PaD, no es posible establecer grupos homogéneos que presenten diferencias significativas respecto a los demás. • Los resultados de este estudio no deberían generalizarse a otro tipo de servicios de transporte público, puesto que las características de estos servicios y las necesidades requeridas por sus usuarios pueden diferir considerablemente de las que presenta este estudio. Sin embargo, el uso de esta técnica y de la metodología para el cálculo de la importancia relativa de los atributos que definen el servicio, pueden ser aplicados para estudiar la calidad del servicio en cualquier tipo y contexto de transporte público. • Debe resaltarse que la encuesta de la que se ha extraído la información utilizada en este estudio, fue realizada por la entidad gestora del servicio para un fin ajeno a este estudio, esto es, para realizar un análisis de frecuencia estadística. Sin embargo, la aplicación de esta técnica no convencional y novedosa demuestra que este tipo de datos pueden revelar aspectos muy interesantes para los operadores del transporte público, y que estos estudios podrían incrementar la colaboración ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 107 entre empresas gestoras y centros de investigación, puesto que esta es una relación de simbiosis para ambas entidades. • La comparación realizada entre las técnicas de minería de datos ANN y DT, confirma que ambas son válidas para estudiar la calidad del servicio en el transporte público por autobús, e incluso podrían considerarse complementarias, ya que algunas de las fortalezas de una pueden suplir algunas de las debilidades de la otra, es decir, aspectos como la elevada capacidad de predicción, la tolerancia a fallos o la estabilidad de los resultados son claramente más ventajosos si se aplica la técnica de las ANN. Sin embargo, aspectos como la complejidad computacional y el tiempo de desarrollo necesario para extraer resultados aconsejan el uso de DT. En función de la finalidad perseguida por los gestores/planificadores del servicio, puede optarse por utilizar una u otra técnica. • Esta técnica proporciona a los planificadores y gestores de un servicio de transporte público de esta tipología la posibilidad de enfocar sus políticas y programas de actuación hacia aquellos aspectos que refuercen las posibilidades de obtener sus objetivos específicos. • Las principales limitaciones halladas con la aplicación de Redes Neuronales Artificiales a la calidad del servicio en el transporte público por autobús residen en el hecho de que se han encontrado discrepancias en los valores de importancia relativa de algunos de los atributos considerados en el estudio, dependiendo del método de cálculo de importancia relativa utilizado, siendo más evidentes estas diferencias en cuanto al ranking de importancia relativa asignado a cada atributo en los métodos de derivadas parciales (PaD) y CW, mientras que los resultados de obtenidos en los métodos Perturb y Profile son mucho más parecidos. En cuanto a porcentajes de importancia relativa asignados a los atributos, el método Perturb, en general, proporciona unos valores más bajos que los obtenidos por los métodos restantes para todos los atributos de estudio. Además, el procedimiento de cálculo de estos valores de importancia relativa es tedioso, siendo necesario emplear mucho tiempo para la obtención de estos resultados, del orden de horas, mientras que en la mayoría de las técnicas usadas en este campo de estudio hasta la fecha sólo es necesario emplear minutos. • Esta investigación puede ser útil para los planificadores y gestores de los servicios de transporte urbano por autobús, en una serie de aspectos: - Primero, para predecir el nivel de calidad del servicio prestado a los usuarios de este modo de transporte. - Segundo, para determinar la importancia de los atributos que caracterizan la calidad del servicio, proporcionando así una información valiosa y práctica. - Tercero, para servir como herramienta o técnica adicional a la ya aplicada en otros estudios de calidad del servicio a través de DT, complementando sus limitaciones y permitiendo comparar los resultados obtenidos mediante ésta, y por tanto su fiabilidad. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 108 7.2. Futuras líneas de investigación De la elaboración de esta tesis doctoral y tras analizar las principales conclusiones extraídas de este trabajo de investigación, es posible plantear el desarrollo de diversos estudios en un futuro cercano. Por tanto, puede ser interesante desarrollar las siguientes líneas de trabajo: • En cuanto a la nueva metodología desarrollada en este trabajo de investigación para calcular la importancia relativa de las variables dependientes, podría estudiarse lo que ocurre cuando se aplica ésta a otros métodos de cálculo de importancia relativa existentes, tanto los que se han utilizado repetidamente en numerosos estudios a lo largo de las dos últimas décadas, como otros más recientes, como el métodos DSA (Cortez y Embrechts, 2013). • También podría comprobarse la robustez de esta metodología cuando se utilizan otras funciones de activación u otros algoritmos de aprendizaje para el perceptrón multicapa, y extender este estudio a otras tipologías de Redes Neuronales Artificiales. • Al igual que se ha realizado una comparación entre las técnicas de Redes Neuronales Artificiales y Árboles de Decisión, podría realizarse una comparación con los Modelos de Ecuaciones Estructurales, que son de uso extendido y validez reconocida por numerosos investigadores de la calidad del servicio en el transporte público. • Reducir la heterogeneidad de los usuarios encuestados mediante la aplicación previa de otras técnicas como análisis cluster o métodos estadísticos, que permitan establecer grupos homogéneos a los que posteriormente se aplicará la técnica de las Redes Neuronales Artificiales. Este paso previo puede mejorar la exactitud de los modelos entrenados, y además proporcionar resultados interesantes y diferentes a los obtenidos en este estudio para algunos atributos que caracterizan la valoración de la calidad del servicio. • Las Redes Neuronales Artificiales han sido aplicadas en este estudio al transporte público metropolitano por autobús, sin embargo podrían aplicarse al estudio de la calidad del servicio en otros modos de transporte público, estableciéndose los acuerdos de colaboración necesarios entre administraciones y gestores del servicio y universidad, y comparar los resultados obtenidos entre modos. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 109 CAPÍTULO 8. REFERENCIAS BIBLIOGRÁFICAS ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 110 Abalo, J., Varela, J. y Manzano, V. (2007). Importance values for importance-performance analysis: a formula for spreading out values derived from preference rankings. Journal of Business Research, 60 (2), 115-121. Abdlla, G., Mohamed A.R. y Mekawy, M.A. (2007) Managing tourists’ needs and expectations: An empirical analysis of the Egyptian airline sector. Tourism 55(3):277–296. Akin, D. y Akbaç, B. (2010). A neural network (NN) model to predict intersection crashes based upon driver, vehicle and roadway surface characteristics. Scientific Research and Essays, 5(19), 2837-2847. Aksoy, S., Atilgan, E. y Akinci, S. (2003). Airline services marketing by domestic and foreign firms: differences from the customers´ viewpoint. Journal of Air Transport Management, 9, 343-351. Andreassen, T.W. (1995). Satisfaction with public services: The case of public transportation. J. Services Marketing 9 (5), 30–41. Armstrong, G., y Kotler, P. (2000). Marketing: An introduction. New York: Prentice-Hall. Awasthi, A., Chauhan, S.S., Omrani, H. y Panahi, A. (2011). A hybrid approach based on SERVQUAL and fuzzy TOPSIS for evaluating transportation service quality. Computing. Industry Engineering, 61 (3), 637–646. Azadeh, A., Rouzbahman, M., Saberi, M. y Fam, I. M. (2011). An adaptative neural network algoritm for assessment and improvement of job satisfaction with respect to HSE and ergonomics program: the case of a gas refinery. Journal of Loss Prevention in the Process Industries, 24, 361-370. Babakus, E. y Boller, G.W. (1992). An empirical assessment of the SERVQUAL scale. J. Bus. Res. 24(3):253–268. Beale, M.H., Hagan, M.T. y Demuth, H.B. (2007). Neural Network Toolbox 7. User´s Guide. MathWorks, Inc. 3 Apple Hill Drive Natic, MA 01760-2098. Bejou, D., Wray, B. y Ingram, T.N. (1996). Determinants of relationships quality: an artificial neural network analysis. Journal of Business Research, 36, 137-143. Bishop, C.M. (1995). Neural networks for pattern recognition. Oxford University Press. Bordagaray, M, Dell'olio, L, Ibeas, A y Cecín, P. (2013). Modelling user perception of bus transit quality considering user and service heterogeneity. Transportmetrica, DOI: 10.1080/23249935.2013.823579. Brady, M.K. y Cronin Jr., J.J. (2001). Some new thoughts on conceptualizing perceived service quality: a hierarchical approach. Journal of Marketing, 65 (3), 34-49. Breiman, L., Friedman, J.H., Olshen, R.A. y Stone, C.J. (1984). Classification and Regression Trees. Wadsworth, Belmont (CA). ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 111 Bullock, D., Garrett, J., Hendrickson, C. y Pearce, A. (1992). A neural network for image base vehicle detection. Proceedings International Conference on Artificial Intelligence Applications in Transportation Engineering, San Buenaventura, CA. Bullock D., Garrett, J. y Hendrickson, C. (1993) A neural network of image-based vehicle detection. Transportation. Research Part C, 1, 2355247. Cao, M. y Qiao, P. (2008). Neural network committee-based sensitivity analysis strategy for geotechnical engineering problems. Neural Computing and Applications, 17, 509-519. Carman, J. (1990). Consumer perceptions of service quality: an assessment of the SERVQUAL dimensions. Journal of Retailing, 66, 33-55. Carrillat, F.A., Jaramillo, F. y Mulki, J.P. (2007).The validity of the SERVQUAL and SERVPERF scales a meta-analytic view of 17 years of research across five continents. International Journal of Service Industry Management 18 (5), 472–490. Carter, D.N. y Lomar, T.J. (1992). Development and application of performance measures for rural public transportation operators. Transportation Research Record, 1338, 28-36. Castillo, J.M.y Benítez, F.G. (2012). Determining a public transport satisfaction index from user surveys. Transportmetrica, 1-29, iFirst. Chang, H., Liang, G., Chu, C. y Chou, C. (2012). Prioritizing service attributes for improvement using fuzzy zone of tolerance. International Journal of Innovative Computing Information and Control, 8 (1A), 75-89. Chang, Y.H. y Yeh, C.H. (2002). A survey analysis of service quality for domestic airlines. European Journal Operational Research, 139 (1), 166–177. Chau, V.S. y Kao, Y.Y. (2009). Bridge over troubled water or long and winding road? Gap5 in airline service quality performance measures. Managing Service Quality, 19 (1),106– 134. Chen, C. (2008). Investigating structural relationships between service quality, perceived value, satisfaction, and behavioral intentions for air passengers: Evidence from Taiwan Transportation Research Part A, 42 (4), 709-717. Chen, F.Y. y Chang, Y.H. (2005). Examining airline service quality from a process perspective. Journal of Air Transport Management, 11, 79-87. Cheng, J-H., Chen, F-Y. y Chang, Y-H. (2008). Airline relationship quality: an examination of Taiwanese passengers. Tourism Research, 29, 487-499. Chou, J.S. y Kim, C. (2009). A structural equation analysis of the QSL, relationship with passenger riding experience on high speed rail: an empirical study of Taiwan and Korea. Expert Systems with Applications, 36, 6945-6955. Chou, J., Kim, C., Kuo, Y. y Ou, N. (2011a). Deploying effective service strategy in the operations stage of high-speed rail. Transportation Research Part E, 47 (4), 507-519. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 112 Chou, CC, Liu L.J., Huang, S.F., Yih, J.M. y Han, T.C. (2011b) An evaluation of airline service quality using the fuzzy weighted SERVQUAL method. Application Software Computing. 11(2):2117–2128. Christopher, M.K., Stuart, D. y Foote, P.J. (1999). Structuring and assessing transit management response to customer satisfaction surveys. Transportation Research Record, 1669, 99-108. Cortez, P. y Embrechts, M.J. (2011). Opening black box data mining models using sensitivity analysis. IEEE Synopsium Series in Computational Intelligence, Paris, France, 4, 2011. Cortez, P. y Embrechts, M.J. (2013). Using sensitivity analysis and visualization techniques to open black box data mining models. Information Sciences, 225, 1-17. Costa, A. y Markellos, R.N. (1997). Evaluating public transport efficiency with neural network models. Transportation Research, part C: Emerging Technologies, 301-312. Cronin, J. y Taylor, S. (1992). Measuring service quality: a reexamination and extension. Journal of Marketing, 56, 193-218. Das, S. y Pandit, D. (2013). Importance of user perception in evaluating level of service for bus transit for a developing country like India: a review, Transport Reviews: A Transnational Transdisciplinary Journal, DOI:10.1080/01441647.2013.789571. Del Castillo, J.M. y Benitez, F.G. (2013). Determining a public transport satisfaction index from user surveys. Transportmetrica A: Transport Science, 9(8), 713-741. Delen, D., Sharda, R. y Bessonov, M. (2006). Identifying significant predictors of injury severity in traffic accidents using a series of artificial neural networks. Accident Analysis and Prevention, 38, 434-444. del Hoyo, R., Martín del Brío, B., Medrano, N. y Fernández-Navajas, J. (2009). Computational intelligence tolos for next generation quality of service management. Neurocomputing, 72, 3631-3639. Dell´Olio, L., Ibeas, A. y Cecín, P. (2010). Modelling user perception of bus transit quality. Transport Policy, 17(6), 388-397. Dell´Olio, L., Ibeas, A. y Cecín, P. (2011). The quality of service desired by public transport users. Transport Policy, 18(1), 217-227. Deng, W-J., Chen, W-C. y Pei, W. (2008). Backpropagation neural network based importance-performance analysis for determining critical service attributes. Expert Systems with Applications, 34, 1115-1125. Deng, W-J. y Pei, W. (2009). Fuzzy neural based importance-performance analysis for determining critical services attributes. Experts Systems with Applications, 36, 3774-3784. de Oña, J., de Oña, R. y Calvo, F. J. (2012). A classification tree approach to identify key factors of transit service quality. Expert Systems with Applications, 39, 11164–11171. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 113 de Oña, J., de Oña, R., Eboli, L. y Mazzulla, G. (2013). Perceived service quality in bus transit service: A structural equation approach. Transport Policy 29: 219-226. de Oña, J. y de Oña, R. (2015). Quality of service in public transport based on customer satisfaction surveys: a review and assessment of methodological approaches. Transportation Science, 49(3), 605-622. de Oña, R., Eboli, L. y Mazzulla, G. (2014). Key factors affecting rail service quality in the northern Italy: a decision tree approach. Transport, 29(1), 75-83. DOI: 10.3846/16484142.2014.898216. de Oña, J. y Garrido, C. (2014). Extracting the contribution of independent variables in neural network models: a new approach to handle instability. Neural Computing and Applications, 24(5). DOI: 10.1007/s00521-014-1573-5. De Oña, R. (2013). Analysis of service quality in public transportation using decision trees. Tesis doctoral. Dimopoulos, Y., Bourret, P. y Lek, S. (1995). Use of some sensitivity criteria for choosing networks with good generalization ability. Neural Processing Letters, 2, 1-4. Dougherty, M. (1995). A review of neural networks applied to transport. Transportation Research, Part C, 3(4), pp 247-260. Dougherty, M. S. y Joint, M. (1992). A behavioural model of driver route choice using neural networks. Proceedings International Conference on Artificial Intelligence Applications in Transportation Engineering, San Buenaventura, CA. Drea, J.T. y Hanna, J.B. (2000). Niche marketing in intrastate passenger rail transportation. Transportation Journal, 39 (3), 33-43 Eboli, L. y Mazzulla, G. (2007). Service quality attributes affecting customer satisfaction for bus transit. Journal of Public Transportation 10(3):21-34. Eboli, L. y Mazzulla, G. (2008). A Stated Preference Experiment for Measuring Service Quality in Public Transport. Transportation Planning and Technology, 31(5), 509-523. Eboli, L. y Mazzulla, G. (2009). A new customer satisfaction index for evaluating transit service quality. Journal of Public Transportation, 12(3), 21-37. Eboli, L. y Mazzulla, G. (2010). How to capture the passengers´point of view on a transit service through rating and choice opinions. Transport Review, 30, 435-450. Eboli, L. y Mazzulla, G. (2011). A methodology for evaluating transit service quality based on subjective and objective measures from the passenger´s point of view. Transport Policy, 18, 172-181. Eboli, L. y Mazzulla, G. (2012). Structural Equation Modelling for Analysing Passengers’ Perceptions about Railway Services. Procedia-Social and Behavioural Science, 54, 96106. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 114 Engelbrecht, A..P., Cloete, I. y Zurada, J.M. (1995). Determining the significance of input parameters using sensitivity analysis, from natural to artificial neural computation. Proceedings of International Workshop on Artificial Neural Networks, pp. 382-388. MálagaTorremolinos, Spain, Springer. Fielding, G.J. (1992). European Committee for Standardization (2002) Transport – Logistics and Services – Public Passenger Transport – Service Quality Definition Target and Measurement. European Standard EN 13816 (European Committee for Standardization (CEN), Brussels). Transit performance evaluation in the USA. Transportation Research, 26A (6), 483-491. Figler, S.A., Sriraj, P.S., Welch, E.W. y Yavuz, N. (2011). Customer loyalty and Chicago, Illinois, transit authority buses. Transportation Research Record, 2216, 148-156. Foote, P.J. y Stuart, D.G. (1998). Customer satisfaction contrasts express versus local bus service in Chicago´s North Corridor. Transportation Research Record, 1618, 143-152. Friman, M., Edvardsson, B. y Gärling, T. (2001). Frequency of negative critical incidents and satisfaction with public transport services, I. Journal of Retailing and Consumer Service, 8 (2), 95-104. Friman, M. y Gärling, T. (2001). Frequency of negative critical incidents and satisfaction with public transport services, II. Journal of Retailing and Consumer Services, 8 (2), 105114. Funahashi, K.I. (1989). On the approximate realization of continuous mappings by neural networks. Neural Networks, 2, 183-192. Ganesan-Lim, C., Russell-Bennett, R. y Dagger, T. (2008). The impact of service contact type and demographic characteristics on service quality perceptions. Journal of Services Marketing, 22 (7), 550-561. Garson, G.D. (1991). Interpreting neural-network connection weights. Artificial Intelligence Expert, 6, 47-51. Garver, M.S. (2002). Using data mining for customer satisfaction research. Marketing research, 14(1), 8-12. Gedeon, T.D., Wong, P.M. y Harris, D. (1995). Balancing the bias and variance: network topology and pattern set reduction techniques. Proceedings of International Workshop on Artificial Neural Networks, IWANN95, 550-558, Torremolinos, España. Gedeon, T.D. (1997). Data mining of inputs: analyzing magnitude of functional measures. International Journal of Neural Systems, 8(2), 209-218. Gevrey, M., Dimopoulos, I. y Lek, S. (2003). Review and comparison of methods to study the contribution of variables in artificial neural network models. Ecological Modelling, 160, 249-264. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 115 Gevrey, M., Dimopoulos, I. y Lek, S. (2006). Two-way interaction of input variables in the sensitivity analysis of neural network models. Ecological Modelling, 195, 43-50. Goh, A.T.C. (1995). Back-propagation neural networks for modeling complex systems. Artificial Intelligence in Engineering, 9, 143-151. Grönroos, C. (1982). Strategic management and marketing in service sector, Marketing Science Institute, Cambridge, M.A. Grönroos, C. (1984). A service quality model and its marketing implications. European Journal of Marketing, 18 (4), 36-44. Grönroos, C. (1988). Service quality: the six criteria of good service quality, review of business. New York: St. John´s University Press. Hagan, M.T., Demuth, H.B. y Beale, M.H. (1996). Neural network design. Campus Publishing Service. Colorado University Bookstore. ISBN 0-9717321-0-8. Hastie, T., Tibishrani, R. y Freidman, J. (2001). The Elements of Statistical Learning: Data Mining, Inference and Prediction. Springer, New York. Haykin, S. (1999). Neural networks. A comprehensive Foundation. 2nd Edition. PentinceHall. He, F., Sung, A.H. y Guo, B. (1997). A neural network for prediction of oil well cement bonding quality. Proceedings of IASTED International Conference on Control, 417-420. Cancun-Mexico: IASTED-ACTA Press. Hensher, D.A. (2014). The Relationship Between Bus Contract Costs, User Perceived Service Quality and Performance Assessment. International Journal of Sustainable Transportation 8(1): 5-27. Hensher, D.A. y Daniels, R. (1995). Productivity measurement in the urban bus sector. Transport Policy, 2 (3), 179-194. Hensher, D.A., Mulley, C. y Yahya, N. (2010). Passenger experience with qualityenhanced bus service: the Tyne and Wear “superoute” services. Transportation, 37 (2), 239-256. Hensher, D. A., Stopper, P. y Bullock, P. (2003). Service quality-developing a service quality index in the provision of commercial bus contracts. Transportation Research Part A, 37, 499-517. Hill, N., Brierley, G. y MacDougall, R. (2003). How to Measure Customer Satisfaction (Gower Publishing, Hampshire, UK). Hornik, K., Stichcombe, M. y White, H. (1989). Multilayer feedforward networks are universal approximators. Neural Networks, 2, 359-366. Hu, K-C. (2010). Evaluating city bus service based on zone of tolerance of expectation and normalized importance. Transport Reviews, 30 (2), 195-217. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 122 Watts, M.J. y Worner, S.P. (2008). Using artificial neural networks to determine the relative contribution of abiotic factors influencing the establishment of insect pest species. Ecological Informatics, 3, 64-74. Weitz, B. A. y Jap, S. D. (1995). Relationship marketing and distribution channels. Journal of the Academy of Marketing Science, 23(4), 305–320. Weinstein, A. (2000). Customer satisfaction among transit riders. How customer rank the relative importance of various service attributes. Transportation Research Record, 1735, 123–132. Wipper, L.R. (1993). Performance measurement: producing results at the Oregon department of transportation. Transportation Research Record, 1395, 168-175. Witten, I.H. y Frank, E. (2005). Data Mining: Practical Machine Learning Tools and Techniques. Morgan Kaufman, Amsterdam. Xie, C., Lu, J. y Parkany, E. (2003). Work travel mode choice modelling with data mining. In Transportation Research Record: Journal of the Transportation Research Board, 1854, 50-61. Xiong, Y. y Schneider, J. B. (1992).Transportation network design using a cumulative genetic algorithm and neural network. Transportation Research Record 1364, pp. 31-44. Yang H., Akiyama, T. y Sasaki, T. (1992). A neural network approach to the identification of real time origin-destination flows from traffic counts. Proc. Int. Conf. on Artificial intelligence Applications in Transportation Engineering, San Buenaventura, CA. Yang, K. Hsieh, T., Li, H. y Yang, C. (2012). Assessing how service quality, airline image and customer value affect the intentions of passengers regarding low cost carriers. Journal of Air Transport Management, 20, 52-53. Yao, J., Teng, N., Poh, H.L. y Tan, C.L., (1998). Forecasting and analysis of marketing data using neural networks. Journal of Information Science and Engineering, 14, 843-862. Yeh, I. y Cheng, W. (2010). First and second order sensitivity analysis of MLP. Neurocomputing, 73, 2225-2233. Yohannes, Y. y Webb, P. (1999). Classification and Regression Trees. CART: A User Manual for Identifying Indicators of Vulnerability to Famine and Chronic Food Insecurity. International Food Policy Research Institute. Washington D.C. Zhou, Z.H., Wu, J. y Tang, W. (2002). Ensembling neural networks: many could be better than all. Artificial Intelligence 137 (1-2), 239-263. Zurada, J.M., Malinowski, A. y Cloete, I. (1994). Sensitivity analysis for minimization of input data dimensión for feed forward neural network. Proceedings of IEEE International Synopsium on Circuits and Systems. London. IEEE Press. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 123 ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 124 APÉNDICE 1. FORMULARIO DE ENCUESTA ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 125 Lugar (donde se realiza la encuesta)………………………………………………………………. Empresa…………………………………………Línea……………… Hora h m / 1 ¿Podría realiz ar este viaje en vehículo privado?  Si ( Pasar a P 2 )  No (Pasar a P3 ) 2 ¿Por qué utiliza transporte público?  Precio  Aparcamiento  C omodidad  Otras razones Indique cuales…………………………………………………………………………………………………. 3 ¿Usted utiliza esta línea…?  Casi a diario [4 ó más días a la semana]  Frecuentemente [1 a 3 días a la semana]  Ocasionalmente [1 a 3 días al mes]  Esporádicamente 4 ¿Podría decirnos cual es el motivo de su viaje?  Trabajo  Médico  Asunto personal  Estudios  Ocio  Acompañante  Compras  Otra situación (cual) Datos del encuestador Nombre………………………………..Apellidos……………………………Nº de encuesta ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 126 5 ¿Qué tipo de billete o título de transporte utiliza en este viaje?  Con la tarjeta única  En metálico ( billete sencillo) 6. ¿Considera los horarios adecuados a sus necesidades?  Si  No Indique su propuesta___________________________ 7 ¿Considera que el servicio público de autobús metropolitano es?:  Muy buena  Bueno  Normal  Mala  Muy mala  Ns/Nc 8 En relación con el servicio de autobuses que presta el CTAGR, podría decirnos sí:  satisfecho  Muy satisfecho  Bastante satisfecho  Poco satisfecho  Nada satisfecho  Ns/Nc 9 En una escala del 0 al 10 nos gustaría que va lorase la importancia que usted le da, a los siguientes servicios: Valoración sobre el servicio en general 0 1 2 3 4 5 6 7 8 9 10 Información 0 1 2 3 4 5 6 7 8 9 10 Puntualidad . 0 1 2 3 4 5 6 7 8 9 10 ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 127 Seguridad a bordo de los autobuses (r obos etc.) 0 1 2 3 4 5 6 7 8 9 10 Limpieza en el interior de los autobuses 0 1 2 3 4 5 6 7 8 9 10 Comodidad en los autobuses 0 1 2 3 4 5 6 7 8 9 10 Descuentos 0 1 2 3 4 5 6 7 8 9 10 Rapidez 0 1 2 3 4 5 6 7 8 9 10 Frecuencia 0 1 2 3 4 5 6 7 8 9 10 Proximidad 0 1 2 3 4 5 6 7 8 9 10 10. En una escala del 0 al 10 nos gustaría nos diese su Calificación sobre los siguientes aspectos: Valoración sobre el servicio en general 0 1 2 3 4 5 6 7 8 9 10 Información 0 1 2 3 4 5 6 7 8 9 10 Puntualidad . ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 128 0 1 2 3 4 5 6 7 8 9 10 Seguridad a bordo de los autobuses (robos etc.) 0 1 2 3 4 5 6 7 8 9 10 Limpieza en el interior de los autobuses 0 1 2 3 4 5 6 7 8 9 10 Comodidad en los autobuses 0 1 2 3 4 5 6 7 8 9 10 Descuentos 0 1 2 3 4 5 6 7 8 9 10 Rapidez 0 1 2 3 4 5 6 7 8 9 10 Frecuencia 0 1 2 3 4 5 6 7 8 9 10 Proximidad 0 1 2 3 4 5 6 7 8 9 10 11 ¿Ha notado mejoras en el servicio?  Sí en el último año  No ha notado cambios  Ha empeorado PANEL Necesitamos un grupo de personas dispuestas a hacer valer su opinión. Inscribirse no implica ninguna obligación, sólo la aceptación de ser invitado periódicamente a participar en alguno de los estudios que realice el CTAGR ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 129 NOMBRE……………………………………………………………. APELLIDOS…………………............................................................. TELÉFONO………………………Móvil……………………………. Municipio/Residencia……………………………Actividad…………………………. Edad  [18-30]  [30-60]  [Más de 60] Sexo  Hombre  Mujer Información complementaria: Calle/Avd /Paseo……………………………………………….….………………….Nº … Población………………………………………………………..CP………………………… Sus datos personales, facilitados a través de este formulario quedarán incorporados a los ficheros automatizados existentes en el CONSORCIO DE TRANSPORTES ÁREA DE GRANADA y serán tratados únicamente para la finalidad especificada en el mismo. Podrá, en todo momento, solicitar el acceso, cancelación o rectificación de los mismos. ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 130 APÉNDICE 2. ROBUSTEZ Y ESTABILIDAD DEL MÉTODO DE CÁLCULO DE IMPORTANCIA RELATIVA DE LAS VARIABLES PROPUESTO ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 131 Figura 24. Importancia relativa de la variable FRECUENCIA en función de H según el método aplicado Figura 25. Desviación típica de la importancia relativa de la variable FRECUENCIA en función de H según el método aplicado ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 138 Figura 38. Importancia relativa de la variable TEMPERATURA en función de H según el método aplicado Figura 39. Desviación típica de la importancia relativa de la variable TEMPERATURA en función de H según el método aplicado ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 139 Figura 40. Importancia relativa de la variable ESPACIO en función de H según el método aplicado Figura 41. Desviación típica de la importancia relativa de la variable ESPACIO en función de H según el método aplicado ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 140 Figura 42. Importancia relativa de la variable PRECIO en función de H según el método aplicado Figura 43. Desviación típica de la importancia relativa de la variable PRECIO en función de H según el método aplicado ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 141 Figura 44. Importancia relativa de la variable LIMPIEZA en función de H según el método aplicado Figura 45. Desviación típica de la importancia relativa de la variable LIMPIEZA en función de H según el método aplicado ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA 142 Figura 46. Importancia relativa de la variable ACCESIBILIDAD en función de H según el método aplicado Figura 47. Desviación típica de la importancia relativa de la variable ACCESIBILIDAD en función de H según el método aplicado ANÁLISIS DE EFICIENCIA DE REDES NEURONALES EN EL ESTUDIO DE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE PÚBLICO. APLICACIÓN AL ÁREA METROPOLITANA DE GRANADA APÉNDICE 3. ARTÍCULOS PUBLICADOS 1 23 Neural Computing and Applications ISSN 0941-0643 Neural Comput & Applic DOI 10.1007/s00521-014-1573-5 Extracting the contribution of independent variables in neural network models: a new approach to handle instability Juan de Oña & Concepción Garrido 1 23 Your article is protected by copyright and all rights are held exclusively by SpringerVerlag London. This e-offprint is for personal use only and shall not be self-archived in electronic repositories. If you wish to self-archive your article, please use the accepted manuscript version for posting on your own website. You may further deposit the accepted manuscript version in any repository, provided it is only made publicly available 12 months after official publication or later and provided acknowledgement is given to the original source of publication and a link is inserted to the published article on Springer's website. The link must be accompanied by the following text: "The final publication is available at link.springer.com”. ORIGINAL ARTICLE Extracting the contribution of independent variables in neural network models: a new approach to handle instability Juan de On ˜a•Concepcio ´n Garrido Received: 12 November 2013 / Accepted: 12 March 2014 ÓSpringer-Verlag London 2014 Abstract One of the main limitations of artificial neural networks (ANN) is their high inability to know in an explicit way the relations established between explanatory variables (input) and dependent variables (output). This is a major reason why they are usually called ‘‘black boxes.’’ In the last few years, several methods have been proposed to assess the relative importance of each explanatory variable. Nevertheless, it has not been possible to reach a consensus on which is the best-performing method. This is largely due to the different relative importance obtained for each variable depending on the method used. This importance also varies with the designed network architecture and/or with the initial random weights used to train the ANN. This paper proposes a procedure that seeks to minimize these problems and provides consistency in the results obtained from different methods. Essentially, the idea is to work with a set of neural networks instead of a single one. The proposed procedure is validated using a database collected from a customer satisfaction survey, which was conducted on the public transport system of Granada (Spain) in 2007. The results show that, when each method is applied independently, the variable’s importance rankings are similar and, in addition, coincide with the hierarchy established by researchers who have applied other techniques. Keywords Instability Neural networks Black box  Variables contribution’s methods Importance ranking 1 Introduction Artificial neural networks (ANN) are information processing systems based on the biological behavior of the human brain and used in a growing number of multiple research fields. The strength of ANN compared to other techniques is their high capacity for classification, prediction and failure tolerance [33]. ANN are based not only on a predefined equation or formula, but also on their capacity to capture the information inherent to the data submitted during the training process. They create an architecture whose parameters are able to provide correct answers when some new cases are presented. These parameters are the key to their knowledge [42]. This singular way of learning allows them to capture highly nonlinear [50] and complex [36] relations, but prevents an explicit explanation of how explanatory variables (input) and dependent variables (output) are related. However, it is possible to achieve this goal with classical statistical techniques [2]. Therefore, ANN are included in the group of data mining techniques called ‘‘black boxes’’ [6], because for a given phenomenon (output), it is very difficult to know the relative importance of each variable (input). Considering this problem, several methods have been proposed to determine the contribution of each independent variable in ANN models; many methods from the family of sensitivity analyses (SA), which basically changes input values and checks what happens in the output, and others specific neural networks (NN) methods have been developed by the researchers. SA methods perform a pure blackbox approach over a data-driven model, which can be NN or other method, such as SVM. In contrast, specific NN methods can only be applied to one typology of NN [the multilayer perceptron (MLP)], so that they are not universal input relevance methods. Sung [49] applied three J. de On ˜a(&)C. Garrido TRYSE Research Group, Department of Civil Engineering, University of Granada, ETSI Caminos, Canales y Puertos, c/Severo Ochoa, s/n, 18071 Granada, Spain e-mail: [email protected] 123 Neural Comput & Applic DOI 10.1007/s00521-014-1573-5 Author's personal copy methods sensitivity analysis [15,55], fuzzy curves [32] and change in mean square error (MSE) [24] to a database related to petroleum engineering and compared the results obtained. It was concluded that the fuzzy curves method performs better than the other two. Olden and Jackson [38] described the neural interpretation diagram [40], Garson’s algorithm [17,22] and sensitivity analysis [29–31] methods, and proposed a new one called randomization approach. After applying these methods to a database related to ecology, it was observed that the results were different depending on the method used. Palmer and Montan ˜o[43] highlighted the problems of the methods studied so far, both those based on the weights of connections and those based on sensitivity analysis. They argued that several previous studies had demonstrated that the former group of methods is not effective [17,25,45], and that the latter presents some problems depending on the qualitative or quantitative nature of the variables. Therefore, they suggested a new approach called numeric sensitivity analysis (NSA) [44], which determines the relationship between each input and output variable through the slope and without taking into account the qualitative or quantitative nature of the variables. Gevrey et al. [20] analyzed and compared seven methods: partial derivatives [12], Garson [17,22], perturb [48,52], profile [29–31] and stepwise with some of its variants [49]. They used an empirical ecological database and concluded that the partial derivatives method (PaD) was the best, while the classical stepwise performed the worst. Olden et al. [39] continued the work of Gevrey et al. [20] and applied the same seven methods plus a new approach called connection weights [38] to a simulated database. The connection weights method provided the best results. Gevrey et al. [21] introduced a new variation in the PaD, called PaD2, with the aim of analyzing the joint contribution of every possible pairwise combination of variables. They argued that in nature, variables normally interact with each other, so when a variable is modified the remaining variables also change. Kemp et al. [27] implemented the holdback input randomization (HIPR) method, based on the random alteration of NN input parameters. They applied this method to ecological complex systems, and the results obtained were as good as those extracted from the connection weights method. Yeh and Cheng [53] provided a new point of view to the contribution of variables in NN by introducing a method that considers not only linear effects (first-order derivatives) between the studied variables but also curvature effects (second-order derivatives). Cortez and Embrechts [6] introduced three new sensitivity analysis (SA) methods: data-based SA (DSA), Monte Carlo SA (MSA) and cluster-based SA (CSA), and they compared them with two other existing methods: one-dimensional SA (1D-SA) [28] and global SA (GSA) [5]. In addition, they developed some new approaches to determine the relative importance of variables and also pairs of input variables with sensitivity analysis methods. Commonly, the first step is to select an optimal NN architecture, and the second step consists in applying several variable contribution methods. But it is very difficult to choose the optimal NN model due to various factors such as random initialization of connection weights, multiple possible network architectures and learning algorithms that converge toward local minimums in a complex error surface. Cao and Qiao [4] underlined this issue and suggested that sensitivity analysis methods should be applied not only to a single NN, but also to a set of good-performing NN. The authors proposed a new application called neural network committee (NNC). Paliwal and Kumar [41] also referred to the high variability of weights before starting the training and proposed an approach named interquartile range, in which the network is trained a number of times, and the first and third quartiles of the weight distribution are used to determine the relative importance of each variable. However, despite the variety of methods studied, there is no general consensus on which model is the best for determining the contribution of variables. When applying several methods to optimal or suboptimal NN architecture, the importance ranking of variables differs from method to method, indicating their inherent instability. This paper intends to handle the instability problems derived from these methods and suggests a new systematic application of the existing methods in order to obtain similar results of the importance ranking of variables, independently of the method applied. The database used in this paper is based on a customer satisfaction survey developed by the Transport Consortium of the Granada Metropolitan Area (Spain) in 2007. De On ˜a et al. [7,8] have analyzed this database with other methodological approaches (e.g., decision trees and structural equation approaches) in order to identify the most important variables that contribute to the perception of service quality in a public transportation service. The paper is structured in five sections. Section 2 describes ANN, the methods used to determine the contribution of variables, the methodology followed and the database used in this study. Sections 3and 4continue with the results and discussion. The paper concludes with a summary and directions for future research. 2 Neural networks and methods 2.1 Neural networks (NNs) The MLP is a widely used NN typology, introduced by Werbos [51] and further developed and popularized by Neural Comput & Applic 123 Author's personal copy