STATService: Herramienta de análisis estadístico como soporte para la investigación con Metaheurísticas

STATService: Herramienta de análisis estadístico como soporte para la investigación con Metaheurísticas José Antonio Parejo, Jorge García, Antonio Ruiz-Cortés, José Cristobal Riquelme Dept. de Lenguajes y Sistemas Informáticos. Universidad de Sevilla Sevilla, España [email protected] Resumen-- Actualmente, la aplicación de técnicas estadísticas es una necesidad cuando se trabaja con metaheurísticas. A pesar de que existen multitud de paquetes software para el cálculo estadístico, estos sistemas exigen en la mayoría de los casos la instalación de componentes y no son fáciles de integrar con otros sistemas. En este artículo presentamos un conjunto de herramientas para análisis estadístico denominado STATService, que puede usarse a través de un portal web. STATService provee además interfaces programáticas a través de servicios web que hacen que su integración con otros sistemas sea extremadamente simple, independientemente de la plataforma y tecnologías concretas de dichos sistemas. Palabras clave--Análisis estadístico, metodologías. I. INTRODUCCIÓN La naturaleza estocástica de las técnicas metaheurísticas hace que, de manera general, no sea conveniente evaluar directamente los resultados obtenidos por distintas técnicas. En este sentido, se hace necesario el uso de técnicas estadísticas para la extracción de conclusiones claras sobre el rendimiento de las técnicas [1], así como para la elección de los valores de los parámetros para las mismas [2] [3]. Esta necesidad es más acuciante en el contexto de la investigación con metaheurísticas, donde para dar respuesta a las cuestiones de investigación adecuadamente, se hace necesario un apropiado diseño de los experimentos a realizar [4], y una aplicación rigurosa de las correspondientes técnicas de análisis estadístico sobre los resultados obtenidos [5]. Una de las técnicas más usadas para analizar los resultados obtenidos mediante técnicas metaheurísticas es el contraste de hipótesis, que nos permite plantear una hipótesis y evaluar si dicha hipótesis debe ser rechazada o no en base a los datos de que disponemos. Aunque en los últimos años se han realizado esfuerzos para establecer una metodología basada en la teoría de diseño de experimentos y el uso de técnicas de análisis estadístico [4], aún queda camino por recorrer en este sentido [6] y se hacen necesarias herramientas que le den soporte y faciliten su aplicación. En este artículo presentamos un conjunto de herramientas para el análisis estadístico denominada STATService. Concretamente, STATService permite aplicar un amplio grupo de tests estadísticos sobre conjuntos de datos. Las herramientas son multiplataforma, están disponibles online de manera gratuita, pueden usarse sin instalación alguna a través del portal web 1 , y permiten la integración con las implementaciones de metaheurísticas realizadas con cualquier tecnología a través de los estándares de servicios web. A pesar de que existen diversas herramientas para el análisis estadísticas accesibles de manera distruida a través de internet (c.f. sección 5), esas herramientas, no proveen test no paramétricos para comparación múltiple, ni procedimientos de análisis post-hoc. Además, nuestra herramienta es pionera en cuanto a ofrecer la lógica de los tests estadísticos como servicios web públicamente accesibles y gratuitos. La estructura del presente artículo es la siguiente: En la sección 2, se muestra cómo los tests estadísticos pueden aplicarse al análisis y extracción de conclusiones a partir de los resultados de los experimentos para dar respuesta a diversas cuestiones de investigación. En la sección 3, se describen las principales características de STATService, así como parte de su arquitectura. En la sección 4, se describen las posibilidades de aplicación en el contexto de los frameworks para optimización con metaheurísticas y su integración dentro de MOSES, nuestro ecosistema de herramientas para la investigación con metaheurísticas. Las secciones 5 y 6 describen el trabajo relacionado y las conclusiones. II. TESTS ESTADÍSTICOS EN LA OPTIMIZACIÓN CON METAHEURÍSTICAS Una tarea de análisis común en los artículos relacionados con la optimización es la comparación de algoritmos distintos (o variantes del mismo algoritmo) para uno o más problemas. La pregunta de investigación a responder en este tipo de análisis es: ¿Cuál de entre el conjunto X de algoritmos es mejor para resolver el problema Y? En estas comparaciones, suele usarse o bien, la propia 1 http://labs.isa.us.es/apps/STATService calidad de las soluciones obtenidas (en base al valor asociado a las mismas por la función objetivo del problema) o bien, el tiempo de computación empleado para alcanzar una solución con unas características determinadas [7]. En estos casos, dado que los algoritmos metaheurísticos son estocásticos, se generará un conjunto de resultados posiblemente diferentes para cada algoritmo, por lo que debemos transformar la pregunta original en ¿se comportan de manera distinta estos algoritmos al resolver el problema X (para extraer la posterior conclusión sobre cuál es el mejor en base a su comportamiento medio y varianza)? Esta pregunta la podemos expresar en términos de las distribuciones de los resultados obtenidos por los experimentos: ¿Son significativamente diferentes las distribuciones de población de las que provienen estos conjuntos de datos? Esta última cuestión es abordable mediante el uso de tests estadísticos, que nos permiten comprobar si la hipótesis nula H0 -que indica que no hay diferencia entre las distribuciones de las que provienen los datosse puede rechazar o no. Dependiendo del número de algoritmos a comparar, las propias características de los conjuntos de datos –normalidad, homocestaticidad, independencia, etc.– y otras características, será necesario usar un test estadístico u otro. Existen multitud de trabajos sobre los tests que deben usarse según las condiciones que cumplan los datos a analizar [8, 9, 10]. STATService proporciona un conjunto amplio y suficientemente diverso de tests estadísticos para cubrir las necesidades de los investigadores en la mayoría de los casos (véase la Tabla 1). Otro escenario interesante de aplicación de los tests estadísticos en el contexto de la optimización con metaheurísticas es la selección de valores para los parámetros. En estos escenarios, la pregunta de investigación a responder sería: ¿Cuál es la mejor combinación de valores para los parámetros X de la técnica Y cuando la aplicamos al problema Z? STATService puede usarse también en este contexto tratando cada combinación de parámetros distintos a comprobar como una variante, y aplicando los tests estadísticos apropiados como se ha comentado anteriormente. Además, STATService proporciona un test, denominado SMARTest que realiza un análisis previo de los datos a analizar, evalúa sus características, y aplica a su vez el conjunto de test que sea conveniente para los mismos. Esto libera al usuario de parte de la carga asociada al análisis, proporcionándole directamente los resultados de todos los tests necesarios para extraer sus conclusiones adecuadamente (tanto los de comprobación de las características de los datos como los de la propia comparación de los mismos). Por último, una tendencia reciente es la integración de los tests estadísticos en la propia lógica de los algoritmos de optimización (véase por ejemplo su uso en [11]). STATService, a través su interfaz de servicios web admite también este tipo de integración. III. CARACTERÍSTICAS DE STATSERVICE STATService tiene un cuádruple modelo de distribución, es decir, es un conjunto de componentes que comparten un núcleo de implementación común:  Una librería JAVA, para permitir a los desarrolladores java integrar el uso de tests estadísticos  Un portal web, para permitir el uso de la herramienta directamente desde el navegador.  Un conjunto de servicios web XML con una interfaz clara descrita en WSDL. Esto permite el uso de STATService programáticamente desde cualquier localización y plataforma de desarrollo (.NET, ruby, php, etc.).  Un complemento para EXCEL que se integra en la interfaz de usuario de esta herramienta ofimática y hace uso de los servicios web arriba descritos. La motivación para la creación de STATService está en la necesidad de aplicar test estadísticos en los campos de investigación de los autores (bioinformatica, teledetección y optimización con metaheurísticas). Por ello, en la primera versión de nuestra plataforma, los requisitos funcionales incluyen exclusivamente, los tests estadísticos aplicados más usualmente en dichos campos. Concretamente, el conjunto de test que el sistema incorpora se muestra en la tabla 1. La arquitectura de STATService está descrita en la figura 1. Esta figura es un diagrama de componentes UML decorado con imágenes adicionales, que se usan para describir mejor los elementos del diagrama para lectores que no están familiarizados con UML. TABLA I TESTS ESTADÍSTICOS PROPORCIONADOS POR STATSERVICE. Tipos de Test Tests Información adicional Paramétricos T Student ANOVA Tanto para medidas dependientes como independientes No Paramétricos Wilcoxon Friedman Aligned Friedman Quade Se proporcionan diversos procedimientos post-hoc: Bonferroni-Dunn, Li Holm, Hotchberg, Rom, Shaffer, Hommel, Holland, Finner Normalidad Kolmogorov-Smirnov Lilliefors Shapiro-Wilk Homocestaticidad Levene Otros SmartTest Este test analiza los datos y dependiendo de las condiciones de normalidad y homocestaticidad aplica el tipo de test apropiado. Fig. 1. Arquitectura y usuarios tipo de STATService Esta arquitectura está concebida para la creación de un sistema distribuido donde los usuarios pueden acceder a la funcionalidad de análisis estadístico a través de internet. En la figura, se presentan dos nodos diferentes como cajas en 3D, concretamente el servidor donde STATService está desplegado 2 (a la derecha del diagrama), y el computador del usuario (en el lado izquierdo). En lo concerniente al lado del servidor, dos interfaces distintas están disponibles: orientada al usuario y orientada a la integración con sistemas. Como interfaz para el usuario, se ha creado un portal web. Este portal permite la importación de datos en diferentes formatos, y permite las pruebas 2 Hay un despliegue del sistema disponible al público general en: http://labs.isa.us.es/apps/STATService. Dado que una de las opciones de distribución es un fichero de aplicación web java (.war), los usuarios pueden crear nuevas instancias del servicio desplegando este fichero en sus servidores, obteniendo un portal privado totalmente funcional. de hipótesis sobre dichos datos. Los resultados de estos análisis se proporcionan en dos formatos distintos: html como una página web representada en el propio navegador, y un documento latex que puede descargarse. El interfaz para integración con sistemas se ha desarrollado como un conjunto de servicios web XML, que permiten una integración cómoda independientemente de la plataforma y tecnología de desarrollo del usuario. Ambas interfaces usan un núcleo de implementación común que implementa la lógica del análisis estadístico. Esta arquitectura promueve la reutilización, reduce el esfuerzo de implementación y asegura la consistencia de los resultados entre las dos interfaces. El núcleo de implementación está basado a su vez en distintas implementaciones de tests estadísticos, entre las que se encuentran principalmente: la librería del grupo SCI2S [9,10], la librería apache commons math, y desarrollos propios. Por tanto, los componentes que implementan ambas interfaces, actúan como adaptadores bidireccionales a la implementación base. Por un lado, adaptan las entradas y órdenes de los usuarios o los mensajes XML recibidos en las invocaciones al servicio a los parámetros de entrada esperados por los tests en la implementación base. Por el otro, adaptan los resultados obtenidos del análisis para su representación como XML o en formatos legibles por los usuarios. La figura 1 representa también el software creado por los usuarios que integran STATService a través de los servicios web XML (abajo a la izquierda del diagrama). Durante la creación de STATService se ha puesto énfasis en la usabilidad y flexibilidad de la herramienta. Específicamente, se ha diseñado un portal web para evitar al usuario la instalación de entornos de ejecución o componentes como la máquina virtual de java o el propio programa de análisis estadístico. Esto permite además que los usuarios puedan acceder a la herramienta desde cualquier ubicación y plataforma. La implementación actual soporta diversos formatos de entrada de datos: fichero CSV, fichero de texto con separadores configurables por el usuario, y ficheros de Microsoft Excel. En cuanto a los ficheros de salida, con el objetivo de soportar el procesado de los mismos tanto por humanos como por computadores, se admiten los siguientes formatos: Latex, HTML y XML (este último basado en un esquema XML 3 ). La usabilidad de la herramienta ha sido también la que ha motivado la creación del complemento para Microsoft Excel. Finalmente, es importante destacar que STATService es gratuito y se proporciona con una licencia de libre distribución y código abierto (compatible con la de los componentes integrados en su núcleo). IV. EJEMPLOS DE USO DEL SISTEMA En esta sección mostraremos el flujo de trabajo que a seguir para hacer uso de STATService con cualquiera de las tres interfaces que se proveen: a través del portal web, a través de los complementos para MS Excel, y mediante la invocación remota de los servicios web XML. Para contextualizar el uso específico que se va hacer de la herramienta en nuestros casos de uso, nos colocaremos en uno de los escenarios típicos del área de optimización con metaheurísticas que se han descrito en la sección 2: la comparación del rendimiento de diversas técnicas estocásticas. A. Uso de STATService a través del portal web 3 El conjunto de esquemas está disponible en http://labs.isa.us.es/apps/statservice El flujo de trabajo asociado al uso de STATService desde el portal web está descrito por la figura 2. Esta figura es un diagrama de actividad UML que describe los pasos a seguir para la realización de análisis estadístico con la herramienta. Import Data Validate & Edit data Choose Tests & Output format Get Results Fig. 2. Flujo de trabajo para el análisis de datos a través del portal web de STATService El primer paso consiste en la importación de lo datos de entrada para el análisis. A través del formulario, el usuario puede optar entre la introducción directa de los datos en un área, de texto, la subida de un fichero con los datos en diversos formatos, o el uso de los ficheros de datos de prueba incorporados por la herramienta. En el caso de que el usuario opte por la subida de un fichero con los datos al servidor, se mostrarán además diversas opciones para permitir la lectura correcta de los datos por parte del sistema. En este sentido, el usuario puede especificar el tipo de fichero de los datos de entrada, y en caso de tratarse de un fichero de texto plano, elegir los separadores a usar para delimitar la información. En la figura 3 se muestra el formulario web de importación de datos con la opción de subida de ficheros de texto plano seleccionada. Fig. 3. Formulario de importación de datos basada en subida de ficheros El segundo paso es opcional, y establece la comprobación del valor de los datos importados por la herramienta y la edición de los mismos en caso de que fuera necesario. Además, en este paso se permite aplicar transformaciones sobre la estructura delos datos para adaptarlos al formato de entrada usado por los tests. Por ejemplo, un caso típico de transformación necesaria cuando se desarrollan experimentos donde se comparan diversos algoritmos es la transformación de un conjunto de datos formato por dos columnas, donde la primera columna especifica el algoritmo y la segunda el valor usado para medir su rendimiento, en la estructura tabular basada en columnas que espera la herramienta. Esta tranformación está representada en la figura 4, y en la figura 4 se muestra el formulario que permite la edición y transformación de los datos importados a través de la web. Alg. 1 Data 1.1 Alg. 2 Data 2.1 Alg. n Data n.1 ... Alg. 1 Data 1.m Alg. 2 Data 2.m Alg. n Data n.m ... ... Alg. 1 Data 1.1 Alg. 2 Data 2.1 Alg. n Data n.1 ... Data 1.m Data 2.m Data n.m ... ... ... ... ... Fig. 4. Transformación de datos en 2 columnas a los datos con estructura tabular usada en STATService Fig. 5. Formulario de edición de datos El tercer paso supone la elección del conjunto de tests a aplicar a los datos. En la figura 6 se muestra el formulario que permite seleccionar los tests a aplicar. Dicho formulario es adaptativo, de manera que solo muestra el conjunto de técnicas que tiene sentido aplicar a los datos dependiendo de su estructura. Por ejemplo, si únicamente se tienen dos columnas de datos, no mostrará los tests de comparación múltiple como opción. En este paso también puede seleccionarse el formato de salida de los resultados de análisis (bien una página web o un fichero de texto en formato Latex). Finalmente la aplicación muestra los resultados de los análisis en el formato seleccionado. En la figura 7 se muestran los resultados obtenidos para un análisis de comparación múltiple con tests no paramétricos y diversos procedimientos post-hoc. Fig. 6. Formulario de selección de tests y formato de salida Fig. 7. Resultados del análisis B. Uso de STATService a través de los complementos para Excel Para el usar nuestro sistema directamente desde MS Excel, el primer paso es instalar el complemento asociado en caso de que éste no esté instalado. Para ello, es necesario registrarse como usuario del sistema a través del portal web. Una vez registrados, se nos dará acceso a los enlaces de descarga de los complementos, que contienen un fichero ejecutable que instalará el complemento para MS Excel en base a un asistente. Una vez instalado el complemento, aparecerá una nueva opción en el menú principal de la interfaz de usuario de Excel denominada Complementos (o Plugins en inglés). En dicha opción, tendremos disponibles botones para realizar el análisis conforme a los diferentes tipos de tests disponibles en la plataforma. En la figura 8 se muestran los distintos botones que aparecen para el complemento de MS Excel 2010 (también se soporta el uso de las versiones 2007 y 2003). Fig. 8. Opciones del menú principal para el complemento STATService para MS Office 2010 Una vez seleccionado el botón adecuado, se mostrará un formulario que permite configurar los tests concretos a aplicar, los datos de entrada a usar, y el formato en el que se desean obtener los resultados (bien en el propio documento como un libro nuevo, o bien como un fichero en formato Latex). El usuario puede también seleccionar el conjunto de datos que desea analizar antes de pulsar el botón concreto del tipo de test a aplicar, con lo que el sistema se encargará de rellenar automáticamente los campos apropiados del formulario en base a la selección actual. En la figura 9 se muestran las opciones del formulario para la aplicación de tests de comparación múltiple no paramétricos. Fig. 9. Formulario de opciones para comparación múltiple con tests no paramétricos del complemento STATService para MS Office 2010 Finalmente, una vez pulsado el botón “Aceptar” del formulario de configuración de los tests a aplicar, el sistema generará los resultados en el formato apropiado C. Uso de los servicios web XML de STATService La forma en que se usan los servicios web depende de la plataforma de desarrollo, pero normalmente se sigue un proceso muy similar. Actualmente existen librerías y asistentes para la invocación de servicios web para prácticamente todas las plataformas de desarrollo mayoritarias. Para el propósito de este ejemplo de uso, asumiremos que el desarrollador pretende crear una aplicación en el lenguaje C# usando para ello Visual Studio 2010. La aplicación integrará funcionalidad de tests no paramétricos de comparación múltiple de STATService a través de sus servicios web, concretamente, asumiremos en este caso que se pretende usar la operación que implementa el test de Friedman. El primer paso es crear las clases que ejercerar el papel del cliente para el servicio web. En nuestro caso esto es tan simple como añadir una referencia al servicio web del proyecto, introducir la dirección del servicio web que se desea integrar, y pulsar en “Aceptar”. Las figuras 10 y 11 ilustran este proceso. Fig. 10. Añadir una nueva referencia a servicio web a nuestro proyecto Visual Studio 2010 Fig. 11. Importación del servicio web en base a su dirección Estas acciones crearán todo un conjunto de clases en nuestro proyecto que representan al servicio web y los datos de entrada y salida de cada una de sus operaciones, con lo que el único paso restante es usar dichas clases para realizar la invocación de la operación adecuada del servicio y usar los resultados obtenidos en nuestro programa. En la figura 12 se muestra parte del código necesario para realizar la invocación y extraer el p-value del test de Friedman a través del servicio web. Fig. 12. Invocación a la operación del test de Friedman y extracción del p-value devuelto como resultado V. INTEGRACIÓN EN MOSES STATService forma parte de un ecosistema de herramientas para la optimización con metaheurísticas denominado MOSES (del inglés Metaheuristic Optimization Software Ecosystem). El objetivo de MOSES [12] es la creación de un conjunto de herramientas interoperables y de código abierto para la optimización con metaheurísticas de manera que los usuarios e investigadores las tengan disponibles en cualquier plataforma, tecnología de desarrollo e incluso, para su integración en otros frameworks de optimización con metaheurísticas. Para ello, MOSES establece un conjunto de “nichos”, que describen una función de una herramienta en el contexto del ecosistema, y propone la creación de una interfaz independiente de la implementación (herramienta concreta que juega ese papel en el ecosistema) y su exposición como servicio. Concretamente, MOSES define los siguientes 6 nichos [12]: (i) Framework de Optimización; (ii) Herramienta de Análisis Estadístico; (iii) Herramienta de Diseño de Experimentos; (iv) Plataforma de Ejecución de experimentos; (v) Herramienta de Monitorización de Experimentos; (vi) Herramienta de visualización y presentación de resultados. Los servicios web de STATService establecen la interfaz para la Herramienta de análisis estadístico en el contexto de MOSES, y la implementación actual de los mismos (cf. sección 3), proporciona una implementación de referencia para los mismos. Además, los servicios web están siendo integrados actualmente en ELF (Experiments Laboratory for FOM), la herramienta de diseño y ejecución de experimentos que conformará la implementación de referencia de los nichos de diseño y monitorización de experimentos. VI. TRABAJO RELACIONADO Podemos dividir el trabajo relacionado con este artículo en dos áreas distintas: (i) herramientas online y servicios web para análisis estadístico; y (ii) integración de análisis estadístico en los frameworks para la optimización con metaheurísticas. D. Servicios web para análisis estadístico Actualmente, aplicaciones que típicamente se instalaban localmente en la computadora del usuario, ahora residen “en la nube”. Estas aplicaciones son accedidas por los usuarios a través del navegador (o con clientes específicos) como servicios cuando las necesitan, con lo que surge el paradigma del “Software como Servicio” (SaaS). Las ventajas de este paradigma son obvias, ya que los usuarios quedan liberados de la carga asociada a las instalación, configuración y mantenimiento o actualización de las aplicaciones, estando disponibles desde cualquier dispositivo y tienen un acceso ubicuo a las aplicaciones. Este paradigma ha llegado también al software estadístico, y como consecuencia, hay un conjunto de aplicaciones que proveen actualmente herramientas para el análisis estadístico online [13, 14, 15, 16,17]. Sin embargo, esas herramientas, no proveen test no paramétricos para comparación múltiple, ni procedimientos de análisis post-hoc. Además, nuestra herramienta es pionera en cuanto a ofrecer la lógica de los tests estadísticos como servicios web públicamente accesibles y gratuitos. E. Integración del análisis estadístico en frameworks de optimización con metaheurísticas Existen varios frameworks de optimización con metaheurísticas que ya integran algún tipo de utilidad para el análisis de resultados [18]. Sin embargo, la mayoría de estos frameworks invocan a una librería o programa externo local (como JMetal, HeuristicLab), o implementan directamente algunos de los test (como OAT). En este sentido nuestra propuesta es novedosa, permitiendo que los servicios de análisis estadístico sean integrados tanto en los propios algoritmos de optimización como en otras herramientas. VII. CONCLUSIONES En el presente trabajo se ha presentado STATService como una herramienta útil para la comunidad de optimización con metaheurísticas. Se han descrito los tipos de cuestiones de investigación que esta herramienta puede ayudar a resolver: la comparación de técnicas metaheurísticas para la resolución de problemas de optimización y la elección de los valores de sus parámetros. Concretamente las principales características de STATService son: (i) un portal web que permite la importación y análisis estadístico de datos directamente desde el navegado así como la exportación de sus resultados a distintos formatos; (ii) un conjunto de complementos para las distintas versiones de MS Excel que permite aplicar los tests estadísticos directamente desde su interfaz; y (iii) una conjunto de servicios web que permiten integrar las funcionalidades del sistema en cualquier plataforma de desarrollo y lenguaje de programación. Además se han proporcionado ejemplos de uso para los dichos componentes. Finalmente, se ha mostrado que esta herramienta tiene un papel importante dentro del ecosistema de herramientas para optimización MOSES, y que puede integrarse asimismo con los propios frameworks de optimización (como es el caso del framework FOM a través de su laboratorio de optimización ELF). En cuanto al trabajo futuro, actualmente estamos trabajando en la incorporación de tests adicionales, la creación de un módulo de interpretación automática de resultados, y en la mejora de la representación de los mismos. Finalmente, planeamos añadir una sección privada al portal que permita a los usuarios almacenar en una BD sus conjuntos de resultados y análisis aplicados, de manera que puedan proporcionar un único enlace tanto para hacer disponibles tanto sus resultados como para replicar el análisis realizado sobre los mismos. Consideramos que esta última característica puede ayudar a mejorar a replicabilidad de los experimentos en nuestra área. AGRADECIMIENTOS Este artículo ha sido financiado parcialmente por la Comisión Europea (FEDER) y el Gobierno de España a través del proyecto CICYT SETI (TIN2009-07366), y el Gobierno Andaluz a través del proyecto ISABEL (TIC-2533). REFERENCIAS [1] M. C. D. B. T. Stützle, “Statistical methods for the comparison of stochastic optimizers,” in MIC2005. The 6th Metaheuristics International Conference, 2005, pp. 198–196. [2] M. Arenas, P. Valdivieso, A. García, J. Guervás, J. Laredo, and P. García-Sánchez, “Statistical analysis of parameter setting in real-coded evolutionary algorithms,” in Parallel Problem Solving from Nature PPSN XI, ser. Lecture Notes in Computer Science. Springer Berlin / Heidelberg, 2011, vol. 6239, pp. 452– 461. [3] S. H. Jacobson and L. A. McLay, “Applying statistical tests to empirically compare tabu search parameters for max 3- satisfiability: A case study,” Omega, vol. 37, pp. 522–534, 2009. [4] T. Bartz-Beielstein and M. Preuss, “Experimental research in evolutionary computation,” in Proceedings of the 2008 GECCO conference companion on Genetic and evolutionary computation, ser. GECCO ’08. New York, NY, USA: ACM, 2008, pp. 2517– 2534. [5] E. D. Taillard, “Few guidelines for analyzing methods,” in Proceedings of MIC2005: The Sixth Metaheuristics International Conference, 2005, pp. 189–196. [6] T. Bartz-Beielstein and M. Preuss, “The future of experimental research,” in GECCO (Companion), 2009, pp. 3185–3226. [7] M. Coffin and M. J. Saltzman, “Statistical analysis of computational tests of algorithms and heuristics,” INFORMS J. on Computing, vol. 12, pp. 24–44, 2000. [8] M. Chiarandini, D. Basso, and T. Stützle, “Statistical methods for the comparison of stochastic optimizers,” in Proceedings of MIC2005. The 6th Metaheuristics International Conference, 2005. [9] S. Garcia et al., “A study of statistical techniques and performance measures for genetics-based machine learning: accuracy and interpretability,” Soft Computing - A Fusion of Foundations, Methodologies and Applications, vol. 13, pp. 959– 977, 2009. [10] Salvador García, Alberto Fernández, Julián Luengo, and Francisco Herrera, “Advanced nonparametric tests for multiple comparisons in the design of experiments in computational intelligence and data mining: Experimental analysis of power,” Information Sciences, vol. 180, no. 10, pp. 2044–2064, 2010. [11] I. Nepomuceno Chamorro, J. Aguilar-Ruiz, and J. Riquelme, “Inferring gene regression networks with model trees”, BMC Bioinformatics, vol. 11, no. 1, pp. 517, Oct. 2010. [12] J. A. Parejo, P. Fernández, and A. Ruiz-Cortés, “De frameworks a ecosistemas: Evolución del software para optimización metaheurstica,” in Congreso Español De Metaheuristicas, Algoritmos Evolutivoy y Bioispirados. MAEB2010, 2010. [13] A. Chu, J. Cui, and I. D. Dinov, “Socr analyses: Implementation and demonstration of a new graphical statistics educational toolkit,” Journal of Statistical Software, vol. 30, no. 3, pp. 1–19, April 2009. [14] J. C. Pezzullo, “Statpages.org,” 2010. [Online]. Available: http://statpages.org/ [15] I. StatPoint Technologies, “Statgraphics online”. Available: http://www.statgraphicsonline.com/SGOnline.aspx [16] R. Lowry, “Vassarstats: Website for statistical computation,” 1998. [Online]. Available: http://- faculty.vassar.edu/lowry/VassarStats.html [17] D. G. Uitenbroek, “Sisa: Simple interactive statistical analysis,” 1997. [Online]. Available: http://- www.quantitativeskills.com/sisa/ [18] J. A. Parejo, S. Lozano, A. Ruiz-Cortés, and P. Fernandez, “Metaheuristic optimization frameworks: A survey and benchmarking,” Soft Computing, 2011. DOI: 10.1007/s00500-011-0754-8eslie Lamport, A Document Preparation System: LATEX, User's Guide and Reference Manual, Addison Wesley Publishing Company, 1986.