Welphi, procesos parcipativos Delphi em base web

© Carlos A. Bana e Costa IE, Madrid Octubre de 2017 Welphi, procesos parcipativos Delphi em base web Carlos A. Bana e Costa 1 Universidade de Lisboa, Instituto Superior Técnico (IST) http://web.tecnico.ulisboa.pt/carlosbana © Carlos A. Bana e Costa IE, Madrid Octubre de 2017 2 © Carlos A. Bana e Costa IE, Madrid Octubre de 2017 Área de apoyo a la decisión Misión: Desarrollo de métodos y software para mejorar los procesos de decisión de las organizaciones, identificando y corrigiendo los errores críticos más comunes observados en la construcción de modelos cuantitativos de evaluación IST –Departamento de Ingeniería y Gestión © Carlos A. Bana e Costa IE, Madrid Octubre de 2017 En la estructuración: •Un indicador no es un criterio •Los medios no son fines; causas no son efectos •Redundancia de criterios conduce a resultados desajustados •Escasez de datos sobre impactos en un aspecto no implica que deba ser retirado del análisis En la evaluación: •Impacto no es valor. Estandarizar no es medir el valor •Subjetividad no es arbitrarieda •Asignar pesos a los criterios sólo basándose en la noción intuitiva de importancia relativa es el error crítico más común •Ordenar no es medir el valor; decir queAes mejor que Bno permite concluir si es poco mejor o mucho mejor •Sumar scores ordinales produce resultados globales arbitrarios En la elaboración de recomendaciones: •Un método no es un decisor; las salidas de un modelo no son incuestionables Errores críticos más comunes en la construcción del modelos de evaluación 4 © Carlos A. Bana e Costa IE, Madrid Octubre de 2017 En la estructuración: •Un indicador no es un criterio •Los medios no son fines; causas no son efectos •Redundancia de criterios conduce a resultados desajustados •Escasez de datos sobre impactos en un aspecto no implica que deba ser retirado del análisis En la evaluación: •Impacto no es valor. Estandarizar no es medir el valor •Subjetividad no es arbitrarieda •Asignar pesos a los criterios sólo basándose en la noción intuitiva de importancia relativa es el error crítico más común •Ordenar no es medir el valor; decir queAes mejor que Bno permite concluir si es poco mejor o mucho mejor •Sumar scores ordinales produce resultados globales arbitrarios En la elaboración de recomendaciones: •Un método no es un decisor; las salidas de un modelo no son incuestionables Errores críticos más comunes en la construcción del modelos de evaluación 5 El modelo debe ser simple, pero no simplista © Carlos A. Bana e Costa IE, Madrid Octubre de 2017 6 ¿Por qué tantos errores y tan comunes? There Are Limits to Working Memory Capacity. By Andrew Angus on May 26, 2011 © Carlos A. Bana e Costa IE, Madrid Octubre de 2017 Consultoría Sociedad Academia Desarrollo con una sólida base teórica y de uso fácil de ... Soluciones diseñadas a medida Sistemas de apoyo a la decisión Multimetodologías ...apalancado por... © Carlos A. Bana e Costa IE, Madrid Octubre de 2017 8 Evaluación del desempeño Evaluación y priorización de proyectos Asignación de recursos y presupuesto Elaboración de políticas y decisión estratégica Análisis de riesgo Toma de decisión en grupo de negociación ... teniendo en cuenta información objetiva, preferencias e incertidumbre Estructuración Evaluación Recomendaciones ... para ayudar a hacer mejores evaluaciones y elecciones © Carlos A. Bana e Costa IE, Madrid Octubre de 2017 9 ... evaluación del desempeño de profesores universitarios e.g. para el Instituto Superior Técnico ... construcción de índices de agregación de indicadores interdependientes e.g. para evaluar la salud de la población ... evaluación y selección de provedores e.g. para varias instituciones nacionales e internacionales ... auditoría de programas de mantenimiento predictivo e.g. para un hospital en España ... priorización y asignación de recursos de forma transparente e.g. para una empresa farmacéutica ... a través del desarrollo de soluciones a medida 9 © Carlos A. Bana e Costa IE, Madrid Octubre de 2017 16 MACBETH Categorías MACBETH de diferencias de valor V(A)  V(C) < V(D)  V(B) Juicios de comparación de opciones de dos a dos C A B D AC D B (Bana e Costa et al., 2011; 2012) © Carlos A. Bana e Costa IE, Madrid Octubre de 2017 17 Metodología multicriterio MACBETH Actores Análisis del contexto de la decisión y estructuración del proceso de apoyo a la decisión Estructuración de los elementos de evaluación Desarrollo del modelo multicriterio de evaluación Análisis de sensibilidad y elaboración de las recomendaciones © Carlos A. Bana e Costa IE, Madrid Octubre de 2017 18 •Objetivo: Mejorar los procesos de evaluación y toma de decisión •Marco metodológico: Metodología multicriterio •Tipo de enfoque multicriterio: Medición de diferencias de valor •Tipo de modelado: Construcción de modelos cuantitativos de evaluación basados en juicios cualitativos de diferencias de valor •Software: Sistemas de apoyo a la decisión M-MACBETH y Welphi Metodología multicriterio MACBETH © Carlos A. Bana e Costa IE, Madrid Octubre 2017 19 Bana e Costa CA, et al. (2011) Introducción a MACBETH. In Análisis Multicriterio para la Toma de Decisiones: Métodos y Aplicaciones. Edited by López JCL. México: Plaza y Valdés; pp. 233-242 © Carlos A. Bana e Costa IE, Madrid Octubre de 2017 20 ... utilizando sistemas de apoyo a la decisión 20 © Carlos A. Bana e Costa IE, Madrid Octubre de 2017 21 El componente social del proceso de evaluación Grupos de evaluación grandes / o geográficamente dispersos / o con agendas inconciliables Conferencia de decisión con MACBETH Grupos de evaluación pequeños vs. Welphi –Procesos de Delphi con base web BANA Consulting Lda. Información de referencia Modelo de evaluación © Carlos A. Bana e Costa IE, Madrid Octubre de 2017 22 Phillips, L.D., Bana e Costa, C.A. (2007) Procesos de conferencia de decisión Procesos de Delphi con base web •Realización de uno o más talleres presenciales •Presencia de actores clave que representan las diversas perspectivas sobre el problema •Facilitado por un experto imparcial en procesos de grupo y análisis de decisión •Utiliza un modelo ajustado (tan simple como sea posible), creado in loco para ayudar a estructurar el pensamiento ▪Características generales de Delphi: anónimo e iterativo → evita presiones sociales; reacción controlada y resumen estadístico → implicación en la discusión usando un proceso no presencial (Linstone, Turoff et al. 2002) ▪Características específicas del web-Delphi: proceso de ejecución rápida; costes bajos; los participantes responden a su ritmo; número elevado de participantes, geográficamente dispersos; interfaz amigable y atractiva → reduce los abandonos El componente social del proceso de toma de decisiones Grupos de evaluación grandes / o geográficamente dispersos / o con agendas inconciliables Grupos de evaluación pequeños vs. © Carlos A. Bana e Costa IE, Madrid Octubre de 2017 23 Diseño del proceso MACBETH: ejemplo de combinación Welphi + conferencia de decisión Objetivo: Ayudar al Foro Brasileño de Cambio del Clima (FBMC) a priorizar medidas de reducción de emisiones de carbono © Carlos A. Bana e Costa IE, Madrid Octubre de 2017 24 Diseño del proceso sociotécnico multicriterio DELPHI Web-Delphi para la selección de indicadores Conferencia de la decisión Indicadores seleccionados Pesos cualitativos Tipos de funciones de valor Índice Compuesto Indicadores sugeridos DELPHI Web-Delphi para las funciones de valor DELPHI Web-Delphi para la ponderación 1º paso 3º paso 2º paso 4º paso © Carlos A. Bana e Costa IE, Madrid Octubre de 2017 Diseño de la sala de conferencias de decisión © Carlos A. Bana e Costa IE, Madrid Octubre de 2017 Protocolo de cuestionamiento MACBETH para probar la linealidad 0 5 10 15 Desempeño Valor 0 farmacias por 10 000 hab. fuerte 5 farmacias por 10 000 hab. 5 farmacias por 10 000 hab. 10 farmacias por 10 000 hab. débil 10 farmacias por 10 000 hab. 15 farmacias por 10 000 hab. muy débil Función de valor cóncava 32  © Carlos A. Bana e Costa IE, Madrid Octubre 2017 24 Feb 2017 T.C. Rodrigues 33 Modelling value interactions Reduce hospital distance* ReasoningMAC II 28 min. 10 min. 234 beds per 100 000 inhab. 544 beds per 100 000 inhab. 1.5 doctors per 1000 inhab. 5 doctors per 1000 inhab. Increase access to hospital care Increase hospital beds* bed* Increase hospital doctors* doc* Increase hospital capacity hospc Reference levels Doctors (doctors per 1000 inhabitants) Beds (beds per 100.000 inhabitants) A (+,+)5544 B (+,-)5234 C (-,+)1,5 544 D (-,-)1,5 234 © Carlos A. Bana e Costa IE, Madrid Octubre 2017 24 Feb 2017 T.C. Rodrigues 34 Modelling value interactions Reference levels Doctors (doctors per 1000 inhabitants) Beds (beds per 100.000 inhabitants) A (+,+)5544 B (+,-)5234 C (-,+)1,5 544 D (-,-)1,5 234 + Doctors Beds V.Strong - - + Doctors Beds - + V.Strong © Carlos A. Bana e Costa IE, Madrid Octubre 2017 24 Feb 2017 T.C. Rodrigues 35 Modelling value interactions Reference levels Doctors (doctors per 1000 inhabitants) Beds (beds per 100.000 inhabitants) A (+,+)5544 B (+,-)5234 C (-,+)1,5 544 D (-,-)1,5 234 + Doctors Beds V.Strong -- + Doctors Beds - + V.Strong Doctors Beds - - + Doctors Beds - ++ Moderat eStrong © Carlos A. Bana e Costa IE, Madrid Octubre 2017 24 Feb 2017 T.C. Rodrigues 36 Modelling value interactions Reference levels Doctors (doctors per 1000 inhabitants) Beds (beds per 100.000 inhabitants) A (+,+)5544 B (+,-)5234 C (-,+)1,5 544 D (-,-)1,5 234 + Doctors Beds V.Strong - - + Doctors Beds - + V.Strong Doctors Beds - - + Doctors Beds - ++ Moderat eStrong El clúster de indicadores presencialmente dependientes debe formar un solo criterio de evaluación; de lo contrario, los modelos de agregación más complejos que la suma ponderada deben considerarse, p.ej., el modelo bilineal (Rodrigues et al. 2016) © Carlos A. Bana e Costa IE, Madrid Octubre 2017 24 Feb 2017 T.C. Rodrigues 37 Modelling value interactions MULTILINEAR MODEL 𝛽ℎ𝑜𝑠𝑝 𝑥𝑑𝑜𝑐ℎ𝑜𝑠𝑝 ∗,𝑥𝑏𝑒𝑑ℎ𝑜𝑠𝑝 ∗ = 0.70 𝑣𝑑𝑜𝑐ℎ𝑜𝑠𝑝 ∗ 𝑥𝑑𝑜𝑐ℎ𝑜𝑠𝑝 ∗ +0.20 𝑣𝑏𝑒𝑑ℎ𝑜𝑠𝑝 ∗ 𝑥𝑏𝑒𝑑ℎ𝑜𝑠𝑝 ∗ + −1 𝑙 0.10 𝑣𝑑𝑜𝑐ℎ𝑜𝑠𝑝 ∗ 𝑥𝑑𝑜𝑐ℎ𝑜𝑠𝑝 ∗ ∙ 𝑣𝑏𝑒𝑑ℎ𝑜𝑠𝑝 ∗ 𝑥𝑏𝑒𝑑ℎ𝑜𝑠𝑝 ∗ © Carlos A. Bana e Costa IE, Madrid Octubre de 2017 38 Otros errores críticos comunes "Los determinantes representan el 75 por ciento de la clasificación general y los resultados representan el 25 por ciento, un cambio desde el saldo 50/50 en el índice original de 1990. Esto refleja la importancia y la creciente disponibilidad de datos determinantes". Normalizar no es medir el valor ... Normalización Mín-Máx ... Distancia a una referencia ... Estandardización … in America’s Health Rankings®—2011 http://www.americashealthrankings.org/ OECD, Handbook on Constructing Composite Indicators, 2014 La ponderación no se basa sólo en la noción intuitiva de "importancia" / ¿La falta de datos implica la eliminación del indicador? © Carlos A. Bana e Costa IE, Madrid Octubre de 2017 Utilización de procedimientos incorrectos de ponderación Preguntar directamente si un criterio es más importante que otro criterio es “el error crítico más frecuente." The most common critical mistake Ralph Keeney Value-Focused Thinking, 1992 Los pesos relativos dependen de la amplitud de los rangos de variación de los impactos © Carlos A. Bana e Costa IE, Madrid Octubre 2017 40 Donde estamos… ... donde queremos llegar © Carlos A. Bana e Costa IE, Madrid Octubre 2017 41 Dos caminos alternativos... Donde estamos… ... donde queremos llegar