Una revisión de la notación PPINOT para indicadores de rendimiento mediante su aplicación a un caso real

Una revisión de la notación PPINOT para indicadores de rendimiento mediante su aplicación a un caso real M. Cruz, B. Bernárdez, A. del-Río-Ortega, A. Durán Departamento de Lenguajes y Sistemas Informáticos, Universidad de Sevilla {cruz, beat, adeladelrio, amador}@us.es Resumen. Cada vez son más numerosas las organizaciones orientadas a procesos que, para conseguir sus objetivos, necesitan modelar los procesos de negocio (PN) y evaluar su rendimiento. El modelado de procesos hace posible el control del proceso durante su ejecución permitiendo su posterior análisis y mejora. Un elemento clave para llevar a cabo esa mejora son los indicadores de rendimiento de proceso PPIs (Process Performance Indicators) que proporcionan información sobre la ejecución del proceso (por ejemplo medidas de tiempo o del estado de los elementos del proceso). La notación PPINOT permite representar de forma gráfica dichos indicadores sobre los elementos del PN y calcular su valor a partir de los datos generados durante la ejecución del proceso. Además de la notación gráfica, existe una notación basada en plantillas que permite la definición textual de los PPIs. En este artículo se presenta una revisión de PPINOT mediante su aplicación a un proceso híbrido (en parte humano, en parte automatizado). Para ello se ha modelado con BPMN el proceso de gestión de correo electrónico del SIC (Servicio de Informática y Comunicaciones) de la US (Universidad de Sevilla) y se han especificado en PPINOT parte del panel de indicadores definido por esta organización. Tras la especificación, se ha visto que la notación se adapta a este tipo de procesos y se han identificado algunas posibles mejoras en la misma. Palabras clave: indicadores de rendimiento de proceso; indicadores clave de rendimiento; gestión de procesos de negocio; rendimiento de procesos. 1 Introducción Hoy en día, muchas empresas están adoptando una perspectiva orientada a procesos en su negocio como una forma de identificar los pasos que realmente crean valor, quién está involucrado en el proceso y cuál es la información intercambiada, es decir, encontrar la manera de mejorar, aumentar la calidad, reducir pérdidas y ahorrar tiempo [3]. Según [10], la gestión de los PNs (Business Process Management) incluye métodos, técnicas, y herramientas para diseñar, aprobar, controlar y analizar los procesos operativos. El modelado de PN se realiza, generalmente, sobre procesos desarrollados por personas o sobre procesos híbridos en los que se mezclan actuaciones humanas y auto167 matizadas. En nuestro caso, se trata de un proceso prácticamente automatizado que se ofrece a los clientes del correo como servicio, lo que se conoce como PRaaS (Process as a Service). Además, la medida del rendimiento de los procesos es un aspecto esencial en cualquier organización orientada a procesos para la consecución de sus objetivos operacionales y tácticos [1]. Según [2], cada proceso se debería medir con unas métricas para caracterizar las bases de su rendimiento. A dicha medida se le denomina indicador clave de rendimiento KPI (Key Performance Indicator). Los KPIs relacionados con el proceso y que se pueden definir con métricas cuantificables se conocen también como indicadores de rendimiento de proceso PPI (Process Performance Indicator) y permiten evaluar la eficiencia de los procesos [8]. La notación PPINOT, propuesta en [6], permite la representación gráfica de los PPIs que se hayan definido sobre el propio PN. Además, se ha desarrollado una notación para la definición textual de los PPIs basada en plantillas lingüísticos [8] que ayuda a estructurar la información asociada a cada uno de los indicadores. El objetivo principal de este trabajo es presentar una revisión de la notación y las plantillas PPINOT al aplicarlas a un caso real. Se tomará como escenario de aplicación lo relativo al proceso de recibir un correo electrónico de una cuenta externa a la US de algún miembro de la comunidad universitaria. La notación utilizada ha sido BPMN 2.0 usando ORIX – herramienta para el modelado de procesos en la web [13] – a la que se ha incorporado un plugin denominado PPINOT-Modeler [14][15] que permite representar los PPIs en el diagrama de PN utilizando la notación PPINOT. El resto del artículo se organiza de la siguiente manera. En la sección 2 se hace una breve introducción a la notación PPINOT, plantillas y patrones lingüísticos, en la sección 3 se presenta el escenario de aplicación sobre el que se va a definir los indicadores y revisar la notación y en la última sección se resumen las conclusiones obtenidas y trabajo futuro. 2 Background Los PPIs permiten evaluar la eficiencia y eficacia de los PNs; pueden ser medidos directamente a través de los datos que se generan dentro del flujo del proceso y tienen como objetivo la optimización continua y controlada de los procesos [7]. Respecto a la relación entre KPIs y PPIs, hay autores que utilizan indistintamente los términos, otros consideran los PPIs en el nivel operacional y los KPI en los niveles táctico y estratégico [7]. En este trabajo de acuerdo con [1][4], vamos a considerar que los PPI son un caso particular de los KPIs definidos para medir el rendimiento de los PNs. Los PPIs se calculan durante la ejecución del proceso mientras que los KPIs son una forma de medir los objetivos de la organización. Como todo KPI, el conjunto de criterios que hacen adecuado un PPI para su posterior análisis se conoce como condiciones SMART [12] que se corresponde con la abreviatura de cinco palabras: Específico (Specific); Medible (Measurable); Alcanzable (Achievable); Relevante (Relevant) y Tiempo limitado (Time-bounded). 168 2.1 Notación PPINOT PPINOT [1][5][6] trabaja sobre una o varias instancias de PN que se ejecutan de forma simultánea a lo largo del tiempo. En esta situación PPINOT mide el rendimiento haciendo cálculos que se basan en el flujo de proceso de dichas instancias, es decir, en el camino del PN que siguen las instancias de los mismos. Si la métrica se define para una sola instancia, o ejecución del proceso, usaremos una Base Measure (medida base). Si hay varias, se usará una Aggregated Measure (medida agregada) que permite agregar las instancias mediante una función de agregación que por defecto es SUM aunque admite MIN, MAX o AVG. Existen además las Derived Measures (medidas derivadas) que realizan una función matemática sobre varias medidas. Fig. 1. Base Measure, Aggregated Measure y Derived Measure en PPINOT Las medidas que se pueden tomar son: x Time Measure (tiempo): cálculo de la duración entre dos condiciones de instantes. x Count Measure (conteo): número de veces que cierta condición de instancia se cumple. x State Condition Measure (medida condición de estado): comprueba si una actividad, pool o ciertos eventos están en un estado dado (cancelado, activa, etc.). x Data Property Condition Measure (medida condición propiedad de dato): comprueba si se cumple una condición sobre una propiedad de un dato. x Data Measure (medida de dato): permite obtener el valor de la propiedad de un dato de un objeto de datos. Fig. 2. Qué medir según notación PPINOT Todas las medidas se pueden utilizar como medidas básicas o como agregadas. Los distintos tipos de medidas (Base, Aggregated y Derived Measure) utilizan diferentes conectores dependiendo de lo que se vaya a medir. Es decir, el PPI se enlaza a alguno de los elementos del modelo propuesto (actividad, evento, pool u objeto de dato) sobre el que se hace la medición y tiene la información necesaria [1]. 169 2.2 Plantillas PPINOT Como alternativa a la definición gráfica de los PPIs, PPINOT incluye las plantillas [8] que estructuran la información asociada a cada indicador en forma de tabla. Mientras que la notación gráfica parece transmitir menos información (aunque se puede completar usando los atributos definidos en la propia notación que no aparecen visualmente), la notación textual permite dar toda la información: qué instancias participan en el cálculo, cuándo se hace la medida y durante cuánto tiempo se mide o su valor objetivo (límite). Además, las plantillas no requieren un aprendizaje previo a diferencia de la notación gráfica. Dentro de las plantillas se usan sus patrones lingüísticos [8] que permiten normalizar la redacción de algunos campos de la plantilla facilitando su descripción. Rellenar espacios en blanco en oraciones prescritas es más rápido y menos propenso a errores al seguir un esquema común. Este enfoque ha sido ya utilizado en áreas de Ingeniería de Requisitos [9]. La tabla 1 muestra la plantilla para un PPI, tiene nombre, descripción y una serie de atributos con sus respectivos valores. En cada descripción hay partes fijas (patrón) y partes a cumplimentar, marcadas con < >. Por simplicidad, el atributo alcance – que permite filtrar las instancias del proceso y especificar cuándo se calcula el PPI – se describe en la plantilla aunque en la propuesta original se define aparte. Table 1. Plantilla para la especificación textual de PPIs PPI–<id> <Descripción del nombre del PPI> Proceso <Nombre del proceso (Id del proceso)> Objetivos de negocio <Objetivos estratégicos y operacionales relacionados con el PPI> Medida del indicador El indicador se mide como <Medida>… Valor objetivo El valor del indicador debe ser <Valor objetivo> Alcance Las instancias del proceso consideradas para el PPI son o Todas o [Aquellas en las que] <Condiciones y periodicidad> Origen <Fuente desde la que se obtiene la medida> Responsable {<role >|<departamento >|<organización >|<persona>} Destinatario {<role >|<departamento >|<organización >|<persona>} Comentarios <Comentarios adicionales acerca del PPI> 3 Escenario de aplicación El SIC de la US proporciona a los miembros de la Comunidad Universitaria (Personal docente e investigador, personal de administración y servicios y alumnos) un servicio de correo electrónico institucional que les permite disponer de una cuenta de correo electrónico accesible vía web, o mediante un cliente de correo ya sea con el protocolo POPS o IMAPS. 170 El SIC está desarrollando un Panel de Indicadores de Servicios en el que se definen los indicadores de rendimiento que desean conocer y sirven de base para este estudio. Tras modelar en BPMN el proceso de recepción de correo del SIC, se han especificado los PPIs del Panel de Indicadores para estudiar a) si la notación PPINOT permite representar todos sus indicadores y b) la facilidad de uso y comprensión de dicha notación por parte de usuarios finales y técnicos. Para poder llevar a cabo el trabajo, se fijó un protocolo de actuación y se han mantenido varias reuniones con personal experto del SIC del área de Apoyo a la Docencia e Investigación. 3.1 Proceso de negocio de recepción del correo en el SIC El servicio de correo de la US está integrado por múltiples sistemas: estafetas primarias de recepción de mensajes, sistemas antivirus/antispam, repartidores de correo electrónico y los buzones en sí mismo. La estafeta de entrada es responsable tanto de la atención al MX de correo (Mail Exchange), es decir, un correo que venga desde un MTA (Mail Transfer Agent) de Internet (por ejemplo Gmail, Hotmail, Yahoo) como de recoger correo procedente de un cliente de correo (por ejemplo Thunderbird, Outlook) o dispositivos móviles. En caso de que el correo sea MX – no autenticado – se comprueba la IP fuente para ver si está en una lista negra de reputación RBL (Real-time Blackhole List). Adicionalmente, se hacen las siguientes comprobaciones: que el dominio del correo destino sea @*us.es – solo se comprueba para correo no autenticado –; el tamaño del correo <= 20 Mb; tiene menos de 100 destinatarios; la dirección IP origen/usuario no ha superado los umbrales máximos de envío de correo; el receptor existe. Si falla alguno de estos chequeos, se emite un código de error SMTP (Simple Mail Transfer Protocol) indicando al MTA remoto que no se acepta el correo y es su responsabilidad notificar adecuadamente al emisor; y se aplican los sistemas de filtrado antivirus/antispam. Superados los controles, el mensaje entra en el buzón del receptor, comprobando si la dirección es un alias y que no se supera la cuota de disco con este mensaje. 3.2 Indicadores de rendimiento KPI/ PPI Una vez analizados los indicadores propuestos por el SIC, se han clasificado según su naturaleza en PPIs, los que se miden cuando hay instancias del proceso en ejecución y KPIs los demás. Los KPIs identificados son: número de buzones, número de buzones por colectivo (alumos, pdi, etc.), número de reglas antispam, número de reglas globales, número de reglas personalizadas, número de reglas de lista blanca personalizada, número de reglas de lista negra personalizada y número de estafetas secundarias. En la tabla 2 se muestran: el identificador asignado al PPI, su descripción, el tipo de medida para su cálculo según lo descrito en la sección 2 y qué se mide. 171 Table 2. Relación de PPIs del proceso recibir un correo electrónico del SIC Cód. PPI Descripción Tipo Medida Qué medir PPI-Gb Cantidad total de Gb transferidos Aggregated Data PPI-Virus Nº de mensajes con virus Aggregated Count PPI-Email Nº de mensajes recibidos Aggregated Count PPI-POP Nº de accesos por protocolo POP Aggregated Count PPI-IMAP Nº de accesos protocolo IMAP Aggregated Count PPI-Web Nº de accesos con navegador Aggregated Count PPI-RBL Nº de mensajes descartados por RBL Derived Measure Count PPI-Spam Nº de mensajes marcados como spam Aggregated State Condition 3.3 Modelo de proceso y PPIs definidos Para representar el proceso en BPMN se han desarrollado dos modelos. El primero de ellos recibir correo (RC-SIC) representa qué hace el servidor de correo de la US cuando llega un email (fig. 3). El segundo, leer correo (LC-USR) representa qué hace el usuario durante una sesión de lectura de correo (fig. 4). Se han considerado dos procesos distintos porque el proceso RC-SIC afecta a un solo email y en el proceso LC-USR se pueden procesar varios emails a la vez. Además, el tratamiento de cada email en el servidor de correos de la US está totalmente automatizado, mientras que el proceso LC-USR es prácticamente humano. Fig. 3. Modelo de proceso RC-SIC junto con los PPIs definidos 172 Fig. 4. Modelo de proceso LC-USR junto con los PPIs definidos Fig. 5. Definición del PPI-RBL con Derived Measure sobre objeto de datos En las siguientes secciones se discute cada uno de los PPIs especificados. Se han clasificado según el tipo de medida que se efectúa para su cálculo. 3.3.1 Revisión del indicador de tipo Data Measure El indicador PPI-Gb se ha definido como Data Measure sobre el objeto de datos email. La medida se efectúa al agregar las instancias de dicho objeto y sumar el campo tamaño del email en él. Para definir este indicador, se ha representado explícitamente el email que según BPMN se podría asumir que va implícito a lo largo de todo el flujo de proceso. A continuación se muestra la especificación del PPI-Gb usando la plantilla. Table 3. Plantilla para la especificación del PPI-Gb PPI–Gb Cantidad total de Gb transferidos Proceso RC-SIC Recibir correo Objetivos de negocio Prever las necesidades de dimensionamiento futuro del sistema Medida del indicador El indicador se mide como suma del tamaño de todos los emails Valor objetivo No definido Alcance o Todas las instancias del proceso en estado completed o Periodicidad mensual Origen Logs de eventos Responsable SIC Destinatario SIC 3.3.2 Revisión de los indicadores de tipo Count Measure Los indicadores PPI-Virus, PPI-POP, PPI-IMAP, PPI-Web han sido definidos mediante Count Measure sobre una actividad. El indicador PPI-Email también se ha definido mediante Count Measure pero en este caso sobre el evento de inicio de la recepción ya que se desea contar el número de 173 veces que se produce el evento de recibir un email. Definir un indicador sobre un evento está contemplado en la notación. El resto de los indicadores calculados mediante Count Measure se han modelado sin complejidad. 3.3.3 Revisión del indicador de tipo State Condition Measure El indicador PPI-Spam se ha definido usando una State Condition Measure sobre la actividad ‘Marcar como Spam’ cuando el estado de dicha actividad sea completed. Más tarde, se observa que es posible representarlo mediante Count Measure. Es decir, es equivalente sumar las veces que se realiza una tarea o actividad (Count Aggregated Measure sobre una actividad) y sumar las veces que una actividad está en estado completed (State Condition Aggregated Measure sobre una actividad). 3.3.4 Revisión del indicador de tipo Derived Measure Para calcular el valor del PPI-RBL se han barajado dos opciones. La primera de ellas (fig. 3) es definir el indicador mediante Derived Measure que calcula la diferencia entre dos PPIs (a-b), definidos sobre dos actividades, por la primera actividad fluyen todos los email a validar y por la segunda ya no fluyen los email descartados por RBL. La otra opción correcta (fig. 5), es también mediante Derived Measure pero en este caso se comprueba si la IP del email está incluida en las IPs que integran la lista negra de reputación RBL. Ha sido necesario hacer explícito el objeto de datos email en el flujo de secuencia poder definir el indicador sobre él. En definitiva, existen dos posibles maneras de representar un mismo PPI en el modelo, lo cual ocurre también en otras ocasiones y está contemplado en PPINOT. 3.4 Discusión El Panel de Indicadores del SIC para el proceso de correo consta de 16 indicadores de rendimiento, de ellos 8 son KPIs y 8 PPIs. De los PPIs identificados, siguiendo PPINOT, todos se definen mediante Aggregated Measure o Derived Measure y ninguno mediante Base Measure que actúa sobre una única instancia. Habría que estudiar si el resultado es extrapolable a la definición de indicadores en otras organizaciones. En este proceso no se han utilizado Time Measures, suelen usarse en procesos humanos que requieran el cálculo de plazos, aunque también tendrían sentido en proceso automatizados, para medir tiempos de respuestas de las máquinas, etc. Todos los PPIs del SIC hemos podido representarlos con la notación y 6 de ellos de dos formas distintas. Esto ya estaba previsto en PPINOT aunque inicialmente puede generar cierta incertidumbre. En el caso de Count Measure y State Condition Measure, su uso es equivalente en caso de medidas agregadas definidas sobre una actividad cuando la condición para la actividad de State Condition Measure sea estado completed. En un caso cuenta el número de veces que se ejecuta una actividad y en el otro suma las actividades finalizadas. No son equivalentes cuando las medidas no están agregadas, cuando el estado de la actividad es distinto de completed o cuando se trata de medir sobre un objeto de datos – en ese caso se utiliza Data Measure –. En consecuencia los indicadores PPI-Virus, PPI-POP, PPI-IMAP, PPI-Web, PPI-RBL 174 que inicialmente se especificaron mediante Count Measure, también se podían haber especificado como State Condition Measure. Además, se ha visto que en determinadas situaciones hay que hacer explícito algún elemento del modelo de procesos – por ejemplo, un objeto de datos – para poder representar un PPI concreto, porque BPMN asume implícitamente una semántica en el flujo de proceso que se evidencia al especificar los PPIs. Por otro lado, la definición de los PPI con plantillas ha resultado útil porque además de aportar información alternativa a la notación gráfica, evita la sobrecarga del modelo gráfico – esto puede solucionarse mediante software, ocultando los PPIs que no se quieran mostrar, usando ajustes para escalar, etc. – y más importante, porque no requiere de un aprendizaje previo, que puede resultar especialmente tedioso para profesionales no familiarizados con la ingeniería del software. Sobre los atributos de la plantilla se ha visto que a) el atributo alcance es posible especificarlo dentro de la plantilla sin necesidad de usar otra, aumentando su legibilidad; b) el atributo valor objetivo no siempre es fácil de determinar. En los indicadores PPI-Virus, PPI-RBL y PPI-Spam el valor objetivo es 100% en el sentido de que el SIC desea detectar todos los virus. El problema es que se desconoce el número de virus real recibidos y se hace dificil determinar si se ha llegado al 100%. Por último, desarrollar el modelo de procesos con los PPIs ha permitido identificar nuevos PPIs como el número de veces que se supera la cuota de disco, que permitiría estimar cuándo es necesario ampliarla, o bien, el porcentaje de email que proceden de fuente no autenticada, que sobrecargan el proceso con comprobaciones extras y cuya tendencia al alza interesa controlar. 4 Conclusiones y trabajo futuro En este trabajo se ha presentado como escenario de aplicación el PN de recepción de correo desde una cuenta externa a la US a algún miembro de la comunidad universitaria para revisar la notación PPINOT y analizar su expresividad y su facilidad de uso en el ámbito de los PN híbridos. Según nuestra experiencia, la representación gráfica de indicadores facilita comprender qué es lo que se quiere medir en cada uno de los procesos, así como la forma en que debe llevarse a cabo dicha medición. Por otra parte, ha permitido representar la totalidad de los PPIs que define el SIC en su panel de indicadores. Tras describir los PPIs con PPINOT no hemos detectado especial problema al ser un proceso híbrido. Se han identificado algunas posibles mejoras como la necesidad de aclarar en qué situaciones es indistinto el uso de Count Measure o State Condition Measure y algunas puntualizaciones necesarias en las plantillas que, en general, facilitan la descripción y compresión de los PPIs. En cuanto a los trabajos futuros, nuestra primera intención es calcular de forma automática los PPIs especificados. Trabajos previos [6], calculan dichos valores a partir del archivo de log generado durante la ejecución del BPMS open source Activiti [11]. En el caso del SIC, el elemento de partida son los archivos de logs que generan los servidores de correo. 175