Monitorización de un Centro de Proceso de Datos

ESCUELA DE INGENIERÍA DE TELECOMUNICACIÓN Y ELECTRÓNICA PROYECTO FIN DE CARRERA MONITORIZACIÓN DE UN CENTRO DE PROCESO DE DATOS Titulación: Ingeniero Técnico de Telecomunicación Especialidad en Sonido e Imagen. Autor: D. Juan Francisco Añor Arencibia. Tutor: D. Manuel Medina Molina. Mayo 2015. ESCUELA DE INGENIERÍA DE TELECOMUNICACIÓN Y ELECTRÓNICA PROYECTO FIN DE CARRERA MONITORIZACIÓN DE UN CENTRO DE PROCESO DE DATOS HOJA DE FIRMAS Alumno Fdo.: D. Juan Francisco Añor Arencibia Tutor Fdo.: D. Manuel Medina Molina Mayo 2015 ESCUELA DE INGENIERÍA DE TELECOMUNICACIÓN Y ELECTRÓNICA PROYECTO FIN DE CARRERA MONITORIZACIÓN DE UN CENTRO DE PROCESO DE DATOS HOJA DE EVALUACIÓN Calificación: ___________________________ Presidente Fdo.: Vocal Secretario Fdo.: Fdo.: Mayo 2015 Monitorización de un Centro de Proceso de Datos 7 ÍNDICE ÍNDICE -------------------------------------------------------------------------------------------- 7 FIGURAS ---------------------------------------------------------------------------------------- 12 TABLAS ----------------------------------------------------------------------------------------- 16 AGRADECIMIENTOS ------------------------------------------------------------------------- 17 RESUMEN -------------------------------------------------------------------------------------- 19 ESTRUCTURA DE LA MEMORIA DEL PFC ----------------------------------------------- 21 PARTE I DESCRIPCIÓN DEL OBJETIVO DEL PFC -------------------------------------- 25 1 INTRODUCCIÓN Y DEFINICIÓN DE OBJETIVOS --------------------------------- 25 1.1 Introducción ---------------------------------------------------------------------------------------------------------------- 25 1.2 Peticionario del proyecto ---------------------------------------------------------------------------------------------- 26 1.3 Objetivos -------------------------------------------------------------------------------------------------------------------- 26 1.4 Solución propuesta ------------------------------------------------------------------------------------------------------ 27 PARTE II MEMORIA DESCRIPTIVA ------------------------------------------------------ 31 2 CENTRO DE PROCESO DE DATOS -------------------------------------------------- 31 2.1 Definición de un CPD ---------------------------------------------------------------------------------------------------- 31 2.2 Clasificación de los CPDs ----------------------------------------------------------------------------------------------- 32 2.2.1 Tier I: Centro de Proceso de Datos básico ------------------------------------------------------------------ 36 2.2.2 Tier II: Centro de Proceso de Datos, componentes redundantes ------------------------------------ 36 2.2.3 Tier III: Centro de Proceso de Datos, mantenimiento concurrente --------------------------------- 36 2.2.4 Tier IV: Centro de Proceso de Datos tolerante a fallos-------------------------------------------------- 37 Monitorización de un Centro de Proceso de Datos 8 2.3 Sistemas de energía ------------------------------------------------------------------------------------------------------ 39 2.3.1 Red eléctrica -------------------------------------------------------------------------------------------------------- 40 2.3.2 Grupos electrógenos --------------------------------------------------------------------------------------------- 43 2.3.3 Sistemas de Alimentación Ininterrumpida ----------------------------------------------------------------- 47 2.4 Sistemas de refrigeración ---------------------------------------------------------------------------------------------- 53 2.4.1 Distribución del aire ---------------------------------------------------------------------------------------------- 54 PARTE III OBJETIVOS A IMPLEMENTAR ----------------------------------------------- 59 3 PLIEGO DE CONDICIONES ------------------------------------------------------------ 59 3.1 Definición del emplazamiento ---------------------------------------------------------------------------------------- 59 3.1.1 Descripción del emplazamiento ------------------------------------------------------------------------------- 59 3.2 Descripción de los trabajos a realizar ------------------------------------------------------------------------------- 60 3.2.1 Trabajos a realizar en el CPD-I (Principal) ------------------------------------------------------------------ 60 3.2.2 Trabajos a realizar en el CPD-II (Respaldo) ----------------------------------------------------------------- 60 3.2.3 Contratación de mantenimientos externos ---------------------------------------------------------------- 60 3.3 Realización de las tareas en CPD-I ----------------------------------------------------------------------------------- 62 3.3.1 Instalación del analizador de red CVM-96 ------------------------------------------------------------------ 62 3.3.2 Instalación de tarjetas NMC para monitorización de las SAIs ----------------------------------------- 63 3.3.3 Instalación diferencial de rearme automático para las SAIs ------------------------------------------- 63 3.3.4 Instalación sensores de temperatura, humedad, humo e inundaciones --------------------------- 64 3.3.5 Instalación cámara de video para control de acceso al CPD-I ----------------------------------------- 64 3.3.6 Instalación programa de control de avisos y alertas centralizado ----------------------------------- 65 3.4 Tareas a realizar en CPD-II --------------------------------------------------------------------------------------------- 66 3.4.1 Instalación de tarjetas NMC para monitorización de la SAI ------------------------------------------- 66 3.4.2 Instalación sensores temperatura, humedad e inundaciones ---------------------------------------- 66 3.4.3 Instalación cámara de video para control de acceso al CPD-II ---------------------------------------- 67 3.5 Contratación de Soporte y mantenimientos externos -------------------------------------------------------- 68 3.5.1 Contratación mantenimiento SAIs---------------------------------------------------------------------------- 68 3.5.2 Contratación mantenimiento cuadro eléctrico y grupos electrógenos ----------------------------- 68 3.5.2.1 Cuadro eléctrico ------------------------------------------------------------------------------------------- 68 3.5.2.2 Grupo electrógeno ---------------------------------------------------------------------------------------- 69 3.5.3 Contratación del mantenimiento de los sistemas de refrigeración --------------------------------- 69 Monitorización de un Centro de Proceso de Datos 9 4 INSTALACIÓN Y MONITORIZACIÓN ----------------------------------------------- 71 4.1 Sistema eléctrico ---------------------------------------------------------------------------------------------------------- 71 4.1.1 Analizador de red ------------------------------------------------------------------------------------------------- 71 4.1.2 Software de adquisición de datos del analizador de red ----------------------------------------------- 79 4.2 Tarjeta NMC y monitorización de las SAIs ------------------------------------------------------------------------ 87 4.3 Diferencial de rearme automático SAI ----------------------------------------------------------------------------- 94 4.4 Sensores y unidad de control para monitorización ambiental ---------------------------------------------- 98 4.4.1 Monitorización de la temperatura y humedad ----------------------------------------------------------- 98 4.4.2 Monitorización de inundaciones ---------------------------------------------------------------------------- 100 4.4.3 Sensor de presencia de humo ------------------------------------------------------------------------------- 101 4.4.4 Unidad de control centralizado ----------------------------------------------------------------------------- 101 4.5 Monitorización de control de acceso ----------------------------------------------------------------------------- 111 4.6 Instalación del programa de control de avisos y alertas centralizado ---------------------------------- 115 5 PLANOS Y ESQUEMAS ELÉCTRICOS---------------------------------------------- 123 5.1 Planos instalaciones --------------------------------------------------------------------------------------------------- 125 5.1.1 Plano CPD-I [10] ------------------------------------------------------------------------------------------------- 125 5.1.2 Plano CPD-II [10] ------------------------------------------------------------------------------------------------ 126 5.2 Esquemas eléctricos unifilares -------------------------------------------------------------------------------------- 127 5.2.1 Esquema eléctrico I. Conmutación Red-Grupo CPD-I ------------------------------------------------- 129 5.2.2 Esquema eléctrico II. Cuadro protección general CPD-I ---------------------------------------------- 130 5.2.3 Esquema eléctrico III. Cuadro protección general CPD-I --------------------------------------------- 131 5.2.4 Esquema eléctrico IV. Cuadro eléctrico conexión SAI ------------------------------------------------- 132 5.2.5 Esquema eléctrico V. cuadro eléctrico salida SAI ------------------------------------------------------- 133 5.2.6 Esquema eléctrico VI. Cuadro eléctrico salida SAI ----------------------------------------------------- 134 5.2.7 Esquema eléctrico conmutación Red-Grupo CPD-II --------------------------------------------------- 135 5.2.8 Esquema eléctrico entrada / salida SAI en el CPD-II --------------------------------------------------- 136 6 PRESUPUESTOS ---------------------------------------------------------------------- 137 6.1 Presupuestos instalación y puesta en marcha equipamientos y programas de monitorización 138 6.1.1 Presupuesto instalación, cableado y canalizaciones en el CPD-I ----------------------------------- 138 6.1.2 Presupuesto instalación cableado y canalizaciones en CPD-II -------------------------------------- 138 Monitorización de un Centro de Proceso de Datos 10 6.1.3 Presupuesto instalación y configuración del Analizador de Red ----------------------------------- 139 6.1.4 Presupuesto instalación diferencial de rearme --------------------------------------------------------- 139 6.1.5 Presupuesto Unidad de control y sensores CPD-I y CPD-II ------------------------------------------- 140 6.1.6 Presupuesto instalación tarjetas SAI en CPD-I y CPD-II ----------------------------------------------- 141 6.1.7 Presupuesto instalación y configuración cámara control de acceso a CPD-I-y CPD-II -------- 141 6.1.8 Presupuesto instalación y configuración programa de alertas centralizado -------------------- 142 6.2 Presupuestos de Soportes y Mantenimientos de sistemas críticos -------------------------------------- 143 6.2.1 Presupuesto mantenimiento sistemas de refrigeración ---------------------------------------------- 143 6.2.2 Presupuesto mantenimiento SAIs -------------------------------------------------------------------------- 144 6.2.3 Presupuesto mantenimiento Grupos Electrógenos ---------------------------------------------------- 145 6.3 Presupuesto TOTAL implantación PFC --------------------------------------------------------------------------- 146 6.3.1 Presupuesto TOTAL equipamiento e instalación ------------------------------------------------------- 146 6.3.2 Presupuesto TOTAL de mantenimientos CPD-I y CPD-II ---------------------------------------------- 147 6.3.3 Coste TOTAL del proyecto. ----------------------------------------------------------------------------------- 148 PARTE IV MEMORIA JUSTIFICATIVA. ------------------------------------------------- 151 7 DEMOSTRACIÓN DEL FUNCIONAMIENTO DEL OBJETIVO DEL PROYECTO ----------------------------------------------------------------------------------- 151 7.1 Objetivos a conseguir ------------------------------------------------------------------------------------------------- 151 7.2 Descripción de la implementación realizada. ------------------------------------------------------------------ 152 7.2.1 Instalación y conexionado analizador de red ------------------------------------------------------------ 153 7.2.2 Instalación diferencial de rearme automático entrada SAI ------------------------------------------ 156 7.2.3 Instalación, conexionado y configuración de las tarjetas NMC para monitorización de los parámetros eléctricos ------------------------------------------------------------------------------------------------------ 159 7.2.4 Instalación sensores de temperatura, humedad, humo e inundaciones, instalación de la unidad de control y conexionado de los componentes ----------------------------------------------------------- 172 7.2.5 Instalación de sistemas monitorización de accesos a los CPDs ------------------------------------- 176 7.2.6 Programa de monitorización centralizada Zabbix ------------------------------------------------------ 181 8 CONCLUSIONES Y POSIBLES MEJORAS ------------------------------------------ 182 8.1 Conclusiones. ------------------------------------------------------------------------------------------------------------ 182 8.2 Posibles mejoras. ------------------------------------------------------------------------------------------------------- 183 Monitorización de un Centro de Proceso de Datos 17 Agradecimientos A mi familia y, en especial, a mis padres ya que, son un ejemplo de constancia y tenacidad, mención especial a mi madre, que me ha dado la fuerza y el ánimo para realizar éste trabajo. A mi tutor, D. Manuel Medina Molina, por su gran ayuda, paciencia y comprensión empleada durante la realización de éste trabajo. En todo momento entendió mi situación personal y familiar, animándome y facilitando la elaboración del mismo, me ha ayudado en todo lo posible para llevar a buen término la realización de éste PFC. A mis compañeros de trabajo por tener siempre tiempo para consultas y ofrecerme su conocimiento desinteresadamente. Monitorización de un Centro de Proceso de Datos 18 Página dejada en blanco intencionadamente Monitorización de un Centro de Proceso de Datos 19 Resumen El presente PFC, surgió hace unos años como una necesidad de incorporación al Centro de Proceso de Datos (en adelante CPD) de la empresa en la que trabajo en la actualidad. La solución que se expone en el presente trabajo, se ha implementado con éxito y actualmente está operativa y funcionando. Las capturas de pantalla corresponden a sucesos de eventos, alertas y mantenimientos realizados en los CPDs de la empresa. Se evitarán referencias directas de la organización en la que han sido obtenidas y a las empresas que suministran el equipamiento y realización de las instalaciones y mantenimientos. Monitorización de un Centro de Proceso de Datos 20 Página dejada en blanco intencionadamente Monitorización de un Centro de Proceso de Datos 21 Estructura de la memoria del PFC Con el fin de facilitar la lectura de éste PFC, vamos a describir la estructura del mismo. Constará de las siguientes partes: PARTE I Descripción del objetivo del PFC Se realiza una breve descripción de los distintos sistemas que componen un CPD, junto con sus principales características y necesidades para garantizar su disponibilidad. Se definen las necesidades del peticionario a incorporar en el Centro de Proceso de Datos, describiendo los objetivos y la solución propuesta para conseguirlas. PARTE II Memoria Descriptiva En éste apartado se realiza una descripción general de los Centros de Procesos de Datos, sus componentes principales y las necesidades para garantizar el óptimo funcionamiento del mismo. PARTE III Objetivos a implementar Se expondrá el Pliego de condiciones, definiendo el problema y su emplazamiento, la solución propuesta y su implementación. Nos basaremos en los planos y presupuestos elaborados para tal fin y se mostrarán ejemplos de los equipamientos necesarios, sus configuraciones y funcionamiento una vez instalados los componentes del proyecto. PARTE IV Memoria justificativa Expondremos en ésta parte, la descripción de los trabajos realizados, con ejemplos capturados, y una demostración del funcionamiento correcto de los sistemas instalados, comentando las situaciones y realizando un análisis de los datos obtenidos mediante los distintos componentes de monitorización que constituyen el objetivo del trabajo final de carrera que estamos realizando. Monitorización de un Centro de Proceso de Datos 22 PARTE V Bibliografía y Anexos En ésta parte, encontraremos la bibliografía consultada, un glosario de términos utilizados a lo largo del presente documento y ejemplos de los informes de mantenimientos realizados para cumplir el pliego de condiciones. Monitorización de un Centro de Proceso de Datos 23 PARTE I INTRODUCCIÓN Y DEFINICIÓN DE OBJETIVOS Monitorización de un Centro de Proceso de Datos 24 Página dejada en blanco intencionadamente Monitorización de un Centro de Proceso de Datos 25 PARTE I Descripción del objetivo del PFC 1 Introducción y definición de objetivos 1.1 Introducción Actualmente, y ya desde hace varias décadas, el tratamiento de la información se ha convertido en una parte muy importante de las empresas, dado que las mismas, generan una gran cantidad de datos, y ofrecen unos servicios que deben estar disponibles en todo momento. Por ello, las Tecnologías de la Información y las Comunicaciones (TIC) se han convertido en una parte cada vez más importante dentro de la organización. Los recursos necesarios, tanto de computación, almacenamiento, comunicaciones, sistemas eléctricos, sistemas mecánicos, etc…, se concentran en un Centro de Proceso de Datos (CPD) Con el fin de garantizar el correcto funcionamiento del CPD, éste debe estar acondicionado para alojar los dispositivos electrónicos y garantizar el suministro de energía y demás condiciones recomendadas por los fabricantes de los equipos, teniendo como fin, el de garantizar su funcionamiento óptimo. Habrá que tener especial consideración en el control de parámetros ambientales como temperatura y humedad, así como la seguridad en los accesos al CPD. Los Centros de Proceso de Datos son grandes consumidores de energía debido a la gran cantidad de sistemas diferentes que conviven dentro del mismo, por ello, es de vital importancia garantizar la continuidad de dicho suministro, garantizando en caso de fallo del proveedor de energía, la continuidad del mismo mediante equipamiento alternativo. Se persigue como objetivo primordial, eliminar los puntos únicos de fallo para obtener una mejor redundancia y fiabilidad. La redundancia aumenta la tolerancia a fallos y por tanto, la continuidad de los servicios que se prestan a la comunidad. Monitorización de un Centro de Proceso de Datos 26 1.2 Peticionario del proyecto Este PFC se redacta con el objeto de cubrir los créditos necesarios para obtener el título de Ingeniero Técnico de Telecomunicación. El trabajo que se expondrá es un caso real y actualmente está implementado y funcionando en las instalaciones de una gran empresa, la cual nos brinda la posibilidad de utilizarla como nuestro peticionario del trabajo a realizar. Por motivos de confidencialidad, evitaremos realizar referencias directas a la organización en la que se implementa el proyecto, y a las empresas contratadas para la realización de los trabajos y mantenimientos descritos en éste documento. La evolución en el paso del tiempo, de las tecnologías de la información, junto con las exigencias de los consumidores de dichos servicios, han puesto de manifiesto, la necesidad de mantener operativos los CPDs todo el tiempo, es decir, 24 horas x 365 días. Las exigencias de ésta premisa, suponen un gran reto para los departamentos de TI de las empresas, pues suponen una atención constante de recursos de personal y planificación ante circunstancias adversas que puedan influir en caídas de los servicios que ofrece a los usuarios de dichos servicios. 1.3 Objetivos El peticionario del proyecto nos informa de que necesita incorporar en sus instalaciones los siguientes sistemas de monitorización y control con el fin de garantizar el funcionamiento de sus instalaciones: Sistema de monitorización de los parámetros del suministro eléctrico a la entrada del CPD. El suministro de energía eléctrica llega, bien del proveedor de energía, bien del grupo electrógeno existente (motor de gasoil), instalado para el caso de fallo del primero. Los datos monitorizados deben almacenarse de tal forma que puedan ser consultados posteriormente para estudios de auditoría eléctrica y detección de problemas en la señal eléctrica, así como del consumo de energía consumido en el CPD. Sistema de monitorización de las SAIs del CPD, alertando en caso de fallo o de condiciones de funcionamiento anómalas. Sistema de monitorización de parámetros ambientales en cuanto a temperatura y humedad en distintas zonas del CPD, incluyendo un sistema de avisos y alertas que permitan actuar rápidamente en caso necesario. Sistema de monitorización de inundaciones o presencia de agua bajo el Monitorización de un Centro de Proceso de Datos 33 En la figura siguiente se muestra dicha clasificación. Figura 2.3 Criticidad según áreas de actividad [1] La siguiente tabla muestra los distintos TIERs y la disponibilidad asociada a cada nivel. Tabla 2-1 Disponibilidad según niveles Tiers [1] Para poner en perspectiva la tasa de disponibilidad que se pretende para los distintos TIERs, la tabla anterior expresa su significado como el tiempo de parada anual del CPD. Estos porcentajes deben considerarse como el promedio de cinco años. Hay que tener en cuenta que para un tier IV, se contempla que la única parada que se produce es por la activación de un EPO (Emergency Power Off), y esto, se considera sólo sucede una vez cada cinco años. No obstante, para la exigencia que demanda un tier IV algunas empresas u organizaciones manifiestan necesitar una disponibilidad de “cinco nueves”, esto significa un 99,999% de disponibilidad, esto es poco más de cinco minutos anuales sin sistemas, es decir, de paradas de los servicios que están albergados en el CPD. Uno de los mayores puntos de confusión en el campo del “uptime” (tiempo disponible de los sistemas) es la definición de centro de datos confiable; ya que lo que es aceptable para una persona o compañía no lo es para otra. Empresas competitivas con infraestructuras de datacenter completamente diferentes proclaman poseer alta disponibilidad; esto puede ser cierto y dependerá de la Monitorización de un Centro de Proceso de Datos 34 interpretación subjetiva de disponibilidad que se realice para el tipo de negocio en que se encuentre una compañía. Lo cierto es que para aumentar la redundancia y los niveles de confiabilidad, los puntos únicos de falla deben ser eliminados tanto en el Centro de Datos, como en la infraestructura que le da soporte. Los cuatro niveles de tiers que plantea el estándar se corresponden con cuatro niveles de disponibilidad, teniendo que a mayor número de tier mayor disponibilidad, lo que implica también mayores costos constructivos. Esta clasificación es aplicable en forma independiente a cada subsistema de la infraestructura (telecomunicaciones, arquitectura, eléctrica y mecánica). Hay que tener en cuenta que la clasificación global del datacenter será igual a la de aquel subsistema que tenga el menor número de tier. [2] Monitorización de un Centro de Proceso de Datos 35 En la siguiente tabla se muestra las principales características de los cuatro niveles de clasificación de los CPDs. Tabla 2-2 Comparativa según TIERs. [3] Monitorización de un Centro de Proceso de Datos 36 La norma describe resumidamente, los distintos TIERs [1] de la manera siguiente: 2.2.1 Tier I: Centro de Proceso de Datos básico Un CPD tier I es susceptible a interrupciones, tanto planeadas como no planeadas. Cuenta con sistemas de aire acondicionado y distribución de energía, pero puede o no tener piso técnico; SAI o generador eléctrico. Si los posee, pueden no tener redundancia y existir varios puntos únicos de fallo. La carga máxima de los sistemas en situaciones críticas es del 100%. La infraestructura del CPD deberá estar fuera de servicio al menos una vez al año por razones de mantenimiento y/o reparaciones. Situaciones de urgencia pueden motivar paradas más frecuentes y los errores de operación o fallas en los componentes de su infraestructura causarán la detención del CPD. La tasa de disponibilidad máxima del CPD es 99.671% del tiempo. 2.2.2 Tier II: Centro de Proceso de Datos, componentes redundantes Los CPDs con componentes redundantes son ligeramente menos susceptibles a interrupciones, tanto planeadas como no planeadas. Éstos CPDs cuentan con suelo técnico, SAI y generadores eléctricos, pero están conectados a una sola línea de distribución eléctrica. Su diseño es “lo necesario más uno” (N+1), lo que significa que existe al menos un duplicado de cada componente de la infraestructura. La carga máxima de los sistemas en situaciones críticas es del 100%. El mantenimiento en la línea de distribución eléctrica o en otros componentes de la infraestructura puede causar una interrupción del funcionamiento de los equipos alojados en el CPD. La tasa de disponibilidad máxima del CPD es 99.749% del tiempo. 2.2.3 Tier III: Centro de Proceso de Datos, mantenimiento concurrente Las capacidades de un CPD de este tipo le permiten realizar cualquier actividad planeada sobre cualquier componente de la infraestructura sin interrupciones en la operación. Actividades planeadas incluyen mantenimiento preventivo y programado, reparaciones o reemplazo de componentes, agregar o Monitorización de un Centro de Proceso de Datos 37 eliminar elementos y realizar pruebas de componentes o sistemas, entre otros. Para infraestructuras que utilizan sistemas de enfriamiento por agua significa doble conjunto de tuberías. Debe existir suficiente capacidad y doble línea de distribución de los componentes, de forma tal que sea posible realizar mantenimiento o pruebas en una línea, mientras que la otra atiende la totalidad de la carga. En este tier, actividades no planeadas, como errores de operación o fallas espontáneas en la infraestructura pueden todavía causar una interrupción del CPD. La carga máxima en los sistemas en situaciones críticas es de 90%. Muchos centros de procesos de datos tier III son diseñados para poder actualizarse a tier IV cuando los requerimientos del negocio justifiquen el costo. La tasa de disponibilidad máxima del CPD es 99.982% del tiempo. 2.2.4 Tier IV: Centro de Proceso de Datos tolerante a fallos Este CPD provee capacidad para realizar cualquier actividad planeada sin interrupciones en las cargas críticas, pero además, la funcionalidad tolerante a fallas le permite a la infraestructura continuar operando aun ante un evento crítico no planeado. Esto requiere dos líneas de distribución simultáneamente activas, típicamente en una configuración “system + system”; eléctricamente esto significa dos sistemas de UPS independientes, cada sistema con un nivel de redundancia N+1. La carga máxima de los sistemas en situaciones críticas es de 90% y persiste un nivel de exposición a fallos, por ejemplo si se da el inicio una alarma de incendio o porque una persona inicie un procedimiento de apagado de emergencia o “Emergency Power Off” (EPO), estos procedimientos deben existir para cumplir con los códigos de seguridad contra incendios o eléctricos. La tasa de disponibilidad máxima del CPD es 99.995% del tiempo. Para poner en perspectiva la tasa de disponibilidad que se pretende para los distintos tiers, en la tabla 2.1, se observa su significado expresado en el tiempo de parada anual del CPD. Estos porcentajes deben considerarse como el promedio de cinco años. Hay que tener en cuenta que para un tier IV se contempla que la única parada que se produce es por la activación de un EPO (Emergency Power Off) y esto sólo sucede una vez cada cinco años. No obstante para la exigencia que demanda un tier IV algunas empresas u organizaciones manifiestan necesitar una disponibilidad de “cinco nueves”, esto significa un Monitorización de un Centro de Proceso de Datos 38 99,999% de disponibilidad. Esto equivale a poco más de cinco minutos anuales sin sistemas. En la figura siguiente, podemos observar los distintos niveles definidos por el Uptime Institute Figura 2.4 Niveles TIER de un CPD. [3] Monitorización de un Centro de Proceso de Datos 39 2.3 Sistemas de energía Los Centros de Procesos de Datos son altamente dependientes de un suministro energético capaz de mantener en funcionamiento los equipos electrónicos que aloja en su interior. No puede permitir quedarse sin suministro energético en ningún momento. Según esto, los CPDs son salas dotadas de múltiples sistemas energéticos capaces de trabajar en situaciones del fallo del otro sistema, asegurando por tanto la disponibilidad en el funcionamiento de la instalación y garantizando la disponibilidad de procesamiento de la información en todo momento y en sus servicios asociados. En un centro de datos típico, menos de la mitad de la electricidad utilizada llega realmente a las cargas de los ordenadores. Más de la mitad del gasto en electricidad se emplea en el sistema de alimentación eléctrica, el sistema de refrigeración y la iluminación. El consumo total de electricidad, por tanto, se debe a dos factores principales: (1) la energía consumida por las cargas de TI y (2) la energía consumida por los equipos de la infraestructura tal como se observa en la siguiente figura. Figura 2.5 Consumo eléctrico típico en un CPD [1] Monitorización de un Centro de Proceso de Datos 40 Los principales sistemas de suministro energético son:  Red eléctrica  Grupos electrógenos.  Sistema de Alimentación Ininterrumpida (SAI) Figura 2.6 Principales elementos de la infraestructura de un CPD [4] 2.3.1 Red eléctrica Suministro energético principal y el más comúnmente utilizado, basado en la recepción de la energía mediante las redes de distribución. Es una fuente de energía contratada a una empresa externa que garantiza el suministro de forma ininterrumpida. La acometida que llega al CPD debe ser independiente del resto del edificio que contiene el mismo, con el fin de evitar inferencias entre ambos. La potencia contratada debe estar acorde a las necesidades del diseño del CPD. Un sobredimensionamiento conllevará una disminución de la eficiencia energética deseada en los tiempos actuales, donde los llamados Centro de Datos Verdes (green datacenter) cobran especial relevancia. La calidad en el suministro eléctrico es de vital importancia para evitar problemas en el funcionamiento óptimo de un CPD. En los sistemas eléctricos de potencia, se suele considerar a la perturbación como cualquier desviación con respecto a la forma de onda Monitorización de un Centro de Proceso de Datos 41 sinusoidal teórica, producida en los centros de generación. La desviación se puede dar en cada uno de los parámetros de la onda, es decir: frecuencia, amplitud, forma de onda y simetría entre fases. Dependiendo de su cuantía, y de la sensibilidad de los receptores, podrá tener repercusión en unos u otros dispositivos La norma UNE-50160, describe las características principales de la tensión suministrada por una red pública de distribución de baja y media tensión para unas condiciones normales de explotación. Monitorización de un Centro de Proceso de Datos 42 En la siguiente tabla se muestra distintas perturbaciones que pueden encontrarse en la señal eléctrica y posibles soluciones Tabla 2-3 Resumen de perturbaciones y posibles soluciones [5] Para el cálculo de la potencia necesaria, podemos utilizar una de las herramientas suministradas en el sitio Web de Schneider Electric, que nos permitirá dimensionar la potencia necesaria para nuestro CPD. Hemos supuesto un parque de computadores de unos 30 servidores, dónde el 40% son de 2 sockets y el 60% restante de 4 sockets, no teniendo ninguno de 8 sockets. En nuestros CPDs no albergamos servidores tipo Blade ni MainFrames. Hemos indicado la existencia de un almacenamiento SAN/NAS típico y un PUE del 2,85, a mejorar y debido sobre todo a los sistemas de refrigeración existentes, cuyo ciclo de vida se ha superado en la actualidad, en la actualidad. Monitorización de un Centro de Proceso de Datos 49 Para estas cargas el Grupo Electrógeno cumple la función de mantenerlas funcionando por tiempo indefinido, ya que las SAI y los Rectificadores almacenan energía para los cortes en baterías que normalmente se calculan para dar entre 10 y 30 minutos de autonomía al sistema. Cargas tipo C: Cargas esenciales para el correcto funcionamiento del conjunto. - Aire Acondicionado. - Bombas de Agua. - Ascensores para sacar la gente encerrada o alguno de emergencia. - Iluminación de Emergencia. - Sistemas de Seguridad. - Ciertos Automatismos no críticos. - Ventilación. - Refrigeración. - Otras cargas esenciales Estas cargas se distinguen porque soportan un corte de energía de algunos minutos pero luego deben trabajar para que el resto del sistema pueda seguir funcionando. Cargas tipo D: Cargas eléctricas comunes. - Iluminación General. - Aparatos eléctricos de distintos tipos (Home Apliances). - Aparatos electromecánicos pesados como Grúas, Elevadores, Ventilación no esencial. - Máquinas - Herramientas. - Otras cargas eléctricas comunes. Estas cargas no necesitan de energía acondicionada de ninguna especie, las empresas suministradoras de servicios eléctricos están obligadas a suministrar energía eléctrica dentro de márgenes de tolerancia que para estas cargas son suficientes. De necesitarse otras características de suministro, el mismo deberá ser dado por el mismo cliente, con instalaciones como las que nos ocupan en este documento para mejorar la calidad de la energía eléctrica. Monitorización de un Centro de Proceso de Datos 50 En la siguiente figura, observamos una de las SAIs instaladas en el CPDI de las instalaciones del cliente. En éste CPD, existen dos SAIs instaladas en modo paralelo redundante, de tal forma que en caso de caída, mantenimiento, o parada de una de las SAIs, la otra asume la carga total. Por ello, y teniendo en cuenta que el valor en KW de carga máxima suele considerarse el 80% del valor nominal de la SAI en KVA, debemos cuidar el hecho de que la carga normal no supere el 40%, ya que en caso de necesidad de asumir una de las SAIs toda la carga, pasaría al 80% (40+40), estando en el límite recomendado por el fabricante de las SAIs. Figura 2.11 Sistema de Alimentación Ininterrumpida (SAI) CPD-I Monitorización de un Centro de Proceso de Datos 51 En el CPD-II (Respaldo), existe una sola SAI, pudiendo ampliarse para poseer una infraestructura redundante semejante al CPD-I (Principal), existe un único punto de fallo, por tanto, ante una caída de la SAI, el CPD sufriría un cero eléctrico, y todo el equipamiento dejaría de funcionar. Los equipos alojados incluyen nodos de comunicaciones, que prestan servicios esenciales de red y telefonía, los cuales son vitales para el funcionamiento de la organización. Dado que estos equipos de comunicaciones poseen varias fuentes de alimentación, se ha conectado tanto a la SAI como a corriente directa “sucia”, es decir, sin haber sido estabilizada, del edificio dónde se aloja el CPD-II. Así, si falla el SAI, estos equipos podrán seguir trabajando y no afectar al conjunto de la red de comunicaciones de la empresa. La figura siguiente muestra una instantánea de dicha SAI en las instalaciones del peticionario, se trata del modelo APC-MGE Galaxy 3500 de 30 KVA, es decir, que el valor nominal máximo según lo considerado en el apartado anterior, será de (30*80)/100: 24 KW. Figura 2.12 Sistema de Alimentación Ininterrumpida CPD-II. Monitorización de un Centro de Proceso de Datos 52 Figura 2.13 Especificaciones técnicas de la SAI instalada en el CPD-II suministradas por el fabricante Monitorización de un Centro de Proceso de Datos 53 2.4 Sistemas de refrigeración Los Centros de Procesos de Datos y el equipamiento alojado en el mismo tienen determinadas especificaciones de funcionamiento que las organizaciones deben garantizar. La climatización de este tipo de espacio tiene que garantizar condiciones específicas de temperatura y humedad en toda la sala técnica y para ello se utilizan sistemas de climatización de alta precisión. El dimensionamiento estará en función de la carga térmica estimada y del espacio a climatizar. Por lo tanto, el sistema de climatización es uno de los principales focos de consumo energético ya que debe contrarrestar el calor disipado por los equipos alojados en el CPD, garantizando la estabilidad entre los márgenes recomendados para el trabajo óptimo de los mismos. Hay que tener en cuenta ante fallos en el suministro eléctrico que éstos sistemas no están protegidos por los sistemas de alimentación ininterrumpidas, ya que el tiempo de autonomía de las mismas se vería reducido drásticamente. Por ello, toma especial importancia el suministro alternativo que nos suministra los grupos electrógenos de los que hemos hablado con anterioridad. La conducción del aire climatizado debe llegar a los armarios del equipamiento informático donde se produce la mayor cantidad de calor. Las rejillas de aire se ubican para insuflar aire frío en el suelo En la siguiente figura podemos ver los sistemas de refrigeración de las instalaciones del cliente. Figura 2.14 Vista de los sistemas de refrigeración en CPD-I Monitorización de un Centro de Proceso de Datos 54 Si la humedad en el CPD sube mucho, pueden producirse problemas de condensación en las partes electrónicas. Si el ambiente se vuelve muy seco, la electricidad estática resultante del contacto de un simple dedo puede dañar irreparablemente los componentes y alterar la información. Además, sus medios de almacenamiento de datos pueden sufrir pérdida por oxidación, lo que aumenta la posibilidad de pérdida o alteración de la información. Los sistemas de refrigeración deben tener la exactitud y precisión necesarias para lograr el objetivo de consigna y deben poder operar en el modo requerido, a saber, humidificación, enfriamiento o calefacción necesarios para mantener el ambiente dentro de los parámetros seleccionados. El polvo es un gran enemigo en los CPD, ya que puede arruinar la información y los componentes del equipamiento informático de cómputo. El polvo en las cabezas lectoras de sistemas de disco y cintas magnéticas puede dañar físicamente los mismos. Las partículas se acumulan rápidamente en los componentes electrónicamente cargados y la capacidad de disipación del calor disminuye, causando que las partes afectadas trabajen a una temperatura superior a las especificaciones de diseño y provocando por tanto el deterioro del mismo. Por ello se hace necesario tener especial atención al mantenimiento de los sistemas de refrigeración y en particular a los filtros asociados, reponiendo periódicamente los mismos según las necesidades de cada centro. 2.4.1 Distribución del aire La distribución del aire climatizado se puede llevar a cabo de varias formas de acuerdo con la configuración del sistema de refrigeración y las características de la propia sala. En las figuras siguientes podemos ver las distintas posibilidades de los sistemas de refrigeración. En la imagen de la izquierda, insufla el aire frío por debajo del suelo técnico, el aire caliente generado por los equipos informáticos sube y es recogido y filtrado por las máquinas de aire acondicionado para volverlo a enfriar de nuevo. En la imagen central, el proceso es el contrario y a la derecha observamos una imagen térmica de los pasillos de armarios que albergan los equipos informáticos. Monitorización de un Centro de Proceso de Datos 55 Figura 2.15 Distribución aire y técnica de pasillo frío-caliente. [2] En el caso que nos afecta, el CPD de la instalación dónde se implementará el proyecto, posee suelo técnico y la impulsión del aire se realiza bajo el mismo, por tanto, la situación de los armarios dónde se encuentra el equipamiento informático se situarán en hileras enfrentadas, de tal forma que se forme un pasillo frío y uno caliente, los dispositivos de refrigeración tomarán el aire caliente por encima y lo insuflarán por debajo. Debido a la técnica de pasillo frío (frontal de los armarios que albergan a los equipamientos), pasillo caliente (trasera de los armarios), es conveniente y necesario rellenar los espacios que queden entre equipos con tapas ciegas de tal forma que no se produzcan pérdidas en el recorrido del aire frío. En las figuras siguientes podemos observar la impulsión de aire frío bajo el suelo técnico y el recorrido del aire a través del equipamiento (pasillo frío), retornando el aire caliente por arriba del sistema de refrigeración. Figura 2.16 Distribución del aire con la técnica de pasillo frío. [2] Monitorización de un Centro de Proceso de Datos 56 Uno de los problemas que se ha presentado en varias ocasiones, es las averías de las unidades condensadoras, expuestas a la intemperie, y cuyos ventiladores han tenido que sustituirse por mal funcionamiento del mismo. Figura 2.17 Unidades condensadoras de exterior, pertenecientes al CPD-I Monitorización de un Centro de Proceso de Datos 57 Página dejada en blanco intencionadamente PARTE III OBJETIVOS A IMPLEMENTAR Monitorización de un Centro de Proceso de Datos 58 Página dejada en blanco intencionadamente Monitorización de un Centro de Proceso de Datos 65 verticalmente hasta la cámara, evitando interrumpir el flujo de aire proveniente de los sistemas de refrigeración. Además, las canaletas serán independientes de las acondicionadas para la distribución eléctrica. 3.3.6 Instalación programa de control de avisos y alertas centralizado Se instalará y configurará un sistema software, de alertas y monitorización, que permita conocer el estado y envíe alertas mediante correo electrónico y servicio de mensajes simples (SMS). De ésta forma se garantizará las actuaciones tanto proactivas como reactivas que eviten una interrupción de los servicios suministrados por la entidad al resto de la comunidad. Éste programa, permitirá centralizar la monitorización de todos los dispositivos que implantemos en ambos CPDs y permitirá almacenar un histórico de los valores y eventos que se produzcan en dichos dispositivos. Monitorización de un Centro de Proceso de Datos 66 3.4 Tareas a realizar en CPD-II 3.4.1 Instalación de tarjetas NMC para monitorización de la SAI Para establecer la comunicación con el CPD-II, el cual contiene una única SAI, dispondremos de una tarjeta de monitorización que nos permitirá, por una parte monitorizar el funcionamiento de las SAIs y por otra, activar alertas en cuanto a posibles anomalías en su funcionamiento o bien problemas en el suministro eléctrico de la instalación. En el caso del CPD-II, puede ser necesario el apagado total del CPD, si el técnico de la SAI así lo requiriese, puesto que sólo hay una SAI. Una vez instalada se realizará la comprobación de acceso a la misma configurando la tarjeta de control (NMC) para que permita el acceso a través de SNMP y HTTPS. Para el acceso a la misma, se configurarán usuarios y permisos de administración, así como las reglas en el cortafuego dispuesto a tal fin. Hacer notar, al igual que en los modelos instalados en el CPD-I, que no se permite intervención remota en cuanto a encendido y apagado por motivos de seguridad. 3.4.2 Instalación sensores temperatura, humedad e inundaciones Se incorporarán sensores de temperatura, humedad e inundación, realizando la instalación del cableado necesario y de la unidad de control al que se conectarán los sensores. Se configurará la unidad de control para que permita la monitorización y captura de datos de los parámetros ambientales, y se activaran avisos y alertas por correo-e. Se habilitará el acceso por HTTP y SNMP, también se configurarán usuarios de acceso con distintos privilegios. Monitorización de un Centro de Proceso de Datos 67 En la siguiente ilustración, correspondiente al Plano 2 CPD-II mostrado en el apartado [5.1.2], podemos ver las conexiones de los distintos sensores a la unidad de control y la conexión de ésta a los equipos de comunicación. Las canalizaciones se realizarán bajo el suelo técnico. 3.4.3 Instalación cámara de video para control de acceso al CPD-II Con el fin de detectar la entrada de personas al CPD, se situará estratégicamente una cámara de video con conexión a la red del peticionario, que permita configurar zonas de disparo ante un evento de detección de movimiento. La instalación se realizará atendiendo a los puntos deseados de control de movimientos. Se configurará el acceso por HTTPS para visualizar en tiempo real el CPD y se configurarán usuarios de acceso con distintos privilegios. Se activará la programación de eventos con el fin de que envíe correo-e en caso de detectar accesos al CPD, incorporando en el mismo las capturas realizadas. En el apartado [5.1.2] Plano 2 CPD-II podemos ver las conexiones de la cámara a los equipos de comunicación. Las canalizaciones se realizarán bajo el suelo técnico, subiendo verticalmente hasta la situación del dispositivo. Monitorización de un Centro de Proceso de Datos 68 3.5 Contratación de Soporte y mantenimientos externos Con el fin de garantizar el funcionamiento y el período de vida útil de los sistemas descritos con anterioridad, se gestionarán contratos de mantenimiento preventivos anuales para aquellos sistemas críticos de los que depende la continuidad de funcionamiento de los CPDs. El nivel de servicio incluirá las intervenciones correctivas de actuación ante incidencias o averías, que sean necesarias para restablecer el servicio lo antes posible. En el caso que nos aplica, gestionaremos contratos de mantenimientos para SAIs, cuadro eléctrico y grupo electrógeno, relacionado con el suministro de energía, y también el soporte y mantenimiento de los sistemas de refrigeración. 3.5.1 Contratación mantenimiento SAIs Se realizará una visita anual, donde se verifiquen los puntos siguientes:  Inspección visual del estado de las SAIs  Comprobación de los parámetros de funcionamiento.  Revisión del estado de las baterías.  Realización de conmutación manual del SAI.  Comprobación de la conmutación automática del bypass. En el caso de las SAIs, el contrato se realizará a todos riesgo, de tal forma que excepto las baterías, las intervenciones que se realicen serán sin coste alguno ni en el material, ni en la mano de obra. El contrato reflejará disponibilidad 24x7 y se valorará el servicio de Teleasistencia, mediante el cual los sistemas quedan monitorizados por el centro de control que disponga el fabricante. 3.5.2 Contratación mantenimiento cuadro eléctrico y grupos electrógenos 3.5.2.1 Cuadro eléctrico Se planificarán dos visitas anuales, semestralmente, una antes del período vacacional de verano y otra antes de Navidades. El mantenimiento consistirá en:  Inspección visual de las instalaciones.  Apriete de bornas.  Medición de las diferentes magnitudes del suministro eléctrico.  Comprobación de la red de tierras y de sus conexiones. Monitorización de un Centro de Proceso de Datos 69  Verificación de desequilibrios. 3.5.2.2 Grupo electrógeno Aparte del mantenimiento preventivo anual, se realizarán pruebas de arranque en vacío mensualmente, realizando trimestralmente las pruebas a plena carga. El mantenimiento consistirá en:  Comprobación visual del estado.  Revisión del estado de elementos mecánicos y eléctricos.  Realización de prueba de arranque.  Comprobación del suministro eléctrico.  Verificación de batería.  Verificación de niveles. 3.5.3 Contratación del mantenimiento de los sistemas de refrigeración Se planificarán cuatro visitas anuales, de mantenimiento preventivo y se garantizará la actuación en caso de incidencias en horarios de 7 a 17 horas. Los materiales necesarios para el mantenimiento o incidencias estarán cubiertos por una fianza a considerar en el coste total del mantenimiento. En las visitas de mantenimiento se realizarán las siguientes acciones:  Limpieza o sustitución de filtros de aire.  Comprobar consumo.  Comprobar que los ventiladores giran libre y suavemente.  Comprobar el nivel del ruido.  Verificar que el evaporador está limpio y el aire circula libremente.  Asegurarse que no se forma escarcha en el evaporador.  Verificar que el condensador está limpio y el aire circula adecuadamente.  Comprobar los parámetros, presiones y temperaturas.  Comprobar el engrase o lubricación y el desgaste de rodamientos y cojinetes.  Comprobación de holguras anormales en los ejes.  Comprobación de vibraciones y estado de los anclajes. Monitorización de un Centro de Proceso de Datos 70 Una vez relacionadas las tareas que se van a realizar en las instalaciones del peticionario del proyecto, describiremos en el siguiente capítulo, el equipamiento seleccionado, sus características y ejemplos de su funcionamiento, mostrando capturas de pantalla de la configuración y ejemplos de monitorización. Monitorización de un Centro de Proceso de Datos 71 4 Instalación y monitorización 4.1 Sistema eléctrico 4.1.1 Analizador de red Los sistemas son muy susceptibles a pequeñas variaciones del suministro eléctrico, y por tanto, en caso de que se produzcan estas variaciones, será posible identificar la causa del mismo. Es importante conocer con exactitud el estado de la red, ya que nos permitirá identificar los posibles problemas y actuar en consecuencia. La monitorización del sistema de suministro eléctrico, nos permite conocer instantáneamente los valores de las variables eléctricas y del consumo de energía. La instalación y conexionado del analizador de red, conllevará una parada total del CPD, por lo que habrá que traspasar los servicios necesarios al CPD-II de respaldo con el fin de mantener la continuidad de los mismos. El analizador de red seleccionado para la instalación es el CIRCUTOR CVM-96 para redes trifásicas (4 hilos) y con conectividad serie RS-232 para la captura de los datos monitorizados. En las siguientes figuras podemos ver las características suministradas por el fabricante, Las instrucciones de montaje y su acoplamiento en el cuadro eléctrico a la entrada del CPD-I también se incorporan en las siguientes figuras. Monitorización de un Centro de Proceso de Datos 72 Figura 4.1 Características del analizador de red CVM-96 Figura 4.2 Analizador de red CVM-96 En la siguiente figura, observamos los diferentes parámetros eléctricos que es capaz de capturar en analizador de red CVM-96, las unidades en que están expresadas y su disponibilidad por fase. La última columna hace referencia al total de las tres fases. Monitorización de un Centro de Proceso de Datos 73 Figura 4.3 Parámetros eléctricos, unidades y disponibilidad de lecturas del analizador de red CVM-96[ 1] El coste asociado a la instalación, conexionado, instalación y configuración del programa, se refleja en los presupuestos correspondientes del capítulo 6. Las instrucciones de montaje y su acoplamiento en el cuadro eléctrico a la entrada del CPD-I también se incorporan en las siguientes figuras. Monitorización de un Centro de Proceso de Datos 74 Esquema eléctrico unifilar a la entrada del CPD-I, obtenido de los esquemas incorporados en el capítulo 5, dónde observamos la conexión del analizador de red a las líneas eléctricas de entrada. Figura 4.4 Conexión del analizador de red [10] Monitorización de un Centro de Proceso de Datos 81 Figura 4.10 Pantallas de configuración del dispositivo CVM Monitorización de un Centro de Proceso de Datos 82 En las figuras siguientes podemos ver las variables de la señal eléctrica de entrada al CPD-I. Figura 4.11 Captura pantalla del programa PowerStudio en modo texto Figura 4.12 Captura pantalla del programa PowerStudio en modo gráfico Monitorización de un Centro de Proceso de Datos 83 Tenemos la posibilidad de consultar los valores de los armónicos de la señal eléctrica de entrada al CPD en tiempo real. Figura 4.13 Captura pantalla del programa PowerStudio en modo texto Monitorización de un Centro de Proceso de Datos 84 En caso de necesitar consultar los valores históricos almacenados mediante PowerStudio, nos permite seleccionar los datos entre fechas, agrupados por períodos de tiempos predefinidos y filtrar los datos según periodicidad en la adquisición. En la siguiente figura vemos dichas opciones a seleccionar. Figura 4.14 Selección de períodos y variables a mostrar del histórico de datos capturados por el analizador de red eléctrica CVM-96. Monitorización de un Centro de Proceso de Datos 85 En la siguiente figura, podemos ver un gráfico del consumo máximo de corriente de las tres fases del sistema eléctrico de entrada al CPD-I. Figura 4.15 Captura pantalla del programa PowerStudio El programa nos permite obtener una visualización de los parámetros de forma gráfica, de tal forma, que nos permite detectar problemas en la misma. En el caso de la figura anterior, observamos que la intensidad de corriente de la fase 2 es superior a las otras dos fases. Se recomienda que la carga conectada a cada fase de un sistema trifásico esté distribuida uniformemente. La solución posible para el equipo de TI, es detectar y distribuir qué equipamiento está conectado a cada fase y cambiar la conexión de los mismos para que el consumo por fase sea similar, la instalación de dispositivos de distribución de la energía (PDU) facilita la labor de reparto y redundancia en el suministro de electricidad a los equipos de computación y comunicaciones alojados en el CPD.. Monitorización de un Centro de Proceso de Datos 86 Otro ejemplo de las posibilidades del programa de monitorización se muestra en la siguiente figura. Vemos las potencias activas por fases en KW y la variación que se produce al desconectar una de las tres máquinas alojadas para el sistema de refrigeración. Tengamos en cuenta que los sistemas de refrigeración quedan fuera de los sistemas de protección de SAI y que un corte eléctrico en la entrada del suministro supondría el apagado de las mismas. Por ello, la presencia de un grupo electrógeno se hace imprescindible para la continuidad de los servicios TI que están instalados en el CPD. Figura 4.16 Captura de potencias activas por fases Monitorización de un Centro de Proceso de Datos 87 4.2 Tarjeta NMC y monitorización de las SAIs Para la monitorización del sistema auxiliar de salvaguarda, se realizará la instalación y configuración de las tarjetas NMC (Network Management Card) que se incorporan en la SAI para que permita la consulta de su estado. Las consultas se realizan tanto por SNMP como por HTTP/HTTPS, para ello podemos instalar el programa de acceso por SNMP suministrado por el fabricante, y también podemos acceder al servidor Web que la tarjeta lleva incorporado. El acceso lo realizamos mediante el navegador de nuestra elección, se ejecuta un plugin de JAVA para acceder a los datos de la SAI. Además se programará el envío de correos periódicos con los eventos y medidas acaecidos en el equipo diariamente y también en caso de que se produzcan alertas y avisos en su funcionamiento, indicando el evento que lo produce. Figura 4.17 Conexionado y acceso administración SAI [12] Monitorización de un Centro de Proceso de Datos 88 Figura 4.18 Captura pantalla monitoreo SAI durante corte eléctrico En la imagen anterior, observamos el acceso al estado de la SAI tanto por HTTPS como por SNMP. Observamos un corte eléctrico, parte inferior de la imagen, marcado en rojo. Por otra parte y a través del protocolo HTTPS, (parte superior derecha de la imagen), se observa la incidencia producida, mediante un cartel triangular rojo de alarma y la ausencia de suministro a la entrada de la SAI. También podemos observar como el suministro se realiza a través de las baterías. En la siguiente figura se muestra las medidas de diferentes parámetros de entrada y salida a la SAI en modo de tabla. Monitorización de un Centro de Proceso de Datos 89 Figura 4.19 Visualización de medidas en la SAI Galaxy 5000 Pasamos a describir el programa de conexión y monitorización para el acceso a las SAI Galaxy 5000, mediante protocolo de comunicación SNMP. Comentar que en los dispositivos que configuraremos en éste PFC, se utiliza el protocolo SNMP en modo lectura, y las configuraciones se realizarán mediante HTTPS. Figura 4.20 Software de acceso Solution Pack (SNMP) a las SAIs CPD-I 5 1 2 3 4 Monitorización de un Centro de Proceso de Datos 90 Figura 4.21 Distintas ventanas de monitorización SAI En la figura anterior, podemos ver las distintas ventanas de monitorización a partir de realizar “clic” en distintos elementos de la pantalla de acceso inicial, así, podemos ver el valor de la tensión y frecuencia de la entrada y salida de la SAI, el nivel de carga consumida en tanto por ciento y el estado actual de las baterías. En el ejemplo que nos ocupa, los valores son 380 voltios, 50 Hz de frecuencia, un 16% de carga (respecto al total 80 KVA), y el estado de las baterías que aparecen a plena carga. 2 1 4 3 Monitorización de un Centro de Proceso de Datos 97 Figura 4.26 Esquema de conexionado diferencial de rearme SAIs [13] Monitorización de un Centro de Proceso de Datos 98 4.4 Sensores y unidad de control para monitorización ambiental El tiempo de vida de los dispositivos electrónicos se ve reducido notablemente, e incluso en numerosas ocasiones acaba en avería, como consecuencia de una temperatura y humedad anómalas en el CPD, es por ello que se hace imprescindible llevar un control de los parámetros ambientales en la instalación. La monitorización ambiental consiste en tres elementos principales: una unidad de base, las sondas o sensores, y la conectividad de red. El sistema de monitorización ambiental y de supervisión propuesto, se conectará a la red Ethernet, y será accesible a través de los protocolos HTTP/HTTPS y SNMP. La unidad de control se encontrará dentro del CPD y a él se conectarán sondas de temperatura y humedad, que serán distribuidas dentro del CPD con el fin de obtener información del estado de los parámetros a controlar. Las sondas de prevención ante inundación serán colocadas bajo los aparatos del sistema de refrigeración y serán las que nos avisen de las pérdidas de agua que pudieran provocar inundaciones motivadas por cualquier fuga de dichos aparatos. El sensor de detección de humo se instalará en la sala contigua al CPD, utilizada para la operación “in situ” de las tareas relacionadas con el mantenimiento e instalación del servicio. Éste sensor nos permitirá detectar condiciones de presencia de humo ya que dicha sala está fuera del sistema de protección principal del CPD. 4.4.1 Monitorización de la temperatura y humedad Nuestro objetivo es detectar proactivamente, variaciones notables en los parámetros ambientales de temperatura y humedad, obteniendo información de las zonas del CPD, que nos indiquen el estado de acondicionamiento de la sala en cuanto al funcionamiento adecuado de los sistemas de refrigeración. La supervisión de estos factores y sobre todo su control, permite reducir de forma significativa las averías y el funcionamiento incorrecto de los equipos. Partiendo de ésta premisa, se han instalado sensores que realizan medidas de la temperatura y de la humedad en las áreas determinadas como críticas, por ser las más susceptibles de sobrecalentamiento. En nuestro caso, los dispositivos están ubicados en dos zonas en el CPD- Monitorización de un Centro de Proceso de Datos 99 I y en una zona del CPD-II, además, disponemos de indicadores auxiliares de temperatura situados dentro de las SAIs y que podremos consultar a través de los distintos mecanismos previstos a tal fin y que incorporan los fabricantes sobre todo para el control de la temperatura de las baterías instaladas en las SAIs. La conexión de éstos dispositivos a la unidad de control, se realiza a través de conectores RJ-45, que interconectan los sensores de temperatura y humedad con la unidad de control. En la imagen siguiente observamos los sensores seleccionados a instalar en el CPD del peticionario del proyecto. Figura 4.27 Sensor temperatura y humedad [15] Las características principales a destacar son: - No necesitan calibración - Rango de medidas de -55 a +75º C. - Resolución en medidas de 1º C. - Precisión de las medidas de ±0.5°C desde -10 to +75° C. - Dispositivo Plug-and-Play (PnP). - No requiere de alimentación externa. Monitorización de un Centro de Proceso de Datos 100 4.4.2 Monitorización de inundaciones Dada la existencia de agua en la instalación, concretamente en las tuberías del equipamiento de aire acondicionado para las labores de humidificación, y con el fin de minimizar daños en caso de rotura se nos hace necesario implementar una solución de monitorización en la detección de agua en el suelo de las instalaciones de ambos CPDs. El funcionamiento del sensor es simple, consta de dos placas metálicas que entran en contacto, cerrando el circuito ante la presencia de agua. Se conecta a la central de control mediante un conector RJ45 y la longitud del cable depende de la situación de la unidad de control con respecto a las unidades de refrigeración. Las características principales a destacar son: - Detección de estado seco-húmedo en un rango de temperatura de -20 a 60º C. - Sensor controlado por microprocesador. - Tecnología de detección por capacitancias. En la siguiente figura, observamos uno de los sensores a instalar en el CPD. Figura 4.28 Sensor detección de inundaciones [16] Monitorización de un Centro de Proceso de Datos 101 4.4.3 Sensor de presencia de humo El peticionario y aunque dentro del CPD posee un sistema de extinción con central de alarma, desea que instalemos un sensor de humo en la sala anexa a la ubicación del equipamiento, que es donde se realizan las tareas habituales del Área de Sistemas de su Servicio de Informática. (Sala de operación – NOC) La conexión del sensor de humo a la unidad de control, se realiza a través de un conector RJ-45. Las características principales a destacar son: - Alarma cuando se detecta la presencia de humo - Señal de alarma de 85-dB a 3 metros. - Tecnología de detección mediante ionización. Figura 4.29 Sensor detección de humo [17] 4.4.4 Unidad de control centralizado Las unidades de control seleccionadas para la monitorización ambiental, son del fabricante BlackBox de la serie AlertWerks, existen dos modelos, uno de dos puertos, y otro de 8 puertos. En nuestro caso utilizaremos el modelo de dos puertos en el CPD-II – Respaldo y la unidad de ocho puertos en el CPD-I – Principal. Monitorización de un Centro de Proceso de Datos 102 En la figura siguiente observamos los dos modelos que utilizaremos en las instalaciones. Figura 4.30 Unidades de control de sensores de 8 y 2 puertos [18] En el caso del ServSensor JR de dos puertos, conectaremos un sensor doble de temperatura/humedad en uno de los puertos, y uno de inundación en el puerto restante. Una vez instalado los distintos sensores y conectados a la unidad de control podremos pasar a la configuración del mismo para poder monitorizar los componentes según los requerimientos del proyecto. En las siguientes figuras podremos observar el funcionamiento del servidor Web incorporado en la unidad de control, y que nos permitirá, la visualización de los parámetros ambientales tanto en tiempo real, como consulta de históricos. Monitorización de un Centro de Proceso de Datos 103 Figura 4.31 Monitorización sensores en tiempo real La configuración que debemos realizar para el caso del sensor de temperatura, se muestra en la siguiente figura, obtenida una vez instalado y conectado a la red de comunicaciones el equipo de control centralizado y habiendo conectado el sensor de temperatura al mismo. Figura 4.32 Pantalla de ajuste sensor de temperatura Monitorización de un Centro de Proceso de Datos 104 A continuación mostramos la configuración a implementar con el sensor de humedad. Figura 4.33 Pantalla de ajuste sensor de humedad Monitorización de un Centro de Proceso de Datos 105 Para el caso de los sensores de inundación, tenemos la siguiente pantalla de ajustes, dónde los únicos parámetros configurables, son el nombre del dispositivo que se mostrará en la pantalla de monitorización resumen de estado y la posibilidad de activar o desactivar su función. Figura 4.34 Configuración de ajuste sensor de inundación En la siguiente captura, observamos un problema en los sistemas de refrigeración del CPD-I, producido el día 31 de Julio, pasado el mediodía, inmediatamente saltaron las alertas y se contactó con el servicio de mantenimiento contratado, quedando solucionado el problema en unas de las máquinas condensadoras sobre las 17:00 horas. Figura 4.35 Captura evolución temperatura en un intervalo de tiempo Monitorización de un Centro de Proceso de Datos 106 Para la misma incidencia en los sistemas de refrigeración del CPD-I, mostramos a continuación la evolución de las medidas de humedad en el mismo período de tiempo. Figura 4.36 Captura evolución humedad en un intervalo de tiempo A partir de los correos-e enviados por la unidad de control, se detectó y actuó reactivamente ante la incidencia acaecida en los sistemas de refrigeración y fue posible mantener el equipamiento de computación y comunicaciones operativo, la empresa que lleva el mantenimiento, restableció el funcionamiento y las condiciones ambientales fueron restauradas satisfactoriamente. A continuación se muestra las diferentes pantallas de configuración de la unidad de control de ocho puertos instalada en el CPD-I, dónde se configuran ajustes de correo, configuración de red, ajustes de identificación, contraseñas, etc… Monitorización de un Centro de Proceso de Datos 113 En la siguiente figura podemos ver los conectores de E/S Tabla 4-2 Conectores de E/S cámara AXIS 210 [19] Monitorización de un Centro de Proceso de Datos 114 Los indicadores LED y su significado se indican en la siguiente figura. Tabla 4-3 Significado de los indicadores LED. [19] Monitorización de un Centro de Proceso de Datos 115 4.6 Instalación del programa de control de avisos y alertas centralizado Se implementará como solución de control centralizado el software basado en Zabbix, diseñado para monitorizar y registrar el estado de servicios de red, servidores, y dispositivos hardware. Ofrece varias opciones de monitorización, destacando, chequeos simples que pueden verificar la disponibilidad y el nivel de respuesta de servicios estándar como SMTP y HTTP sin necesidad de instalar ningún software sobre el dispositivo monitorizado. Mediante éste software, podremos monitorizar los dispositivos en tiempo real, incluyendo notificaciones de eventos, lo que permite una evaluación ante situaciones críticas y aplicando una solución rápida ante dichas situaciones. Según el pliego de condiciones, el sistema debe prestar servicios para envío de alarmas vía correo-e y SMS, además debe ser capaz de representar gráficamente los estados y las medidas de los dispositivos instalados, además debe suministrar la capacidad de representación de históricos de eventos y medidas. En la siguiente ilustración, se refleja gráficamente el funcionamiento y configuración del programa seleccionado para el control de la monitorización y servicio de alertas. Monitorización de un Centro de Proceso de Datos 116 En la siguiente figura, se refleja cómo se generan las alertas a partir del monitor, que activa un iniciador y genera una acción de envío de alerta. En las siguientes ilustraciones, se reflejaran distintas capturas realizadas durante la configuración y ajustes del programa de monitorización. Figura 4.46 Conjunto de dispositivos SAIs configurados Monitorización de un Centro de Proceso de Datos 117 Figura 4.47 Ejemplo definición de equipo de control en CPD-II Figura 4.48 Monitores de una de las SAIs en CPD-I Monitorización de un Centro de Proceso de Datos 118 Figura 4.49 Ejemplo de monitor carga fase 3 de una de las SAIs en CPD-I Figura 4.50 Iniciador de gravedad crítica estado de una de las SAIs en CPD-I Figura 4.51 Iniciador de información de sobrecarga en consumoI Monitorización de un Centro de Proceso de Datos 119 Figura 4.52 Asignación de valores en la configuración de los monitores SAI Monitorización de un Centro de Proceso de Datos 120 Figura 4.53 Configuración acciones para el caso de las SAIs del CPD-I Figura 4.54 Gráfico de los sensores ambientales en CPD-I Monitorización de un Centro de Proceso de Datos 121 PLANOS Y ESQUEMAS Monitorización de un Centro de Proceso de Datos 122 Página dejada en blanco intencionadamente Monitorización de un Centro de Proceso de Datos 129 5.2.1 Esquema eléctrico I. Conmutación Red-Grupo CPD-I Monitorización de un Centro de Proceso de Datos 130 5.2.2 Esquema eléctrico II. Cuadro protección general CPD-I Monitorización de un Centro de Proceso de Datos 131 5.2.3 Esquema eléctrico III. Cuadro protección general CPD-I Monitorización de un Centro de Proceso de Datos 132 5.2.4 Esquema eléctrico IV. Cuadro eléctrico conexión SAI Monitorización de un Centro de Proceso de Datos 133 5.2.5 Esquema eléctrico V. cuadro eléctrico salida SAI Monitorización de un Centro de Proceso de Datos 134 5.2.6 Esquema eléctrico VI. Cuadro eléctrico salida SAI Monitorización de un Centro de Proceso de Datos 135 5.2.7 Esquema eléctrico conmutación Red-Grupo CPD-II Monitorización de un Centro de Proceso de Datos 136 5.2.8 Esquema eléctrico entrada / salida SAI en el CPD-II Monitorización de un Centro de Proceso de Datos 137 6 Presupuestos Se desglosarán en el primer apartado los presupuestos de adquisición, instalación y configuración de los equipos y sistemas que se han descrito con anterioridad. A continuación, se detallan los presupuestos correspondientes a los mantenimientos de la infraestructura eléctrica y de refrigeración, cuya importancia es fundamental. Finalmente, se exponen los costes totales de cada apartado y el global del proyecto a implementar, dónde encontraremos una sorpresa en cuanto a costes de mantenimiento. Monitorización de un Centro de Proceso de Datos 138 6.1 Presupuestos instalación y puesta en marcha equipamientos y programas de monitorización 6.1.1 Presupuesto instalación, cableado y canalizaciones en el CPD-I 6.1.2 Presupuesto instalación cableado y canalizaciones en CPD-II Monitorización de un Centro de Proceso de Datos 145 6.2.3 Presupuesto mantenimiento Grupos Electrógenos Monitorización de un Centro de Proceso de Datos 146 6.3 Presupuesto TOTAL implantación PFC 6.3.1 Presupuesto TOTAL equipamiento e instalación El presupuesto total para la ejecución y puesta en marcha del PFC MONITORIZACIÓN DE UN CENTRO DE PROCESO DE DATOS es de 10.710,14 €. Monitorización de un Centro de Proceso de Datos 147 6.3.2 Presupuesto TOTAL de mantenimientos CPD-I y CPD-II El presupuesto TOTAL para contratar los Soportes y Mantenimientos anuales de ambos CPDs es de 12.947 €. Monitorización de un Centro de Proceso de Datos 148 6.3.3 Coste TOTAL del proyecto. El coste de la implantación del PFC que cumple el pliego de condiciones solicitado es de 23.657,14 €. La sorpresa, en cuanto a los costes, es que sale más caro los mantenimientos de los sistemas auxiliares, que la implantación de la infraestructura de monitorización seleccionada para cumplir el pliego de condiciones Monitorización de un Centro de Proceso de Datos 149 PARTE IV MEMORIA JUSTIFICATIVA Monitorización de un Centro de Proceso de Datos 150 Página dejada en blanco intencionadamente Monitorización de un Centro de Proceso de Datos 151 PARTE IV Memoria Justificativa. 7 Demostración del funcionamiento del objetivo del proyecto 7.1 Objetivos a conseguir En éste capítulo, y con el propósito de demostrar el funcionamiento de los equipamientos instalados descritos en los capítulos anteriores, pasamos a mostrar algunos ejemplos del funcionamiento de los sistemas instalados y cómo cumplen con los objetivos expuestos en el pliego de condiciones. Recordemos los apartados del pliego de condiciones para la realización del proyecto con el título de MONITORIZACIÓN DE UN CENTRO DE PROCESO DE DATOS. CPD-I-Principal:  Instalación y conexionado analizador de red. Instalación y configuración del programa de adquisición de datos PowerStudio.  Instalación diferencial de rearme automático entrada SAI.  Instalación, conexionado y configuración de las tarjetas de control SAI (NMC) para monitorización de los parámetros eléctricos  Instalación sensores de temperatura, humedad, humo e inundaciones, instalación de la unidad de control y conexionado de los componentes.  Instalación cámara de video para control de acceso al CPD-I y configuración de la misma.  Instalación programa de control de avisos y alertas centralizado Zabbix. CPD-II-Respaldo:  Instalación y configuración de tarjetas NMC para monitorización de la SAI  Instalación y configuración sensores de temperatura, humedad e inundaciones.  Instalación cámara de video para control de acceso al CPD-II y configuración de la misma.  Incorporación al programa de control de avisos y alertas centralizado ya instalado en el CPD-I de los sensores ambientales y de la SAI. Monitorización de un Centro de Proceso de Datos 152 7.2 Descripción de la implementación realizada. A continuación, se describirán los trabajos realizados y su funcionamiento, dando una descripción de las configuraciones de los distintos componentes que componen la solución implementada y demostrando su funcionamiento con ejemplos gráficos. Comentar, que cada dispositivo tiene características y funcionalidades propias según la solución elegida y que complementan el sistema de monitorización global del sistema de alertas Zabbix instalado, ante las incidencias que puedan producirse y por tanto permiten redundancia de monitorización de los componentes del sistema. El propósito de ésta implementación es la monitorización y la reacción, tanto proactiva, como reactiva ante condiciones adversas que pudieran influir en el funcionamiento de nuestros CPDs. Desde que se planteó el trabajo y fue implementado en la realidad, han cambiado desde protocolos de seguridad, en la forma de comunicarnos con los dispositivos, así como en la forma de entender la prestación de servicios. Por ejemplo, se ha cambiado la filosofía de los equipamientos de servidores físicos a entornos de virtualización. Las condiciones de funcionamiento, se han relajado en cuanto a que los equipos alojados son capaces de soportar condiciones de temperatura y humedad, que hace unos años eran impensables y que los fabricantes desaconsejaban. Además, hoy en día se da mucha más importancia a la eficiencia energética que al sobredimensionamiento de los CPDs. En el último capítulo, se proponen posibles mejoras para atender a las nuevas circunstancias, que se presentan en la actualidad. Siguiendo la estructura del pliego de condiciones expuesto, pasamos en ésta parte a describir la implementación y funcionamiento de la solución seleccionada. Con relación a los aspectos de seguridad en los accesos a los dispositivos, el peticionario del proyecto habilitará un cortafuego adicional a las configuraciones de cada dispositivo, de tal forma que el tráfico tanto hacia los dispositivos como desde los mismos, se limite a ciertas estaciones de trabajo y al equipo que contiene el programa de monitorización. Monitorización de un Centro de Proceso de Datos 153 7.2.1 Instalación y conexionado analizador de red La instalación ha sido realizada según lo expuesto, es decir, se ha instalado el analizador de red CVM-96 en el cuadro eléctrico de entrada al CPDI y conectado vía RS-232 al puerto serie del equipo que alberga el software de adquisición de datos y monitorización en tiempo real. En los presupuestos que se han elaborado en la PARTE III de éste trabajo, se detallan los costes de la instalación del analizador de red CVM-96, así como de la instalación y configuración del programa PowerStudio que capturará los datos suministrados. En dicho presupuesto se incluyen los costes asociados a la instalación de cableado y canalizaciones necesarias. El conexionado del analizador se ha realizado según los esquemas suministrados por el fabricante y que se han especificado al describir los mismo. El conexionado eléctrico se ha realizado según las recomendaciones suministradas por el fabricante, siendo de especial utilidad el hecho de cómo se realiza la conexión con el computador que recibirá los datos. La comprobación del funcionamiento para demostrar que cumplimos con los objetivos las mostraremos a partir de ejemplos de las capturas de pantalla realizadas utilizando el programa de adquisición de datos. En la figura siguiente, vemos el dispositivo conectado al equipo que contiene el programa a través del puerto serie COM1 (RS-232). En el caso de tener instalados varios analizadores de red, en ésta ventana seleccionaríamos el dispositivo a monitorizar. Figura 7.1 Selección del analizador a monitorizar Monitorización de un Centro de Proceso de Datos 154 Figura 7.2 Captura del programa de adquisición de datos eléctricos 2 . Observamos cuatro bloques diferenciados, a saber: Voltaje, Corriente, Potencia y Factor de Potencia. Los parámetros de la parte de “Voltaje” son: tensión de entrada faseneutro, fasefase, medidas en voltios (V) la frecuencia de la señal de entrada en Hercios (Hz), y el tanto por ciento de distorsión armónica total en tensión (%). En cuanto al bloque de “Corriente”, tenemos los amperios consumidos por cada una de las fases y la corriente de neutro. Comentar que las unidades condensadoras, situadas en el exterior del CPD, pertenecientes a los sistemas de refrigeración son monofásicas y están fuera de SAI, por lo que existe una corriente de neutro en el circuito eléctrico que las alimenta y su alimentación está fuera de lo que las SAIs suministran. Con respecto al bloque de “Potencia”, podemos observar en tiempo real los valores de la potencia activa (KW), de la reactiva, distinguiendo entre capacitiva (KvarC) e inductiva (KvarL), y la potencia aparente (KVA) De los datos mostrados, cabe destacar un valor del factor de potencia de 0,75, que es el motivo de un consumo de potencia reactiva excesivamente alto, casi el 40% del total. Es necesario mejorar el factor de potencia urgentemente, 2 La captura se ha realizado en el año 2007, en ese momento, el CPD-I estaba dotado de dos SAIs MGE Galaxy de 40KVA sin filtros antiarmónicos que compensaran las perturbaciones de la señal. Horrible