Técnicas de predicción aplicada a la demanda desagregada con variables exógenas

i Equation Chapter 1 Section 1 Proyecto Fin de Máster Máster en Sistemas de Energía Eléctrica Técnicas de predicción aplicada a la demanda desagregada con variables exógenas Autor: Jaime Fernando Jácome García Tutor: Jesús Manuel Riquelme Santos Dpto. Ingeniería Eléctrica Escuela Técnica Superior de Ingeniería Universidad de Sevilla Sevilla, 2023 iii Proyecto Fin de Máster Máster en Sistemas de Energía Eléctrica Técnicas de predicción aplicada a la demanda desagregada con variables exógenas Autor: Jaime Fernando Jácome García Tutor: Jesús Manuel Riquelme Santos Profesor titular Dpto. Ingeniería Eléctrica Escuela Técnica Superior de Ingeniería Universidad de Sevilla Sevilla, 2023 v Proyecto Fin de Máster: Técnicas de predicción aplicada a la demanda desagregada con variables exógenas Autor: Jaime Fernando Jácome García Tutor: Jesús Manuel Riquelme Santos El tribunal nombrado para juzgar el Proyecto arriba indicado, compuesto por los siguientes miembros: Presidente: Vocales: Secretario: Acuerdan otorgarle la calificación de: Sevilla, 2023 El Secretario del Tribunal vii A mi familia A mis amigos ix Agradecimientos Agradezco a Dios por guiarme y otorgarme la sabiduría necesaria para superar obstáculos y debilidades en mi camino. Ivon y Patricio, mis queridos padres, merecen un agradecimiento especial por su apoyo constante, confianza inquebrantable y por proporcionarme las herramientas necesarias para alcanzar cualquier meta que me proponga. Cristian, mi primo, ha sido tanto mi ejemplo a seguir como mi apoyo incondicional en la vida, y por eso le estoy profundamente agradecido. Mis hermanos, Esteban e Ivonne, han sido una fuente constante de apoyo, compañía y amor incondicional a lo largo de mi vida. No puedo dejar de mencionar a mi sobrina Maite, quien, a pesar de ser una niña, es la persona más fuerte y valiente que conozco. Su fuerza y alegría han sido una inspiración constante para mí. A mis amigos, que contribuyeron de manera significativa a este logro en mi vida profesional, les dedico un sincero agradecimiento. Cada uno de ustedes ha sido un pilar fundamental en mi camino, y este logro no habría sido posible sin su presencia y apoyo. Jaime Jácome Sevilla, 2023 4.1.4 Revisión y corrección final de datos 21 4.1.5 Exportación de Datos 23 4.2 Raspado Web o Web Scraping 23 4.3 Estacionariedad 24 4.4 Modelos de Predicción 24 4.4.1 RNN LSTM 25 4.4.2 ARIMA 30 4.5 Ensamblador 33 5 Resultados y discusiones 35 5.1 Modelos 35 5.1.1 RNN LSTM 35 5.1.2 ARIMA/ARIMAX 45 5.2 Ensamblador 53 6 Conclusiones y Futuras lineas de investigación 57 6.1 Conclusiones 57 6.2 Futuras lineas de investigación 58 Referencias 59 xvii ÍNDICE DE TABLAS Tabla 4–1 Información de la Base de Datos Centro de transformación A, Fuente Propia 19 Tabla 4–2 información de la Base de Datos Centro de transformación B, Fuente Propia 19 Tabla 4–3 Prueba ADF a serie temporal 24 Tabla 4–4 Segmentación de Datos de centros de transformación 25 Tabla 4–5 Descripción y caracteristicas de Modelos LSTM 27 Tabla 4–6. Representación de validación cruzada en serie temporal 30 Tabla 4–7. Diferencias de la serie temporal para parámetro “d” ARIMA, ARIMAX 31 Tabla 4–8. Arquitectura de Modelo ARIMA, ARIMAX 32 Tabla 5–1. Resultados modelos de RNN LSTM 35 Tabla 5–2 Comparaciones Modelos LSTM Discretización Horaria 41 Tabla 5–3. Comparaciones Modelos LSTM Discretización Diaria 41 Tabla 5–4. Comparaciones Modelos LSTM Discretización Semanal 42 Tabla 5–5. Valores Máximos y Mínimos de Error en Discretización Horaria 44 Tabla 5–6. Resultados de modelo ARIMA, ARIMAX 45 Tabla 5–7. Resumen de los mejores modelos ARIMA, ARIMAX 48 Tabla 5–8. Comparacion Modelos ARIMA, ARIMAX. Discretización Horaria 50 Tabla 5–9. Comparacion Modelos ARIMA, ARIMAX. Discretización Diaria 50 Tabla 5–10. Comparación Modelos ARIMA, ARIMAX Discretización Semanal 51 Tabla 5–11. Valores Máximos y Mínimos de Error en Discretización Horaria 52 Tabla 5–12. Comparación Modelo12 (LSTM) y ARIMA (24,0,0) 53 Tabla 5–13. Metricas Estadísticas Ensambladores 55 Tabla 5–14. Valores de Error Minimos y Máximos de los Ensambladores 55 xix ÍNDICE DE FIGURAS Figura 3-1. Consumo de energía final por sectores, 2000-2020. Fuente MITERD/IDEA. 6 Figura 3-2. Clasificación de los algoritmos de Machine Learning (Adaptado de [10]) 7 Figura 3-3. Estructura y componentes fundamentales de una red neuronal. Fuente Propia. 8 Figura 3-4. Funciones de Activación Fuente Propia 9 Figura 3-5. Representación de una neurona recurrente y neurona recurrente en el contexto temporal. Fuente Propia 10 Figura 3-6. Estructura de una Celda LSTM. Fuente Propia 10 Figura 4-1. Esquema de procesos de Metodología. Fuente Propia 15 Figura 4-2. Datos de Energía en el centro de transformación A, Fuente Propia 16 Figura 4-3. Datos de Energía en el centro de transformación B, Fuente Propia 16 Figura 4-4. Datos de Temperatura en el centro de transformación A, Fuente Propia 17 Figura 4-5. Datos de Energía Completos Centro de transformación A (Reindexación y Tratamiento de Outliers), Fuente Propia 17 Figura 4-6. Datos de Energía Completos Centro de transformación B (Reindexación y Tratamiento de Outliers), Fuente Propia 18 Figura 4-7. Datos de Temperatura Completos Centro de transformación A (Reindexación), Fuente Propia 18 Figura 4-8. Datos de Temperatura Completos Centro de transformación B (Reindexación), Fuente Propia 18 Figura 4-9. Código en Python para la verificación de valores nulo y faltantes en base de datos CT A, B Fuente Propia 19 Figura 4-10. Proceso de tratamiento de datos con la ventana móvil. Fuente Propia 21 Figura 4-11. Revisión final de datos tratados energía en el CT A e identificación de Outliers Fuente Propia 21 Figura 4-12. Revisión final de un grupo de datos tratados energía en el CT A e identificación de Outliers Fuente Propia 22 Figura 4-13. Revisión y verificación de Datos Corregidos energía CT A Fuente Propia 22 Figura 4-14. Datos Corregidos energía CT A Fuente Propia 22 Figura 4-15. Captura de pantalla de página Web de extracción de datos. 23 Figura 4-16. Arquitectura LSTM con variables exógenas Fuente Propia 26 Figura 4-17. Ensamblador 1(Ensamblador LSTM) Fuente Propia 34 Figura 4-18. Ensamblador 2 (Ensamblador LST-ARIMA, ARIMAX) Fuente Propia 34 Figura 5-1. Resultados Validación Cruzada Modelos LSTM 39 Figura 5-2. A) y B) Predicción de Energía del grupo de prueba (test) 39 Figura 5-3. Predicción de energía del grupo prueba más 36h de predicción 40 Figura 5-4. Arquitectura Modelo 12 (model005_5) 40 Figura 5-5. RMSE 43 Figura 5-6. Rango Estadístico 43 Figura 5-7. Varianza 43 Figura 5-8.Coeficiente de Variación 43 Figura 5-9. Desviación Estándar 44 Figura 5-10. Predicción de modelo ARIMA (24,0,0) en ambos centros de transformación. 50 Figura 5-11. RMSE 51 Figura 5-12. Rango Estadístico 51 Figura 5-13.Varianza 52 Figura 5-14. Coeficiente de Variación 52 Figura 5-15. Desviación Estándar 52 Figura 5-16. Prediccion Ensamblador 1 54 Figura 5-17. Prediccion Ensamblador 2 54 Figura 5-18. Prediccion Ensamblador 3 54 1 1 INTRODUCCIÓN a los últimos 15 años, el progreso de los mercados eléctricos liberalizados, también conocidos como mercados eléctricos desregulados o mercados eléctricos abiertos, ha revolucionado la forma en que se genera, distribuye y comercializa la electricidad. Estos sistemas son diseñados para fomentar la competencia y permitir la participación de múltiples actores en la industria energética. Al mismo tiempo, el rápido crecimiento de las fuentes de energía renovables variables ha impulsado la necesidad de desarrollar modelos de mercado eléctrico personalizados en diferentes regiones, como Estados Unidos y Europa[1]–[3]. En un entorno global cada vez más orientado hacia el análisis de datos y la toma de decisiones basados en datos, la predicción de la demanda desagregada ha adquirido una relevancia fundamental para empresas y organizaciones. Esta herramienta se ha convertido en imprescindible en la optimización de operaciones, en la mejora de la planificación estratégica y en la capacidad de brindar productos y servicios altamente personalizados a sus clientes. La demanda desagregada implica prever patrones de consumo a niveles más detallados, como productos individuales, categorías de productos, segmentos de clientes o ubicaciones geográficas específicas. Esto permite optimizar operaciones, mejorar la planificación y ofrecer productos y servicios personalizados a los clientes, lo que se ha vuelto crucial para mantener una ventaja competitiva en el mercado[4]. A lo largo de las últimas décadas, la predicción de la demanda eléctrica ha sido objeto de intensa investigación y desarrollo, debido a la necesidad de abordar los desafíos asociados con la generación, distribución y consumo de electricidad. Aunque los enfoques tradicionales basados en técnicas estadísticas son ampliamente utilizados en la predicción de la demanda agregada, han mostrado limitaciones en la representación de patrones complejos y cambios abruptos en el consumo. Esto ha impulsado el interés en la predicción de demanda desagregada, que busca ofrecer una visión más detallada y precisa de los patrones de consumo, lo que resulta esencial para la toma de decisiones estratégicas y operativas en el sector eléctrico y otras industrias[4]. La predicción de la demanda desagregada en centros de transformación (CT) es esencial para anticipar con precisión los patrones de consumo de energía eléctrica. En este trabajo, se aborda la tarea de predecir la demanda desagregada de dos centros de transformación específicos, cada uno con su propia base de datos. Para lograrlo, se emplea diversas técnicas de tratamiento de datos, especialmente diseñadas para abordar la presencia de datos faltantes y anómalos. Es importante destacar que, en este estudio, además de considerar la limpieza y procesamiento de datos, se valora la influencia de variables exógenas en la predicción de la demanda de energía eléctrica en una serie temporal. En particular, se analizan las variables de temperatura y humedad, cuyo impacto en la demanda energética es fundamental y ha sido ampliamente reconocido en la literatura científica. La temperatura y la humedad son factores críticos que afectan directamente los patrones de consumo eléctrico, ya que inciden en la necesidad de climatización y refrigeración, así como en otros aspectos relevantes para la demanda energética. Una vez que los datos se procesan y limpian, la tarea de predicción se lleva a cabo mediante la implementación de modelos como ARIMA (autoregressive integrated moving average), RNN (Recurrent Neural Networks), y LSTM (long short-term memory). Estos modelos se seleccionan cuidadosamente y se evalúan en función de su capacidad para capturar las relaciones temporales y las influencias de las variables exógenas, como la temperatura y la humedad. La elección del mejor modelo desempeña un papel crítico en la mejora de la toma de decisiones y la planificación estratégica en estos centros de transformación. E Quien no espera vencer, ya está vencido - José Joaquín de Olmedo- Introducción 2 La información obtenida a través de este estudio tiene un valor significativo para la planificación estratégica en el sector energético, ya que permite comprender cómo las variables exógenas, en particular la temperatura y la humedad, influyen en la demanda de energía eléctrica en una serie temporal. Esto proporciona una base sólida para la toma de decisiones informadas y la optimización de recursos en el suministro de energía eléctrica. La organización de este estudio se compone de siete capítulos. El primero, la introducción, establece la relevancia de la predicción de la demanda eléctrica. El segundo capítulo, 'Objetivos', define el objetivo general y los objetivos específicos que guían la investigación. En el tercer capítulo, 'Marco Teórico', se profundiza en conceptos fundamentales, como demanda desagregada y técnicas de machine learning. El cuarto capítulo, 'Metodología', detalla la metodología empleada, que incluye procesamiento de datos y modelos de predicción. El quinto capítulo, 'Resultados y Discusiones', presenta y analiza los hallazgos obtenidos. El sexto capítulo, 'Conclusiones', resume las conclusiones del estudio y sugiere direcciones futuras. El séptimo capítulo, 'Referencias', proporciona una lista exhaustiva de fuentes bibliográficas utilizadas para respaldar la investigación. 3 2 OBJETIVOS 2.1. Objetivo General Este trabajo tiene como objetivo realizar un análisis exhaustivo de la predicción de la demanda desagregada en centros de transformación, investigando y aplicando diversas metodologías y técnicas de pronóstico con el propósito de obtener resultados robustos y significativos desde una perspectiva científica y técnica 2.1 Objetivos Específicos • Exponer de manera sistemática y detallada la metodología de investigación empleada, incluyendo la descripción de los procedimientos utilizados para la recopilación de datos, las herramientas y técnicas específicas utilizadas para el análisis, así como cualquier enfoque metodológico pertinente. • Llevar a cabo un análisis minucioso de los datos recopilados, empleando herramientas y técnicas apropiadas que estén respaldadas por la literatura científica, y presentar los resultados de manera clara y comprensible, incorporando gráficos, estadísticas descriptivas y visualizaciones pertinentes. • Realizar una interpretación exhaustiva de los resultados del análisis de datos, estableciendo conexiones con los hallazgos dentro del marco teórico proporcionado por la revisión de la literatura. • Llevar a cabo una discusión crítica y fundamentada sobre las implicaciones de los resultados obtenidos, estableciendo relaciones con teorías relevantes en el campo de estudio, y destacando cualquier contribución novedosa o perspicaz al avance del conocimiento. • Sintetizar de manera concisa y precisa las conclusiones fundamentales derivadas de la investigación, enfocándose en los hallazgos más significativos que aborden directamente a los resultados de la investigación Cada día sabemos más y entendemos menos - Albert Einstein- 5 3 MARCO TEÓRICO n este capítulo, se explora técnicas para la predicción de la demanda de energía eléctrica desagregada. Se destaca la importancia del tratamiento de datos como base fundamental, se aborda el aprendizaje automático (machine learning) en redes neuronales y la aplicación de modelos tradicionales como ARIMA. Sin embargo, es esencial destacar que, en este estudio, es necesario incorporar variables exógenas como la temperatura y la humedad. La inclusión de estas variables permite evaluar si hay una mejora significativa en la precisión de las predicciones energéticas. La temperatura y la humedad son factores exógenos que pueden tener un impacto considerable en la demanda de energía eléctrica. Por ejemplo, en días calurosos, es probable que la demanda de energía para sistemas de aire acondicionado aumente significativamente. De manera similar, la humedad puede afectar la eficiencia de equipos y sistemas de climatización, lo que influye en la cantidad de energía requerida Además, en este contexto, también es relevante mencionar la utilización de un modelo ensamblador. Un modelo ensamblador combina múltiples modelos de predicción en uno solo, aprovechando sus fortalezas individuales para obtener una predicción más precisa y robusta de la demanda de energía eléctrica. La combinación de modelos ARIMA o ARIMAX (AutoRegressive Integrated Moving Average with eXogenous variables) y LSTM puede ser especialmente efectiva para abordar los desafíos únicos en la predicción de la demanda eléctrica, y, como resultado, contribuir a una gestión energética más eficiente y sostenible 3.1 Predicción de la Demanda La predicción de la demanda de energía eléctrica es esencial para garantizar un suministro confiable y eficiente de electricidad. Predecir cuánta energía se requerirá en el futuro es crucial para planificar la generación y distribución de energía, así como para evitar cortes de energía y desperdicio de recursos. Este marco teórico abordará métodos y técnicas utilizados en la predicción de la demanda eléctrica, destacando su importancia en la gestión de sistemas eléctricos. 3.1.1 Demanda Desagregada La demanda desagregada en energía eléctrica se refiere a la subdivisión o descomposición de la demanda total de electricidad en sus componentes individuales o segmentos. En otras palabras, implica analizar y comprender el consumo de electricidad en un nivel más detallado, desglosando la demanda en categorías específicas, como sectores industriales, comerciales, residenciales, o incluso por regiones geográficas y horas del día. La demanda desagregada de energía eléctrica en España se refiere a la subdivisión o descomposición de la demanda total de electricidad en el país en sus distintos componentes o sectores específicos de consumo[5]. Estos componentes se dividen generalmente en categorías clave, que pueden incluir: • Sector Residencial: Esta categoría abarca la demanda de electricidad de hogares y viviendas. • Sector Industrial: Incluye la demanda de electricidad de las instalaciones y procesos industriales. • Sector Comercial: Se refiere a la demanda eléctrica de comercios, oficinas y otros establecimientos comerciales. • Sector de Servicios: Engloba la electricidad utilizada en servicios públicos, como hospitales, escuelas y edificios gubernamentales. • Agricultura: La demanda de energía eléctrica en actividades agrícolas. E En realidad, no me preocupa que quieran robar mis ideas, me preocupa que ellos no las tengan. - Nikola Tesla- Marco Teórico 12 (𝑌𝑡= 𝑌𝑡− 𝑌𝑡−𝑑) 𝑌𝑡= 𝑐 + 𝜙1𝑌 𝑡−1 + 𝜙2𝑌𝑡−2 + ⋯ + 𝜙𝑃𝑌𝑡−𝑝 − 𝜃1𝑒𝑡−1 − 𝜃2𝑒𝑡−2 − ⋯ − 𝜃𝑞𝑒𝑡−𝑞 + 𝑒𝑡 (3–1) Donde: - 𝒀𝒕: Esta es la observación en el tiempo t de la serie temporal que estás analizando. Es el valor actual que deseas predecir o modelar. - 𝒄: Este es el término es una constante - 𝝓𝟏, 𝝓𝟐,… 𝝓𝒑: Son los coeficientes de autorregresión de la parte Autoregresiva del modelo, con "p" representando el orden de esta parte. - 𝒀𝒕−𝟏: Estos son los valores anteriores de la serie temporal en los retrasos t-1, t-2, etc. - 𝒆𝒕: Este término representa el error o residuo en la predicción. Es la diferencia entre el valor observado real 𝑌 𝑡 y el valor predicho por el modelo. - 𝜽𝟏,𝜽𝟏,… 𝜽𝒒: Son los coeficientes de la parte de media móvil (Moving Average) del modelo, con "q" representando el orden de esta parte. En resumen, la fórmula ARIMA encapsula el proceso de modelado y predicción de series temporales, considerando factores como la dependencia en el tiempo, las transformaciones de diferenciación y el impacto de errores previos. La determinación adecuada de los valores de los los componentes (p, d, q), son pasos cruciales en la configuración de un modelo ARIMA. Estos pasos son fundamentales para lograr un modelo efectivo que capture las complejas dinámicas de una serie temporal. 3.8 Varibles Exógenas La teoría de las variables exógenas en modelos de predicción se fundamenta en la premisa de que elementos externos poseen la capacidad de ejercer una influencia considerable en los resultados de un modelo predictivo. Estas variables exógenas, originadas fuera del ámbito del proceso analizado, se caracterizan por ser independientes, si bien se presume que pueden ejercer un impacto significativo en las predicciones generadas por el modelo. En resumen, esta teoría argumenta que la inclusión de variables exógenas en el modelo posibilita la consideración de factores adicionales que, en última instancia, contribuyen a mejorar la precisión y la validez del modelo predictivo. En lo concerniente a la selección de variables exógenas, es un paso crucial en este proceso. Requiere la meticulosa elección de variables que se perciban pertinentes al fenómeno en estudio y que se haya identificado que ejercen un efecto significativo en las predicciones resultantes del modelo. 3.8.1 Variables exógenas en RNN LSTM Dentro del marco de los modelos RNN LSTM el concepto de variables exógenas se refiere a las características o entradas adicionales que se insertan en el modelo en conjunción con la serie temporal primordial. Estas variables exógenas representan datos independientes de la serie temporal y se presume que poseen la capacidad de ejercer influencia en la predicción o el comportamiento de la serie. La inclusión estratégica de variables exógenas tiene como propósito enriquecer y ampliar la capacidad predictiva de estos modelos, al considerar factores adicionales que pueden desempeñar un papel determinante en la dinámica de la serie temporal. 3.8.2 ARIMAX (Modelo Autorregresivo integrado de promedio con variable exógena) El modelo ARIMAX, es una extensión del modelo ARIMA, destinado a mejorar la predicción de series temporales al incorporar variables exógenas. Las variables exógenas, ajenas a la serie principal, se considera factores relevantes para entender su comportamiento. Por ejemplo, al pronosticar la demanda de energía eléctrica, las variables exógenas pueden comprender datos climáticos como temperatura y humedad, factores que influyen en la demanda de energía. 13 Técnicas de predicción aplicada a la demanda desagregada con variables exógenas El valor clave del ARIMAX radica en su capacidad para considerar factores externos que impactan en la serie temporal, permitiendo una captura más precisa de patrones complejos y tendencias en los datos. Esto resulta especialmente útil cuando las fluctuaciones en la serie no pueden ser completamente explicadas por relaciones internas. En resumen, el ARIMAX es una herramienta valiosa para mejorar la precisión en la predicción de series temporales al integrar factores exógenos relevantes. 3.9 Ensamblador Un ensamblador se define como una técnica que integra múltiples modelos predictivos individuales en un modelo único, con mayor robustez y precisión. Su principal objetivo es elevar la calidad de las predicciones al aprovechar la diversidad de enfoques provenientes de varios modelos base. • Modelos Base: En el contexto de un ensamblador, se emplea diversos modelos predictivos individuales conocidos como "modelos base". Estos modelos pueden pertenecer a diferentes categorías, como regresión, árboles de decisión, redes neuronales LSTM, ARIMA, ARIMAX entre otros. • Combinación de Predicciones: El ensamblador combina las predicciones individuales de los modelos base para generar una predicción conjunta. Esta unión se efectúa a través de diversos procedimientos, como promedios, ponderaciones o mediante el empleo de algoritmos avanzados como Bagging. • Mejora de la Precisión: La idea fundamental en el ensamblaje es que, al fusionar varios modelos que exhiben fortalezas y debilidades distintas, se incrementa la precisión global de las predicciones. Los errores inherentes a los modelos base pueden compensarse mutuamente, engendrando un modelo ensamblado que es más resistente y fiable. En resumen, el ensamblaje de modelos se refiere a la combinación de varios modelos predictivos con el fin de mejorar la precisión de las predicciones en contraste con la utilización de un solo modelo. Esta técnica resulta particularmente beneficiosa cuando se aborda la predicción en contextos que involucra conjuntos de datos complicados o con ruido. En la sección de metodología, se proporcionará una explicación detallada sobre el tipo de ensamblador empleado. 15 4 METODOLOGÍA n la presente sección, se expone los diversos procedimientos llevados a cabo en el transcurso de la investigación. Con el objetivo de facilitar una comprensión más clara, se incluirá un diagrama de procesos, representado en la Figura 4-1, que describe la metodología empleada en el estudio. Esta metodología comprende una serie de etapas, a saber: el tratamiento de datos, el raspado web, la construcción de modelos de predicción y la fase del ensamblador. Se proporciona información más detallada de cada una de las fases mencionadas en los apartados subsecuentes, con el fin de brindar una exposición más exhaustiva y técnica de los procedimientos llevados a cabo. Figura 4-1. Esquema de procesos de Metodología. Fuente Propia 4.1 Tratamiento de Datos Para llevar a cabo el procesamiento de datos, se optó por la utilización del lenguaje de programación Python, reconocido por su extensa colección de bibliotecas y su posición preeminente como uno de los lenguajes de programación más ampliamente adoptados en la industria contemporánea. La elección de Python se basa en su versatilidad inherente y su capacidad para simplificar considerablemente las tareas asociadas con el procesamiento y análisis de datos. A través de la explotación de diversas bibliotecas disponibles, se logró abordar eficazmente actividades fundamentales tales como la limpieza, transformación y preparación de los datos. Esto, a su vez, ha posibilitado el desarrollo de procesos de tratamiento de datos más eficientes y efectivos. Cabe destacar que las bases de datos analizadas de los centros de transformación se encuentran en discretización horaria, por lo que el tratamiento de datos se realiza en la misma discretización. E Lo que importa verdaderamente en la vida no son los objetivos que nos marcamos, sino los caminos que seguimos para lograrlo. - Peter Bamm- Metodología 16 16 4.1.1 Exploración y comprensión de datos Antes de iniciar el tratamiento de datos, es crucial realizar una exploración detallada para comprender a fondo la naturaleza de la información. Esta fase implica revisar la estructura del conjunto de datos y detectar posibles valores atípicos o datos faltantes. Para ilustrar este proceso, en las Figuras 4-2 y 4-3, que representan el caso de la Energía dada en [Wh] en los centros de transformación, se pueden identificar claramente valores anómalos, los cuales se encuentran encerrados en una circunferencia de color rojo. Figura 4-2. Datos de Energía en el centro de transformación A, Fuente Propia Figura 4-3. Datos de Energía en el centro de transformación B, Fuente Propia Por otro lado, en la Figura 4-4 se representa el caso de la Temperatura en los centros de transformación, se observa una menor presencia de valores anómalos en principio. Sin embargo, también se marca con una circunferencia de color rojo aquellos valores que se considera anómalos. Estas representaciones gráficas son de gran utilidad para visualizar y comprender rápidamente la distribución de datos y destacar puntos atípicos que pueden requerir una atención especial en el posterior tratamiento de la información. 17 Técnicas de predicción aplicada a la demanda desagregada con variables exógenas Figura 4-4. Datos de Temperatura en el centro de transformación A, Fuente Propia 4.1.2 Limpieza de Datos En esta etapa, se abordan los datos faltantes y los valores atípicos. Los datos faltantes pueden ser tratados mediante métodos estadísticos, eliminación de filas o columnas con datos faltantes o mediante técnicas avanzadas de completación. Los valores atípicos pueden ser corregidos o eliminados, según el contexto y el impacto en el análisis. En ambos casos, tanto para los datos de energía que se visualiza en la Figura 4-5 y 4-6 como para la temperatura que se visualiza en la Figura 4-7 y 4-8 en los centros de transformación, se aplicó un método de reindexación. Este proceso implicó la creación de un índice con las fechas de inicio y final, junto con la hora correspondiente, con el propósito de reorganizar la base de datos y detectar los datos faltantes. Además, en el caso de los datos de energía, se llevó a cabo un proceso de eliminación de valores atípicos o outliers que podrían afectar la calidad de los resultados. Estas acciones de reindexación y limpieza contribuyeron significativamente a mejorar la consistencia y precisión de los datos, preparándolos para el análisis y la posterior toma de decisiones informadas. Figura 4-5. Datos de Energía Completos Centro de transformación A (Reindexación y Tratamiento de Outliers), Fuente Propia Metodología 18 18 Figura 4-6. Datos de Energía Completos Centro de transformación B (Reindexación y Tratamiento de Outliers), Fuente Propia Figura 4-7. Datos de Temperatura Completos Centro de transformación A (Reindexación), Fuente Propia Figura 4-8. Datos de Temperatura Completos Centro de transformación B (Reindexación), Fuente Propia 19 Técnicas de predicción aplicada a la demanda desagregada con variables exógenas Se presenta dos tablas que brinda una visión clara del estado inicial de la base de datos antes de ser tratada. En esta Tabla 4-1 y 4-2, se proporciona la información total de datos presentes en la base de datos, junto con el porcentaje de datos faltantes en cada una de las variables. Esta visualización es de gran utilidad para comprender la magnitud y relevancia de los datos faltantes, lo que permitirá enfocar adecuadamente el proceso de tratamiento y garantizar la integridad de los resultados. Tabla 4–1 Información de la Base de Datos Centro de transformación A, Fuente Propia Datos Totales Datos Faltantes de Energía [%] Datos Faltante de Temperatura [%] 22205 (100%) 30.61 % 28.95 % Tabla 4–2 información de la Base de Datos Centro de transformación B, Fuente Propia Datos Totales Datos Faltantes de Energía [%] Datos Faltante de Temperatura [%] 25255 (100%) 30.59 % 28.68 % 4.1.3 Detección y corrección de Datos anómalos y Faltantes En el proceso de tratamiento de datos, la detección y corrección de datos anómalos y faltantes juega un papel crítico. Durante esta fase, se lleva a cabo un análisis exhaustivo para identificar valores erróneos, como repeticiones de datos en horas consecutivas, valores nulos y datos faltantes. Para abordar esta tarea, se utilizó el lenguaje de programación Python tal y como se ha estado realizado en las secciones anteriores del tratamiento de datos, brindando la flexibilidad necesaria para realizar una comprobación minuciosa de los datos. En la Figura 4-9, se muestra el código utilizado para realizar la verificación de datos nulos y faltantes en la base de datos de los centros de transformación. Este código es ejecutado como parte del proceso de análisis de datos, con el propósito de identificar cualquier ausencia de información en los registros de los centros de transformación. La comprobación de datos nulos y faltantes es un paso crucial para asegurar que los datos estén completos y listos para su posterior tratamiento y análisis, lo que garantiza la integridad de los resultados obtenidos. Figura 4-9. Código en Python para la verificación de valores nulo y faltantes en base de datos CT A, B Fuente Propia Para mejorar la calidad de nuestra base de datos, implementamos un proceso de filtrado riguroso después de organizar los datos por día y hora. El primer paso en este proceso implicó la aplicación de una media móvil con una ventana de tamaño 15 para analizar la columna de Energía_Wh. Este enfoque se basó en un bucle 'for' que recorrió la columna de Energía_Wh, lo cual se replicó en todos los filtros posteriores. Metodología 20 20 Este primer filtro se centró en identificar y corregir los valores incorrectos detectados mediante la ventana móvil. Se elige una ventana de tamaño impar para asegurar de que el valor en cuestión siempre ocupara la posición central de la ventana. Esto garantizó una evaluación justa de los valores circundantes. Para sustituir los valores incorrectos, se calcula la media de la ventana móvil, lo que preservó la tendencia general de la serie temporal y proporcionó una aproximación más precisa de los valores corregidos. La elección de una ventana de tamaño relativamente grande se justificó debido a la presencia de varios valores nulos (NaN) consecutivos en los datos. Una ventana más grande permitió capturar datos de energía en algunos casos donde existían varios valores NaN presentes, lo que a su vez permitió calcular la media con dichos valores, mejorando la precisión de la corrección. Este enfoque aseguró que nuestra base de datos estuviera libre de valores erróneos y proporcionó una base sólida para análisis posteriores. Luego del primer filtro, se implementa una comparación entre cada dato y su predecesor para asegurar que no hubiera valores repetidos en un intervalo menor a 2 horas. Posteriormente, se aplicó un segundo filtro, nuevamente una media móvil con una ventana de tamaño 5, siguiendo el mismo principio que el primer filtro. Dado que algunos datos se corrigieron en la primera etapa de filtrado, el segundo filtro pudo corregir aún más valores. En este caso, si un dato no difería de su predecesor, se reemplazaba por un valor NaN. Finalmente, se ejecuta un tercer y último filtro manteniendo el mismo enfoque que el segundo filtro. Con la diferencia que este último filtro se integró en un ciclo 'while' que se mantuvo activo hasta que no se detectaron más valores incorrectos en los datos. Este enfoque aseguró que los datos mantengan coherencia con la tendencia general de la serie y que los valores faltantes se completen utilizando la media de los valores adyacentes. Es importante resaltar que en este estudio se adopta la decisión de no eliminar ningún dato, incluso en casos donde no existieron valores, es decir, donde no había registros de datos. Esta estrategia se basó en la premisa de que la ausencia de datos también es una información valiosa y puede proporcionar insights 1 relevantes en ciertos contextos. Mantener todos los registros, incluso aquellos con valores faltantes, contribuye a mantener la integridad y la completitud de la serie temporal. En este caso, los faltantes son reemplazados por valores que respetan la distribución de la serie, es decir, se sustituyen por el valor más probable que pudiese haber estado en su lugar. La decisión de no eliminar datos, incluso cuando no había información presente, se tomó con el propósito de maximizar la utilización de todos los datos disponibles y evitar la pérdida potencial de información relevante. Además, esto refleja una aproximación más realista a la gestión de datos en situaciones prácticas donde la falta de datos es común. Para validar la efectividad del modelo de filtrado empleado en este estudio, se propone considerar la utilización de datos provenientes de centros de transformación con una calidad conocida y una alta precisión. Esto implica la extracción de un conjunto de datos específico, lo que permitiría realizar una evaluación exhaustiva de cómo el modelo de filtrado aborda la ausencia de datos y su capacidad para reconstruir información faltante en comparación con datos de alta calidad. A través de esta comparativa, se podrá valorar con mayor precisión la eficacia del modelo de filtrado al tratar con datos que carecen de existencia y se podrá determinar su impacto en la mejora de la calidad de los datos. Este enfoque de validación proporcionará una evaluación sólida y objetiva de la capacidad del modelo para lidiar con la ausencia de datos, lo cual es esencial para garantizar la fiabilidad de los resultados y conclusiones basados en los datos corregidos. Esto se ilustra de manera gráfica en la Figura 4-10, que proporcionará una representación visual que facilitará la comprensión del proceso de tratamiento de datos mediante el uso de la ventana móvil. 1 Insights se refiere a conocimientos o entendimientos significativos que se obtienen al reconocer que la falta de datos también puede ser una fuente valiosa de información en ciertos contextos de análisis. 21 Técnicas de predicción aplicada a la demanda desagregada con variables exógenas Figura 4-10. Proceso de tratamiento de datos con la ventana móvil. Fuente Propia 4.1.4 Revisión y corrección final de datos En este apartado, se realiza una revisión de los datos previamente tratados mediante una media móvil diaria, con el propósito de identificar los outliers que se encontraran fuera de 2.3 sigma. La desviación estándar de 2.3 sigma representa una distancia de aproximadamente 2.3 veces la desviación estándar de la media, y se eligió un umbral de 2.3 de manera empírica después de llevar a cabo diversas pruebas y considerar la naturaleza de los datos. La desviación estándar es una medida que indica cuánto se dispersan los datos alrededor de la media. Al utilizar 2.3 sigma, se busca detectar valores inusuales que se encuentren relativamente lejos de la media, lo que permite identificar outliers con mayor precisión. Una vez identificados los outliers, se procedió a reemplazarlos por la media de los 5 vecinos superiores e inferiores. Para realizar este cálculo, se utilizó una ventana de tamaño 11 en la media móvil diaria, lo que permitió suavizar los datos y obtener una estimación más confiable de los valores a remplazar. La elección de 2.3 sigma y la ventana de tamaño 11 para la media móvil se basaron en consideraciones estadísticas y en la necesidad de obtener resultados fiables en el proceso de tratamiento de datos. Al aplicar este enfoque, se logró mejorar la calidad de los datos y prepararlos para un análisis más preciso y confiable. La Figura 4-11,4-12 representa como ejemplo de revisión que se realizó en ambos centros de transformación los datos de Energía del centro de transformación A, donde se destacan visualmente los umbrales superior e inferior de la media diaria, respetando el valor de 2.3 sigma asignado. Además, se marcan con puntos de color rojo aquellos valores que se encuentran fuera de estos umbrales, identificándolos como outliers. Esta representación proporciona una visualización más clara y concisa de lo explicado anteriormente, facilitando la identificación y comprensión de los datos atípicos. Figura 4-11. Revisión final de datos tratados energía en el CT A e identificación de Outliers Fuente Propia Metodología 28 28 Modelo 5 (model004) Arquitectura LSTM Humedad 26 Modelo 6 (model006) Arquitectura LSTM Temperatura, Humedad 26 Modelo 7 (model005) Arquitectura LSTM Tiempo, Temperatura, Humedad. 26 Modelo 8 (model007) Arquitectura LSTM Tiempo, Temperatura, Humedad 26 29 Técnicas de predicción aplicada a la demanda desagregada con variables exógenas Modelo 9 (model005-2) Arquitectura LSTM Tiempo, Temperatura, Humedad 30 Modelo 10 (model005-3) Arquitectura LSTM Tiempo, Temperatura, Humedad 10 Modelo 11 (model005-4) Arquitectura LSTM Tiempo, Temperatura, Humedad. 25 Modelo 12 (model005-5) Arquitectura LSTM Tiempo, Temperatura, Humedad. 25 Metodología 30 30 Una vez presentada la Tabla 4-5, se procede a llevar a cabo una validación cruzada en series temporales utilizando la técnica conocida como TimeSeriesSplit. Esta estrategia de validación implica la división de la serie temporal en múltiples segmentos para evaluar el rendimiento de los modelos de manera más exhaustiva. En este estudio, se ha optado por dividir la serie temporal en tres bloques para asegurar que cada segmento contenga suficientes datos para entrenar y evaluar los modelos de manera efectiva. Esta división en tres segmentos o también llamados pliegues permite una evaluación detallada del rendimiento de los modelos en diferentes secciones de la serie temporal. Cada bloque se utiliza en turnos como conjunto de validación, mientras que los otros dos se utilizan como conjuntos de entrenamiento, se puede tener una idea de lo mencionado en la Tabla 4-6. Este enfoque brinda una visión más completa de cómo nuestros modelos se desempeñan en diversas partes de los datos, lo que es esencial para comprender su capacidad de generalización. Los resultados de esta validación se presentan en detalle en el capítulo de resultados. Es importante destacar que la metodología aplicada es coherente para ambos centros de transformación. Esto implica que las características y la arquitectura de los modelos no se modifican; la única variación radica en los datos específicos del centro de transformación en cuestión que se utilizan para el entrenamiento. Cabe resaltar que un modelo entrenado con datos de un centro de transformación no será igualmente preciso al aplicarlo a una base de datos de otro centro de transformación, ya que los datos pueden comportarse de manera diferente en cada caso. Por esta razón, se procede a entrenar un modelo con los datos apropiados según el enfoque requerido para cada centro de transformación específico. Tabla 4–6. Representación de validación cruzada en serie temporal Segmento o Pliegues Conjunto de Entrenamiento Conjunto de Validación 1 Período 1 a 5 Período 6 2 Período 1 a 6 Período 7 3 Período 1 a 7 Período 8 La Tabla 4-6 Representa una validación cruzada de series temporales con 3 pliegues en una serie de tiempo hipotética. 4.4.2 ARIMA El modelo ARIMA está compuesto por tres componentes fundamentales: el componente autoregresivo (p), el componente de integración (d) y el componente de media móvil (q). La estimación de los parámetros (p, d, q) asociados a estos componentes implica un proceso matemático de considerable extensión. En este estudio, se llevó a cabo una serie de procedimientos con el propósito de determinar los valores adecuados para estos parámetros. Inicialmente, se realizó un enfoque en el parámetro “p,” el cual corresponde al componente autoregresivo de nuestro modelo. Este parámetro es fundamental ya que cuantifica la cantidad mínima de observaciones previas que deben considerarse al realizar las predicciones. Para determinar el valor óptimo de “p,” se adopta la estrategia de discretizar la serie temporal en intervalos de 4 horas. Esta elección se fundamenta en la conveniencia de trabajar con múltiplos de 24 horas, lo que facilita la división equitativa del día. La discretización en intervalos de 4 horas tuvo un impacto significativo en la mejora de la visualización de la serie temporal, lo que contribuyó a nuestro proceso analítico. Al realizar un análisis gráfico detallado, se identifica un patrón recurrente que se manifestaba cada 42 observaciones, equivalente a una semana en el contexto de la discretización de 4 horas. Este hallazgo es esclarecedor, ya que indicó que para comprender de manera adecuada el comportamiento de la serie y realizar pronósticos precisos para 36 observaciones futuras, no sería suficiente considerar únicamente unas pocas horas o días de datos previos. En consecuencia, se determina que el mínimo número de observaciones previas a considerar debería corresponder a una semana completa, lo que se traduce en 168 observaciones en la discretización horaria que se 31 Técnicas de predicción aplicada a la demanda desagregada con variables exógenas emplea en este estudio. Cabe destacar que esta elección de “p” resulta en una demanda computacional considerable debido a la inclusión de un gran número de valores previos en el modelo. Por lo tanto, de manera pragmática, se opta por reducir este valor empíricamente, equilibrando así la necesidad de precisión con las restricciones computacionales. En relación al parámetro “d”, que está vinculado a la diferenciación de la serie temporal, se llevaron a cabo diversas iteraciones de diferenciación. Se nota que la primera diferenciación lograba la estacionariedad de los datos. Por lo tanto, se opta por un valor inicial de “d” igual a 1. Posteriormente, se llevaron a cabo varias pruebas de modelos para determinar si una diferencia de 1 produce resultados satisfactorios o superiores en comparación con otros valores de “d”. Este enfoque se respalda con evidencia documentada en la Tabla 4-7, que muestra las distintas diferenciaciones aplicadas a la serie con el fin de ilustrar lo mencionado anteriormente de manera gráfica. Finalmente, la determinación del parámetro “q” se llevó a cabo mediante un enfoque empírico que implicó la evaluación de múltiples valores hasta alcanzar una selección óptima para el componente de media móvil (MA). Este proceso de selección de parámetros se presenta de manera detallada en la Tabla 4- 8. Es importante destacar que el proceso de determinación de los parámetros (p, d, q) no se limita exclusivamente a un modelo ARIMA, ya que, durante las diversas pruebas realizadas, se consideraron varios modelos que incluían variables exógenas. Esto llevó a la identificación de dos tipos de modelos: ARIMA y ARIMAX, los cuales se registraron en la Tabla 4-8, específicamente en la columna de “Modelos”. Tabla 4–7. Diferencias de la serie temporal para parámetro “d” ARIMA, ARIMAX Numero de Diferencias Gráfica de Diferencias vs Datos de serie Temporal (Energía_Wh) 1 2 24 Metodología 32 32 168 Tabla 4–8. Arquitectura de Modelo ARIMA, ARIMAX Nombres de Modelos Coeficiente p: Orden de la parte autoregresiva (AR). Coeficiente d: Orden de la integración (diferenciación). Coeficiente q: Orden de la parte de media móvil (MA). Variable Exógena Modelos ARIMA_1 12 0 0 Sin exógena ARIMA 0 0 Temperatura ARIMAX 0 1 Sin exógena ARIMA 0 1 Temperatura ARIMAX 0 2 Sin Exógena ARIMA 0 2 Temperatura ARIMAX 0 2 Temperatura y Humedad ARIMAX 1 0 Sin exógena ARIMA 1 0 Temperatura ARIMAX 1 1 Sin exógena ARIMA 1 1 Temperatura ARIMAX ARIMA_2 24 0 0 Sin exógena ARIMA 0 0 Temperatura ARIMAX 0 0 Temperatura y Humedad ARIMAX 0 1 Temperatura ARIMAX 0 2 Sin Exógena ARIMA 0 2 Temperatura ARIMAX 0 2 Temperatura y Humedad ARIMAX 1 0 Temperatura ARIMAX 1 0 Temperatura y Humedad ARIMAX 1 1 Sin exógena ARIMA 1 1 Temperatura ARIMAX 1 1 Temperatura y Humedad ARIMAX 1 2 Temperatura ARIMAX 33 Técnicas de predicción aplicada a la demanda desagregada con variables exógenas 1 2 Temperatura y Humedad ARIMAX 2 0 Sin exógena ARIMA 2 0 Temperatura ARIMAX 2 0 Temperatura y Humedad ARIMAX ARIMA_3 42 0 0 Sin exógena ARIMA 0 0 Temperatura ARIMAX 0 0 Temperatura y Humedad ARIMAX 0 2 Sin exógena ARIMA ARIMA_4 48 1 1 Temperatura ARIMAX ARIMA_5 72 0 0 Sin exógena ARIMA 0 0 Temperatura ARIMAX 0 2 Sin Exógena ARIMA En última instancia, la elección adecuada entre los modelos ARIMA o ARIMAX se basa en una evaluación exhaustiva de la serie temporal utilizando métricas de rendimiento clave, como el Error Cuadrático Medio (MSE), el Error Absoluto Medio (MAE) y la Raíz del Error Cuadrático Medio (RMSE). Estas métricas desempeñan un papel fundamental en la medición de la calidad de las predicciones generadas por los modelos. Los valores específicos de cada una de estas métricas se detallan y analizan en profundidad en la sección de resultados. A través de esta evaluación rigurosa, se identificará el modelo que mejor se ajusta a los datos observados y que logra las predicciones más precisas. Es importante destacar que, en el caso del modelo ARIMAX, además de los parámetros tradicionales de ARIMA (p, d, q), también se considera la influencia de las variables exógenas (denotadas como "X"). Estas variables exógenas pueden representar factores externos que impactan en la serie temporal. La elección adecuada de estas variables es esencial para mejorar la capacidad predictiva del modelo ARIMAX. Esta selección del mejor modelo no solo permitirá tomar una decisión informada sobre si utilizar un modelo ARIMA o ARIMAX, sino que también proporcionará los valores óptimos para los parámetros ARIMA (p, d, q) y las variables exógenas (X). Estos parámetros y variables son críticos para capturar de manera efectiva las características fundamentales de la serie temporal en análisis, lo que garantiza que el modelo sea una herramienta adecuada para la toma de decisiones y pronósticos precisos. 4.5 Ensamblador En esta sección, se desarrolla un metamodelo con la capacidad de combinar las cualidades sobresalientes de los modelos previamente entrenados. Este metamodelo se construye mediante el uso de la biblioteca sklearn.linear_model y, en particular, empleando la clase LinearRegression. La elección de LinearRegression como componente del metamodelo se basa en su capacidad para capturar y combinar las características más relevantes de los modelos previos. Esta clase realiza una regresión ponderada de las predicciones de los modelos base y ajusta los coeficientes de manera óptima para minimizar el error cuadrático medio. En esencia, busca la combinación lineal de las predicciones individuales que mejor se ajuste a los datos. La figura 4-17 y 4-18. Representa gráficamente el concepto de agrupar y sintetizar las características de mayor relevancia presentes en los modelos, con la finalidad de forjar un metamodelo como resultado final Se diseña dos ensambladores de modelos utilizando la clase LinearRegression, previamente descrita. El primer ensamblador se fundamenta en la implementación de modelos de redes neuronales recurrentes (RNN) LSTM, aprovechando así sus características sobresalientes. Esta estrategia ha conducido a resultados altamente Metodología 34 34 prometedores, haciendo uso de los modelos especificados en la Tabla 4-5. Por otro lado, el segundo ensamblador se caracteriza por combinar el mejor modelo RNN LSTM con el mejor modelo ARIMA o ARIMAX, en función del rendimiento de los modelos que están siendo sometidos a evaluación, como se detalla en la Tabla 4-7. Esta combinación ha generado igualmente resultados alentadores. Los análisis adicionales, se exponen detalladamente en la sección de resultados. Figura 4-17. Ensamblador 1(Ensamblador LSTM) Fuente Propia La Figura 4-17 ilustra el Ensamblador 1, el cual consta de los 12 modelos de RNN LSTM seleccionados para este estudio, con el propósito de identificar y combinar sus características destacadas para la creación de un metamodelo denominado "METAMODELO LSTM". Figura 4-18. Ensamblador 2 (Ensamblador LST-ARIMA, ARIMAX) Fuente Propia En la Figura 4-18 se presenta el Ensamblador 2, cuyo objetivo es similar al del Ensamblador 1. Ambos ensambladores buscan identificar y combinar las características sobresalientes de los modelos para crear un metamodelo. Sin embargo, la distinción radica en que el Ensamblador 2 utiliza el mejor modelo de LSTM en conjunto con el mejor modelo ARIMA. Esta combinación da lugar a la creación del metamodelo denominado "METAMODELO LSTM-ARIMA-ARIMAX". 35 5 RESULTADOS Y DISCUSIONES n esta sección, se expone los resultados, análisis y comparaciones de los modelos entrenados con el objetivo de identificar el modelo óptimo. En primer lugar, se presentan individualmente cada uno de los modelos junto con sus respectivos resultados. Posteriormente, se llevará a cabo un análisis y comparación detallados que serviren de base para la selección del modelo de predicción más adecuado en el contexto de este estudio. 5.1 Modelos En la siguiente sección, se detallan los resultados de los modelos de predicción utilizados en este estudio con el objetivo de proporcionar un análisis exhaustivo de su rendimiento y eficacia. 5.1.1 RNN LSTM Al discutir los aspectos relevantes en el capítulo 3, se presenta los resultados derivados de la aplicación de diversos modelos de Redes Neuronales Recurrentes LSTM. Estos resultados se exhiben en la Tabla 5-1. Los valores presentes en esta tabla se mantienen dentro del contexto de normalización previamente mencionado. El propósito de esta sección es proporcionar una comprensión más profunda de la relevancia y las implicaciones de estos resultados dentro del contexto de este estudio. Es importante destacar que, dado que los resultados muestran similitudes en términos de métricas de validación, pérdidas y curvas de pérdida, se ha optado por presentar los datos de un centro de transformación en particular. Tabla 5–1. Resultados modelos de RNN LSTM Modelo Loss Train Loss Val Loss RMSE(Val) Grafica de Curvas de perdidas, entrenamiento y validación Modelo 1 (model000) 0.0080 0.0126 0.1122 E La verdadera sabiduría está en reconocer la propia ignorancia. - Sócrates- Resultados y discusiones 36 36 Modelo 2 (model001) 0.0066 0.0127 0.1128 Modelo 3 (model002) 0.0064 0.0106 0.1032 Modelo 4 (model003) 0.0063 0.0102 0.1008 Modelo 5 (model004) 0.0068 0.0104 0.1021 Modelo 6 (model006) 0.0065 0.0107 0.1034 37 Técnicas de predicción aplicada a la demanda desagregada con variables exógenas Modelo 7 (model005) 0.0055 0.0109 0.1045 Modelo 8 (model007) 0.0065 0.0092 0.1016 Modelo 9 (model005-2) 0.0072 0.100 0.0959 Modelo 10 (model005-3) 0.0075 0.0119 0.1089 Modelo 11 (model005-4) 0.0090 0.0107 0.1033 Resultados y discusiones 44 44 La elección del mejor modelo se basa en el análisis de las tablas y gráficos presentados previamente. Tras la evaluación, se concluye que el Modelo 12 exhibe un desempeño superior en la discretización horaria. Dado que se trabaja con una serie de tiempo en dicha discretización, se selecciona el Modelo 12 como la opción preferente. Por otro lado, el Modelo 2 muestra resultados prometedores en situaciones de discretización diaria y semanal en varios casos, sugiriendo que podría ser una elección adecuada para este tipo de escenarios. En resumen, la elección del modelo adecuado depende de la escala de tiempo en la que se esté trabajando y de las especificidades de los datos y las necesidades del análisis. Por último, se muestra la Tabla 5-5 que contiene información relevante sobre los valores máximos y mínimos de error en discretizacion horaria, junto con las fechas correspondientes. Esto puede ayudar a entender la naturaleza del error, ya que es posible que en esas fechas se trate de días festivos o haya actividades inusuales que influyan en las predicciones Tabla 5–5. Valores Máximos y Mínimos de Error en Discretización Horaria Modelos Fecha y Hora Max Valor Máximo Horario Fecha y Hora Min Valor Minimo Horario Modelo 1 2022-12-02 07:00:00 38393.23828 2022-12-15 04:00:00 2.4609375 Modelo 2 2022-10-17 17:00:00 49248.4687 2022-11-01 19:00:00 0.078125 Modelo 3 2022-10-29 10:00:00 42732.5820 2022-11-12 19:00:00 1.52734375 Modelo 4 2022-10-29 10:00:00 49973.8476 2022-12-31 19:00:00 0.0234375 Modelo 5 2022-10-18 17:00:00 36413.6406 2022-10-23 11:00:00 1.8781 Modelo 6 2022-10-29 10:00:00 36184.6367 2022-12-04 00:00:00 1.1210 0 10000 20000 30000 1 2 3 4 5 6 7 8 9 10 11 12 Desviación Estándar Modelo Desviación Estándar horario Desviación Estándar diario Desviación Estándar semanal Figura 5-9. Desviación Estándar 45 Técnicas de predicción aplicada a la demanda desagregada con variables exógenas Modelo 7 2022-10-29 10:00:00 43044.6093 2022-10-26 08:00:00 0.3672 Modelo 8 2022-10-18 17:00:00 91340.5117 2022-12-03 05:00:00 2.66015 Modelo 9 2022-10-18 17:00:00 93796.9765 2022-12-05 06:00:00 22.7656 Modelo 10 2022-10-29 10:00:00 49973.8476 2022-11-27 02:00:00 1.8242 Modelo 11 2022-10-29 10:00:00 49973.8476 2022-11-27 02:00:00 1.8242 Modelo 12 2022-10-18 17:00:00 49009.0800 2022-11-20 18:00:00 0.23437 En la fecha "2022-10-29", se destaca la presencia de errores significativos en varios modelos, a pesar de que no se trata de un día festivo ni se relaciona con factores climáticos excepcionales. Esto sugiere la posibilidad de que los datos históricos utilizados por estos modelos muestren un comportamiento inusual o inesperado en comparación con datos anteriores. En consecuencia, los modelos pueden haber asumido que las predicciones para ese día serían similares a los días anteriores, lo que resulta en un error significativo en las predicciones. 5.1.2 ARIMA/ARIMAX Luego de la exposición en el tercer capítulo, se procede a exhibir los resultados derivados de los diferentes modelos ARIMA y ARIMAX. Estos hallazgos son presentados de manera tabular en la denominada Tabla 5-6, seguida por una detallada explicación y análisis de los resultados. El propósito es ofrecer una comprensión más profunda de su relevancia y repercusiones dentro del marco de este estudio. Tabla 5–6. Resultados de modelo ARIMA, ARIMAX Modelos Coeficien te p, d, q Variable Exógena Error MAE Error MSE Error RMSE Grafica de barras Errores ARIMA_m 1 (12,0,0) Sin exógena 0.7106 5 0.8338 4 0.9131 4 ARIMAX_ m2 (12,0,0) Temperatu ra 0.6574 2 0.7558 3 0.8578 0 ARIMA_m3 (12,0,1) Sin exógena 0.6522 1 0.7742 8 0.8799 3 ARIMAX_ m4 (12,0,1) Temperatu ra 0.6050 4 0.6807 1 0.8250 5 ARIMA_5 (12,0,2) Sin exógena 0.6074 4 0.7005 4 0.8369 ARIMAX_6 (12,0,2) Temperatu ra 0.6163 5 0.7087 0 0.8418 ARIMAX_7 (12,0,2) Temperatu ra y Humedad 0.6288 3 0.7345 0 0.8570 ARIMA_8 (12,1,0) Sin exógena 0.7899 1 1.0693 7 1.0341 0 0 0.2 0.4 0.6 0.8 1 1.2 Errores Error MAE Error MSE Error RMSE Resultados y discusiones 46 46 ARIMAX_9 (12,1,0) Temperatu ra 0.7389 8 0.9529 9 0.9762 1 ARIMA_10 (12,1,1) Sin exógena 0.6300 0 0.8207 2 0.9059 3 ARIMAX_1 1 (12,1,1) Temperatu ra 0.6105 3 0.7717 8 0.8785 1 ARIMA_m1 (24,0,0) Sin exógena 0.49910 0.58929 0.76765 ARIMAX_m2 (24,0,0) Temperatura 0.55824 0.65234 0.80767 ARIMAX_m3 (24,0,0) Temperatura y Humedad 0.57304 0.71287 0.8443 ARIMAX__m 4 (24,0,1) Temperatura 0.85902 2.08025 1.44231 ARIMA_m5 (24,0,2) Sin exógena 0.50774 0.61177 0.78215 ARIMAX_m6 (24,0,2) Temperatura 0.58135 0.69506 0.8337 ARIMAX_m7 (24,0,2) Temperatura y Humedad 0.59324 0.71599 0.8461 ARIMAX_m8 (24,1,0) Temperatura 0.55186 0.70338 0.8386 ARIMAX_m9 (24,1,0) Temperatura y Humedad 0.54264 0.69520 0.8337 ARIMA_m10 (24,1,1) Sin exógena 0.54202 0.69716 0.8349 ARIMAX_m1 1 (24,1,1) Temperatura 0.55188 0.70389 0.8389 ARIMAX_m1 2 (24,1,1) Temperatura y Humedad 0.53855 0.69070 0.8310 ARIMA_m13 (24,1,2) Sin exógena 0.54205 0.70136 0.8374 ARIMAX_m1 4 (24,1,2) Temperatura 0.55209 0.70694 0.8408 ARIMAX_m1 5 (24,1,2) Temperatura y Humedad 0.54729 0.70261 0.8382 ARIMA_m16 (24,2,0) Sin exógena 0.71307 1.08283 1.04059 ARIMAX_m1 7 (24,2,0) Temperatura 0.71561 1.08271 1.0405 ARIMAX_m1 8 (24,2,0) Temperatura y Humedad 0.71598 1.08208 1.04023 ARIMA_m1 (42,0,0) Sin exógena 0.51713 0.55202 0.7429 ARIMAX_m2 (42,0,0) Temperatura 0.56904 0.62807 0.7925 ARIMAX_m3 (42,0,0) Temperatura y Humedad 0.58857 0.70260 0.8382 ARIMA_m4 (42,0,2) Sin exógena 0.51640 0.55248 0.74329 0 0.5 1 1.5 2 2.5 Errores Error MAE Error MSE Error RMSE 0 0.2 0.4 0.6 0.8 1 ARIMA_m1 ARIMAX_m2 ARIMAX_m3 ARIMA_m4 Errores Error MAE Error MSE Error RMSE 47 Técnicas de predicción aplicada a la demanda desagregada con variables exógenas ARIMAX_m1 (48_1_10) Temperatura 0.56957 0.65129 0.8070 ARIMA_m1 (72,0,0) Sin exógena 0.52461 0.55587 0.7455 ARIMAX_m2 (72,0,0) Temperatura 0.59982 0.66914 0.8180 La Tabla 5-6 presenta los resultados de varios modelos que se desarrolla a lo largo del proceso. Esta tabla refleja el enfoque empírico seguido para el ajuste y prueba de distintos valores de los coeficientes p, d y q. Se observaron buenos resultados con los coeficientes (24, 0, 0). La elección de estos coeficientes se sustenta en las métricas estadísticas utilizadas para validar las predicciones en comparación con el conjunto de datos original, las cuales se detallan posteriormente. En la Tabla 5-7, se destacan algunos de los modelos más sobresalientes para facilitar su identificación. En la validación de predicciones, es esencial utilizar métricas adecuadas para evaluar la precisión del modelo. En este sentido, se emplearon las métricas más comúnmente utilizadas y reconocidas, como el Error Cuadrático Medio (MSE) que es una medida importante que cuantifica la diferencia entre los valores originales y los valores predichos, permitiendo evaluar el rendimiento del modelo en términos de precisión. Un MSE menor indica una mejor capacidad de predicción. El Error Absoluto Medio (MAE), que mide la magnitud promedio de los errores de predicción. El MAE proporciona una medida de la precisión promedio de las predicciones sin considerar su dirección, lo que lo hace valioso en la evaluación del modelo. Otra métrica relevante empleada es la Raíz del Error Cuadrático Medio (RMSE) la cual ya es explicada previamente en las redes LSTM. Por último, se exhiben en la Tabla 5-6 representaciones gráficas en forma de barras de las distintas métricas bajo consideración. Esta presentación gráfica posibilita una identificación expedita de la métrica óptima, se encierra en la gráfica y se resalta el valor asociado a la métrica más apropiada en el conjunto de datos analizados. En la Tabla 5-7, presenta una síntesis de los modelos sobresalientes que son elegidos, acompañados de sus respectivas representaciones gráficas de las predicciones correspondientes. Este análisis suplementario robustece el proceso de toma de decisiones en lo que respecta a la selección del modelo ARIMA/ARIMAX más idóneo, fundamentándose en un enfoque metodológico y científico sólido. 0 0.2 0.4 0.6 0.8 Error MAE Error MSE Error RMSE Error 0 0.2 0.4 0.6 0.8 1 Error MAE Error MSE Error RMSE Error ARIMA_m1 ARIMAX_m2 Resultados y discusiones 48 48 Tabla 5–7. Resumen de los mejores modelos ARIMA, ARIMAX Modelos Coeficien te p, d, q Variable Exógena Error MAE Error MSE Error RMSE Grafica de predicción ARIMAX (12,0,1) Temperatura 0.60504 0.68071 0.82505 ARIMA (24,0,0) Sin exógena 0.49910 0.58929 0.76765 49 Técnicas de predicción aplicada a la demanda desagregada con variables exógenas ARIMA (42,0,2) Sin exógena 0.51640 0.55248 0.74329 ARIMAX (48,1,10) Temperatura 0.56957 0.65129 0.8070 El modelo ARIMA (24, 0, 0) demuestra ser el más eficiente en términos de rendimiento y uso de recursos computacionales. A pesar de que existen modelos con coeficientes superiores al elegido que demandan más recursos computacionales, el ARIMA (24, 0, 0) sigue siendo la elección preferida frente a otros modelos. A pesar de presentar inferioridad en la métrica de RMSE frente al ARIMA (42, 0, 0), la diferencia no es lo suficientemente significativa como para justificar el aumento en el uso de recursos computacionales. Como se menciona en la discusión de los resultados de los modelos "RNN LSTM", el estudio se enfoca exclusivamente en un centro de transformación (Centro de Transformación A), del cual se muestran la totalidad de los resultados. Esto se debe a la aplicación de una metodología uniforme para ambos centros de transformación A y B, aunque los datos de cada centro de transformación pueden comportarse de manera ligeramente diferente, lo que puede justificar una posible variación en los coeficientes. Los resultados del mejor modelo aplicado a ambos centros de transformación se encuentran en la Figura 5-10. Esta representación tiene como objetivo ilustrar cómo se comporta el modelo en ambos conjuntos de datos y resaltar cualquier diferencia significativa en su rendimiento. Resultados y discusiones 50 50 Figura 5-10. Predicción de modelo ARIMA (24,0,0) en ambos centros de transformación. Con el objetivo de realizar una evaluación objetiva del rendimiento de los modelos, se lleva a cabo una comparación entre los Modelos ARIMA y ARIMAX que se encuentra en la Tabla5-7. Esta comparación se enfoca en analizar y contrastar el rendimiento del modelo seleccionado con sus contrapartes, además de identificar datos significativos que puedan surgir de este análisis comparativo. Este enfoque de comparación se alinea con el utilizado en la evaluación de los modelos RNN LSTM. Las Tablas 5-8, 5-9 y 5-10 presentan las comparativas entre los modelos en términos de diversas métricas estadísticas, así como en relación con la discretización temporal. Tabla 5–8. Comparacion Modelos ARIMA, ARIMAX. Discretización Horaria Modelos RMSE Horario Rango Estadístico Horario Varianza Horario Desviación Estándar Horario Coeficiente de Variación Horario ARIMAX (12,0,1) 13173.4179 110393.309739 1.736239e+08 13176.6440 141.757193 ARIMA (24,0,0) 12114.718809 122248.730886 1.428740e+08 11952.9927 5.999459 ARIMA (42,0,2) 12175.964241 115882.688053 1.427328e+08 11947.0836 5.049338 ARIMAX (48,0,10) 13182.190461 119503.492725 1.734872e+08 11947.0836 21.466616 Tabla 5–9. Comparacion Modelos ARIMA, ARIMAX. Discretización Diaria Modelos RMSE Diario Rango Estadístico Diario Varianza Diario Desviación Estándar Diario Coeficiente de Variación Diario ARIMAX (12,0,1) 12079.05159 32038.968755 4.050846e+07 6364.625966 0.618417 ARIMA (24,0,0) 13230.7932 32038.968755 2.687587e+07 5184.194234 0.425381 ARIMA (42,0,2) 13699.5711 27033.777255 3.016143e+07 5491.942233 0.437042 ARIMAX (48,0,10) 13267.7605 40443.272943 5.973125e+07 7728.599666 0.714271 51 Técnicas de predicción aplicada a la demanda desagregada con variables exógenas Tabla 5–10. Comparación Modelos ARIMA, ARIMAX Discretización Semanal Modelos RMSE Semanal Rango Estadístico Semanal Varianza Semanal Desviación Estándar Semanal Coeficiente de Variación Semanal ARIMAX (12,0,1) 11533.8259 11638.764686 9.613569e+06 3100.575524 0.278115 ARIMA (24,0,0) 13398.5874 9834.357534 1.087658e+07 3297.966184 0.253215 ARIMA (42,0,2) 13786.7428 9217.366604 1.200903e+07 3465.404643 0.258903 ARIMAX (48,0,10) 12281.7858 10910.149478 1.728155e+07 4157.108798 0.357612 Con el fin de simplificar la comprensión de los datos contenidos en las tablas previas, se generan las Figuras 5- 11 a 5-15. Estas figuras facilitan la interpretación de la información presentada en las tablas, permitiéndonos identificar de manera más efectiva el modelo óptimo en las diversas métricas estadísticas y configuraciones de discretización temporal. En la Figura 5-11, se presenta el valor del RMSE de los modelos seleccionados para su comparación. Se destaca que, en la discretización horaria, el Modelo ARIMA (24, 0, 0) exhibe un rendimiento superior en comparación con los demás modelos. Por otro lado, en las discretizaciones diaria y semanal, el Modelo ARIMAX (12, 0, 1) muestra una ventaja sobre los demás. La Figura 5-12 ofrece una visión del rango estadístico, que refleja la amplitud de los errores en las predicciones. En la discretización horaria, el Modelo ARIMAX (12, 0, 1) se posiciona como el líder en este aspecto, mientras que, en las discretizaciones diaria y semanal, el Modelo ARIMA (42, 0, 2) demuestra su superioridad. A pesar de que el Modelo ARIMA (24, 0, 0) se ubica por debajo de ellos en diversas discretizaciones temporales, presenta una precisión promedio notablemente mejor. En la Figura 5-13, gracias a la representación de la varianza, se observa que el Modelo ARIMA (24, 0, 0) sobresale en la discretización horaria y diaria, lo que indica que los datos no se dispersan ampliamente alrededor de la media. En la discretización semanal, el Modelo ARIMAX (12, 0, 1) lidera en este aspecto La Figura 5-14 destaca el coeficiente de variación, donde el Modelo ARIMA (42, 0, 2) arroja los mejores resultados en la discretización horaria, lo que sugiere que las predicciones mantienen una mayor consistencia en relación a su valor promedio. Por último, en la Figura 5-15 se presenta la desviación estándar. En la discretización diaria, el Modelo ARIMA (24, 0, 0) muestra una menor dispersión, mientras que en la discretización horaria, los modelos ARIMA (24, 0, 0), ARIMA (42, 0, 0) y ARIMAX (48, 0, 10) exhiben valores de desviación muy similares entre ellos. Por otro lado, el Modelo ARIMAX (12, 0, 1) se destaca en la discretización semanal. 10000 10500 11000 11500 12000 12500 13000 13500 14000 ARIMAX (12,0,1) ARIMA (24,0,0) ARIMA (42,0,2) ARIMAX (48,0,10) RMSE RMSE Horario RMSE Diario RMSE Semanal 0 20000 40000 60000 80000 100000 120000 140000 ARIMAX (12,0,1) ARIMA (24,0,0) ARIMA (42,0,2) ARIMAX (48,0,10) Rango Estadistico Rango Estadístico Horario Rango Estadístico Diario Rango Estadístico Semanal Figura 5-11. RMSE Figura 5-12. Rango Estadístico Resultados y discusiones 52 52 Tras un análisis detallado que considera las diversas métricas presentadas anteriormente y criterios específicos, la elección del Modelo ARIMA (24, 0, 0) se justifica por su desempeño sobresaliente. En la discretización horaria, este modelo presenta un RMSE inferior, una varianza más baja y una desviación estándar que se asemeja estrechamente a varios otros modelos. Este conjunto de métricas destaca la prioridad dada a la precisión y consistencia en las predicciones, lo que respalda la elección de este modelo. En la Tabla 5-11, se presentan datos relevantes que muestran los valores máximos y mínimos de error en la discretización horaria, siguiendo un enfoque similar al presentado para los modelos LSTM. Se destaca un patrón interesante: la fecha "2022-10-17 17:00:00" se repite en todos los modelos seleccionados, y en cada caso, registra el error máximo. Al igual que en las redes LSTM, no se ha identificado ninguna razón relacionada con días festivos o factores climáticos que explique este comportamiento. Por lo tanto, se mantiene el mismo criterio de que factores inusuales en los datos históricos pueden ser responsables de estos errores notables en las predicciones. Tabla 5–11. Valores Máximos y Mínimos de Error en Discretización Horaria Modelos Fecha y Hora Max Valor Máximo Horario Fecha y Hora Min Valor Minimo Horario ARIMAX (12,0,1) 2022-10-17 17:00:00 69475.7808 2022-11-20 02:00:00 6.0727 0.00E+00 5.00E+07 1.00E+08 1.50E+08 2.00E+08 ARIMAX (12,0,1) ARIMA (24,0,0) ARIMA (42,0,2) ARIMAX (48,0,10) Varianza Varianza Horario Varianza Diario Varianza Semanal 0 50 100 150 ARIMAX (12,0,1) ARIMA (24,0,0) ARIMA (42,0,2) ARIMAX (48,0,10) Coeficiente de Variación Coeficiente de Variación Horario Coeficiente de Variación Diario 0 5000 10000 15000 ARIMAX (12,0,1) ARIMA (24,0,0) ARIMA (42,0,2) ARIMAX (48,0,10) Deviacion Estandar Desviación Estándar Horario Desviación Estándar Diario Desviación Estándar Semanal Figura 5-14. Coeficiente de Variación Figura 5-13.Varianza Figura 5-15. Desviación Estándar 53 Técnicas de predicción aplicada a la demanda desagregada con variables exógenas ARIMA (24,0,0) 2022-10-17 17:00:00 79543.8647 2022-11-17 20:00:00 1.5931 ARIMA (42,0,2) 2022-10-17 17:00:00 73713.4715 2022-12-22 02:00:00 0.1269 ARIMAX (48,0,10) 2022-10-17 17:00:00 75465.0025 2022-12-23 04:00:00 1.7676 Tras la realización del análisis detallado expuesto previamente, se identifican los modelos óptimos en las categorías de ARIMA/ARIMAX y LSTM. Se lleva a cabo una comparación directa entre el modelo más destacado en la categoría LSTM, conocido como el "Modelo 12", y el mejor modelo perteneciente a la categoría ARIMA/ARIMAX, que corresponde al ARIMA (24, 0, 0). Los resultados de esta comparación se presentan en la Tabla 5-12. El propósito fundamental de este ejercicio es determinar cuál de estos dos enfoques sobresale como el modelo superior en términos de rendimiento. En definitiva, se busca identificar el modelo que sobresale como la elección superior entre los modelos ARIMA/ARIMAX y LSTM en este contexto específico. Cabe mencionar que esta comparativa se realiza en el contexto de la discretización horaria ya que la serie temporal con la que se trabaja se encuentra originalmente en discretización horaria, y solo se aplicaron discretizaciones diarias y semanales con fines de análisis y comparación de modelos. Por lo tanto, el enfoque principal de esta comparación se centra en la discretización horaria. Tabla 5–12. Comparación Modelo12 (LSTM) y ARIMA (24,0,0) Modelos RMSE Horario Rango Estadístico Horario Varianza Horario Desviación Estándar Horario Coeficiente de Variación Horario Modelo 12 11257.1897 31508.7525 6.182449e+07 7862.8552 0.9700 ARIMA (24,0,0) 12114.718809 122248.730886 1.428740e+08 11952.9927 5.999459 El Modelo 12 destaca claramente frente al ARIMA (24, 0, 0) debido a su rendimiento superior en todas las métricas evaluadas. Esto indica una capacidad de predicción más sólida y una menor variabilidad en las predicciones, lo que respalda de manera concluyente la elección de este modelo como la mejor opción para abordar el problema de predicción de energía. 5.2 Ensamblador En esta sección se presentan los resultados de dos ensambladores, denominados: ensamblador 1 y 2. El ensamblador 1 consiste en un conjunto de redes LSTM, y el ensamblador 2 combina el mejor modelo de LSTM con el mejor modelo entre ARIMA y ARIMAX. Ensamblador 1: Compuesto por los modelos LSTM presentados en la Tabla 4-5, se lleva a cabo una minuciosa comparación de las métricas estadísticas detalladas en la Tabla 5-13. El propósito es identificar el ensamblador que exhiba un rendimiento sobresaliente y, en última instancia, seleccionar al mejor ensamblador de entre los evaluados. Además, en la Figura 5-16 se presenta las predicciones de este ensamblador y los datos originales para una visualización más clara de su desempeño.