Implementación de sistema de monitorización OG3 en el supercomputador MareNostrum 5

Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
G ado en Ingenie ía In o má ica - Tecnologías de la In o mación
Memo ia del T abajo Final de G ado
TÍTULO:
IMPLEMENTACIÓN DE UN SISTEMA DE MONITORIZACIÓN
OG3 EN EL SUPERCOMPUTADOR MARENOSTRUM 5
AUTOR:
BAÑO VACA, ANTONY JOEL
DIRECTOR:
BARTOLOMÉ, JAVIER
PONIENTE:
MARIN TORDERA, EVA
FECHA DE
PRESENTACIÓN:
FEBRERO, 2025 (Q1 2024-2025)
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
2
RESUMEN
Es e T abajo de Fin de G ado iene como obje i o desa olla e implemen a un sis ema de
moni o ización pa a el supe compu ado Ma eNos um 5, que ecien emen e ha en ado en
p oducción. Es e sis ema es á diseñado pa a acili a la supe isión en iempo eal de los nodos
y la in aes uc u a asociada en en o nos de compu ación de al o endimien o (HPC).
RESUM
Aques T eball de Fi de G au é com a objec iu desen olupa i implemen a un sis ema de
moni o a ge pe al supe compu ado Ma eNos um 5, que ecen men ha en a en
p oducció.Aques sis ema es à dissenya pe acili a la supe isió en emps eal dels nodes i la
in aes uc u a associada a en o ns de compu ació d'al endimen (HPC).
ABSTRACT
This Final Deg ee P ojec aims o de elop and implemen a moni o ing sys em o he
Ma eNos um 5 supe compu e , which has ecen ly en e ed p oduc ion. This sys em is designed
o acili a e eal- ime moni o ing o he nodes and associa ed in as uc u e in High Pe o mance
Compu ing (HPC) en i onmen s.
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
3
Índice de con enido
Glosa io de signos, símbolos, ab e ia u as, ac ónimos y é minos........................................................................8
1. In oducción..........................................................................................................................................................10
1.1. Mo i ación.......................................................................................................................................................10
1.2. Ac o es implicados........................................................................................................................................11
2. Jus i icación...........................................................................................................................................................12
2.1. Iden i icación del p oblema........................................................................................................................12
2.2. Soluciones exis en es...................................................................................................................................12
2.3. Solución elegida.............................................................................................................................................13
3. Alcance...................................................................................................................................................................14
3.1. Obje i os..........................................................................................................................................................14
3.2. Requisi os........................................................................................................................................................14
3.3. Obs áculos y iesgos.....................................................................................................................................15
4. Me odología de abajo......................................................................................................................................16
5. Plani icación inicial...............................................................................................................................................17
5.1. Desc ipción de las a eas............................................................................................................................17
5.1.1. Ges ión del p oyec o..............................................................................................................................17
5.1.2. Ta eas de desa ollo...............................................................................................................................18
5.2. Recu sos..........................................................................................................................................................20
5.3. Es imaciones y diag ama de Gan ............................................................................................................20
6. P esupues o inicial..............................................................................................................................................23
6.1. Iden i icación y es imación de los cos es................................................................................................23
6.1.1. Recu sos humanos.................................................................................................................................23
6.1.2. Recu sos ma e iales................................................................................................................................25
6.1.3. Con ingencias...........................................................................................................................................26
6.1.4. Imp e is os................................................................................................................................................26
6.1.5. P esupues o o al....................................................................................................................................27
6.2. Con ol de ges ión.........................................................................................................................................27
7. In o me de sos enibilidad y análisis é ico.....................................................................................................28
7.1. Ma iz de sos enibilidad...............................................................................................................................28
7.2. Pun o de is a ambien al.............................................................................................................................28
7.3. Pun o de is a económico...........................................................................................................................30
7.4. Pun o de is a social ....................................................................................................................................30
7.5. Implicaciones é icas .....................................................................................................................................31
7.6. Relación con los Obje i os de Desa ollo Sos enible (ODS)...............................................................32
8. Plani icación inal.................................................................................................................................................33
8.1. Des iaciones en las a eas de ges ión.....................................................................................................33
8.2. Des iaciones en las a eas de desa ollo................................................................................................33
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
4
8.3. Diag ama de Gan ac ualizado.................................................................................................................35
8.4. Cos e inal........................................................................................................................................................36
8.5. Me odología de abajo................................................................................................................................37
8.6. In eg ación de conocimien os de la UPC................................................................................................38
9. Es udio de he amien as ex e nas..................................................................................................................39
9.1. Moni o ización his ó ica de jobs................................................................................................................39
9.1.1. Plugin de Slu m........................................................................................................................................39
9.1.2. Elas icSea ch.............................................................................................................................................39
9.1.3. Kibana.........................................................................................................................................................39
9.1.4. Flujo del sis ema en MN5......................................................................................................................40
9.2. Moni o ización de endimien o.................................................................................................................40
9.2.1. Teleg a .......................................................................................................................................................40
9.2.2. In luxDB......................................................................................................................................................40
9.2.3. G a ana.......................................................................................................................................................41
9.2.4. Flujo del sis ema en MN5......................................................................................................................41
10. Es udio de he amien as in e nas...................................................................................................................42
10.1. Pe _D...............................................................................................................................................................42
10.1.1. A qui ec u a..............................................................................................................................................42
10.1.2. Funcionalidades p incipales.................................................................................................................42
10.1.3. In eg ación con he amien as ex e nas............................................................................................43
10.1.4. Plugins especí icos..................................................................................................................................43
10.1.5. Uso de Mojolicious..................................................................................................................................43
10.1.6. Es uc u a de di ec o ios.......................................................................................................................43
10.2. OG3...................................................................................................................................................................44
10.2.1. Ca ac e ís icas p incipales.....................................................................................................................44
10.2.2. Es uc u a del código de OG3..............................................................................................................44
10.2.3. In e az g á ica del sis ema...................................................................................................................45
10.2.4. Funcionalidades del sis ema.................................................................................................................46
10.2.5. Rep esen ación g á ica po es ados...................................................................................................47
10.3. Flujo del sis ema............................................................................................................................................48
11. Mig ación OG3.....................................................................................................................................................49
11.1. Razones............................................................................................................................................................49
11.2. ¿Po qué se ha elegido PyQ 5?..................................................................................................................49
11.3. ¿Cómo se ealizó la mig ación?..................................................................................................................50
11.3.1. Análisis del código de OG3...................................................................................................................50
11.3.2. De inición de equisi os.........................................................................................................................51
11.3.3. Diseño de a qui ec u a..........................................................................................................................51
11.3.4. Desa ollo del p o o ipo........................................................................................................................51
11.3.5. Mig ación de uncionalidades..............................................................................................................52
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
5
11.3.6. P uebas y op imización..........................................................................................................................52
11.4. Di e encias en e OG3 y OG3 2................................................................................................................53
11.5. Bene icios de la mig ación a OG3 2.........................................................................................................53
11.6. Diag ama de lujo de OG3 2......................................................................................................................54
11.7. Diag ama de clases de OG3 2...................................................................................................................55
11.8. Documen ación écnica OG3 2.................................................................................................................56
11.9. Disponibilidad del código uen e...............................................................................................................56
12. Implemen ación de OG3 2 en CTE-AMD......................................................................................................57
12.1. Desc ipción.....................................................................................................................................................57
12.2. A qui ec u a de moni o ización.................................................................................................................57
12.3. Ins alación de Pe _D....................................................................................................................................59
12.4. Adap ación de Pe _D...................................................................................................................................61
12.5. Implemen ación de OG3 2.........................................................................................................................64
12.6. P uebas y alidación.....................................................................................................................................65
13. Implemen ación de OG3 2 en Ma eNos um 5..........................................................................................71
13.1. Desc ipción.....................................................................................................................................................71
13.2. A qui ec u a de moni o ización.................................................................................................................71
13.3. Ins alación Pe _D..........................................................................................................................................73
13.4. Adap ación Pe _D.........................................................................................................................................75
13.5. Implemen ación OG3 2...............................................................................................................................79
13.6. P uebas y alidación.....................................................................................................................................80
14. Ac ualizaciones y uncionalidades nue as de OG3 2................................................................................87
15. Fu u o de OG3 2 y Pe _D.................................................................................................................................90
15.1. Implemen ación de la Pa ición Acele ada (ACC)..................................................................................90
15.2. Posibles uncionalidades de los nodos moni o izados........................................................................90
15.3. Ampliación de uncionalidades gene ales en OG3 2 y Pe _D..........................................................91
16. Conclusiones........................................................................................................................................................92
17. Ag adecimien os..................................................................................................................................................93
18. Bibliog a ía.............................................................................................................................................................94
ANEXO..................................................................................................................................................................................95
gene a e_posi ions.py................................................................................................................................................95
gene a e_ ags.py..........................................................................................................................................................98
Diag ama de clases comple o OG3 2..................................................................................................................100

Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
6
Índice de ablas
Tabla 1: Ho as dedicadas, dependencias y ecu sos u ilizados en cada a ea.................................................21
Tabla 2: Sala ios b u os de di e en es oles basándonos en Glassdoo ............................................................23
Tabla 3: Es imación del cos e de los ecu sos humanos pa a cada a ea..........................................................24
Tabla 4: Cos es de adquisición de los ecu sos de ha dwa e pe sonal..............................................................25
Tabla 5: Es imación del cos e de los ecu sos ma e iales del p oyec o..............................................................26
Tabla 6: Es imación del cos e po con ingencias......................................................................................................26
Tabla 7: Es imación del cos e po imp e is os...........................................................................................................26
Tabla 8: Es imación del p esupues o inicial del p oyec o.......................................................................................27
Tabla 9: Ma iz de sos enibilidad del p oyec o..........................................................................................................28
Tabla 10: Cos e eal de ecu sos humanos................................................................................................................36
Tabla 11: Cos e es imado y eal de con ingencias....................................................................................................36
Tabla 12: Cos e es imado y eal o al...........................................................................................................................37
Tabla 13: Es ado de colo es de los nodos de cómpu o..........................................................................................47
Tabla 14: Di e encias en e OG3 y OG3 2..................................................................................................................53
Índice de igu as
Figu a 1: Diag ama de Gan plani icación inicial.....................................................................................................22
Figu a 2: Diag ama de Gan inal................................................................................................................................35
Figu a 3: Flujo de he amien as de moni o ización his ó ica de jobs en MN5.................................................40
Figu a 4: Flujo de he amien as de moni o ización de endimien o en MN5 .................................................41
Figu a 5: Flujo de OG3 y Pe _D....................................................................................................................................48
Figu a 6: P o o ipo de la en ana p incipal de OG3 2............................................................................................52
Figu a 7: Diag ama de lujo de OG3 2........................................................................................................................54
Figu a 8: Diag ama de clases simpli icado de OG3 2.............................................................................................55
Figu a 9: Es uc u a del eposi o io de OG3 2 en Gi Lab......................................................................................56
Figu a 10: Diag ama a qui ec u a moni o ing CTE-AMD .......................................................................................58
Figu a 11: Da os de los nodos del clús e CTE-AMD ..............................................................................................65
Figu a 12: Da os de los jobs del clús e CTE-AMD ..................................................................................................65
Figu a 13: Visualización lógica de los nodos del clús e CTE-AMD .....................................................................66
Figu a 14: Visualización ísica de los nodos del clús e CTE-AMD ........................................................................66
Figu a 15: Visualización de la lis a de abajos de los nodos del clús e CTE-AMD.........................................66
Figu a 16: Visualización del esumen de abajos de los nodos del clús e CTE-AMD...................................67
Figu a 17: Acción checkjob pa a el job 1166351 en CTE-AMD ............................................................................67
Figu a 18: Acción sljc pa a el job 1166351 en CTE-AMD.......................................................................................68
Figu a 19: Acción moni o ing del nodo amd27 .......................................................................................................69
Figu a 20: Visualización lógica de los nodos del clús e CTE-AMD co egida...................................................70
Figu a 21: Visualización ísica de los nodos del clús e CTE-AMD co egida.....................................................70
Figu a 22: Diag ama a qui ec u a moni o ing MN5................................................................................................72
Figu a 23: Da os de los nodos del clús e MN5 ......................................................................................................80
Figu a 24: Da os de los jobs del clús e MN5 ..........................................................................................................80
Figu a 25: Visualización lógica de los nodos del clús e MN5-GPP......................................................................81
Figu a 26: Visualización ísica de los nodos del clús e MN5-GPP.......................................................................81
Figu a 27: Visualización de la lis a de abajos ejecu ándose de los nodos del clús e MN5-GPP..............82
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
7
Figu a 28: Visualización del esumen de abajos de los nodos del clús e MN5-GPP..................................82
Figu a 29: Acción checkjob pa a el job 14108755 en MN5-GPP..........................................................................83
Figu a 30: Acción sljc pa a el job 14108755 en MN5-GPP...................................................................................83
Figu a 31: Acción moni o ing de los mú iples nodos que ejecu an un job en MN5-GPP..............................84
Figu a 32: Visualización de la pes aña ELEGIBLE en MN5-GPP............................................................................85
Figu a 33: Visualización de la pes aña BLOCKED en MN5-GPP............................................................................85
Figu a 34: Visualización lógica de los logins del clús e MN5-GPP.......................................................................86
Figu a 35: Menú de mé icas en el clús e CTE-AMD..............................................................................................87
Figu a 36: Menú de mé icas en el clús e MN5-GPP..............................................................................................87
Figu a 37: Layou de la in aes uc u a de MN5 .......................................................................................................88
Figu a 38: Layou de la in aes uc u a de MN5-GPP..............................................................................................88
Figu a 39: Visualización ísica de los nodos pe enecien es a los acks g[46-60] del clús e MN5-GPP.....89
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
8
Glosa io de signos, símbolos, ab e ia u as, ac ónimos y é minos
BSC: Ba celona Supe compu ing Cen e , ins alación cien í ica y cen o pione o de la
supe compu ación en España, ubicado en Ba celona.
Bug: E o o allo en un p og ama de so wa e que p o oca que es e no uncione como se
espe aba.
Clús e : Conjun o de compu ado as in e conec adas que abajan jun as como un único
sis ema pa a mejo a el endimien o, la disponibilidad y la escalabilidad.
Daemon: Tipo de p og ama especial que se ejecu a en segundo plano, en ez de se
con olado di ec amen e po el usua io.
DNS: Sis ema de nomb es je á quico que unciona sob e una base de da os dis ibuida y que
pe mi e aduci los nomb es de dominio a di ecciones IP.
HPC: Tipo de compu ación que u iliza supe o denado es y clús e es de se ido es pa a
ejecu a a eas de ele ada complejidad.
HA: Al a disponibilidad.
HTTP: P o ocolo de la capa de aplicación que pe mi e el in e cambio de documen os y
mul imedia en la web. HTTPS es su e sión segu a.
IBMS: In iniband Moni o ing Sys em, he amien a desa ollada po ATOS pa a supe isa la ed
de in e conexión In iniband en MN5.
Job: Unidad de abajo que ep esen a una a ea o conjun o de a eas a ejecu a en un
sis ema de cómpu o, como cálculos, simulaciones o p ocesos especí icos. Suele se
ges ionado po un sis ema de colas que asigna los ecu sos necesa ios pa a su ejecución.
LFS:
Load Sha ing Facili y,
sis ema de ges ión de colas de jobs u ilizado en en o nos HPC.
Pe mi e dis ibui abajos en e los nodos de un clús e , op imizando el uso de ecu sos y
moni o izando el es ado de los abajos en iempo eal.
Logs: Regis os de allados que gene an los sis emas, aplicaciones o se icios, documen ando
e en os, acciones o e o es que ocu en du an e su uncionamien o que pe mi en a los
adminis ado es o desa ollado es iden i ica y soluciona p oblemas.
MN5: Ma eNos um 5, es el supe o denado más a anzado del BSC, diseñado pa a a eas de
HPC. Se u iliza pa a in es igaciones cien í icas y ecnológicas en á eas como in eligencia
a i icial, simulaciones climá icas y genómica.
Moni o ización: Uso de un sis ema que con ola cons an emen e el es ado en el que se
encuen an un conjun o de se ido es y se icios pa a de ec a posibles des iaciones en su
uncionamien o espe ado.
Nodo: Unidad básica de un clús e de compu ación que ep esen a un disposi i o ísico o
i ual enca gado de ealiza a eas especí icas o aloja ecu sos de cómpu o.
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
9
Plugin: Componen e de so wa e diseñado pa a amplia o añadi uncionalidades especí icas a
una aplicación p incipal sin modi ica su código base.
P e-exaescala: Supe compu ado es diseñados pa a ace ca se a un ni el de endimien o
donde se pueda ealiza 1 exa lop (1018 ope aciones de pun o lo an e po segundo que
equi ale a un illón de cálculos po segundo), pe o su endimien o o al es á lige amen e po
debajo. Po lo gene al, suelen alcanza decenas o cen ena es de pe a lops (1015 ope aciones
de pun o lo an e po segundo).
Rack: es uc u a ísica es ánda u ilizada pa a mon a y o ganiza equipos elec ónicos como
se ido es, swi ches de ed, disposi i os de almacenamien o, y o os componen es p opios de
un cen o de da os.
Se ido : Conjun o de
ha dwa e
y/o
so wa e
que o ece un se icio a sus usua ios.
SSH: P o ocolo de anspo e que pe mi e accede a máquinas emo as a a és de la ed.
TTL: Time To Li e, es un concep o u ilizado en compu ación pa a de ini el iempo de ida ú il
de un da o o ecu so an es de que se conside e obsole o o sea desca ado.
Wo k low: Flujo de abajo, es una secuencia es uc u ada de a eas, p ocesos o pasos que se
lle an a cabo pa a comple a una ac i idad especí ica.
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
16
4. Me odología de abajo
Pa a lle a a cabo el desa ollo de es e p oyec o, se op ó po una me odología ágil que
pe mi ió una cons an e e aluación y ajus e del abajo según las necesidades iden i icadas. Se
es ableció un plan de abajo empo al que si ió de e e encia y se ealiza on euniones
semanales pa a el seguimien o del p og eso. Es as euniones, dependiendo de la
disponibilidad, se lle a on a cabo de mane a p esencial o median e ideocon e encias
u ilizando la he amien a Zoom [1].
Du an e es as euniones, se discu ie on los a ances y las a eas pendien es, se oma on
decisiones sob e las p óximas acciones a ealiza , y se deja on egis ados los pun os a ados
pa a man ene un his o ial o ganizado.
Un ejemplo de los apun es de una eunión se ía el siguien e:
Pe sonas p esen es:
An ony Baño
Se gi Mo é
Ja i Ba olome
Pun os a ados:
AB: Implemen ación de il os po usua io.
JB: Cuando se deselecciona un job, el il o p e iamen e aplicado debe ía man ene se.
AB: Pes aña de moni o ing ope a i a.
JB: Añadi como echa de inicio de las mé icas el inicio del job.
AB: Implemen ación de deg adados (g adien ).
AB: Reubicación de los logins al inal.
AB: Pendien e combina las uncionalidades de il ado y deg adados (g adien ).
AB: ACC ( uncionalidad adicional).
JB: Elimina . Añadi como abajo u u o.
AB: Función Checknode.
JB: Elimina . Añadi como abajo u u o
AB: Pendien e añadi el p oyec o al eposi o io de Gi Lab pa a que pueda se p obado.
P óximas acciones (Nex ):
AB: Finaliza el sis ema de il ado.
AB: Con igu a en el moni o ing la echa de inicio como el inicio del job.
AB: Subi el código a Gi Lab pa a que el equipo pueda p oba lo.
P óxima eunión: 09/01/24 - 14:00h.
C onog ama:
OG3 2 mos ando da os del MN5: 04/12/2024.
Finalización del código: 31/12/2024.
En ega de la memo ia: 26/01/2025.
De ensa: 3-5 de eb e o de 2025.
Además, se man u o un con ac o cons an e a a és de la pla a o ma de mensaje ía in e na
del BSC, Rocke Cha [2], pa a esol e dudas y coo dina a eas. Es e en oque ágil y lexible
p e é ga an iza que el p oyec o a ance de mane a e icien e y que las p io idades pudie an
adap a se a medida que su jan nue os desa íos o necesidades.

Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
17
5. Plani icación inicial
En es e apa ado se comen a y se especi ica la plani icación empo al de las a eas que se
lle a an a cabo con al de cumpli los di e en es obje i os y equisi os que se han de inido en
el apa ado de alcance del p oyec o.
Comienza el p oyec o el día 16 de sep iemb e de 2024, con el inicio de su ges ión, eniendo
como echa inal el 26 de ene o de 2025. Es o signi ica que disponemos de unas 18 semanas
pa a su ealización, incluyendo la p epa ación pa a la de ensa o al con la memo ia ya
en egada.
Se calcula una dedicación de 5 ho as dia ias pa a la ealización del p oyec o, de mane a que
se p e é dedica 630 ho as en o al en e la echa de inicio y la echa inal.
5.1. Desc ipción de las a eas
Pa a acili a la comp ensión de la plani icación, las a eas de es e p oyec o es án di ididas en
dos secciones p incipales, la de ges ión y la de desa ollo.
La plani icación p e ia mejo a á la o ganización y pe mi i á eacciona más e icien emen e en
caso de incon enien es.
5.1.1. Ges ión del p oyec o
Es a sección, incluye odas las a eas elacionadas con la ges ión del p oyec o.
G1 - In oducción y alcance (25 ho as): Consis e en la ealización de un documen o
donde se desc ibi á el con ex o pe sonal y el alcance del p oyec o, ma cando unos
obje i os y equisi os a cumpli . También se ha de jus i ica la ealización de es e
p oyec o, iden i ica el p oblema, desc ibi las soluciones exis en es y jus i ica la
solución elegida.
G2 - Plani icación (15 ho as): Consis e en la ealización de un documen o donde se
desc ibi á la plani icación empo al, nomb ando y desc ibiendo las di e en es a eas
que se lle a an a cabo du an e el desa ollo del p oyec o, con una es imación del
iempo que se dedica á a cada una de ellas. Se plasma án ambién los posibles
obs áculos y iesgos que puedan apa ece .
Dependencias: G1
G3 - Ges ión económica y de sos enibilidad (20 ho as): Consis e en la ealización de un
documen o donde se ha á una es imación de p esupues o y sos enibilidad.
Dependencias: G2
G4 - Documen ación de la ase de seguimien o ( 25 ho as): Consis e en p epa a una
en ega p o isional del p oyec o pa a la u o a de la UPC, E a Ma in, pa a que pueda
e el p og eso del p oyec o.
Dependencias: G3
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
18
G5 - Documen ación de OG3 2 en Gi LapOp (15 ho as): Consis e en acaba de
documen a el con enido inal del código de OG3 2, así como edac a un a chi o
INSTALL y README pa a que los ac o es implicados en el p oyec o puedan p oba y
alida el sis ema.
Dependencias: G4
G6 - Documen ación de la ase inal (35 ho as): Consis e en acaba de documen a el
con enido inal o al an e del p oyec o.
Dependencias: G5
G7 - P epa ación de la de ensa o al del p oyec o (25 ho as): Consis e en p epa a la
p esen ación del abajo, que se lle a a a cabo delan e de un ibunal.
Dependencias: G6
G8 - Reuniones pe iódicas con el di ec o (30 ho as): Cada semana como mínimo se
lle a á a cabo una eunión con el di ec o del abajo y o os miemb os del
depa amen o de Ope aciones pa a comp oba el es ado de las a eas y pa a la
esolución de dudas.
G9 - Reuniones pe iódicas con la u o a de la UPC (10 ho as): Cada dos semanas como
mínimo se lle a á a cabo una eunión con la u o a de la UPC pa a comp oba el
es ado de las a eas, ob ene un pun o de is a di e en e al del clien e (BSC) y segui
documen ando co ec amen e la memo ia del p oyec o.
5.1.2. Ta eas de desa ollo
Es a sección, incluye odas las a eas elacionadas con el desa ollo écnico del p oyec o.
TD1 - Es udio de he amien as ex e nas de moni o ización y sis ema de colas de jobs
(15 ho as): Consis e en in es iga he amien as ex e nas de moni o ización como
G a ana, Elas icSea ch, e c, así como es udia el sis ema de colas de
jobs
(Slu m), pa a
en ende su uncionamien o.
TD2 - Es udio Pe _D (10 ho as): Consis e en analiza la he amien a Pe _D, con el in
de comp ende su a qui ec u a, su uncionamien o, las mé icas disponibles y sus
posibilidades de adap ación pa a clús e es del BSC, ya sean pequeños o g andes.
Dependencias: TD1
TD3 - Es udio OG3 (30 ho as): Consis e en analiza el código ac ual de OG3, en ende
su uncionalidad, iden i ica las limi aciones exis en es y plani ica la mig ación de
pe l/pe lTK a py hon/PyQ .
Dependencias: TD2
TD4 - Mig ación OG3 a py hon/PyQ (150 ho as): Consis e en eesc ibi y op imiza el
código de OG3 en py hon/PyQ , mode nizando la he amien a pa a que sea escalable y
compa ible con las necesidades del MN5.
Dependencias: TD3
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
19
TD5 - Ins alación Pe _D en clús e pequeño (5 ho as): Consis e en ins ala Pe _D en un
clús e pequeño, como paso p e io pa a su implemen ación en MN5, ga an izando que
el sis ema uncione co ec amen e en un en o no educido y con olado.
Dependencias: TD2
TD6 - Adap ación Pe _D en clús e pequeño (20 ho as): Consis e en ajus a Pe _D pa a
que ecopile mé icas especí icas y se in eg e con los ecu sos disponibles en el clús e
pequeño, asegu ando que las las modi icaciones necesa ias cumplen con los equisi os
del p oyec o.
Dependencias: TD5
TD7 - Implemen ación OG3 2 en clús e pequeño (20 ho as): Consis e en desplega
OG3 2 en el clús e pequeño, in eg ándolo con Pe _D y ajus ando sus uncionalidades
pa a asegu a su co ec a ope ación en es e en o no de p ueba.
Dependencias: TD6
TD8 - P uebas y alidación OG3 2 y Pe _D en clús e pequeño (10 ho as): Consis e en
ealiza p uebas pa a alida el co ec o uncionamien o de OG3 2 y Pe _D en el
clús e pequeño, comp obando la in eg ación, la isualización de mé icas y el
endimien o gene al del sis ema.
Dependencias: TD4 y TD7
TD9 - Ins alación Pe _D en MN5 (10 ho as): Consis e en ins ala Pe _D en MN5,
p epa ando el sis ema pa a ecopila mé icas en el en o no de p oducción.
Dependencias: TD8
TD10 - Adap ación Pe _D en MN5 (40 ho as): Consis e en ajus a Pe _D pa a que
uncione co ec amen e en MN5, adap ándose a su a qui ec u a y con igu aciones
especí icas, y asegu ando la ecopilación e icien e de mé icas.
Dependencias: TD9
TD11 - Implemen ación OG3 2 en MN5 (30 ho as): Consis e en desplega OG3 en MN5,
in eg ándolo con Pe _D y ajus ándolo a las necesidades del supe compu ado , como el
manejo de g andes olúmenes de da os.
Dependencias: TD10
TD12 - Ac ualización e implemen ación de nue as uncionalidades en OG3 2 (60
ho as): Consis e en añadi y ajus a uncionalidades especí icas en OG3 2, como
nue os il os y g á icos, así como mejo a la expe iencia de usua io con isualizaciones
a anzadas.
Dependencias: TD11
TD13 - P uebas y alidación OG3 2 y Pe _D en MN5 (30 ho as): Consis e en ealiza
p uebas exhaus i as pa a alida el co ec o uncionamien o e in eg ación de OG3 2 y
Pe _D en MN5, asegu ando que cumplen con los obje i os es ablecidos en é minos
de endimien o, isualización y con iabilidad.
Dependencias: TD12
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
20
5.2. Recu sos
Los ecu sos humanos que pa icipa an en el p oyec o son los ac o es implicados. Po lo
an o, el abajo se á ealizado únicamen e po el au o , con la guía y el sopo e del di ec o y
un adminis ado de sis emas asignado pa a la supe isión del desa ollo del p oyec o.
En cuan o al
ha dwa e
, se u iliza á un o denado po á il Dell Inc. La i ude 7420 , con un
sis ema ope a i o Ubun u 22.04.5 LTS, p opo cionado al es udian e po pa e del BSC al
comenza el con enio de p ác icas.
También se dispond á de accesos a los clús e es que se quie en moni o iza , dando pe misos
al mismo usua io HPC del au o , o acili ando usua ios con pe misos su icien es pa a que el
au o pueda abaja sin incon enien es a la ho a de ealiza a eas de desa ollo.
Pa a acaba , se da á un espacio de abajo con buena conexión a In e ne pa a que el au o
pueda hace uso de las di e en es he amien as de comunicación que el BSC u iliza, como
Zoom, Rocke Cha , Nex Cloud [3]; Google Mee pa a las euniones con la u o a de la UPC;
Gan p ojec [4] pa a la ges ión de a eas y plani icación de en egas, Powe Poin pa a
p epa a la p esen ación y la de ensa o al.
5.3. Es imaciones y diag ama de Gan
Con el in de elaciona las a eas de ges ión y desa ollo, se ha gene ado una abla con el
núme o de ho as dedicadas a cada una de ellas, sus dependencias y los ecu sos u ilizados
pa a pode hace las, y un diag ama de Gan u ilizando la aplicación Gan p ojec .
ID
Ta ea
Tiempo (h)
Dependencias
Recu sos
Ta eas de ges ión del p oyec o
200
G1
In oducción y alcance
25
PC (Nex Cloud)
G2
Plani icación
15
G1
PC (Nex Cloud, Gan p ojec )
G3
Ges ión económica y de
sos enibilidad
20
G2
PC (Nex Cloud)
G4
Documen ación de la ase de
seguimien o
25
G3
PC (Nex Cloud)
G5
Documen ación de OG3 2 en
Gi LapOp
15
G4
PC (Gi LabOp)
G6
Documen ación de la ase inal
35
G5
PC (Nex Cloud)
G7
P epa ación de la de ensa o al
del p oyec o
25
G6
PC (Nex Cloud, Powe Poin )
G8
Reuniones pe iódicas con el
di ec o
30
PC (Zoom, Rocke Cha )
G9
Reuniones pe iódicas con la
u o a de la UPC
10
PC (Google Mee )
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
21
Ta eas de desa ollo del p oyec o
430
TD1
Es udio de he amien as
ex e nas de moni o ización y
sis ema de colas de jobs
15
PC (Sci e, Nex Cloud)
TD2
Es udio Pe _D
10
TD1
PC (Sci e, Nex Cloud)
TD3
Es udio OG3
30
TD2
PC (Sci e, Nex Cloud)
TD4
Mig ación OG3 a py hon/PyQ
150
TD3
PC (Visual S udio Code)
TD5
Ins alación Pe _D en clús e
pequeño
5
TD2
PC (usua io HPC)
TD6
Adap ación Pe _D en clús e
pequeño
20
TD5
PC (usua io HPC)
TD7
Implemen ación OG3 2 en
clús e pequeño
20
TD6
PC (usua io HPC)
TD8
P uebas y alidación OG3 2 y
Pe _D en clús e pequeño
10
TD4 y TD7
PC (Visual S udio Code,
usua io HPC)
TD9
Ins alación Pe _D en MN5
10
TD8
PC (usua io HPC)
TD10
Adap ación Pe _D en MN5
40
TD9
PC (usua io HPC)
TD11
Implemen ación OG3 2 en
MN5
30
TD10
PC (usua io HPC)
TD12
Ac ualización e
implemen ación de nue as
uncionalidades en OG3 2
60
TD11
PC (Visual S udio Code,
usua io HPC)
TD13
P uebas y alidación OG3 2 y
Pe _D en MN5
30
TD12
PC (Visual S udio Code,
usua io HPC, Gi LabOp)
TOTAL:
630
Tabla 1: Ho as dedicadas, dependencias y ecu sos u ilizados en cada a ea

Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
22
Figu a 1: Diag ama de Gan plani icación inicial
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
23
6. P esupues o inicial
El p opósi o de es e apa ado es de alla y jus i ica los cos es que implica el p oyec o. Es a
es imación se i á como e e encia pa a e alua la iabilidad económica del p oyec o y
ga an iza su cumplimien o den o de los lími es p esupues a ios es ablecidos.
6.1. Iden i icación y es imación de los cos es
El p esupues o inicial del p oyec o es una es imación de los ecu sos económicos necesa ios
pa a lle a a cabo su desa ollo. Es e p esupues o se basa en el análisis de las a eas
plani icadas y los ac o es que in e ienen en su ejecución, como los ecu sos humanos,
ha dwa e
,
so wa e
y o os gas os asociados. Además, se incluye un ma gen adicional pa a
posibles imp e is os que puedan su gi du an e el p oceso.
6.1.1. Recu sos humanos
En es a sección se calcula án los cos es elacionados con los ecu sos humanos, es deci , los
sala ios de las pe sonas que abaja án en el p oyec o. El cos e po ho a de abajo depende á
del ol que desempeñe cada pa icipan e, y se u iliza á como e e encia la pla a o ma
Glassdoo [5], que p opo ciona da os sob e sala ios ap oximados en di e en es posiciones
labo ales.
Pa a es e cálculo, ambién se conside a á el po cen aje que las emp esas deben ibu a a la
Segu idad Social en España, que es del 33% sob e el sala io b u o de cada empleado.
En es e p oyec o, la mayo pa e de los oles y a eas se án asumidos po el p opio au o ,
quien ac ua á como desa ollado y esponsable écnico. Sin emba go, el ol de Sys ems Team
Manage se á desempeñado po el di ec o y el adminis ado de sis emas asignado al
p oyec o, quienes o ece án supe isión y aseso amien o.
A con inuación, se p esen a una es imación ap oximada del cos e asociado a cada ol
in oluc ado en el p oyec o:
1. Desa ollado de so wa e (So wa e De elope - SD): Es e ol implica la implemen ación
y p ueba del sis ema, así como la mig ación de OG3 y la adap ación de Pe _D.
2. Ope ado de sis emas (Sys em Ope a o - SO): Es e ol implica la supe isión dia ia de
los sis emas de moni o ización, asegu ando que las he amien as implemen adas uncionen
co ec amen e y esol iendo posibles incidencias écnicas que puedan su gi .
3. Adminis ado de sis emas (Sys ems Team Manage - STM): Es e ol implica la
supe isión gene al del p oyec o, alidación de a eas y aseso amien o écnico.
Rol
Sala io b u o
Sala io b u o + Segu idad Social
Sys em Ope a o - SO
10 €/h
13,3 €/h
So wa e De elope - SD
20,12 €/h
26,76 €/h
Sys ems Team Manage - STM
21,84 €/h
29,05 €/h
Tabla 2: Sala ios b u os de di e en es oles basándonos en Glassdoo
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
24
Una ez sabemos cuán o paga la emp esa po cada ol que oma á el au o , podemos hace
una es imación del cos e que end án los ecu sos humanos pa a la ealización del p oyec o.
ID
Ta ea
Tiempo (h)
Rol
Cos e (€)
Ta eas de ges ión del p oyec o
200
3.733,4
G1
In oducción y alcance
25
SO
332,5
G2
Plani icación
15
SO
199,5
G3
Ges ión económica y de sos enibilidad
20
SO
266
G4
Documen ación de la ase de seguimien o
25
SO
332,5
G5
Documen ación de OG3 en Gi LapOp
15
SD
401,4
G6
Documen ación de la ase inal
35
SO
465,5
G7
P epa ación de la de ensa o al del p oyec o
25
SO
332,5
G8
Reuniones pe iódicas con el di ec o
30
SO y STM
1.270,5
G9
Reuniones pe iódicas con la u o a de la
UPC
10
SO
133
Ta eas de desa ollo del p oyec o
430
11.221,6
TD1
Es udio de he amien as ex e nas de
moni o ización y sis ema de colas de jobs
15
SO
199,5
TD2
Es udio Pe _D
10
SO
133
TD3
Es udio OG3
30
SO
399
TD4
Mig ación OG3 a py hon/PyQ
150
SD
4.014
TD5
Ins alación Pe _D en clús e pequeño
5
SO
66,5
TD6
Adap ación Pe _D en clús e pequeño
20
SO y SD
801,2
TD7
Implemen ación OG3 2 en clús e
pequeño
20
SO
266
TD8
P uebas y alidación OG3 y Pe _D en
clús e pequeño
10
SO y SD
400,6
TD9
Ins alación Pe _D en MN5
10
SO
133
TD10
Adap ación Pe _D en MN5
40
SO y SD
1.602,4
TD11
Implemen ación OG3 2 en MN5
30
SO
399
TD12
Ac ualización e implemen ación de nue as
uncionalidades en OG3 2
60
SD
1.605,6
TD13
P uebas y alidación OG3 2 y Pe _D en
MN5
30
SO y SD
1.201,8
TOTAL:
630
14.955
Tabla 3: Es imación del cos e de los ecu sos humanos pa a cada a ea
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
25
6.1.2. Recu sos ma e iales
En cuan o a los ecu sos ma e iales:
Ha dwa e: pa a el desa ollo del p oyec o, se u iliza á p incipalmen e un o denado
po á il p opo cionado po el BSC, conc e amen e un Dell La i ude E7420. Po o o
lado, el p oyec o con a á con clús e es a moni o iza del BSC. Es os clús e es ienen
uno o más se ido es
heads
que ges ionan las ope aciones de con ol y supe isión de
la máquina. Los se ido es u ilizados pe enecen a la in aes uc u a ya exis en e del
BSC, po lo que no suponen un cos e económico adicional, dado que o man pa e del
en o no habi ual de los p oyec os de in es igación.
So wa e: se p e é el uso de he amien as de código abie o, que o ecen una amplia
gama de soluciones sin cos e asociado, acili ando la implemen ación de sis emas de
moni o ización e icien es y adap ables.
O os cos es: ambién se conside an o os gas os elacionados con la amo ización del
espacio de abajo, como el cos e de limpieza, elec icidad y segu idad. No obs an e, en
el caso del BSC, es os cos es no se a ibuyen especí icamen e al p oyec o, ya que las
o icinas son u ilizadas po nume osos equipos de o ma dia ia y la in aes uc u a ya
es á amo izada debido a su an igüedad.
Ha dwa e pe sonal
Cos e(€)
Dell La i ude E7420, 11 h Gen In el® Co e™ i7-1185G7 @ 3.00GHz × 8
1.500
Pan alla Dell x2
380
Ra ón Logi ech
10
Teclado Logi ech
20
TOTAL:
1.910
Tabla 4: Cos es de adquisición de los ecu sos de ha dwa e pe sonal
Hace al a calcula co ec amen e cuál es la pa e p opo cional del cos e de adquisición de los
ecu sos de ha dwa e pe sonal pa a el p oyec o.
En España, hacienda pe mi e amo iza el ha dwa e en cua o años, una ez anscu a es e
iempo se han de eno a po obsolescencia. Po lo an o, como cada año se abajan
al ededo de 225 días, siendo 7,5 ho as cada día, disponemos de 1.687,5 ho as po año.
Po lo an o, el cos e del ha dwa e du an e la ealización del p oyec o es de:
657€ ∗ 630ℎ
1.687,5ℎ ∗ 4𝑎ñ𝑜𝑠 =413.910€ ∗ ℎ
6.750ℎ = 61,32€
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
32
independien emen e del géne o, la edad, la di e sidad uncional o cualquie o a
ca ac e ís ica pe sonal. Se ha empleado un lenguaje inclusi o en la documen ación y
comunicación.
Uso esponsable de los ecu sos:
Du an e el desa ollo, se p io izó la u ilización e icien e de los ecu sos disponibles,
minimizando el impac o ambien al y e i ando el despe dicio.
P i acidad y segu idad:
Aunque el sis ema no maneja da os pe sonales, se ha asegu ado de que oda la
in o mación u ilizada pa a la moni o ización y ges ión de los clús e es espe e la segu idad
de la in aes uc u a y la p i acidad de los usua ios.
T anspa encia y documen ación:
Todo el código y las me odologías u ilizadas se han documen ado exhaus i amen e,
pe mi iendo la ejecución del p oyec o po o os desa ollado es y asegu ando su
accesibilidad a los in e esados.
Bene icio social y p o esional:
El p oyec o iene como obje i o mejo a la p oduc i idad y e iciencia del Ba celona
Supe compu ing Cen e (BSC), bene iciando di ec amen e a in es igado es, usua ios y
pe sonal écnico, p omo iendo el desa ollo p o esional de quienes in e ac úan con la
he amien a.
7.6. Relación con los Obje i os de Desa ollo Sos enible (ODS)
El p oyec o con ibuye di ec amen e a a ios de los Obje i os de Desa ollo Sos enible (ODS)
p omo idos po las Naciones Unidas. A con inuación, se des acan los p incipales:
ODS 9: Indus ia, inno ación e in aes uc u a:
Es e p oyec o mejo a la in aes uc u a ecnológica del BSC al op imiza las he amien as
de moni o ización de clús e es. Con ibuye a ga an iza una ges ión e icien e y sos enible
de los ecu sos compu acionales, apoyando la inno ación en el campo de la
supe compu ación.
ODS 12: P oducción y consumo esponsables:
Al implemen a una he amien a que de ec a y esuel e p oblemas de endimien o de
mane a e icien e, se p omue e el uso esponsable de los ecu sos compu acionales,
educiendo el consumo ene gé ico y minimizando el despe dicio.
ODS 13: Acción po el clima:
La mejo a en la ges ión y op imización de los clús e es educe la huella de ca bono
asociada al uncionamien o del supe compu ado Ma eNos um 5, con ibuyendo a los
es ue zos po comba i el cambio climá ico.
ODS 4: Educación de calidad (indi ec amen e):
Es e p oyec o omen a el ap endizaje y la inno ación ecnológica, bene iciando a
es udian es e in es igado es que dependen de los ecu sos del BSC pa a sus abajos
académicos y cien í icos.

Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
33
8. Plani icación inal
Du an e el anscu so de la ealización del p oyec o, se han iden i icado y ges ionado
des iaciones an o en las a eas de ges ión como en las de desa ollo. Es as des iaciones se
a ibuyen p incipalmen e a la inexpe iencia inicial en la plani icación y ejecución de a eas. A
con inuación, se de allan las des iaciones y ajus es ealizados, así como el p esupues o inal, la
me odología de abajo empleada y la in eg ación de conocimien os adqui idos du an e la
o mación en la UPC.
8.1. Des iaciones en las a eas de ges ión
Du an e la ase de ges ión, se p esen a on algunas des iaciones elacionadas con la
plani icación inicial del p oyec o:
Reo ganización de a eas: Algunas a eas adminis a i as, como la documen ación
p elimina y la c eación de en egables in e medios, equi ie on más iempo del
es imado debido a la necesidad de ealiza an es a eas de desa ollo.
Reuniones adicionales: Aunque inicialmen e se plani ica on euniones semanales con el
di ec o y quincenales con la u o a, en cie os momen os ue necesa io aumen a la
ecuencia de es as euniones pa a esol e dudas y adap a el en oque del p oyec o.
Re isión del diag ama de Gan : Se ajus ó el diag ama pa a p io iza a eas que
u ie on e asos imp e is os, como la p epa ación de la memo ia inal, que se
ex endió debido a e isiones y co ecciones.
8.2. Des iaciones en las a eas de desa ollo
Las a eas de desa ollo del p oyec o ambién expe imen a on algunos cambios:
Tiempo adicional en la mig ación a Py hon/PyQ : La complejidad de aslada el código
desde Pe l a Py hon ue mayo de lo espe ado, especialmen e al implemen a nue as
uncionalidades y op imiza el código exis en e.
P uebas en los clús e es del BSC: La adap ación y alidación de he amien as como
Pe _D y OG3 2 en el clús e pequeño (CTE-AMD) equi ió más iempo del plani icado
debido a p oblemas écnicos elacionados con la compa ibilidad.
Es os p oblemas de compa ibilidad e an debido a la a qui ec u a del clús e , los nodos
de cómpu o ecopilan mé icas u ilizando Ne da a [7], se encuen a un
bug
y se
descub e que nunca se limpian los da os almacenados en caché (/ a /), lo que p o oca
que las mé icas almacenadas en in luxDB de algunos nodos no sean en iempo eal y
haya que aumen a el TTL de la mé ica pa a pode ene en cuen a es e alo y
isualiza los en OG3 2.
Po ema de p io idad de a eas, se decidió deja incomple a la moni o ización de es e
clús e y empeza la adap ación de las he amien as en MN5 que e a el clús e que
e dade amen e nos in e esaba moni o iza .
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
34
Implemen ación de uncionalidades nue as: Se añadie on uncionalidades no
con empladas en la plani icación inicial, pa a mejo a la isualización del sis ema.
Funcionalidades como la posibilidad de selecciona los nodos y sus jobs asociados
median e la selección po g upo de acks. Aun así, po al a de iempo, se u o que
di idi la capacidad de MN5 pa a moni o iza únicamen e la Pa ición de P opósi o
Gene al (GPP), no moni o izando la Pa ición Acele ada (ACC) que con iene GPUs.
En gene al, es as des iaciones ue on ges ionadas easignando p io idades y iempo, con el
obje i o de man ene el ni el de calidad del p oyec o.
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
35
8.3. Diag ama de Gan ac ualizado
Figu a 2: Diag ama de Gan inal
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
36
8.4. Cos e inal
Tend emos que ene en cuen a, si ha habido des iaciones en el desa ollo del p oyec o, de
se así, hab á que calcula el cos e inal, pa iendo de las des iaciones que se oma on en
cuen a en el p esupues o inicial:
Des iación de las ho as o ales:
Ho as o ales es imadas - Ho as eales es imadas
(200h+430h) - (220h+470h) = (630h) - (690h) = - 60 h, exis e des iación
Tend emos que calcula , sabiendo el o al de ho as eales, el cos e de ecu sos
humanos ac ualizado, omando como base el p esupues o inicial.
Ta ea
Tiempo (h)
Rol
Cos e (€)
Ta eas de ges ión del p oyec o
200
3.733,4
Des iación a eas de ges ión del p oyec o
20
SO
266
Ta eas de desa ollo del p oyec o
430
11.221,6
Des iación a eas de desa ollo del p oyec o
40
SD
1070,4
TOTAL:
690
16.291,4
Tabla 10: Cos e eal de ecu sos humanos
Des iación en el cos e de ecu sos humanos
Cos e es imado de ecu sos humanos - Cos e eal de ecu sos humanos
(14.955€) - (16.291,4€) = - 1336,4€, exis e des iación
Des iación en el cos e de ecu sos ma e iales
Cos e es imado de ecu sos ma e iales - Cos e eal de ecu sos ma e iales
(61,32€) - (61,32€) = 0€, no exis e des iación
Tend emos que calcula , sabiendo el cos e eal de ecu sos humanos y ma e iales, el
cos e eal de con ingencias.
Recu sos
Con ingencia es imada(€)
Con ingencia eal(€)
Humanos
1.495,5
1.336,4
Ma e iales
6,132
0
Cos e TOTAL:
1.501,632
1.336,4
Tabla 11: Cos e es imado y eal de con ingencias
Podemos obse a que el cos e de des iación de ecu sos humanos se encuen a
den o del ango del p esupues o inicial po con ingencias.
Des iación en el cos e de con ingencias
Cos e es imado de con ingencias - Cos e eal de con ingencias
(1.501,632€) - (1.336,4€) = 165,232€, no exis e des iación
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
37
Los imp e is os po conocimien os écnicos y p oblemas con las p uebas de alidación
ya los u imos en cuen a den o del p esupues o de con ingencias, en la des iación po
imp e is os solo end é en cuen a allos écnicos en el ha dwa e pe sonal (po á il), po
el que es u e un día (5h) sin pode a anza en el desa ollo del p oyec o.
Des iación en el cos e po imp e is os
Cos e es imado de imp e is os - Cos e eal de imp e is os
(280,11€) - (6,65€) = 273,46€, no exis e des iación
Sabiendo los cos es de las des iaciones de ecu sos humanos y ma e iales, además de
las con ingencias y los imp e is os que han podido su gi du an e el p oyec o,
pod emos calcula el cos e inal.
Tipo de cos e
P esupues o inicial (€)
Cos e eal(€)
Recu sos humanos
14.955
16.291,4
Recu sos ma e iales
61,32
61,32
Con ingencias
1.501,632
-165,232
Imp e is os
280,11
-273,46
Cos e inal:
16.798,07
15.914,03
Tabla 12: Cos e es imado y eal o al
Des iación en el cos e o al
Cos e es imado o al - Cos e eal o al
(16.798,07€) - (15.914,03) = 884,04€
El cos e o al del p oyec o se ía de 15.914,03€, siendo un cos e que es a ía den o del
p esupues o inicial.
8.5. Me odología de abajo
La me odología de abajo no ecibió ningún cambio al p opues o en la plani icación inicial.
Sob e la comunicación de los ac o es implicados:
–El olumen de euniones semanales con el di ec o siguió siendo el mismo.
–La can idad de euniones con la u o a de la UPC pasa on de se cada quince días a
cuando el au o eía necesa io euni se con ella, pues o que, al p incipio de la
ejecución de las a eas de desa ollo, no exis ían an os cambios signi ica i os en el
esul ado del p oyec o.
–La comunicación dia ia en e el au o , el di ec o y el adminis ado de sis emas
asignado ue a a és de un canal c eado en Rocke Cha con la inalidad de habla
únicamen e del p oyec o.

Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
38
8.6. In eg ación de conocimien os de la UPC
La ealización de es e p oyec o, ha pe mi ido aplica conocimien os adqui idos du an e los
años es udiados en la UPC. A con inuación, se des acan algunas de las asigna u as cuya
o mación han ayudado en el desa ollo de es e p oyec o:
INEP (In oducción a la Ingenie ía del So wa e) y AMEP (Ampliación a la Ingenie ía del
So wa e): Ayuda on a comp ende las me odologías necesa ias pa a es uc u a ,
plani ica y ges iona p oyec os de so wa e complejos.
INDI (In e acción y Diseño de In e aces): P opo cionó conocimien os pa a diseña
in e aces in ui i as y uncionales, como las empleadas en la mig ación a Py hon/PyQ .
ESC1 y ESC2 (Es uc u a de Compu ado es 1 y 2): Ayuda on a comp ende el
uncionamien o de los sis emas
ha dwa e
y
so wa e
.
PACO (Pa alelismo y Concu encia): Fue c ucial pa a ges iona múl iples p ocesos
concu en es, especialmen e en la comp ensión de un en o no de al o endimien o
como el de Ma eNos um 5.
ADSO (Adminis ación de Sis emas Ope a i os): P opo cionó conocimien os sob e
Linux y edes, au oma ización de ins alaciones y con igu ación de so wa e y
dependencias, hos s y se icios.
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
39
9. Es udio de he amien as ex e nas
Las he amien as ex e nas desempeñan un papel c ucial en la in aes uc u a del BSC al
complemen a las capacidades in e nas con soluciones p obadas y e sá iles.
La in eg ación de es as he amien as ex e nas pe mi e al BSC ap o echa ecnologías
madu as y ampliamen e adop adas, asegu ando una al a con iabilidad y sopo e cons an e.
La azón de u iliza múl iples he amien as adica en la complejidad de las in aes uc u as
HPC y la di e sidad de da os que necesi an se p ocesados. Cada he amien a es á diseñada
pa a cumpli un p opósi o especí ico y la combinación de ellas asegu a que se puedan
abo da de mane a e ec i a los dis in os aspec os de la moni o ización.
9.1. Moni o ización his ó ica de jobs
La moni o ización his ó ica de jobs es esencial pa a comp ende el compo amien o pasado
del clús e , analiza pa ones de uso y de ec a posibles p oblemas elacionados con la ges ión
de abajos. Es e p oceso pe mi e almacena in o mación de allada sob e los abajos
ejecu ados, como ecu sos consumidos, iempos de ejecución y es ado inal.
9.1.1. Plugin de Slu m
El plugin de Slu m [8] es una ex ensión diseñada pa a in eg a la moni o ización de abajos
en el sis ema de colas de Slu m. Es e plugin cap u a in o mación de allada de los abajos,
como el iempo de inicio, el iempo de inalización, el consumo de CPU y memo ia, y los nodos
u ilizados. Los da os ecolec ados son en iados a una base de da os pa a su almacenamien o
y análisis. Es a in eg ación acili a una isión de allada del endimien o de los abajos y
pe mi e co elaciona mé icas de los nodos con las a eas ejecu adas.
El código del plugin ue desa ollado en 2014 en BSC como p oyec o/ esis de Mas e den o
del depa amen o de Ope aciones y se incluyó den o del código de Slu m en 2015.
9.1.2. Elas icSea ch
Elas icSea ch [9] es una base de da os o ien ada a documen os que se u iliza pa a almacena
g andes olúmenes de da os gene ados po el sis ema de moni o ización de jobs. Su
capacidad de indexa y busca da os de mane a ápida y e icien e pe mi e analiza
ápidamen e mé icas his ó icas elacionadas con los abajos, como el uso de ecu sos o
allos de ec ados. Elas icSea ch es una he amien a ideal pa a ges iona
logs
y da os
es uc u ados, o eciendo escalabilidad y al a disponibilidad.
9.1.3. Kibana
Kibana [10] es una he amien a de isualización que abaja en conjun o con Elas icSea ch.
Pe mi e ep esen a g á icamen e los da os his ó icos de abajos almacenados, c eando
dashboa ds in e ac i os y il os pe sonalizados pa a explo a mé icas especí icas. Con
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
40
Kibana, los adminis ado es pueden isualiza de mane a in ui i a el endimien o de los
abajos, iden i ica cuellos de bo ella y ealiza análisis de allados pa a op imiza la ejecución
de los mismos.
9.1.4. Flujo del sis ema en MN5
Es e lujo pe mi e ealiza un análisis de da os sob e los
jobs
inalizados, sabiendo cómo se
han dis ibuido los ecu sos y cómo cada p oyec o/usua io solici a o u iliza ecu sos en un
clús e . Es especialmen e ú il pa a sis emas de al o endimien o donde los ecu sos son
limi ados y compa idos en e múl iples usua ios.
Figu a 3: Flujo de he amien as de moni o ización his ó ica de jobs en MN5
9.2. Moni o ización de endimien o
La moni o ización de endimien o se cen a en el análisis en iempo eal del uso de los
ecu sos del sis ema, como CPU, memo ia, almacenamien o y edes. Es e en oque pe mi e
iden i ica ápidamen e anomalías, ga an iza el endimien o espe ado del clús e y op imiza
su uncionamien o.
9.2.1. Teleg a
Teleg a [11] es un agen e de ecopilación de da os lige o y al amen e con igu able que
cap u a mé icas de endimien o del ha dwa e y el so wa e. Se u iliza pa a ecolec a
in o mación de CPU, memo ia, disco, edes y o os componen es del sis ema. Es e agen e
puede ex ae da os de múl iples uen es y en ia los a bases de da os como In luxDB pa a su
almacenamien o y análisis. Teleg a es una he amien a undamen al pa a la moni o ización de
endimien o debido a su lexibilidad y capacidad de in eg ación
9.2.2. In luxDB
In luxDB [12] es una base de da os o ien ada a se ies empo ales diseñada especí icamen e
pa a maneja g andes olúmenes de da os elacionados con el iempo, como mé icas de
endimien o. Los da os ecopilados po Teleg a se almacenan en In luxDB, donde pueden se
consul ados de mane a e icien e pa a análisis his ó icos o en iempo eal. Su capacidad de
maneja mé icas de alladas de endimien o lo con ie e en una he amien a cla e en la
a qui ec u a de moni o ización.
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
41
9.2.3. G a ana
G a ana [13] es una pla a o ma de isualización de da os que se u iliza pa a c ea dashboa ds
in e ac i os y ep esen aciones g á icas de las mé icas de endimien o almacenadas en
In luxDB. Con G a ana, los adminis ado es pueden moni o ea en iempo eal el es ado del
clús e , iden i ica pa ones de uso y de ec a p oblemas de endimien o de mane a in ui i a.
Su capacidad pa a pe sonaliza g á icos y ale as pe mi e una ges ión más e icien e del clús e
y una espues a p oac i a an e posibles p oblemas.
9.2.4. Flujo del sis ema en MN5
Es e lujo pe mi e supe isa en iempo eal el endimien o de los nodos de cómpu o en
en o nos HPC. Las mé icas cla e, como uso de CPU, memo ia y empe a u a, se ecopilan en
cada nodo median e Teleg a y se ag egan de o ma je á quica en los se ido es de se icio
(como gsXX y asXX). Pos e io men e, es os se ido es de se icio en ían la in o mación
ag egada a dos bases de da os In luxDB edundadas, que se encuen an alojadas en los
se ido es de moni o ización. Las mé icas almacenadas en In luxDB son isualizadas en
G a ana, lo que acili a la de ección de p oblemas y la op imización del clús e . Es e diseño
je á quico ga an iza un uso e icien e de los ecu sos y la con inuidad del se icio, además de
pe mi i que las ale as sean ges ionadas ápidamen e an e cualquie anomalía de ec ada.
Figu a 4: Flujo de he amien as de moni o ización de endimien o en MN5
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
48
10.3. Flujo del sis ema
Pe _D se enca ga de ecopila , p ocesa y almacena da os de los clús e es y OG3 ac úa como
una capa supe io que aduce es a in o mación en isualizaciones comp ensibles y
accesibles. De es a o ma, Pe _D y OG3 abajan en conjun o pa a p opo ciona una solución
in eg al de moni o ización y análisis en los clús e es.
Figu a 5: Flujo de OG3 yPe _D
El desa ollo de he amien as in e nas como Pe _D y OG3 pe mi e al BSC op imiza el
endimien o y la moni o ización de sus clús e es, asegu ando una in eg ación pe ec a con
sis emas de ges ión como Slu m y ajus ándose a las demandas especí icas de cada en o no,
como la isualización a anzada o el manejo de da os de al o endimien o. Además, es as
he amien as o ecen la lexibilidad de adap a se a los cambios ecnológicos, sin depende de
soluciones ex e nas que pod ían no cub i odos los eque imien os o ep esen a cos es
adicionales.

Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
49
11. Mig ación OG3
La he amien a OG3, desa ollada o iginalmen e en Pe l/Pe lTK, ha demos ado se una
he amien a undamen al pa a la moni o ización y isualización de los clús e es del BSC. Sin
emba go, la e olución de las necesidades de moni o ización, el sal o exponencial en la ca ga
de abajo con la implemen ación de Ma eNos um 5 y las limi aciones écnicas y de
man enimien o asociadas al código o iginal hacen necesa io mig a y op imiza OG3 hacia una
ecnología más mode na y sos enible.
11.1. Razones
Obsolescencia de Pe lTK: Tk [15], aunque uncional, es una biblio eca menos u ilizada
en la ac ualidad, lo que di icul a encon a desa ollado es amilia izados con ella y
sopo e ac ualizado. Su úl ima e sión es able (8.6.5) es de hace más de 8 años.
Aumen o de complejidad: El inc emen o en la can idad de nodos, la inco po ación de
GPUs y las nue as mé icas in oducidas po Pe _D equie en una he amien a más
lexible y capaz de maneja ca gas de abajo mayo es.
Man enimien o y escalabilidad: El man enimien o del código en Pe l p esen a desa íos
signi ica i os, especialmen e pa a inco po a nue as uncionalidades y mejo a la
expe iencia del usua io.
11.2. ¿Po qué se ha elegido PyQ 5?
PyQ [16] es un amewo k basado en Py hon que pe mi e desa olla in e aces g á icas
a anzadas y ha sido elegido pa a es a mig ación debido a sus múl iples en ajas, en e ellas:
Sopo e comuni a io y ac ualizaciones
Py hon es uno de los lenguajes de p og amación más u ilizados en la ac ualidad, y PyQ
cuen a con una comunidad ac i a que ga an iza sopo e écnico, documen ación
ex ensa y ac ualizaciones ecuen es.
Expe iencia de usua io mejo ada
Pe mi e c ea in e aces g á icas mode nas e in ui i as que o ecen una expe iencia
isual y uncional mucho más a ac i a en compa ación con Pe lTK.
Compa ibilidad mul ipla a o ma
PyQ es compa ible con sis emas ope a i os como Linux, Windows y macOS, lo que
asegu a la po abilidad del sis ema en di e en es en o nos del BSC.
In e ope abilidad con Pe _D
Py hon acili a la in eg ación di ec a con las APIs REST de Pe _D, lo que simpli ica la
ob ención y ep esen ación de mé icas.
Facilidad de ap endizaje y uso
Py hon es conocido po su cu a de ap endizaje sua e y su sin axis cla a, lo que educe
el iempo necesa io pa a el desa ollo.
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
50
La e sión elegida de PyQ pa a el desa ollo y mig ación del código de OG3 es la Q 5.15 [17],
la azón de es a elección se debe a su es abilidad comp obada en en o nos de p oducción, y
su sopo e ex endido, lo que ga an iza menos p oblemas de compa ibilidad y una ansición
más luida en compa ación con la e sión 6, que aún p esen a cambios signi ica i os y meno
adopción en p oyec os exis en es.
11.3. ¿Cómo se ealizó la mig ación?
El p oceso de mig ación de OG3 a OG3 2 ue lle ado a cabo de mane a es uc u ada,
asegu ando que cada e apa cub ie a las necesidades uncionales y écnicas de la nue a
aplicación. A con inuación, se desc iben en de alle cada uno de los pasos ealizados pa a que
cada pun o sea cla o y en endible.
11.3.1. Análisis del código de OG3
El p ime paso ue ealiza un análisis exhaus i o del código exis en e en OG3, con el obje i o
de en ende su es uc u a, uncionalidades y posibles pun os de mejo a. Es e análisis incluyó:
Iden i icación de módulos p incipales:
–Se iden i ica on las pa es del código que ep esen aban uncionalidades
c í icas. Po ejemplo, el código de OG3 con enía módulos como OgTk::Boa d y
OgTk::Da a, que manejaban las ep esen aciones isuales y los da os.
Iden i icación de dependencias c í icas:
–Se e isa on las biblio ecas ex e nas u ilizadas po OG3, como Tk (pa a la
in e az g á ica) y o os módulos de Pe l, pa a de e mina si es aban
desac ualizados o ep esen aban un iesgo pa a la con inuidad del p oyec o.
–Se iden i ica on las in e acciones con el backend, especialmen e la o ma en
que OG3 se conec aba con los sis emas de da os pa a ob ene in o mación
sob e nodos, mé icas y jobs.
–Dependencias elacionadas con con igu aciones especí icas del clús e , como
los pa áme os que e an únicos pa a cie os en o nos.
Análisis de pun os débiles:
–Se iden i ica on á eas p oblemá icas, como la al a de modula idad del código,
donde múl iples unciones es aban en elazadas, lo que di icul aba su
man enimien o.
–Se de ec a on p oblemas de escalabilidad, ya que OG3 mos aba una
disminución del endimien o al maneja miles de nodos y abajos
simul áneamen e.
El esul ado de es a e apa ue un documen o que si ió como base pa a de ini los equisi os
de OG3 2.
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
51
11.3.2. De inición de equisi os
Con base en los hallazgos del análisis, se de inie on los equisi os uncionales y no uncionales
pa a OG3 2. Es o incluyó:
Requisi os uncionales:
–Visualización de nodos y abajos en un able o in e ac i o.
–Sopo e pa a il os a anzados po clús e es, mé icas, nodos y jobs.
–Ac ualización au omá ica de da os cada cie o in e alo de iempo.
Requisi os no uncionales:
–Escalabilidad pa a maneja clús e es de g an amaño.
–In e az de usua io mode na y ácil de usa .
–Rendimien o óp imo incluso en sis emas con miles de nodos.
11.3.3. Diseño de a qui ec u a
La a qui ec u a de OG3 2 ue ediseñada pa a supe a las limi aciones del diseño monolí ico
de OG3. Se adop ó un en oque modula basado en el pa ón Modelo-Vis a-Con olado (MVC):
Modelo: Encapsula la lógica de negocio (po ejemplo, ges ión de da os sob e nodos y
abajos). La clase Da a se enca gó de ca ga y es uc u a los da os.
Vis a: Ges iona la ep esen ación isual de los da os. Se u iliza on QG aphicsView y
QG aphicsScene pa a ende iza el able o de nodos, y QTableWidge pa a mos a
las lis as de abajos.
Con olado : Coo dina la in e acción en e el modelo y la is a. Po ejemplo,
esponde a las in e acciones del usua io (como e en os de clic y cambios de
con igu ación que ue on ges ionadas median e señales y slo s de PyQ 5) y ac ualiza
la is a en iempo eal.
11.3.4. Desa ollo del p o o ipo
En es a e apa, se c eó un p o o ipo inicial pa a alida el diseño de la nue a aplicación. El
p o o ipo incluía:
Una en ana p incipal con pes añas pa a las lis as de jobs ( unning, elegible y
blocked).
Un able o básico de nodos implemen ado con QG aphicsView yQG aphicsScene.
Funcionalidades básicas como la ca ga de da os en un a chi o.
El obje i o del p o o ipo ue e i ica que PyQ 5 cumplía con las necesidades écnicas y que las
uncionalidades c í icas podían implemen a se de mane a e ec i a.
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
52
Figu a 6: P o o ipo de la en ana p incipal de OG3 2
11.3.5. Mig ación de uncionalidades
Las uncionalidades exis en es en OG3 se mig a on de o ma inc emen al pa a minimiza
e o es y ga an iza la es abilidad del sis ema:
Mig ación de la ges ión de da os:
–La lógica pa a ca ga y p ocesa da os ue implemen ada en la clase Da a.
–Se ediseña on los mé odos pa a que ue an más e icien es y compa ibles
con es uc u as de da os mode nas, como dicciona ios y lis as en Py hon.
Mig ación de la In e az g á ica:
–Las lis as de abajos ue on ec eadas u ilizando QTableWidge , pe mi iendo
una isualización dinámica y pe sonalizable.
–El able o de nodos ue ediseñado con QG aphicsView, lo que pe mi ió inclui
ca ac e ís icas in e ac i as como zoom, desplazamien o y g adien es.
11.3.6. P uebas y op imización
Una ez mig adas las uncionalidades cla e, se ealiza on p uebas exhaus i as pa a asegu a la
es abilidad y el endimien o de OG3 2:
P uebas uncionales
–Se e i icó que cada uncionalidad de OG3 es u ie a co ec amen e
implemen ada en OG3 2.
–Se p oba on casos de uso comunes, como il a abajos, cambia mé icas y
selecciona nodos en el able o.
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
53
P uebas de endimien o
–Se e aluó el compo amien o de OG3 2 con di e en es olúmenes de da os
pa a asegu a que pudie a maneja clús e es g andes sin disminui el
endimien o.
P uebas de Usua io
–Se omó en cuen a el eedback de los usua ios pa a ajus a la expe iencia y
co egi e o es.
Op imización del código
–Se mejo a on p ocesos como la ac ualización del able o y la ep esen ación
g á ica, minimizando el uso de ecu sos.
11.4. Di e encias en e OG3 y OG3 2
Algunas de las di e encias en e OG3 y OG3 2 son:
Ca ego ía
OG3
OG3 2
Tecnología base
Pe l y TK
Py hon y PyQ 5
In e az g á ica
Simple, algo an icuada.
Mode na y adap a i a.
In e ac i idad
Básica: desplazamien o y zoom
limi ado y no comple amen e
op imizado.
Mejo ada: sopo e comple o pa a
desplazamien o y zoom, is as
pe sonalizables.
Rendimien o
Limi ado al maneja g andes
olúmenes de da os o clús e es
complejos.
Op imizado pa a g andes clús e es g acias a
QG aphicsView y QG aphicsScene.
Man enimien o
Código modula pe o di ícil de
expandi o man ene .
Código modula acili ando la escalabilidad y
el man enimien o.
Documen ación
écnica
Limi ada y dispe sa.
Comple a, cen alizada y con guías cla as
pa a desa ollado es y usua ios.
Visualización
Rep esen ación básica.
Rep esen ación mejo ada y con igu able.
Escalabilidad
Limi ada pa a in aes uc u as
g andes.
Capacidad pa a maneja cien os o miles de
nodos con múl iples clús e es
simul áneamen e.
Tabla 14: Di e encias en e OG3 y OG3 2
11.5. Bene icios de la mig ación a OG3 2
Algunos de los bene icios con la mig ación de OG3 ue on:
Mayo endimien o: Una es uc u a de código más op imizada y mode na que pe mi e a
OG3 2 ges iona la ca ga de abajo de MN5 de mane a e icien e.
Sos enibilidad a la go plazo: Uso de he amien as mode nas pa a asegu a que el
p oyec o sea iable y man enible en los p óximos años.
Colabo ación más amplia: Facili a la inco po ación de nue os desa ollado es al
p oyec o g acias al uso de un lenguaje y amewo k ampliamen e adop ados.

Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
54
11.6. Diag ama de lujo de OG3 2
El diag ama de lujo es una ep esen ación isual que desc ibe el lujo de ejecución p incipal
de la aplicación. Es e diag ama acili a la comp ensión de las secuencias lógicas, decisiones y
p ocesos cla e que ocu en den o del sis ema.
El diag ama de lujo pa a OG3 2 incluye los siguien es elemen os p incipales:
1. Inicio de la aplicación:
–Ca ga de dependencias y módulos (PyQ 5 y OgQ )
–Inicialización de los obje os p incipales ( able os, lis as de abajos, da os)
2. In e acción del usua io:
–E en os como clics en bo ones, selección de mé icas o cambios en las
con igu aciones del able o.
–Respues as de la aplicación, como ac ualizaciones en iempo eal del able o y
las lis as.
3. Ges ión de da os:
–Ac ualización de los da os desde el backend.
–T ans o mación y isualización de los da os en g á icos o ablas.
4. Redibujado y ende ización:
–Ac ualización isual del able o en unción de las mé icas seleccionadas y il os
aplicados.
5. Cie e de la aplicación:
–Libe ación de ecu sos, de ención de empo izado es y salida segu a del
sis ema.
Figu a 7: Diag ama de lujo de OG3 2
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
55
11.7. Diag ama de clases de OG3 2
El diag ama de clases ep esen a la es uc u a de la aplicación desde la pe spec i a de la
p og amación o ien ada a obje os. De alla las elaciones en e las clases p incipales, los
a ibu os y mé odos que poseen, y cómo in e ac úan en e sí.
En OG3 2, el diseño basado en PyQ 5 in oduce una a qui ec u a modula con las siguien es
clases:
1. MyApp:
–Clase p incipal que ep esen a la aplicación.
–Con ola las en anas, pes añas y la in e acción con el usua io.
2. Boa d:
–Rep esen a el able o p incipal pa a mos a nodos y jobs.
–Maneja la lógica de isualización, como la selección de nodos y la ac ualización
de colo es.
3. Da a:
–Clase enca gada de la ob ención, ans o mación y ac ualización de los da os
desde las uen es ex e nas.
4. Lis :
–Maneja las lis as de abajos ( unning, elegible, blocked), incluyendo la
es uc u a de columnas y e en os asociados.
Figu a 8: Diag ama de clases simpli icado de OG3 2
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
56
11.8. Documen ación écnica OG3 2
Pa a ga an iza el buen uso del sis ema mig ado y su co ec a comp ensión, se ha elabo ado
una documen ación que incluye dos a chi os p incipales:
README.md: Es e a chi o p opo ciona una desc ipción cla a y de allada de las
uncionalidades p incipales de OG3 2 pa a que los usua ios comp endan sus
capacidades y ap endan a in e ac ua con la aplicación de mane a e icien e.
INSTALL.md: Es e a chi o guía a los usua ios desde la desca ga del código has a la
ejecución del p og ama p incipal, asegu ando que se cumplan odos los equisi os
p e ios. Además, explica cómo ins ala dependencias median e un a chi o
equi emen s. x , acili ando la ins alación en dis in os sis emas ope a i os. Su en oque
p ác ico pe mi e que cualquie pe sona pueda con igu a la aplicación co ec amen e.
Ambos a chi os han sido diseñados pa a se cla os, concisos y accesibles an o pa a
desa ollado es expe imen ados como pa a nue os usua ios.
11.9. Disponibilidad del código uen e
El código de OG3 2, es á disponible en el eposi o io o icial del Ba celona Supe compu ing
Cen e (BSC) alojado en Gi Lab [18]. Es o ga an iza que el p oyec o sea accesible pa a los
equipos écnicos del BSC y cualquie colabo ado au o izado.
Figu a 9: Es uc u a del eposi o io de OG3 2 en Gi Lab
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
57
12. Implemen ación de OG3 2 en CTE-AMD
El CTE-AMD [19] es un clús e de al o endimien o diseñado pa a aplicaciones que equie en
g an capacidad de cómpu o y acele ación median e GPUs. Es e clús e se moni o izó an es
que MN5 debido a su a qui ec u a de
ha dwa e
simila , ya que ambién dispone de GPUs.
El obje i o p incipal de es a ase ue amilia iza me con el en o no, comp ende la in e acción
en e Pe _D y OG3 2, y ap ende a con igu a y analiza la conexión en e ambos sis emas.
Es a expe iencia esul ó cla e pa a simpli ica y agiliza la implemen ación de OG3 2 en MN5,
al con a con una base sólida de conocimien os y p ác icas desa olladas en el CTE-AMD.
A con inuación se desc ibe CTE-AMD y las a eas que se u ie on que hace pa a la
implemen ación de OG3 2.
12.1. Desc ipción
CTE-AMD cuen a con la siguien e con igu ación:
Nodos de cómpu o: 33 nodos, cada uno equipado con:
P ocesado : 1 x AMD EPYC 7742 a 2.250 GHz, con 64 núcleos y 2 hilos po
núcleo, o alizando 128 hilos po nodo.
Memo ia: 1024 GiB de memo ia p incipal, dis ibuidos en 16 módulos de 64 GiB
a 3200 MHz.
Almacenamien o local: 1 SSD de 480 GB.
GPUs: 2 x AMD Radeon Ins inc MI50 con 32 GB cada una.
In e conexión: Red In iniband HDR100 de un solo pue o Mellanox.
Sis ema de a chi os: Acceso a GPFS a a és de dos enlaces de cob e de 10
Gbi .
Nodo de inicio de sesión: 1 nodo dedicado pa a la conexión de usua ios y a eas de
ges ión.
Sis ema ope a i o: Rocky Linux elease 8.5 (G een Obsidian).
Es a con igu ación hace que el CTE-AMD sea ideal pa a aplicaciones que se bene ician de la
acele ación po GPU, o eciendo un en o no pa a ca gas de abajo in ensi as en cómpu o.
12.2. A qui ec u a de moni o ización
El sis ema de moni o ización del clús e CTE-AMD se basa en una a qui ec u a obus a que
pe mi e la ecopilación, análisis y isualización de mé icas de los nodos y la in aes uc u a
asociada.
Funcionamien o gene al:
La a qui ec u a del sis ema se o ganiza en con enedo es Docke [12], lo que
ga an iza independencia del ha dwa e y pe mi e desplega el sis ema de
moni o ización en clús e es con di e en es a qui ec u as. Es a modula idad ambién
acili a la con igu ación y escalabilidad del sis ema según las necesidades especí icas
del clús e .
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
64
pe mi i á comp oba que odo uncione co ec amen e y e i ica que no se almacenen
e o es en los egis os (
logs
) del sis ema, accesibles a a és de jou nalc l.
12.5. Implemen ación de OG3 2
Como se ha mencionado an e io men e en el es udio de Pe _D, la comunicación de OG3 2
con Pe _D se ealiza a a és de pe iciones HTTP que pasan po un p oxy ubicado en el
se ido opsmon01.
Pa a añadi un clús e nue o a OG3 2, end emos que modi ica el a chi o og3_p oxy ubicado
en el di ec o io /bsc/og3-p oxy-se e / de la máquina opsmon01. Pa a ello, end emos que
añadi una nue a en ada en el hash $clus e s pa a especi ica :
–el nomb e del nue o clús e ,
–la di ección del nodo head (hos ),
–y el pue o en el que se es a á escuchando el daemon pe _d.
opsmon01:~ # ca /bsc/og3-p oxy-se e /og3_p oxy
my $clus e s = {
amd => { hos => "amdhead2", po => 9091},
...
};
Es o pe mi i á que el p oxy en u e las solici udes a la ins ancia de Pe _D del nue o clús e .
Además, end emos que añadi el nue o clús e ambién al código de OG3 2. Modi icamos la
clase Da a ag egando una nue a en ada en el dicciona io CLUSTERS. Es a en ada debe ía de
con ene las p opiedades necesa ias pa a el nue o clús e :
–Di ección del se ido (add )
–URL del sis ema de moni o ización (moni o ing)
–Nodo head (sshhead)
–Cualquie o a con igu ación especí ica como isldap (indica si el clús e u iliza
au en icación LDAP o no).
sel .UA = eques s.Session()
sel .SRV = "h p://opsmon01:9090/"
sel .CLUSTERS = {
"amd": {
"add ": "{sel .SRV}amd/",
"moni o ing": "h p://amdhead2.bsc.es/d/LCYkx3FMz/ne da a-dashboa d?o gId=1&",
"sshhead": "amdhead2",
"isldap": " alse"
},
}
Una ez hayamos hecho es as modi icaciones ac ualiza emos el p oxy y el se icio de pe _d.

Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
65
12.6. P uebas y alidación
Algunas de las p uebas que se hicie on pa a la alidación de la in eg ación de CTE-AMD como
clús e moni o izado po OG3 2 ue on:
–Ve i icación de la ecopilación de da os en la u a de nodos
Figu a 11: Da os de los nodos del clús e CTE-AMD
–Ve i icación de la ecopilación de da os en la u a de jobs
Figu a 12: Da os de los jobs del clús e CTE-AMD
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
66
–Visualización de los nodos y sus e ique as en OG3 2 según su posición lógica
Figu a 13: Visualización lógica de los nodos del clús e CTE-AMD
–Visualización de los nodos y sus e ique as en OG3 2 según su posición ísica
Figu a 14: Visualización ísica de los nodos del clús e CTE-AMD
–Visualización de la lis a de abajos que es án ejecu ándose
Figu a 15: Visualización de la lis a de abajos de los nodos del clús e CTE-AMD
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
67
–Visualización del esumen de abajos de la lis a de jobs que es án ejecu ándose
Figu a 16: Visualización del esumen de abajos de los nodos del clús e CTE-AMD
–C eación de la pes aña pa a la acción
checkjob
de un job en especí ico
Figu a 17: Acción checkjob pa a el job 1166351 en CTE-AMD
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
68
–C eación de la pes aña pa a la acción sljc de un job en especí ico
Figu a 18: Acción sljc pa a el job 1166351 en CTE-AMD
–Con igu ación de los umb ales de alo es de las mé icas
# Rangos de limi es de las di e en es mé icas
sel .THRESHOLD = {
'load_one': [0.5, 1.5, 2.5, 3.5],
'cpu_load_one': [0.25, 0.75, 1.04, 1.15],
' empe a u e': [21, 24, 26, 29],
' anpowe ': [0, 7, 14, 25]
}
Nos damos cuen a que pese habe con igu ado los umb ales de las mé icas a mos a , no se
mues an co ec amen e los colo es de los nodos. Indagando nos encon amos con la
p oblemá ica de que Ne da a, no es á ecogiendo los alo es de las mé icas del nodo
co ec amen e y el almacenamien o del alo es alea o io.
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
69
–Ape u a de la pes aña de moni o ing pa a el nodo de un job en el na egado web
Figu a 19: Acción moni o ing del nodo amd27
Vemos que es a acción no de uel e ningún da o y no se puede isualiza ampoco ca ga de
abajo alguna de algún
job
ejecu ándose en es e nodo.
Analizando di e en es espues as de consul as a la base de da os (In luxDB) que almacena el
alo de las mé icas de los nodos, podemos e que en algunos casos el úl imo alo es del
día an e io en luga del alo del úl imo minu o y el penúl imo alo es de hace años, po lo
que el TTL de 60 segundos no si e, siemp e dibuja á el nodo de colo blanco (hay alo pe o
ue a de ango, ue a del TTL pa a pode oma lo en cuen a).
–Que y de los 3 úl imos alo es de una mé ica especí ica a In luxDB
[ oo @amdhead2 bsc099499]# wge -O esul .json
'h p://localhos :8086/que y?p e y= ue&u= oo &p=&db=g aphi e&q=SELECT * FROM
"ne da a.sys em.load.load1" GROUP BY hos ORDER BY ime DESC limi 3'
...
[ oo @amdhead2 bsc099499]# ca esul .json
{
" esul s": [
{
"s a emen _id": 0,
"se ies": [
{
"name": "ne da a.sys em.load.load1",

Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
70
" ags": {
"hos ": "amdlogin1"
},
"columns": [...],
" alues": [
["2024-09-29T23:59:50Z",
1.79],
["2021-07-19T05:17:25Z",
0.0542269],
["2021-07-19T05:17:15Z",
0.06]
]
},
Se cambia el TTL a 31536000 segundos (1 año) pa a que, en caso de que se deba a es o, pin e
el nodo de cualquie o o colo que no sea blanco y e ec i amen e, unciona.
–Visualización de los nodos y sus e ique as en OG3 2 según su posición lógica
co egida
Figu a 20: Visualización lógica de los nodos del clús e CTE-AMD co egida
–Visualización de los nodos y sus e ique as en OG3 2 según su posición ísica
Figu a 21: Visualización ísica de los nodos del clús e CTE-AMD co egida
Debido a es e imp e is o, se ha pe dido bas an e iempo, po lo que se decide p io iza la
a ea de empeza con la moni o ización de MN5 en OG3 2, dejando la moni o ización de es e
clús e pendien e de ac ualiza / einicia Ne da a en cada nodo pa a que ecoja las mé icas de
endimien o co ec amen e.
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
71
13. Implemen ación de OG3 2 en Ma eNos um 5
El Ma eNos um 5 [20] es un supe compu ado p e-exaescala alojado en el BSC. P opo ciona
una in aes uc u a de al o endimien o pa a aplicaciones que equie en una g an capacidad
de cómpu o y acele ación median e GPUs. A con inuación se desc ibe MN5 y las a eas que se
u ie on que hace pa a la implemen ación de OG3 2.
13.1. Desc ipción
La con igu ación de MN5 se bene icia de la a anzada a qui ec u a del supe compu ado , que
incluye 2 pa iciones p incipales:
Pa ición de P opósi o Gene al (GPP): Compues a po 6.480 nodos basados en
p ocesado es In el Sapphi e Rapids, cada uno con igu ado con:
P ocesado es: 2x In el Xeon Pla inum 8480+ a 2 GHz, con 56 núcleos cada uno,
o alizando 112 núcleos po nodo.
Memo ia: 256 GB de memo ia p incipal DDR5 po nodo, con 216 nodos
equipados con 1.024 GB pa a a eas que equie en mayo capacidad de
memo ia.
Almacenamien o local: 960 GB en NVMe pa a almacenamien o empo al.
In e conexión: Red In iniBand NDR200 compa ida po dos nodos,
p opo cionando un ancho de banda de 100 Gb/s po nodo.
Pa ición Acele ada (ACC): Cons a de 1.120 nodos que combinan p ocesado es In el
Sapphi e Rapids y GPUs NVIDIA Hoppe , cada uno con igu ado con:
P ocesado es: 2x In el Xeon Pla inum 8460Y+ a 2,3 GHz, con 40 núcleos cada
uno, o alizando 80 núcleos po nodo.
GPUs: 4x NVIDIA Hoppe H100 con 64 GB de memo ia HBM2 cada una,
op imizadas pa a a eas de in eligencia a i icial y simulaciones numé icas
in ensi as.
Memo ia: 512 GB de memo ia p incipal DDR5 po nodo.
Almacenamien o local: 480 GB en NVMe.
In e conexión: 4x conexiones In iniBand NDR200, p opo cionando un ancho de
banda o al de 800 Gb/s po nodo.
13.2. A qui ec u a de moni o ización
El sis ema de moni o ización del clús e MN5 se basa en he amien as obus as pa a la
ecopilación, análisis y isualización de mé icas en nodos de cómpu o, nodos de se icio, y
o os elemen os del clús e , como swi ches.
Funcionamien o gene al:
El sis ema u iliza Teleg a , In luxDB, G a ana yIcinga2 pa a la ecopilación de
mé icas, almacenamien o de da os, isualización, y ges ión de ale as. Además,
emplea Elas icSea ch y Kibana pa a el manejo de
logs
.
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
72
Diag ama y lujo del sis ema:
Figu a 22: Diag ama a qui ec u a moni o ing MN5
Componen es p incipales y lujo del diag ama
–Nodos de cómpu o:
oLos nodos de cómpu o en ían mé icas median e Teleg a , que ac úa
como agen e de ecopilación.
oLas mé icas se edi igen a a és de los nodos de se icio.
–Teleg a :
oHe amien a cen al pa a la ecopilación de mé icas del
ha dwa e
,
sis ema ope a i o y aplicaciones.
oU iliza plugins:
–Inpu Plugins: Pa a ecolec a mé icas.
–Ou pu Plugins: Pa a almacena da os en In luxDB o en ia los a
o os sis emas.
–Agg ega o Plugins: Pa a ag ega da os (p omedios, o ales, e c).
–P ocesso Plugins: Pa a ans o ma y il a mé icas an es del
almacenamien o.
–Nodos de se icios:
oReciben las mé icas desde los nodos de cómpu o.
oAc úan como in e media ios pa a ga an iza que las mé icas lleguen a
los nodos de moni o ización p incipales (mon1 ymon2).
–Nodos de moni o ización (mon1 y mon2):
oIn luxDB: base de da os de se ies empo ales pa a almacena mé icas
ecolec adas. Con igu ada pa a almacenamien o e icien e y consul a
ápida.
oG a ana: U ilizado pa a la isualización de mé icas median e
dashboa ds
in e ac i os. Los
dashboa ds
son eplicados au omá icamen e en e
mon1 y mon2 pa a ga an iza consis encia y al a disponibilidad.
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
73
oKibana: P opo ciona he amien as pa a explo a y analiza
logs
almacenados en Elas icSea ch. O ece isualizaciones especí icas pa a el
moni o eo de abajos y e en os en el sis ema.
oIcinga2: Sis ema de ale as con igu ado pa a en ia no i icaciones
cuando se de ec an anomalías, como se icios caídos o sob eca gas.
–Plani icado es (Schedules):
oGes ionan y o ganizan los jobs que los usua ios en ían al clús e .
oDe e minan en qué nodos de cómpu o se ejecu a á cada job, eniendo
en cuen a ac o es como disponibilidad de ecu sos, p io idades, y
polí icas del sis ema.
oIn e ac úan con el sis ema de colas, Slu m.
oGene an egis os de allados (
logs
) de los abajos, como iempos de
inicio, inalización, y consumo de ecu sos u ilizando Elas icSea ch.
13.3. Ins alación Pe _D
La ins alación y con igu ación de Pe _D equie e a ios pasos cla e que asegu an que el
daemon
uncione co ec amen e en el en o no del clús e .
Pun o de pa ida
A di e encia del pun o de pa ida en el clús e pequeño (CTE-AMD), en es a e apa ya es amos
amilia izados con Pe _D, dado que log amos ins ala lo co ec amen e. Po lo an o, el pun o
de pa ida en es e caso se á la e sión de Pe _D p e iamen e ins alada en el clús e CTE-AMD.
P epa ación del en o no
De igual mane a que en el clús e pequeño, nos asegu amos que el en o no cumple con los
equisi os necesa ios pa a ejecu a Pe _D:
–Pe l 5 ins alado.
–F amewo k Mojolicious disponible.
–Acceso oo al sis ema pa a ins ala y con igu a se icios.
A di e encia de la p epa ación del en o no en CTE-AMD, en MN5 no se o o gó acceso oo
debido a la c i icidad del sis ema y la necesidad de p ese a su es abilidad, dado que
cualquie e o en la con igu ación pod ía comp ome e el endimien o o la ope ación del
clús e . No obs an e, se asigno un usua io icinga con los pe misos necesa ios pa a la
ins alación y con igu ación de los se icios, pe mi iendo einicia y modi ica el se icio Pe _D
si e a eque ido.
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
80
13.6. P uebas y alidación
Algunas de las p uebas que se hicie on pa a la alidación de la in eg ación de MN5 como
clús e moni o izado po OG3 2 ue on:
–Ve i icación de la ecopilación de da os en la u a de nodos
Figu a 23: Da os de los nodos del clús e MN5
–Ve i icación de la ecopilación de da os en la u a de jobs
Figu a 24: Da os de los jobs del clús e MN5

Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
81
–Visualización de los nodos y sus e ique as en OG3 2 según su posición lógica
Figu a 25: Visualización lógica de los nodos del clús e MN5-GPP
–Visualización de los nodos y sus e ique as en OG3 2 según su posición ísica
Figu a 26: Visualización ísica de los nodos del clús e MN5-GPP
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
82
–Visualización de la lis a de abajos que es án ejecu ándose
Figu a 27: Visualización de la lis a de abajos ejecu ándose de los nodos del clús e MN5-GPP
–Visualización del esumen de abajos de la lis a de jobs que es án ejecu ándose
Figu a 28: Visualización del esumen de abajos de los nodos del clús e MN5-GPP
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
83
–C eación de la pes aña pa a la acción
checkjob
de un job en especí ico
Figu a 29: Acción checkjob pa a el job 14108755 en MN5-GPP
–C eación de la pes aña pa a la acción sljc de un job en especí ico
Figu a 30: Acción sljc pa a el job 14108755 en MN5-GPP
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
84
–Con igu ación de los umb ales de alo es de las mé icas
# Rangos de limi es de las di e en es mé icas
sel .THRESHOLD = {
'cpu_ emp': [45, 50, 60, 70],
'load_one': [0.5, 1.5, 2.5, 3.5],
'cpu_load_one': [0.25, 0.75, 1.04, 1.15],
'mem_ ee': [21474836480, 53687091200, 107374182400, 214748364800],
}
A di e encia del clús e CTE-ADM, no nos encon amos con p oblemas de l, los alo es
ecibidos po Teleg a y almacenados en In luxDB son co ec os y en iempo eal. Po lo que,
una ez con igu ados los umb ales de las mé icas que mos amos se pin an los nodos
dependiendo del alo de la mé ica y en el umb al en el que se encuen e.
–Ape u a de la pes aña de moni o ing pa a múl iples nodos que se encuen an
ejecu ando un job en el na egado web
Figu a 31: Acción moni o ing de los mú iples nodos que ejecu an un job en MN5-GPP
En es e panel se pueden analiza , pa a los múl iples nodos seleccionados, mé icas cla e como
la ca ga de CPU, el uso de la memo ia y el es ado gene al de los nodos, lo que pe mi e
iden i ica pa ones, op imiza el endimien o y de ec a posibles p oblemas en iempo eal.
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
85
–Visualización de la pes aña ELEGIBLE con su espec i a lis a de abajos y esumen
Figu a 32: Visualización de la pes aña ELEGIBLE en MN5-GPP
–Visualización de la pes aña BLOCKED con su espec i a lis a de abajos y esumen
Figu a 33: Visualización de la pes aña BLOCKED en MN5-GPP

Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
86
–Visualización de los logins y sus e ique as en OG3 2 según su posición lógica
Figu a 34: Visualización lógica de los logins del clús e MN5-GPP
–Úl imos pasos en la alidación de OG3 2
En es e pun o, nues o obje i o p incipal se ha log ado, se ha implemen ado un
sis ema de moni o ización OG3 2 en MN5. Sin emba go, debido a los imp e is os
causados du an e odo el desa ollo del p oyec o, ya sea po la al a de conocimien o,
e asos en la co eción de e o es, e c, solo se ha implemen ado OG3 2 pa a la
Pa ición de P opósi o Gene al (GPP).
Se ealiza una úl ima eunión pa a habla del cumplimien o de equisi os, en el que se
habla de di e en es pun os a a a :
–Debido al poco iempo de ma gen, se decide implemen a la pa ición de
Acele ada (ACC) en un u u o.
–Se mencionan posibles uncionalidades que end ía la pa ición de Acele ada.
–Se mencionan posibles uncionalidades que end ían los nodos de los clús e es
moni o izados.
–Se ecomienda subi el código a un eposi o io de Gi Lab compa ido con el
depa amen o de Ope aciones.
–Validación de los ac o es implicados en el p oyec o
Se p ocede a desplega la he amien a en un eposi o io de Gi Lab pa a que los
ac o es implicados en el p oyec o puedan es ea la en busca de
bugs
a co egi en un
plazo co o de iempo.
Una ez ha habido
eedback
de los posibles e o es que se mues an en la ejecución
de la he amien a, se p ocede a co egi cada uno de los e o es indicados, has a
habe solucionado odos.
Algunos de los e o es co egido ue on:
–La combinación de il ado, pode man ene el il ado de nodos y jobs a la ez.
–La selección de nodos según el job seleccionado.
–La combinación del il ado de nodos y jobs jun o al g adien e.
–Man ene el es ado de il ado o selección de nodos pasados 60 segundos
(ac ualización de los da os de OG3 2 po de ec o).
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
87
14. Ac ualizaciones y uncionalidades nue as de OG3 2
A lo la go del p oyec o, OG3 2 ha sido some ido a a ias ac ualizaciones y se han inco po ado
nue as uncionalidades pa a mejo a su capacidad de supe isión y ges ión de los clús e es.
Algunas de las nue as uncionalidades añadidas po mi se ían:
Tipos de mé icas dependiendo del clús e :
En la e sión o iginal de OG3 desa ollada en Pe l, los clús e es compa ían un
conjun o único de mé icas, lo que gene aba incong uencias al mos a mé icas
inexis en es pa a de e minados clús e es. Pa a soluciona es e p oblema, he
desa ollado una uncionalidad en OG3 2 que asegu a que cada ez que se cambia de
clús e , las mé icas mos adas co espondan únicamen e a aquellas que es én siendo
moni o izadas po el clús e seleccionado en ese momen o. Es o ga an iza una
isualización más p ecisa y e i a con usiones al supe isa mé icas especí icas.
Figu a 35: Menú de mé icas en el clús e CTE-AMD
Figu a 36: Menú de mé icas en el clús e MN5-GPP
Visualización ísica de los nodos po acks
Con la in ención de mejo a la expe iencia del usua io, se ha buscado acili a la
supe isión de los nodos de cómpu o de mane a que se puedan isualiza de o ma
ísica, como si los ie as alojado en el ack al que pe enece.
Es e ipo de isualización ya se conseguía en an e io es clús e es moni o izados
mos ando los nodos en ilas como si ue an un ack, uno al lado del o o.
Sin emba go, dado que la Pa ición de P opósi o Gene al (GPP) de MN5, con iene una
g an can idad de nodos, conc e amen e 6.480, puede esul a un poco peliagudo pa a
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
88
el usua io ene que es a odo el a o desplazando el able o pa a pode isualiza los
nodos de un ack en conc e o.
Po ejemplo, podemos e en una sola is a, odos los nodos del clús e CTE-AMD
(
Figu a 21
), pe o no podemos e odos los nodos de GPP de MN5 (
Figu a 26
).
Figu a 37: Layou de la in aes uc u a de MN5
Figu a 38: Layou de la in aes uc u a de MN5-GPP
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
89
Los 6.480 nodos de cómpu o de GPP se di iden en 90 acks, epa idos en 6 ilas y 15
columnas, cada ack aloja 72 nodos, epa idos en 36 ilas y 2 columnas.
Sabiendo es o, he diseñado una isualización nue a eniendo como e e encia el layou de la
in aes uc u a de los acks de la pa ición de GPP de MN5 y he c eado los a chi os:
–posi ions_physical_ acks.json: de ine las posiciones de los nodos en el able o ísico po
acks de OG3 2.
– ags_physical_ acks.json: de ine las e ique as de los nodos en el able o ísico po acks
de OG3 2.
A di e encia de la isualización physical_nodes, en la isualización physical_ acks se quie en e
odos los nodos del clús e en una única is a, po lo que hab án posiciones de los nodos que
no se án únicas, sino que hab á que selecciona las diciendo que acks que emos e .
Po lo an o, pa a soluciona es e con lic o, he añadido la uncionalidad de selecciona g upos
de 15 acks dependiendo del ack al que se seleccione con el a ón.
Figu a 39: Visualización ísica de los nodos pe enecien es a los acks g[46-60] del clús e MN5-GPP
De es a mane a pod emos con ola que el usua io pueda isualiza los nodos de los acks
que elija selecciona sin la necesidad de i se desplazando po el able o, y sólo dándole click al
ack que quie a e .
De igual mane a, pa a que haya cohe encia en e los nodos que se encuen an en la is a y la
lis a de abajos, se ha il ado la abla de abajos pa a que se mues en únicamen e los jobs
que es án ejecu ándose en los nodos isibles (seleccionando los nodos que ienen un job
unning y opacando los que no).
Pa a inaliza , se ha deshabili ado la opción de il a los nodos es ando en es e ipo de
isualización, ya que se es án il ando po acks seleccionados y no end ía sen ido combina
es as dos acciones.
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
96
o se _x = ((block-1) * 3 + ( - 1)) * ack_spacing
cu en _posx1 = ini ial_posx1 + o se _x
cu en _posx2 = ini ial_posx2 + o se _x
posy = ini ial_posy # Reiniciamos posy al alo inicial pa a cada ack
o b in ange(1, 73): # 72 nodos po ack
# Fo ma eamos el nomb e de cada nodo
key = "gs{gs:02} { }b{b:02}"
# Al e namos en e cu en _posx1 (izquie da) y cu en _posx2 (de echa)
posx = cu en _posx1 i b % 2 != 0 else cu en _posx2
# Asignamos los alo es de posx y posy pa a el nodo
da a[key] = {"posx": posx, "posy": posy}
# Reducimos posy en node_spacing_y después de cada pa de nodos
i b % 2 == 0:
posy -= node_spacing_y
e u n da a
de gene a e_posi ions_physical_ acks():
da a = {}
posy = 4.0
posx = 2.0
ow1 = 3.0
ow2 = 5.0
# Gene amos los alo es pa a los 90 acks
o in ange(1, 91):
# Fo ma eamos el nomb e de cada ack
key = " _g{ :02}"
# Asignamos alo es de posx y posy pa a el ack
da a[key] = {"posy": posy, "posx": posx}
i == 7 o == 22 o == 37 o == 52 o == 67 o == 82:
posx += ow1
eli == 11 o == 26 o == 41 o == 56 o == 71 o == 86:
posx += ow2
else:
# Inc emen amos posx pa a el siguien e ack
posx += 1.55
i == 60:
posy += 4.0
# Cada 15 acks, einiciamos posx y aumen amos posy en 39
i % 15 == 0:
posx = 2.0
posy += 6.5

Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
97
# Pa áme os iniciales
ini ial_posx1 = 32.5 # posición x de los nodos impa es en el p ime ack
ini ial_posx2 = 33.5 # posición x de los nodos pa es en el p ime ack
ini ial_posy = 41.5 # posición y inicial pa a cada ack
ack_spacing = 3.0 # sepa ación ho izon al en e acks
node_spacing_y = 1.0 # sepa ación e ical en e nodos
block = 0
# Gene amos los alo es pa a cada ack independien e
o gs in ange(1, 31): # Racks de 01 a 30
i gs % 5 == 1 and gs > 1:
block = 1
ini ial_posy = 41.5
else:
block += 1
o in ange(1, 4): # 1, 2, 3 son acks independien es
# Calculamos el desplazamien o ho izon al pa a cada ack (combinación única de gs y )
o se _x = ((block-1) * 3 + ( - 1)) * ack_spacing
cu en _posx1 = ini ial_posx1 + o se _x
cu en _posx2 = ini ial_posx2 + o se _x
posy = ini ial_posy # Reiniciamos posy al alo inicial pa a cada ack
o b in ange(1, 73): # 72 nodos po ack
# Fo ma eamos el nomb e de cada nodo
key = "gs{gs:02} { }b{b:02}"
# Al e namos en e cu en _posx1 (izquie da) y cu en _posx2 (de echa)
posx = cu en _posx1 i b % 2 != 0 else cu en _posx2
# Asignamos los alo es de posx y posy pa a el nodo
da a[key] = {"posx": posx, "posy": posy}
# Reducimos posy en node_spacing_y después de cada pa de nodos
i b % 2 == 0:
posy -= node_spacing_y
e u n da a
de sa e_json(da a, ilename):
# Gua damos en un a chi o JSON
wi h open( ilename, "w") as json_ ile:
json.dump(da a, json_ ile, inden =4)
p in ( "A chi o { ilename} gene ado exi osamen e.")
de main():
sa e_json(gene a e_posi ions_logical(), "posi ions_logical.json")
sa e_json(gene a e_posi ions_physical_nodes(), "posi ions_physical_nodes.json")
sa e_json(gene a e_posi ions_physical_ acks(), "posi ions_physical_ acks.json")
i __name__ == "__main__":
main()
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
98
gene a e_ ags.py
impo json
de gene a e_ ags_logical():
da a = {}
posy = 2
# Gene amos los alo es pa a los 90 acks
o gs in ange(1,31):
o in ange(1, 4):
posy += 1
# Fo ma eamos el nomb e de cada ack
key = "gs{gs:02} { }"
# Asignamos alo es de posx y posy
da a[key] = {"posy": posy, "posx": 0}
posy += 2
posx = 0
o i in ange(1, 5): # Pa a glogin1, glogin2, glogin3, glogin4
key = "glogin{i}"
da a[key] = {"posy": posy, "posx": posx}
posx += 5
e u n da a
de gene a e_ ags_physical_nodes():
da a = {}
posy = 2.5
posx = 1.5
# Gene amos los alo es pa a los 90 acks
o in ange(1, 91):
# Fo ma eamos el nomb e de cada ack
key = "g{ :02}"
# Asignamos alo es de posx y posy pa a el ack
da a[key] = {"posy": posy, "posx": posx}
# Inc emen amos posx pa a el siguien e ack
posx += 3.0
# Cada 15 acks, einiciamos posx y aumen amos posy en 39
i % 15 == 0:
posx = 1.5
posy += 39.0
e u n da a
de gene a e_ ags_physical_ acks():
da a = {}
posy = 2.5
posx = 1.5
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
99
ow1 = 3.0
ow2 = 5.0
# Gene amos los alo es pa a los 90 acks
o in ange(1, 91):
# Fo ma eamos el nomb e de cada ack
key = " _g{ :02}"
# Asignamos alo es de posx y posy pa a el ack
da a[key] = {"posy": posy, "posx": posx}
i == 7 o == 22 o == 37 o == 52 o == 67 o == 82:
posx += ow1
eli == 11 o == 26 o == 41 o == 56 o == 71 o == 86:
posx += ow2
else:
# Inc emen amos posx pa a el siguien e ack
posx += 1.55
i == 60:
posy += 4.0
# Cada 15 acks, einiciamos posx y aumen amos posy en 39
i % 15 == 0:
posx = 1.5
posy += 6.5
# Pa áme os iniciales
ini ial_posx = 32.25 # posición x inicial pa a cada ack
ini ial_posy = 5.0 # posición y inicial pa a cada ack
ack_spacing = 3.0 # sepa ación ho izon al en e acks
block = 0
# Gene amos los alo es pa a cada ack independien e
o gs in ange(1, 31): # Racks de 01 a 30
i gs % 5 == 1 and gs > 1:
block = 1
else:
block += 1
o in ange(1, 4): # 1, 2, 3 son acks independien es
# Calculamos el desplazamien o ho izon al pa a cada ack
posx = ((block-1) * 3 + ( - 1)) * ack_spacing + ini ial_posx
posy = ini ial_posy
g_index = (gs - 1) * 3 +
key = "g{g_index:02}"
# Asignamos los alo es de posx y posy pa a el nodo
da a[key] = {"posx": posx, "posy": posy}
e u n da a
de sa e_json(da a, ilename):
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
100
# Gua damos en un a chi o JSON
wi h open( ilename, "w") as json_ ile:
json.dump(da a, json_ ile, inden =4)
p in ( "A chi o { ilename} gene ado exi osamen e.")
de main():
sa e_json(gene a e_ ags_logical(), " ags_logical.json")
sa e_json(gene a e_ ags_physical_nodes(), " ags_physical_nodes.json")
sa e_json(gene a e_ ags_physical_ acks(), " ags_physical_ acks.json")
i __name__ == "__main__":
main()
Diag ama de clases comple o OG3 2
```me maid
classDiag am
class MyApp {
-job_lis _ unning : Lis
-job_lis _elegible : Lis
-job_lis _blocked : Lis
-da a_objec : Da a
-boa d : Boa d
-me ic_selec ed : s
-display_con ig_selec ed : s
-clus e _selec ed : s
-in e : bool
-uni : s
-me ics_menu : lis [s ]
-open_ abs : dic
- abs : dic
-s a us_labels : dic
- ime : QTime
-is_upda ing : bool
+__ini __()
+c ea eTabs()
+c ea eRunningTab( ab : QWidge )
+c ea eElegibleTab( ab : QWidge )
+c ea eBlockedTab( ab : QWidge )
+c ea eS a usBa ()
+c ea eJobsLis s()
+upda e_me ic(selec ed_op ion : s )
+change_display_con ig(selec ed_op ion : s )
+upda e_da a()
+ e esh()
+ e esh_g adien (scale_ ac o : in , uni : s , adjus _min : bool, adjus _max : bool)
+upda e_g adien ()
+change_clus e (selec ed_op ion : s )
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
101
+change_ il ()
+ oggle_ il ()
+selec _ ow( ow : in , job_lis : Lis )
+ ow_selec ion_changed(job_lis : Lis , cu en _ ow : in )
+ oggle_ e e se_colo s()
+joblis _menu(lis _ ype : s , posi ion : QPoin )
+c ea e_job_ ab(job : s , lis _ ype : s , ac ion : s )
+close_ ab( ab_id : s )
+open_in o(job_id : s )
+ oggle_g ad()
+keyP essE en (e en : QKeyE en )
+ e esh_g adien (scale_ ac o : in , uni : s , adjus _min : bool, adjus _max : bool)
+closeE en (e en : QCloseE en )
}
class Boa d {
-node_wid h : in
-node_heigh : in
-nodes_begin_x : in
-nodes_begin_y : in
-node_i ems : dic
- ack_i ems : dic
- ela ed_ acks : lis
-TOTAL_NODES : in
-USED_NODES : in
-GRADIENT : in
-GRADMIN : loa
-GRADMAX : loa
-REVERSE : bool
-TEXT_COLOR : s
-FONT_SIZE : in
-cu en _zoom : loa
-min_zoom : loa
-max_zoom : loa
-zoom_ ac o : loa
-selec _ ow : in
-selec _nodes : lis
-is_ac i e_selec ion : bool
- il e _nodes : bool
- il e _ ex _nodes : s
-display_ alue : s
-NODES : dic
-JOBS : dic
-POSITIONS : dic
-TAGS : dic
-METRIC : s
-STATUS_BAR : dic
-JOB_LIST : objec
-CANVAS : QWidge
-scene : QG aphicsScene

Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
102
-g aphics_ iew : QG aphicsView
+__ini __()
+adjus _sc ollba s()
+build(can as: QWidge , da a_objec : objec , job_lis : objec , s a us_ba : dic , me ic_selec ed:
s )
+change_display_con ig(da a_objec : objec , display: s )
+change_me ic(me ic: s )
+clea _boa d()
+d aw()
+e en Fil e (sou ce: objec , e en : QE en ) -> bool
+expand_node_ ange(node_ ange: s ) -> lis
+ il e _jobs_by_nodes()
+ il e _jobs_by_ acks(selec ed_ acks: lis )
+ il e _jobs_by_ ex ()
+ il e _nodes_by_ acks(selec ed_ acks: lis )
+ge _colo ( alue, ali e: in , me ic: s , suspend: in = None) -> s
+ge _g ad_max() -> loa
+ge _g ad_min() -> loa
+ge _nodes_ o _job(job_ids: lis | s ) -> lis
+ge _ ela ed_ acks( ack_name: s ) -> lis
+ge _s a ime_ o _job(job_id: s ) -> in | None
+g adien (num: loa ) -> s
+highligh _ able_jobs(job_ids: lis )
+on_node_click( ec : QG aphicsRec I em)
+on_node_ho e _en e ( ec : QG aphicsRec I em)
+on_node_ho e _lea e()
+on_ ack_click( ack_name: s )
+on_ ack_ho e _en e ( ec : QG aphicsRec I em)
+on_ ack_ho e _lea e()
+ ese _job_ il e ()
+ ese _node_colo s()
+ e e se_colo s(s a e: bool)
+selec _jobs_ o _node(node_name: s )
+selec _nodes_ o _job(job_ids: lis | s = None)
+selec _ acks()
+se _g ad_max(g ad_max: loa )
+se _g ad_min(g ad_min: loa )
+se _g adien ( alue: bool)
+se _ini ial_ i s _ ack_g oup()
+se _ini ial_zoom(display_ alue: s )
+upda e(da a_objec : objec = None)
+zoom_in()
+zoom_ou ()
@s a icme hod
+by es_ o_human(by es: in , mul: in = 1024) -> s
}
class Da a {
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
103
-NODES : dic
-JOBS : dic
-RUNNING : dic
-ELEGIBLE : dic
-BLOCKED : dic
-POSITIONS : dic
-TAGS : dic
-MAX : loa
-MIN : loa
-DATE : s
-ADDR : s
-METRIC : s
-DISPLAY : s
-CLUSTER : s
-CLUSTERS : dic
-UA : eques s.Session
-SRV : s
-coun _a emp : in
-CONFIG : dic
+__ini __()
+build(me ic: s , display: s )
+upda e()
+ge _ac i e_jobs()
+ge _ emaining(job: s ) -> in | None
+ge _nodes()
+ ese _node_da a()
+ ese _job_da a()
+ge _posi ions(display_con ig: s )
+ge _ ags(display_con ig: s )
+ge _cpu_load_one()
+ge _cpu_a g_ emp()
+ge _load_da a()
+ ese _load_da a()
+checkjob(job: s ) -> s
+sljc (job: s ) -> s
+moni o ing_add () -> s | None
+se _me ic(me ic: s )
+ge _me ic() -> s
+se _display(display: s )
+ge _display() -> s
+se _clus e (clus e : s )
+ge _clus e () -> s
+ge _max() -> loa
+ge _min() -> loa
}
class Lis {
- able_widge : QTableWidge
-las _selec ed_ ow : in
Implemen ación de un sis ema de moni o ización OG3 en el supe compu ado Ma eNos um 5
An ony Joel Baño Vaca
104
-COLID : lis
-HEADER : lis
-COLFORMAT : lis
-COLWIDTH : lis
-TYPE : lis
-SORTCOL : in
-SORTASC : bool
-FONTSIZE : in
-BFONT : s
-LIMIT : in | None
-TOTAL : bool
- il e _en y : QLineEdi
-summa y_ ame : QF ame
-summa y_layou : QVBoxLayou
-JOB_LIST : dic
+__ini __()
+se _selec ed( ow: in )
+ge _selec ed( ow: in ) -> QTableWidge I em | None
+se _limi (limi : in | None)
+ge _limi () -> in | None
+se _ o al( o al: bool | None)
+ge _ o al() -> bool | None
+ egis e _column(col_id: s , name: s , o ma _s : s , col_ ype: s , wid h: in , so _de : s |
None, so _di : bool | None)
+ egis e _job_lis (job_lis : dic , clus e : s )
+build(pa en _job_widge : QWidge , pa en _summa y_widge : QWidge , ype_lis : s )
+upda e( able_widge : QTableWidge )
+apply_ il e ()
+ il e _jobs_by_pa i ion(jobs: dic , pa i ion: s = "gpp") -> dic
+ge _ isible_jobs() -> lis
+change_so (col: in )
+so _ able(col: in , so _ unc: callable)
+so _alpha( alue: s ) -> s
+so _num( alue: s ) -> in | loa
+so _ ime( alue: s ) -> in | loa
+so _da e( alue: s ) -> da e ime
}
MyApp --> Boa d
MyApp --> Da a
MyApp --> Lis
Boa d --> Da a
```