Medida del endimien o
Benchma ks
V 1.0
José M. Cáma a
([email protected])
Mo i ación
El endimien o debe se e aluado pa a:
Valo a el compo amien o del sis ema.
Compa a a ios sis emas.
Op imiza la u ilización.
Elimina cuellos de bo ella.
Cuan i ica el endimien o es una a ea
ab umado a:
Los sis emas son dis in os en e sí.
Son muy complejos.
Manejan una amplia a iedad de aplicaciones y da os.
Mé icas
La encia: iempo pa a comple a una acción:
en ia un mensaje, ejecu a un p og ama,
esponde a una pe ición… En unción de la
si uación se puede exp esa ambién como
iempo de ejecución o como iempo de
espues a.
Th oughpu : a eas comple adas po unidad de
iempo: ins ucciones, mensajes, consul as…
Th oughpu = 1/ la encia solo cuando no se
p oduce solapamien o (pipe-line de ins ucciones
o de mensajes). Si no h oughpu > 1/ la encia.
Benchma ks
Concep o: p og ama de aplicación empleado pa a
cuan i ica el endimien o de un compu ado .
Obje i o: los esul ados deben se numé icos,
obje i os y equi a i os.
Tipos:
 P og amas eales.
Sin é icos.
Ke nels.
Jugue es.
Sui es.
Benchma ks
Los p og amas eales pa ecen a p io i la opción más
obje i a, pe o a menudo sus esul ados son di íciles de
in e p e a y poco ex apolables ya que muchos
sis emas se en a ec ados po ellos de o ma incie a y
a iable.
Los benchma ks sin é icos se diseñan pa a e leja el
endimien o de cie os subsis emas.
Pa a e alua odos los subsis emas lo adecuado es
emplea una sui e de p og amas sin é icos.
Los ke nels son simila es a p og amas eales. Eliminan
lo que no es ele an e, como la in e az de usua io, los
esul ados del cálculo, e c.
Los jugue es son p og amas co os que p oducen
esul ados ya conocidos po el usua io.

E aluación de esul ados
Las sui es de benchma ks es án compues as po p og amas
di e en es. El endimien o de los sis emas puede se di e en e bajo
cada uno de ellos.
Una compa ación di ec a no es posible en es e caso.
Se u ilizan mé icas más elabo adas:
Media a i mé ica: 𝐴𝐴𝐴𝐴 =
∑
𝑟𝑟𝑖𝑖
𝑁𝑁
𝑖𝑖
𝑁𝑁. No es ace ada cuando las p uebas no
es án elacionadas. La más la ga iende a ma ca la endencia.
Media geomé ica: 𝐺𝐺𝐴𝐴 =
∏
𝑟𝑟𝑖𝑖
𝑁𝑁
𝑖𝑖
𝑁𝑁 . Su u ilidad no es á muy cla a.
Media a mónica: 𝐻𝐻𝐴𝐴 =𝑁𝑁
∑
1
𝑟𝑟𝑖𝑖
𝑁𝑁
𝑖𝑖
Los esul ados 𝑟𝑟𝑖𝑖 pueden se iempos de ejecución absolu os (o sus
in e sos) o inc emen os ( e e idos a un sis ema conc e o).
Compa ación de medias
Pensemos en un conjun o de p uebas en las
que los iempos de ejecución son: 1s, 4s y 10s.
La media a i mé ica es 5s. Es co ec o pe o,
eniendo en cuen a que los p og amas co os
se pueden ejecu a un núme o mayo de
eces que los la gos, quizá debe ían pesa más
en la media.
La media a mónica es 3/1,35 = 2,22s. Es o
pod ía e leja mejo el endimien o global del
sis ema.
Selección de benchma ks
Sis emas dis in os equie en benchma ks di e en es.
Vamos a conside a dos ipos de se ido es:
supe compu ado es y cen os de da os.
En los supe compu ado es, independien emen e del
subsis ema que que amos e alua , lo que impo a es el
iempo de ejecución (el h oughpu suele se ambién
ele an e). Los esul ados se p opo cionan habi ualmen e
como FLOPS.
En los cen os de da os el iempo de espues a es lo que el
usua io pe cibe como “ endimien o”. El h oughpu no
iene mucho sen ido en es e ámbi o. Los esul ados se
pueden p opo ciona como elación SLO/SLA (se ice le el
objec i es/ag eemen s). Po ejemplo: 99% de espues as
en menos de 100ms.
E aluación de supe compu ado es
De la go, el benchma k más popula pa a supe compu ado es es el Linpack.
P opo ciona el endimien o en FLOPS bajo la ejecución de un ke nel basado en la
esolución de sis emas de ecuaciones lineales. Es el banco de p uebas pa a el
anking Top500.
NAS NPB: es una sui e de ke nels desa ollada po la NASA. Los ke nels in en an
e leja el núcleo de cálculo de aplicaciones ípicas en mecánica de luidos jun o
con o as aplicaciones habi uales elacionadas con su ac i idad. Todos los
benchma ks lle an asociados cálculos pesados; di ie en en el p oblema que
esuel en y en el olumen de á ico de comunicación que gene an:
EP: Emba assingly Pa allel. Conlle a cálculo pe o poca comunicación en e p ocesos.
MG: Mul ig id. A di e encia del an e io p o oca comunicación en e p ocesado es
p óximos y lejanos.
CG: Conjuga e G adien . P o oca un bajo olumen de comunicación muy espa cida
en e nodos p óximos y lejanos.
FT: Fou ie T ans o m. Pa ón de comunicación abundan e y uni o memen e dis ibuida.
IS: In ege So . La comunicación es pesada y uni o me, pe o no an pesada ni uni o me
como en el caso an e io .
LU, SP & BT: abo dan el mismo p oblema ma emá ico usando algo i mos di e en es. BT
es “menos pa alela” que el es o.