Medida del rendimiento: Benchmarks: v.1.0

Medida del endimien o Benchma ks V 1.0 José M. Cáma a ([email protected]) Mo i ación El endimien o debe se e aluado pa a: Valo a el compo amien o del sis ema. Compa a a ios sis emas. Op imiza la u ilización. Elimina cuellos de bo ella. Cuan i ica el endimien o es una a ea ab umado a: Los sis emas son dis in os en e sí. Son muy complejos. Manejan una amplia a iedad de aplicaciones y da os. Mé icas La encia: iempo pa a comple a una acción: en ia un mensaje, ejecu a un p og ama, esponde a una pe ición… En unción de la si uación se puede exp esa ambién como iempo de ejecución o como iempo de espues a. Th oughpu : a eas comple adas po unidad de iempo: ins ucciones, mensajes, consul as… Th oughpu = 1/ la encia solo cuando no se p oduce solapamien o (pipe-line de ins ucciones o de mensajes). Si no h oughpu > 1/ la encia. Benchma ks Concep o: p og ama de aplicación empleado pa a cuan i ica el endimien o de un compu ado . Obje i o: los esul ados deben se numé icos, obje i os y equi a i os. Tipos:  P og amas eales. Sin é icos. Ke nels. Jugue es. Sui es. Benchma ks Los p og amas eales pa ecen a p io i la opción más obje i a, pe o a menudo sus esul ados son di íciles de in e p e a y poco ex apolables ya que muchos sis emas se en a ec ados po ellos de o ma incie a y a iable. Los benchma ks sin é icos se diseñan pa a e leja el endimien o de cie os subsis emas. Pa a e alua odos los subsis emas lo adecuado es emplea una sui e de p og amas sin é icos. Los ke nels son simila es a p og amas eales. Eliminan lo que no es ele an e, como la in e az de usua io, los esul ados del cálculo, e c. Los jugue es son p og amas co os que p oducen esul ados ya conocidos po el usua io. E aluación de esul ados Las sui es de benchma ks es án compues as po p og amas di e en es. El endimien o de los sis emas puede se di e en e bajo cada uno de ellos. Una compa ación di ec a no es posible en es e caso. Se u ilizan mé icas más elabo adas: Media a i mé ica: 𝐴𝐴𝐴𝐴 = ∑ 𝑟𝑟𝑖𝑖 𝑁𝑁 𝑖𝑖 𝑁𝑁. No es ace ada cuando las p uebas no es án elacionadas. La más la ga iende a ma ca la endencia. Media geomé ica: 𝐺𝐺𝐴𝐴 = ∏ 𝑟𝑟𝑖𝑖 𝑁𝑁 𝑖𝑖 𝑁𝑁 . Su u ilidad no es á muy cla a. Media a mónica: 𝐻𝐻𝐴𝐴 =𝑁𝑁 ∑ 1 𝑟𝑟𝑖𝑖 𝑁𝑁 𝑖𝑖 Los esul ados 𝑟𝑟𝑖𝑖 pueden se iempos de ejecución absolu os (o sus in e sos) o inc emen os ( e e idos a un sis ema conc e o). Compa ación de medias Pensemos en un conjun o de p uebas en las que los iempos de ejecución son: 1s, 4s y 10s. La media a i mé ica es 5s. Es co ec o pe o, eniendo en cuen a que los p og amas co os se pueden ejecu a un núme o mayo de eces que los la gos, quizá debe ían pesa más en la media. La media a mónica es 3/1,35 = 2,22s. Es o pod ía e leja mejo el endimien o global del sis ema. Selección de benchma ks Sis emas dis in os equie en benchma ks di e en es. Vamos a conside a dos ipos de se ido es: supe compu ado es y cen os de da os. En los supe compu ado es, independien emen e del subsis ema que que amos e alua , lo que impo a es el iempo de ejecución (el h oughpu suele se ambién ele an e). Los esul ados se p opo cionan habi ualmen e como FLOPS. En los cen os de da os el iempo de espues a es lo que el usua io pe cibe como “ endimien o”. El h oughpu no iene mucho sen ido en es e ámbi o. Los esul ados se pueden p opo ciona como elación SLO/SLA (se ice le el objec i es/ag eemen s). Po ejemplo: 99% de espues as en menos de 100ms. E aluación de supe compu ado es De la go, el benchma k más popula pa a supe compu ado es es el Linpack. P opo ciona el endimien o en FLOPS bajo la ejecución de un ke nel basado en la esolución de sis emas de ecuaciones lineales. Es el banco de p uebas pa a el anking Top500. NAS NPB: es una sui e de ke nels desa ollada po la NASA. Los ke nels in en an e leja el núcleo de cálculo de aplicaciones ípicas en mecánica de luidos jun o con o as aplicaciones habi uales elacionadas con su ac i idad. Todos los benchma ks lle an asociados cálculos pesados; di ie en en el p oblema que esuel en y en el olumen de á ico de comunicación que gene an: EP: Emba assingly Pa allel. Conlle a cálculo pe o poca comunicación en e p ocesos. MG: Mul ig id. A di e encia del an e io p o oca comunicación en e p ocesado es p óximos y lejanos. CG: Conjuga e G adien . P o oca un bajo olumen de comunicación muy espa cida en e nodos p óximos y lejanos. FT: Fou ie T ans o m. Pa ón de comunicación abundan e y uni o memen e dis ibuida. IS: In ege So . La comunicación es pesada y uni o me, pe o no an pesada ni uni o me como en el caso an e io . LU, SP & BT: abo dan el mismo p oblema ma emá ico usando algo i mos di e en es. BT es “menos pa alela” que el es o.