Supercomputación y Eficiencia Energética Octubre 2008.

Supercomputación y Eficiencia EnergéticaOctubre 2008

© 2008 Catón Sistemas Alternativos

“Si comenzamos a utilizar clusters HPC por razones de eficiencia...¿Por qué no los diseñamos para que sean eficientes?”

La Magnitud del Problema


• Supongamos un cluster de tamaño medio: 250 nodos• Si tenemos un consumo por nodo de 400W, el consumo total será de

100Kw...• ...lo que es lo mismo: 10€/hora• ...240€/día• ...87.600€/año• ¡Solo en el consumo del sistema!

En otros términos


• El mix de generación de energía en España, provoca unas emisiones de CO₂ de 340gr/kwh

• Por tanto, nuestro cluster emite...• ...34Kg CO₂ a la hora• ...816Kg CO₂ al día• ...¡300 Toneladas de CO₂ al año sólo en el consumo del sistema!

Falta sumar el consumo de refrigeración...

top500


“Hasta ahora, la lista top500 medía fuerza bruta,Pero ya ha aparecido un nuevo concepto: MFLOP/W”

En sistemas x86, el record está en 266MFLOP/W

Refrigeración


• Los 100Kw de nuestro cluster, se convierten en calor que hay que disipar.

• La dimensión de los clusters de hoy en día y su densidad, suponen un reto de ingeniería.

• Si nuestro cluser teórico lo construimos con sistemas twin de 1U, tendremos ¡80 nodos en un rack!

• Es decir, 32Kw• Esto supone un problema, no solo para las PDU’s, sino para su

refrigeración.

Refrigeración Clásica


Consecuencias


• El coste en electricidad de un nodo en tres años es prácticamente igual a su coste de compra.

• En un mundo en el que la energía es muy costosa, y con graves consecuencias sobre el medio ambiente, es imprescindible diseñar sistemas eficientes.

• Esta obligación no es sólo económica, es también ética.

Buenas Prácticas


1. Diseñar el sistema con criterios de eficiencia.

2. Utilizar los mismos criterios en su explotación.

3. Prestar la atención que merecen las infraestructuras, y en especial el sistema de frío.

Diseño del Sistema


• Elección adecuada de la plataforma, y especialmente del procesador• No caer en el error del “ultimo modelo”

• Utilicemos el ejemplo de nuestro cluster de 250 nodos:• Basado en sistemas twin.• Red de Baja Latencia Infiniband DDR sobre un único

switch• Todos los elementos iguales (hardware y software),

variando la elección del procesador.

Diseño del Sistema


Opción A: L5420 (50W)• Linpack: 16,8 TeraFLOPS• Consumo: 90Kw/h• Eficiencia: 186MFLOPS/W• Coste compra: 1• Coste total 3 años: 1,45

Opción B: X5460 (120W)• Linpack: 19,6 TeraFLOPS• Consumo: 125Kw/h• Eficiencia: 157 MFLOPS/W• Coste compra: 1,22• Coste total 3 años: 1,86

Los 2,8 TeraFLOPS adicionales tienen un coste desmesurado!!

La Eficiencia es rentable


• La eficiencia es rentable: si hacemos la inversión de la Opción “B”, con los criterios de la “A”, obtendremos un sistema de 21,5TeraFLOPS...

• ...Pero si hacemos la inversión “A” con los criterios de la “B”, obtendremos 15,3 TeraFLOPS.

• Conclusiones:• El problema tiene una magnitud considerable.• Esto es sólo un ejemplo. Son muchas las variables a

analizar.• La diferencia entre “lo que invierto” y “lo que obtengo”

puede ser enorme.• Es muy difícil aparecer en la lista top500. Pero la lista de

eficiencia está abierta a cualquier rango de instalación.

Buenas prácticas en la gestión del sistema


• Configuración (BIOS, demonios de gestión de energía) correcta para el ahorro.

• Se supone que lo óptimo es tener el sistema con el 100% de carga. ¿Qué pasa en momentos en que no se esté utilizando?

• La solución: gestores de colas que apagan y encienden nodos!!

Sistema de Frío

© 2008 Catón Sistemas AlternativosCatón Confidential / Distribute only under NDA

• Obviamente, el sistema debe estar alojado en unas infraestructuras adecuadas de Sala.

• Se supone el cumplimiento de la norma TIA-942• Atención al problema de la alta densidad• El sistema de frío no sólo debe ser capaz de refrigerar el

sistema, también debe hacerlo de forma eficiente.• ¿Es necesario que el sistema se constipe?

Sistemas eficientes de Frío


• Temperatura adecuada• Refrigeración de sistemas no de salas• Lo más eficiente hoy en día son enfriadoras de agua con

intercambiadores de calor a bordo de los racks• Estudiar la rentabilidad de sistemas Free Cooling

Supercomputación y Eficiencia Energética Octubre 2008.

Documents

Transcript of Supercomputación y Eficiencia Energética Octubre 2008.