Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y...
Transcript of Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y...
![Page 1: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/1.jpg)
Procesamiento ParaleloComunicaciones y Sinconizaciones
Javier Iparraguirre
Universidad Tecnologica Nacional, Facultad Regional Bahıa Blanca11 de Abril 461, Bahıa Blanca, Argentina
http://www.frbb.utn.edu.ar/hpc/
27 de marzo de 2016
![Page 2: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/2.jpg)
Marco Conteptual
![Page 3: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/3.jpg)
Lo que Viene
• Comunicaciones [1]• Broadcast - Reduction• Reduction - Prefix• Scatter - Gather• Shift
• Sincronizaciones [2] [3]• Condiciones de carrera• Exclusion mutua• Secciones crıticas• Semaforos• Sincronizacion por barreras
![Page 4: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/4.jpg)
Comunicaciones
![Page 5: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/5.jpg)
Definiciones
• Ts tiempo de latencia para el comienzo de unatransferencia
• Tw tiempo de transferencia de una palabra
![Page 6: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/6.jpg)
One-to-all Broadcast All-to-one Reduction
![Page 7: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/7.jpg)
One-to-all Broadcast on a Ring
![Page 8: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/8.jpg)
All-to-one Reduction on a Ring
![Page 9: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/9.jpg)
All-to-one Broadcast on a Mesh
![Page 10: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/10.jpg)
All-to-one Broadcast on a Hypercube
![Page 11: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/11.jpg)
All-to-all Broadcast and Reduction
![Page 12: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/12.jpg)
All-to-all Broadcast on a Ring (1 of 7)
![Page 13: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/13.jpg)
All-to-all Broadcast on a Ring (2 of 7)
![Page 14: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/14.jpg)
All-to-all Broadcast on a Ring (3 of 7)
![Page 15: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/15.jpg)
All-to-all Broadcast on a Hypercube
![Page 16: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/16.jpg)
Scatter and Gather
![Page 17: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/17.jpg)
Scatter and Gather on Hypercube
![Page 18: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/18.jpg)
All to All Personalized
![Page 19: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/19.jpg)
All to All Personalized on Hypercube
![Page 20: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/20.jpg)
Shift
![Page 21: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/21.jpg)
Comunicaciones en Numeros
![Page 22: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/22.jpg)
Resumen Comunicaciones
• Dependiendo el problema se elige la comunicacionnecesaria
• Es importante el costo de la comunicacion• Si tenemos perdidas en la comunicaciones perdemos
tiempo!!
![Page 23: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/23.jpg)
Sincronizaciones
![Page 24: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/24.jpg)
Procesos
• Tenemos procesos con contadores de programaseparados
• Vemos los problemas de sincronizarlos con recursoscompartidos
![Page 25: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/25.jpg)
Condiciones de carrera
• Dos procesos (A y B) acceden a una variable• A lee el valor, computa y va a escribir el resultado• Antes de escribir A nota que B cambia el valor• Con el nuevo valor A recalcula y escribe
• Si B esta haciendo algo similar: CARRERA!
![Page 26: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/26.jpg)
Condiciones de carrera
• Dos procesos (A y B) acceden a una variable• A lee el valor, computa y va a escribir el resultado• Antes de escribir A nota que B cambia el valor• Con el nuevo valor A recalcula y escribe• Si B esta haciendo algo similar: CARRERA!
![Page 27: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/27.jpg)
Exclusion Mutua
• Exclusion Mutua: una solucion para evitar la carrera• Cuando uno accede, el otro queda excluıdo
![Page 28: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/28.jpg)
Seccion Crıtica
• Implementacion de exclusion mutua• Se debe cumplir 4 condiciones:
• No se permiten dos procesos en la seccion crıtica (SC)• No se puede asumir nada respecto a las velocidades de los
procesos• Ningun proceso corriendo fuera de la SC puede bloquear al
resto• No podemos tener un procesos esperado para siempre
para entrar a la SC
![Page 29: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/29.jpg)
Semaforos: un Ejemplo de Monitores [2]
![Page 30: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/30.jpg)
Barreras
• La barrera detiene un proceso hasta que el resto de losprocesos que intervienen alcanzan las condicionesesperadas
• Pueden ser implementadas de varias formas: contador,mutex, variable condicional
• Hay varios tipos de barreras, ver [2]
![Page 31: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/31.jpg)
Contacto
![Page 33: Procesamiento Paralelo - Comunicaciones y Sinconizaciones Procesamiento Paralelo Comunicaciones y Sinconizaciones Javier Iparraguirre Universidad Tecnologica Nacional, Facultad Regional](https://reader034.fdocuments.mx/reader034/viewer/2022042709/5f440ac019a4c7077d66f65a/html5/thumbnails/33.jpg)
Referencias
[1] G. Ananth, G. Anshul, K. George, and K. Vipin.Introduction to parallel computing, 2003.
[2] M. Herlihy and N. Shavit.The art of multiprocessor programming.Morgan Kaufmann Pub, 2008.
[3] A.S. Tanenbaum and A.S. Woodhull.Operating systems: design and implementation.1987.