Sistemas Operativos II MC. Daniel Fajardo Delgado INSTITUTO TECNOLÓGICO DE CD. GUZMÁN 1o de Mayo...
-
Upload
eugenia-rengifo -
Category
Documents
-
view
219 -
download
0
Transcript of Sistemas Operativos II MC. Daniel Fajardo Delgado INSTITUTO TECNOLÓGICO DE CD. GUZMÁN 1o de Mayo...
Sistemas Operativos IISistemas Operativos II
MC. Daniel Fajardo Delgado
INSTITUTO TECNOLÓGICO DE CD. GUZMÁNINSTITUTO TECNOLÓGICO DE CD. GUZMÁN
1o de Mayo de 2004
COMPUTACIÓN PARALELA
Existe demanda de rapidez computacional...
- Predicción numérica del clima.- Modelación de estructuras de ADN.- Predicción de movimientos de cuerpos astronómicos en el espacio.- Realidad virtual.- ... the grand challenge problems
Los cálculos deben ser completados en un periodo de tiempo “razonable”.
Para incrementar la rapidez computacional básicamente: Se divide el problema en partes, donde cada parte se desarrolla en un procesador separado en paralelo.
Escribir programas de esa forma ~> parallel programmingLa plataforma donde se desarrolla ~> parallel computerLa ciencia que engloba ésto ~> parallel computing
Además de incrementar la rapidez para resolver un problema:
- Permite obtener una solución con mayor precisión del problema.
Las computadoras paralelas no son una idea nueva...
- 1958 Gill (parallel programming)- 1959 Holland (parallel computer)- 1963 Conway (diseño de una parallel computer y su programación)- ... 1996 Flynn y Rudd (el futuro es paralelismo)
Computadora paralela. Colección de procesadores interconectados en cierta forma para coordinar tareas e intercambiar información.
Sistema distribuido. Colección de procesadores distribuidos en una gran área geográfica.
Los factores que contribuyen al desarrollo del procesamiento paralelo:
- Hardware barato- Alta escala de integración- Limitaciones físicas de procesadores
TIPOS DE COMPUTADORAS PARALELAS
Memoria principal
Procesador
Una computadora convencional consiste de un procesador ejecutando un programa almacenado en memoria principal. Cada localidad de memoria principal en todas las computadoras es localizada mediante un número llamado dirección de memoria ( 0 – {2^n - 1})
Instrucciones del procesador.
Los datos van y vienen al procesador.
Red de interconexión
Módulos de memoria
Procesadores
Un espacio de direcciones
Sistema multiprocesador de memoria compartida
Red de interconexión
Computadoras
Memoria local
Procesador
Mensajes
Multicomputadora de paso de mensajes
Red de interconexión
Memoria distribuida
Procesador
Mensajes
Memoria distribuida-compartida
TAXONOMIA DE FLYNN
~> Fue introducida en 1972 y es una de las taxonomías más conocidas sobre arquitectura de computadoras.
~> Michael Flynn clasificó las arquitecturas en 4 categorías basadas sobre la presencia de uno o múltiples apuntadores a instrucciones y datos.
Un apuntador a instrucción es un conjunto de instrucciones secuenciales a ser ejecutadas por sólo un procesador.
El apuntador a datos es un flujo secuencial de datos solicitados mediante un apuntador a instrucción.
Las 4 categorias de Flynn son las siguientes:
1. SISD (Single Instruction stream – Single Data stream).~> Es el concepto de la computadora secuencial de Von Neumann~> Sólo una instrucción es ejecutada a la vez~> Las máquinas SISD son de propósito general como las pc que
normalmente utilizamos (aunque incluso las pc de hoy en día utilizan grados pequeños de paralelismo).
2. MISD (Multiple Instruction stream – Single Data stream).~> Varias instrucciones operan sobre un conjunto simple de datos.~> Distintas unidades de procesamiento reciben instrucciones
distintas de operación sobre el mismo dato. (Es impráctico o imposible).~> Existen algunas arquitecturas pipelined como el Systolic Array.
3. SIMD (Single Instruction stream – Multiple Data stream).~> Sólo una instrucción es aplicada a datos diferentes al mismo
tiempo.~> Unidades sepadaras de procesamiento son llamadas por una
unidad simple de control.~> La misma operación es desarrollada en un momento dado
sobre un conjunto grande de datos.
4. MIMD (Multiple Instruction stream – Multiple Data stream).~> Incluye máquinas con varias unidades de procesamiento.~> Múltiples instrucciones pueden ser aplicadas a distintos datos
simultaneamente.~> Multiprocesadores.~> Multicomputadoras.
ACELERACIÓN, EFICIENCIA Y REDUNDANCIA
Speedup (Sp, Aceleración):El factor dado por el tiempo necesario para resolver un problema
dado usando el mejor algoritmo secuencial conocido y el tiempo necesario para resolver el mismo problema por un algoritmo paralelo usando p procesadores.
Sea:
Ts(N) tiempo requerido para resolver un problema de tamaño N por el mejor algoritmo secuencial.
Tp(N) tiempo necesario para que el algoritmo paralelo usando p procesadores resuelva el mismo problema de tamaño N.
EntoncesSp = Ts(N) / Tp(N)
Tal que:1 <= Sp <= p
Debido a la pérdida de tiempo en operaciones de:
- Sincronización
- Comunicación
- overhead
Si Sp > p se le llama speedup superlineal.
Eficiencia (Ep)
La eficiencia de un algoritmo paralelo se define como el factor dado por el factor de aceleración y el número de procesadores.
Ep = Sp / p
0 < Ep <= 1
Redundancia (Rp)
La redundancia de un algoritmo paralelo se define como el factor dado por el número total de operaciones realizadas usando p procesadores (Op) y el número de operaciones realizadas usando un procesador.
Rp = Op / O1
Rp >= 1
LEY DE AMDAHL
Un número pequeño de operaciones secuenciales puede limitar el factor de aceleración de un algoritmo paralelo.
Sea s el tiempo de ejecución de la parte secuencial del algoritmo. Sea p el tiempo de ejecutar la parte paralela del algoritmo.
s + p = 1 que es la unidad del algoritmo completo. Así s y p son fracciones del cálculo total.
Para n número de procesadores, se tiene:
s + p 1Sp = -------------- = --------------- s + p/n s + (1-s)/n
Corolario de la ley de Amdahl.
Un pequeño número de operaciones secuenciales puede limitar de manera significativa el speedup alcanzado por un algoritmo paralelo.
MODELS FORPARALLEL COMPUTATION
Susanne E. Hambrusch
MODELOS PARALELOS
~> Son mucho más complejos que los modelos secuenciales (RAM)
~> Es deseable que los modelos (paralelos) tengan las siguientes características:
* Simples
* Independientes del hardware
* Implementables
RAM. Random Access Machine
PRAM. Parallel Random Access Machine
P M
P1 P2 P3 P4 Pn
M
Grafos Acíclicos Dirigidos (DAG's)
Entradas. Las hojas del árbol.
Operación. Nodos con aristas de entrada.
Salidas. Nodos sin aristas de salida.
Indegree (Grado de entrada). # de aristas que entran a un nodo.
Outdegree (Grado de salida). # de aristas que salen de un nodo.
- No se permiten saltos.- Se fijan restricciones de precedencia (orden de ejecución).- Independiente del hardware.
A1
+
A2
+
A3
+
A4
+
A5
+
+ +
A1 A2 A3 A4
Modelo de RED
Están muy relacionados al hardware
Modelo Log P
Modelo PRAM (Parallel Random Access Machine)
- Existen p procesadores
- Cada procesador tiene memoria local
- Cada procesador comparte un espacio de memoria común
- Cada procesador puede acceder a la memoria compartida para leer o escribir en una cierta dirección de memoria.
Existen distintas clasificaciones de poder dentro del modelo:
EREW(Exclusive Read, Exclusive Write). No se permiten las lecturas y escrituras simultaneas a una misma dirección de memoria. Es el modelo más restrictivo y el más próximo a las máquinas actuales.
CREW (Concurrent Read, Exclusive Write). No se permiten las escrituras simultaneas a una misma dirección de memoria; sólo las lecturas simultaneas son permitidas.
ERCW (Exclusive Read, Concurrent Write). El acceso en lectura a la memoria compartida es exclusivo; sólo las escrituras simultaneas a una misma dirección en memoria son permitidas.
CRCW (Concurrent Read, Concurrent Write). Las escrituras y lecturas simultáneas a una misma dirección de memoria son permitidas.
EREW
CREW
ERCW
CRCW
Fácil de implementar
Difícil de implementar
Menor poder computacional
Mayor poder computacional
Poder computacional en la PRAM
Ejemplo 1: Reducción paralela
PROBLEMA 1.
Dado un arreglo A de n = 2^k números, y una PRAM con n procesadores {P1, P2, ..., Pn}, se desea calcular la suma S = A(1) + A(2) + ... + A(n). Cada procesador Pi ejecuta el mismo algoritmo.
?
Algoritmo en PRAM
Input: Un arreglo A de orden n = 2^k almacenados en memoria compartida de una PRAM con n procesadores. Las variables locales inicializadas son n y el número de procesador i.
Output: La suma de las entradas de A almacenados en la localidad de compartida S. El arreglo A mantiene sus valores iniciales.
Begin1. read (A(i), a)2. write (a, B(i))3. for h = 1 to log n do
if(i <= n / 2^h) thenbegin
read(B(2i – 1), x)read(B(2i), y)Set z:= x + ywrite(z, B(i))
end4. if i = 1 then write(z, S)
end
Algoritmo en PRAM
Begin1. read (A(i), a) O(1)
u.t.2. write (a, B(i)) O(1)
u.t.3. for h = 1 to log n do O(log n)
u.t.if(i <= n / 2^h) thenbegin
read(B(2i – 1), x)read(B(2i), y)Set z:= x + ywrite(z, B(i))
end4. if i = 1 then write(z, S) O(1) u.t.
end
Cómo sería el BROADCAST ???
PROBLEMA 2. Suma de prefijos (prefix sum)
Sea {x1, x2, ..., xn} un conjunto de elementos y sea “*” una operación binaria asociativa
=> la suma de prefijos S es una secuencia tal que
S = x1 * x2 * ... * xi para 1 <= i <= n
?
Algoritmo en PRAM
Input: Un arreglo de n = 2^k elementos (x1, x2, ..., xn) donde k es un entero no negativo.
Output: La suma de prefijos sumai, para 1 <= i <= n.
Begin1. if n = 1 then{ set sumai:=x1; exit }2. for 1 <= i <= n/2 pardo
set yi := x_{2i-1} * x_{2i}3. Recursivamente, calcula la suma de prefijos de
{y1, y2, ..., y_{n/2} } y se almacenan en z1, z2, ...,z_{n/2}
4. for 1 <= i <= n pardo{i even : set sumai := z_{i/2}i = 1 : set suma1 := x1i odd > 1 : set sumai := z_{(i-1)/2} + xi
}end
TOP500 http://www.top500.org