NEW HOST GPNRCarga Diaria

Mayo 2012

2

Inicio Presentación

Contexto General

Preparación del ambiente

Estructura

Modelo de Datos

Requerimientos del Sistema

Procesos y Etapas del Sistema

Debug del Sistema

Check List de Diagnostico

3

Descripción del ProcesoBajo el contexto del Proyecto Host, GPNR debe adaptarse a diferencias derivadas de la transición por lo que se decide desarrollar GPNR V2. El nuevo sistema ya no dependerá de BPNR sino de los archivos CDD enviados por Sabre. Se generarán nuevos procesos extracción, transformación y carga en la aplicación, así como también cambios menores en el modelo de datos.

Contexto General

Nombre del Proyecto New Host Gestión PNR V2

Patrocinador Daniela Baytelman

Líder de Frente Sergio Soza

Usuario Líder Jorge Mendoza

Jefe del Proyecto LAN Cristián Abaroa

Jefe de Proyecto Focus

Gastón Navea

4

Preparación de Ambiente

Nro Tareas a realizar

1Validar tabla de Procesos en el modelo de Control (Teradata), el último proceso no debe estar incompleto o erróneo (estado diferente de EX), si esto fuera así, será gatillada automáticamente una recuperación y no se podrá correr un proceso limpio.

2 Deben estar en la carpeta /dsdata/DSNHGPNR/DAT/CARGADIARIA , los archivos CDD necesarios para la ejecución del proceso.

5

Estructura Carpetas Unix y DataStage

6

Tablas nuevas

Modelo de Datos GPNR

Tablas originales

7

Requerimientos de Hardware

Requerimientos Mínima Recomendada Memoria RAM 2.50 [GB] 3.50 [GB] Discos Reservado Áreas de Sort (dsproject) 500 [MB] Áreas de Data 1 [GB] Áreas Temp 2.50 [GB] Áreas de Hash 600 [MB] CPU 4 [CPU] 1.500 [MHz]

Espacio Teradata:

Requerimientos Mínima Recomendada BDD Work 6.00 [GB] 8.00 [GB] BDD Temp 6.00 [GB] 8.00 [GB] BDD Ctrl 1.00 [GB] 2.00 [GB] BDD Logs 1.00 [GB] 1.00 [GB]

8

Ejecución de procesos

N°Nombre proceso

TipoPeriodic

idad

1Control

HistóricoSHELL_PROC_GPNR_CH.sh

(shell-Control M)Mensual

2 RecargaSHELL_PROC_GPNR_RC.sh

(On-Demand)Eventual

3.1 Carga InicialSHELL_PROC_GENERA_ACUMULADO_CI.sh

(Shell – Control M, On-Demand)Eventual

3.2 Carga InicialSHELL_PROC_ASIGNA_BLOQUE_CI.sh

(Shell – Control M, On-Demand)Eventual

3.3 Carga InicialSHELL_PROC_SUBDIVIDE_RES_TEMP.sh

(Shell – Control M, On-Demand)Eventual

3.4 Carga InicialSHELL_PROC_EJEC_PARALELO_CD_DAT.sh

(Shell – Control M, On-Demand)Eventual

4.1Cierre de Vigencias

SHELL_PROC_SEL_CIERRE_VIGENCIA.sh(Shell – Control M, On-Demand)

One-Time

4.2Cierre de Vigencias

SHELL_PROC_UPD_CIERRE_VIGENCIA.sh(Shell – Control M, On-Demand)

One-Time

5 Carga diariaSHELL_PROC_GPNR_CD.sh

(shell- Control M)Diaria

9

Ejecutando la Shell Carga Diaria(SHELL_PROC_GPNR_CD.sh)

Ejecutada la Shell (SHELL_PROC_GPNR_CD.sh ), por pantalla se mostrara información relacionada al status (on line) del proceso, además se genera un archivo log con el detalle de la ejecución. La ejecución es sin parámetros.

10

Entre las validaciones que se realizan durante la ejecución:

◦ REVISION UPTIME DE MAQUINAS◦ REVISION UPTIME BASE DATOS◦ REVISION ESPACIO DISPONIBLE EN MAQUINA DATASTAGE◦ REVISION UPTIME DE SERVICIO DE DATASTAGE

Validaciones de la Shell (SHELL_PROC_GPNR_CD.sh)

11

Etapa 1:Validación (Datastage, Unix): Ejecuta validación de estructura de los archivos CDD, cantidad de columnas, validación de tipo de dato, largo, nulo de columnas, validación de existencia de archivos.

Proceso Carga Daria – Etapas

12

Etapa 1:Validación.

Proceso Carga Daria – Etapas

13

Etapa 2:Extracción (Datastage, Teradata, Oracle, Unix): Ejecuta extracciones de datos desde las bases operacionales de Lan (snapshot) para disponibilizar los datos hacia las posteriores etapas del proceso.

Proceso Carga Daria – Etapas

14

Etapa 2:Extracción.

Proceso Carga Daria – Etapas

15

Etapa 2:Extracción.

Proceso Carga Daria – Etapas

16

Etapa 2:Extracción.

Proceso Carga Daria – Etapas

17

Etapa 2:Extracción.

Proceso Carga Daria – Etapas

18

Etapa 3:Integridad (Datastage, Teradata, Unix): Ejecuta los subprocesos de integridad de PNR’s y transformaciones de datos complementarios.

Proceso Carga Daria – Etapas

19

Etapa 3:Integridad.

Proceso Carga Daria – Etapas

20

Etapa 3:Integridad.

Proceso Carga Daria – Etapas

21

Etapa 3:Integridad.

Proceso Carga Daria – Etapas

22

Etapa 3:Integridad.

Proceso Carga Daria – Etapas

23

Etapa 3:Integridad.

Proceso Carga Daria – Etapas

24

Etapa 3:Integridad.

Proceso Carga Daria – Etapas

25

Etapa 4:Transformación (Datastage, Teradata, Oracle, Unix): Ejecuta los procesos de transformación de PNRs en formato CDD files a Formato GPNR y transformaciones de PFS.

Proceso Carga Daria – Etapas

26

Etapa 4:Transformación.

Proceso Carga Daria – Etapas

27

Etapa 5:Carga Intermedia (Datastage, Teradata, Unix): Ejecuta la carga intermedia de las tablas temporales correspondientes a entidades de PNR, y la carga en modelo productivo de las tablas lookup y PFS.

Proceso Carga Daria – Etapas

28

Etapa 5:Carga Intermedia.

Proceso Carga Daria – Etapas

29

Etapa 5:Carga Intermedia.

Proceso Carga Daria – Etapas

30

Etapa 5:Carga Intermedia.

Proceso Carga Daria – Etapas

31

Etapa 5:Carga Intermedia.

Proceso Carga Daria – Etapas

32

Etapa 5:Carga Intermedia.

Proceso Carga Daria – Etapas

33

Etapa 6: Cálculos complejos (Datastage, Teradata, Unix): Ejecuta las rutinas de cálculo de atributos complejos de PNRs para reservas y segmentos. Agrega la data impactada por PFS.

Proceso Carga Daria – Etapas

34

Etapa 6: Cálculos complejos.

Proceso Carga Daria – Etapas

35

Etapa 6: Cálculos complejos.

Proceso Carga Daria – Etapas

36

Etapa 6: Cálculos complejos.

Proceso Carga Daria – Etapas

37

Etapa 6: Cálculos complejos.

Proceso Carga Daria – Etapas

38

Etapa 6: Cálculos complejos.

Proceso Carga Daria – Etapas

39

Etapa 7: Carga Cálculos Complejos (Datastage, Teradata, Unix): Ejecuta la carga final de entidades temporales en formato GPNR de los PNRs del día. 

Proceso Carga Daria – Etapas

40

Etapa 7: Carga Cálculos Complejos.

Proceso Carga Daria – Etapas

41

Etapa 8: Tratamiento de Vigencias (shell, DataStage, Teradata, Unix): Abre y cierra vigencias de los PNRs.

Proceso Carga Daria – Etapas

42

Etapa 8: Tratamiento de Vigencia.

Proceso Carga Daria – Etapas

43

Etapa 9: Carga Final (shell, Teradata, Unix): Carga los datos previamente tratados de por vigencias a las tablas del modelo final.

Proceso Carga Daria – Etapas

44

Etapa 10: Tickets Derivados y Reservas NT (shell, Teradata, Unix): Ejecuta los tickets derivados y las Reservas NT

Proceso Carga Daria – Etapas

45

Etapa 11:Término de Procesos (shell, Teradata, Unix): Mueve los archivos a la carpeta de respaldo y genera informe final.

Proceso Carga Daria – Etapas

46

TIPO PROCESO : CI FECHA ARCHIVOS : 20111201 FECHA INICIO PROCESO : 2012-02-27 15:53:02 FECHA FIN PROCESO : 2012/02/27 18:38:29 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN SEGMENTOS :      553076 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN SEGMENTOS :           0 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS :      199999 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN RESERVAS :           0 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN TICKET :      293094 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN TICKET :        1018 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS PAX :      328213 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN RESERVAS PAX :           0 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN DERIVADAS TICKET:     2284316 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS NT :      969803

Informe Final

47

Revisión tablas de control

Verificar que el número de secuencia de la ultima etapa ejecutada y su estado.

Debug del Sistema

48

Revisión DataStage Director

Verificar todos los jobs de la etapa se encuentren Finished

Debug del Sistema

49

Revisión Archivo Log (/dsdata/DSNHGPNR/LOG/LOG_TMP_$TIPOPROCESO_YYYMMDD.log)

Verificar output de las actividades para validar causa del error.

Debug del Sistema

50

Reintentar ejecución del proceso para verificar output de las actividades para validar causa del error.

Debug del Sistema

51