NEW HOST GPNR Carga Diaria

NEW HOST GPNRCarga Diaria

Mayo 2012

2

Inicio Presentación

Contexto General

Preparación del ambiente

Estructura

Modelo de Datos

Requerimientos del Sistema

Procesos y Etapas del Sistema

Debug del Sistema

Check List de Diagnostico

3

Descripción del ProcesoBajo el contexto del Proyecto Host, GPNR debe adaptarse a diferencias derivadas de la transición por lo que se decide desarrollar GPNR V2. El nuevo sistema ya no dependerá de BPNR sino de los archivos CDD enviados por Sabre. Se generarán nuevos procesos extracción, transformación y carga en la aplicación, así como también cambios menores en el modelo de datos.

Contexto General

Nombre del Proyecto New Host Gestión PNR V2

Patrocinador Daniela Baytelman

Líder de Frente Sergio Soza

Usuario Líder Jorge Mendoza

Jefe del Proyecto LAN Cristián Abaroa

Jefe de Proyecto Focus

Gastón Navea

4

Preparación de Ambiente

Nro Tareas a realizar

1Validar tabla de Procesos en el modelo de Control (Teradata), el último proceso no debe estar incompleto o erróneo (estado diferente de EX), si esto fuera así, será gatillada automáticamente una recuperación y no se podrá correr un proceso limpio.

2 Deben estar en la carpeta /dsdata/DSNHGPNR/DAT/CARGADIARIA , los archivos CDD necesarios para la ejecución del proceso.

5

Estructura Carpetas Unix y DataStage

6

Tablas nuevas

Modelo de Datos GPNR

Tablas originales

7

Requerimientos de Hardware

Requerimientos Mínima Recomendada Memoria RAM 2.50 [GB] 3.50 [GB] Discos Reservado Áreas de Sort (dsproject) 500 [MB] Áreas de Data 1 [GB] Áreas Temp 2.50 [GB] Áreas de Hash 600 [MB] CPU 4 [CPU] 1.500 [MHz]

Espacio Teradata:

Requerimientos Mínima Recomendada BDD Work 6.00 [GB] 8.00 [GB] BDD Temp 6.00 [GB] 8.00 [GB] BDD Ctrl 1.00 [GB] 2.00 [GB] BDD Logs 1.00 [GB] 1.00 [GB]

8

Ejecución de procesos

N°Nombre proceso

TipoPeriodic

idad

1Control

HistóricoSHELL_PROC_GPNR_CH.sh

(shell-Control M)Mensual

2 RecargaSHELL_PROC_GPNR_RC.sh

(On-Demand)Eventual

3.1 Carga InicialSHELL_PROC_GENERA_ACUMULADO_CI.sh

(Shell – Control M, On-Demand)Eventual

3.2 Carga InicialSHELL_PROC_ASIGNA_BLOQUE_CI.sh


3.3 Carga InicialSHELL_PROC_SUBDIVIDE_RES_TEMP.sh


3.4 Carga InicialSHELL_PROC_EJEC_PARALELO_CD_DAT.sh


4.1Cierre de Vigencias

SHELL_PROC_SEL_CIERRE_VIGENCIA.sh(Shell – Control M, On-Demand)

One-Time

4.2Cierre de Vigencias

SHELL_PROC_UPD_CIERRE_VIGENCIA.sh(Shell – Control M, On-Demand)

One-Time

5 Carga diariaSHELL_PROC_GPNR_CD.sh

(shell- Control M)Diaria

9

Ejecutando la Shell Carga Diaria(SHELL_PROC_GPNR_CD.sh)

Ejecutada la Shell (SHELL_PROC_GPNR_CD.sh ), por pantalla se mostrara información relacionada al status (on line) del proceso, además se genera un archivo log con el detalle de la ejecución. La ejecución es sin parámetros.

10

Entre las validaciones que se realizan durante la ejecución:

◦ REVISION UPTIME DE MAQUINAS◦ REVISION UPTIME BASE DATOS◦ REVISION ESPACIO DISPONIBLE EN MAQUINA DATASTAGE◦ REVISION UPTIME DE SERVICIO DE DATASTAGE

Validaciones de la Shell (SHELL_PROC_GPNR_CD.sh)

11

Etapa 1:Validación (Datastage, Unix): Ejecuta validación de estructura de los archivos CDD, cantidad de columnas, validación de tipo de dato, largo, nulo de columnas, validación de existencia de archivos.

Proceso Carga Daria – Etapas

12

Etapa 1:Validación.


13

Etapa 2:Extracción (Datastage, Teradata, Oracle, Unix): Ejecuta extracciones de datos desde las bases operacionales de Lan (snapshot) para disponibilizar los datos hacia las posteriores etapas del proceso.


14

Etapa 2:Extracción.


15



16



17



18

Etapa 3:Integridad (Datastage, Teradata, Unix): Ejecuta los subprocesos de integridad de PNR’s y transformaciones de datos complementarios.


19

Etapa 3:Integridad.


20

Etapa 3:Integridad.


21

Etapa 3:Integridad.


22

Etapa 3:Integridad.


23

Etapa 3:Integridad.


24

Etapa 3:Integridad.


25

Etapa 4:Transformación (Datastage, Teradata, Oracle, Unix): Ejecuta los procesos de transformación de PNRs en formato CDD files a Formato GPNR y transformaciones de PFS.


26

Etapa 4:Transformación.


27

Etapa 5:Carga Intermedia (Datastage, Teradata, Unix): Ejecuta la carga intermedia de las tablas temporales correspondientes a entidades de PNR, y la carga en modelo productivo de las tablas lookup y PFS.


28

Etapa 5:Carga Intermedia.


29



30



31



32



33

Etapa 6: Cálculos complejos (Datastage, Teradata, Unix): Ejecuta las rutinas de cálculo de atributos complejos de PNRs para reservas y segmentos. Agrega la data impactada por PFS.


34

Etapa 6: Cálculos complejos.


35



36



37



38



39

Etapa 7: Carga Cálculos Complejos (Datastage, Teradata, Unix): Ejecuta la carga final de entidades temporales en formato GPNR de los PNRs del día.


40

Etapa 7: Carga Cálculos Complejos.


41

Etapa 8: Tratamiento de Vigencias (shell, DataStage, Teradata, Unix): Abre y cierra vigencias de los PNRs.


42

Etapa 8: Tratamiento de Vigencia.


43

Etapa 9: Carga Final (shell, Teradata, Unix): Carga los datos previamente tratados de por vigencias a las tablas del modelo final.


44

Etapa 10: Tickets Derivados y Reservas NT (shell, Teradata, Unix): Ejecuta los tickets derivados y las Reservas NT


45

Etapa 11:Término de Procesos (shell, Teradata, Unix): Mueve los archivos a la carpeta de respaldo y genera informe final.


46

TIPO PROCESO : CI FECHA ARCHIVOS : 20111201 FECHA INICIO PROCESO : 2012-02-27 15:53:02 FECHA FIN PROCESO : 2012/02/27 18:38:29 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN SEGMENTOS : 553076 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN SEGMENTOS : 0 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS : 199999 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN RESERVAS : 0 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN TICKET : 293094 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN TICKET : 1018 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS PAX : 328213 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN RESERVAS PAX : 0 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN DERIVADAS TICKET: 2284316 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS NT : 969803

Informe Final

47

Revisión tablas de control

Verificar que el número de secuencia de la ultima etapa ejecutada y su estado.

Debug del Sistema

48

Revisión DataStage Director

Verificar todos los jobs de la etapa se encuentren Finished

Debug del Sistema

49

Revisión Archivo Log (/dsdata/DSNHGPNR/LOG/LOG_TMP_$TIPOPROCESO_YYYMMDD.log)

Verificar output de las actividades para validar causa del error.

Debug del Sistema

50

Reintentar ejecución del proceso para verificar output de las actividades para validar causa del error.

Debug del Sistema

NEW HOST GPNR Carga Diaria

Documents

Transcript of NEW HOST GPNR Carga Diaria