Construyendo pruebas para un DWH usando un paradigma de modelado Data Vault
-
Upload
software-guru -
Category
Software
-
view
320 -
download
0
Transcript of Construyendo pruebas para un DWH usando un paradigma de modelado Data Vault
![Page 1: Construyendo pruebas para un DWH usando un paradigma de modelado Data Vault](https://reader034.fdocuments.mx/reader034/viewer/2022052418/58a0d5e11a28abeb378b4c55/html5/thumbnails/1.jpg)
Construyendo pruebas para un DWH usando un paradigma de
modelado Data Vault
Presenta:
Tania Gómez Jiménez
![Page 2: Construyendo pruebas para un DWH usando un paradigma de modelado Data Vault](https://reader034.fdocuments.mx/reader034/viewer/2022052418/58a0d5e11a28abeb378b4c55/html5/thumbnails/2.jpg)
INDICE
1. Conceptos Generales para Pruebas de Modelado Data Vault
2. Pruebas para un DWH usando un paradigma de modelado Data Vault
![Page 3: Construyendo pruebas para un DWH usando un paradigma de modelado Data Vault](https://reader034.fdocuments.mx/reader034/viewer/2022052418/58a0d5e11a28abeb378b4c55/html5/thumbnails/3.jpg)
ETLExtract, Transform and Load («extraer, transformar y cargar», frecuentementeabreviado ETL) es el proceso que permite a las organizaciones mover datos desdemúltiples fuentes, transformarlos y cargarlos en otra base de datos, data mart odata warehouse para analizar, o en otro sistema operacional para apoyar unProceso de Negocio.
Los procesos de extracción de información dependen de la base de datos en la quese creará el Data Warehouse
Componentes de un proceso de ETL:o Extraccióno Transformacióno Carga
![Page 4: Construyendo pruebas para un DWH usando un paradigma de modelado Data Vault](https://reader034.fdocuments.mx/reader034/viewer/2022052418/58a0d5e11a28abeb378b4c55/html5/thumbnails/4.jpg)
Pruebas ETL’S• Cifras Control (Origen vs Destino)• Mapeo de datos• Estructura (tipo de dato, longitudes, campos obligatorios)• Consistencia de datos (Integridad)• Reglas de negocio
Cifras Control
Reglas de Negocio
Detalle de la Información
![Page 5: Construyendo pruebas para un DWH usando un paradigma de modelado Data Vault](https://reader034.fdocuments.mx/reader034/viewer/2022052418/58a0d5e11a28abeb378b4c55/html5/thumbnails/5.jpg)
Modelo Data Vault• Es una técnica de modelado de datos que permite explotar la información para
una toma de decisiones
• El modelo es construido para una extrema flexibilidad y escalabilidad, ejemplo, desde cuando un cliente cambio de ciudad, domicilio, estado civil, etc.
• Consiste de tres tipos de entidades:• Hub• Satellite• Links
![Page 6: Construyendo pruebas para un DWH usando un paradigma de modelado Data Vault](https://reader034.fdocuments.mx/reader034/viewer/2022052418/58a0d5e11a28abeb378b4c55/html5/thumbnails/6.jpg)
Hub• Se definen por una lista única de llaves de negocio (Business keys)• Una llave de negocio, es usado por negocio para localizar e identificar
registros únicos en un compendio de información• Ejemplos:
• Número de empleado• Número de licencia de manejo• Número de boleto
SEQUENCE<BUSINESS KEY><LOAD DATE><RECORD SOURCE>
Hub_EmpID_SQN: numeric (8)EmpleadoID: integer (25)Hub_EmpID_LDTS: datetime (8)Hub_EmpID_RSRC: varchar(12)
Índice único
Hub_Empleado
SQN: Sequence numberLDTS: Load Date Time StampRSRC: Record Source
![Page 7: Construyendo pruebas para un DWH usando un paradigma de modelado Data Vault](https://reader034.fdocuments.mx/reader034/viewer/2022052418/58a0d5e11a28abeb378b4c55/html5/thumbnails/7.jpg)
Satellite
• Proporciona un contexto de las llaves de negocio (hubs)
• Descriptores
SEQUENCE<BUSINESS KEY><LOAD DATE><RECORD SOURCE>
![Page 8: Construyendo pruebas para un DWH usando un paradigma de modelado Data Vault](https://reader034.fdocuments.mx/reader034/viewer/2022052418/58a0d5e11a28abeb378b4c55/html5/thumbnails/8.jpg)
Links
• Asociaciones• Es una intersección de llaves de negocio• Se utilizan para conectar múltiple conjuntos de información
Link_Empleado_Cuenta
Hub Empleado Hub Cuenta
SEQUENCE<HUB KEY SQN 1><HUB KEY SQN 2><HUB KEY SQN N><LOAD DATE><RECORD SOURCE>
![Page 9: Construyendo pruebas para un DWH usando un paradigma de modelado Data Vault](https://reader034.fdocuments.mx/reader034/viewer/2022052418/58a0d5e11a28abeb378b4c55/html5/thumbnails/9.jpg)
Pruebas para un DWH usando un paradigma de modelado Data Vault
![Page 10: Construyendo pruebas para un DWH usando un paradigma de modelado Data Vault](https://reader034.fdocuments.mx/reader034/viewer/2022052418/58a0d5e11a28abeb378b4c55/html5/thumbnails/10.jpg)
Ambientes
• Ambientes separados:• Desarrollo• Pruebas• Producción
• Un proceso estandarizado de despliegue, es requerido
Desarrollo Pruebas Producción
![Page 11: Construyendo pruebas para un DWH usando un paradigma de modelado Data Vault](https://reader034.fdocuments.mx/reader034/viewer/2022052418/58a0d5e11a28abeb378b4c55/html5/thumbnails/11.jpg)
Datos de Prueba
• Participación Equipo Análisis vs Pruebas• Aquí es donde el entorno de prueba entra en juego:
• Proporciona una copia de los datos reales de producción con todas las funcionalidades
• Se trata de una copia de toda la funcionalidad y los datos de producción tanto como sea posible
• El ambiente de pruebas debería contener una copia completa de los datos que están siendo usados actualmente por los usuarios de negocio
• No siempre es posible tener una copia completa de los datos en el ambiente de pruebas debido a limitaciones de espacio
• Al menos el 50% de los datos productivos deben ser usados para pruebas
![Page 12: Construyendo pruebas para un DWH usando un paradigma de modelado Data Vault](https://reader034.fdocuments.mx/reader034/viewer/2022052418/58a0d5e11a28abeb378b4c55/html5/thumbnails/12.jpg)
Capas
• Adquisición• Extracción de información
• Capa cruda• Contiene la información del sistema operacional, de acuerdo a las llaves
de negocio
• Capa Homologado• Contiene la información de todos los sistemas centrales homologando los
conceptos de negocio y aplicando las reglas de negocio
![Page 13: Construyendo pruebas para un DWH usando un paradigma de modelado Data Vault](https://reader034.fdocuments.mx/reader034/viewer/2022052418/58a0d5e11a28abeb378b4c55/html5/thumbnails/13.jpg)
¿Qué Probar?
FUENTES ADQUISICION CRUDO HOMOLOGADO
![Page 14: Construyendo pruebas para un DWH usando un paradigma de modelado Data Vault](https://reader034.fdocuments.mx/reader034/viewer/2022052418/58a0d5e11a28abeb378b4c55/html5/thumbnails/14.jpg)
Ciclos de Pruebas
Se determina el periodo a cargar para los ciclos de pruebas, la recomendación es trabajar en conjunto con el equipo de análisis:
• Ciclo de Pruebas 1• Cargas Iniciales• Deltas
• Ciclo de Pruebas 2• Cargas Iniciales• Deltas
![Page 15: Construyendo pruebas para un DWH usando un paradigma de modelado Data Vault](https://reader034.fdocuments.mx/reader034/viewer/2022052418/58a0d5e11a28abeb378b4c55/html5/thumbnails/15.jpg)
Casos de Prueba Adquisición
Source vs Adquisición
• Query Pivote• Se extrae en base a un query pivote, contra el cual se hará join el
resto de las tablas
• Cifras control (conteo registros) • Pueden contener o no una llave de negocio y agruparse o no por la
misma
• Longitud de datos
![Page 16: Construyendo pruebas para un DWH usando un paradigma de modelado Data Vault](https://reader034.fdocuments.mx/reader034/viewer/2022052418/58a0d5e11a28abeb378b4c55/html5/thumbnails/16.jpg)
Casos de Prueba Crudo
Adquisición vs Hub
• Hub
• Cifras control (agrupado por llaves de negocio)• Llaves de negocio únicas• Atributos
• Longitud de datos• Campos control (Fecha_Carga, Source, etc.)• Registros activos (Estatus)
![Page 17: Construyendo pruebas para un DWH usando un paradigma de modelado Data Vault](https://reader034.fdocuments.mx/reader034/viewer/2022052418/58a0d5e11a28abeb378b4c55/html5/thumbnails/17.jpg)
Casos de Prueba Crudo…
Adquisición vs Satellite
• Satellite
• Cifras control (agrupado por llaves de negocio) (Acq vs Sat y Hub vs Sat)• Llaves de negocio únicas• Atributos
• Longitud• Tipo dato
• Campos control (Fecha_Carga, Source, etc.)• Registros activos / inactivos (Estatus)
![Page 18: Construyendo pruebas para un DWH usando un paradigma de modelado Data Vault](https://reader034.fdocuments.mx/reader034/viewer/2022052418/58a0d5e11a28abeb378b4c55/html5/thumbnails/18.jpg)
Casos de Prueba Crudo…
Hub vs Link
• Link
• Cifras control (conformación hubs)• Campos control (Fecha_Carga, Source, etc.)• Registros activos (Estatus)
![Page 19: Construyendo pruebas para un DWH usando un paradigma de modelado Data Vault](https://reader034.fdocuments.mx/reader034/viewer/2022052418/58a0d5e11a28abeb378b4c55/html5/thumbnails/19.jpg)
Referencias
• Super Charge your Data Warehouse. Dan Linstedt
• www.learndatavault.com
![Page 20: Construyendo pruebas para un DWH usando un paradigma de modelado Data Vault](https://reader034.fdocuments.mx/reader034/viewer/2022052418/58a0d5e11a28abeb378b4c55/html5/thumbnails/20.jpg)
Tania Gómez Jiménez
Tania Gómez Jiménez
Tania Gómez Jiménez
taniagomezjimenez