Almacén de Datos
-
Upload
jean-sanchez -
Category
Documents
-
view
233 -
download
2
description
Transcript of Almacén de Datos
Descubrimiento de Conocimiento en Base de
Datos (KDD)
Fase de Integración y Recopilación• Introducción
• Almacén de Datos (Data Warehouse).
• Almacén de Datos (DW) Ventajas.
• Almacén de Datos (DW) Desventajas.
• Procesamiento de Transacciones en Línea (OLPT) versus Almacén de Datos (DW).
• DataMart.
• DataMart (Tipos).
• DataMart versus Almacén de Datos (DW).
• Almacén de Datos (DW) Objetivos.
• Almacén de Datos (DW) Arquitectura.
• Almacén de Datos (DW) Procesos.
• Almacén de Datos (DW) Diseño.
• Almacén de Datos (DW) Diseño Pasos.
• Almacén de Datos (DW) Diseño Modelo de Datos.
• Almacén de Datos (DW) Diseño Modelo Multidimensional.
• MOLAP – OLAP Multidimensional.
• ROLAP – OLAP Relacional.
• HOLAP – OLAP Hibrido.
Elaborado por: Ing. Jean Sánchez, EPE
IntroducciónLos Almacenes de Datos (DataWarehouse) es la clave quepermitirá a los usuarios del sistema efectuar sobre los datos:
1) Cualquier pregunta (las preguntas que pueden hacer losusuarios).
2) Cualquier momento (el acceso de los usuarios a los datos).
3) Cualquier dato (la cantidad de datos y detalles que el usuariopuede tener sobre estos).puede tener sobre estos).
IntroducciónHoy en día toda empresa necesita depositar mucha confianza enla toma de decisiones sobre los negocios, para tomar dichasdecisiones se requiere hechos y cifras, sabemos que lacompetencia crece en todo momento entonces las decisionesque debemos tomar en nuestra empresa deben ser masaceleradas; pero que pasa si tenemos una montaña deinformación la cual debe ser analizada, lógicamente pensamosque necesitaríamos mucho tiempo.que necesitaríamos mucho tiempo.
Los Almacenes de Datos son un proceso, no un producto.
El DW es un conjunto de procesos y acciones, es una colecciónde datos orientados a un tema, integrados y no volátiles en elsoporte al proceso de toma de decisiones de la gerencia.
Almacenes de Datos (DW)
disponer de Sistemas de Información de apoyo a la toma de
decisiones (DSS)
motivación
Introducción
disponer de bases de datos que permitan extraer conocimiento de lainformación histórica almacenada en la organización
análisis de laorganización
previsiones deevolución
diseño deestrategias
objetivos
¿Cómo trabaja el Almacén de Datos?• Extrae la información operacional.
• Transforma la operación a formatos consistentes.
• Automatiza las tareas de la información para prepararla a un análisiseficiente.
¿En que puede ser usado?• Manejo de relaciones de marketing.
Introducción
• Análisis de rentabilidad.
• Reducción de costos.
¿Por qué usarlo?• Obtiene respuestas en tiempos razonables.
• Analiza desde una perspectiva en el tiempo con la información históricaque se brinde.
• Nos permite tener fuentes externas para ayudar a nuestra información.
• La información proveniente de fuentes operacionales es transformada ylimpiada para lograr consistencia.
Objetivo: Analizar y extraer información útil de los datos
Necesidad: disponer de los datos.
Archivo simpleProceso de recopilación.- Diversidad de fuentes.- Tamaño de las fuentes
Introducción
Los almacenes de datos no son estrictamente necesarios para realizar minería de datos pero sí son muy útiles si se trabaja con grandes volúmenes de datos, que varían en el tiempo y donde se desea realizar tareas de minería de datos variadas, abiertas y cambiantes.
Qué fuentes.- Internas.- Externas
Cómo se van a organizar
Cómo se van a mantener en el
tiempo
Cómo se va a poder extraer.- Total / parcialmente.- Agregados / en detalle
ETAPA 1
de Informes
QUÉ pasó?
ETAPA 2
de Análisis
POR QUÉ pasó?
ETAPA 3
de Predicción
QUÉ PUEDE pasar si..?
¿Cómo se usan los Almacenes de Datos? y¿cuáles son sus requerimientos?
Introducción
Consultas pre-definidasPreguntas ad hocModelamiento predictivo
Almacén de Datos (DW)• Inmon[MicroSt96] (considerado el padre de las B.D.) en
1992: “Un DW es una colección de datos orientados atemas, integrados, no-volátiles y variante en el tiempo,organizados para soportar necesidades empresariales”.
• En 1993, Susan Osterfeldt[MicroSt96] publica unadefinición que sin duda acierta en la clave del DW: "Yoconsidero al DW como algo que provee dos beneficiosconsidero al DW como algo que provee dos beneficiosempresariales reales: integración y Acceso de datos. DWelimina una gran cantidad de datos inútiles y no deseados,como también el procesamiento desde el ambienteoperacional clásico".
Un Almacén de Datos o DataWarehouse es esencialmenteuna replica de la información existente estructurada de talforma que permita acceder y representar grandes volúmenesde datos de la organización, sean estos estratégicos, tácticosy operativos, posibilitando la explotación de su contenido,proporcionando información vital para la toma dedecisiones.
Almacén de Datos (DW)
Un DataWarehouse es:
– Orientada a un objetivo (subject-oriented),
– integrada,
– Variable en el tiempo,
– No volátil.
DW: Orientado hacia a unobjetivos, la informaciónrelevante de la organización
Se diseña para consultar eficientementeinformación relativa a las actividades(ventas, compras, producción, ...) básicas dela organización, no para soportar losprocesos que se realizan en ella (gestión depedidos, facturación, entre otros).
Almacén de Datos (DW)
Información Necesaria
PRODUCTO
...
GAMA
...
VENTA
...
PAÍS
...
Base de Datos Transaccional
CURSO
...
REUNION
...PROTOTIP
O...
DW: IntegradoIntegra todos los datos recogidos de losdiferentes sistemas operacionales de laorganización, además de fuentes externas.
Almacén de Datos (DW)
Base de Datos Transaccional 1
Fuente de Datos 1
Fuentes Externas
Fuentes Internas
Fuente de Datos 2
Fuente de Datos 3
HTML
Almacén de Datos
texto
Base de Datos Transaccional 2
DW: Variable en el tiempoLos datos son relativos a un período detiempo y deben ser incrementadosperiódicamente.
Almacén de Datos (DW)
Los datos son almacenados como fotos (snapshots) correspondientes a períodos de tiempo.
DatosTiempo
01/2007
02/2007
03/2007
Datos de Enero
Datos de Febrero
Datos de Marzo
Carga
Bases de datos operacionales Almacén de Datos
DW: No volátilLos datos almacenados no son actualizados,sólo son incrementados.
Almacén de Datos (DW)
READINSERT READ
UPDATE
DELETE
Bases de datos operacionales Almacén de Datos
El período de tiempo cubierto por un DW varía entre 2 a 15 años.
¿QUÉ ES? ¿QUÉ NO ES?
Un sistema que permite un rápido y fácilacceso a la información vital para la empresas.
Un almacén de todos los datos operacionales dela empres.
Un sistema de información que proporcionaacceso a datos históricos y detallados.
Una puerta a los sistemas operacionales.
Un sistema donde la información es recogidade múltiples fuentes.
Un sistema que permite el acceso a todos losdatos y sistemas de la empresa.
Almacén de Datos (DW)
Un sistema de análisis diseñado para diferentestipos de usuarios.
Un sistema transaccional.
Almacén de Datos
ventajas para las organizaciones
Almacén de Datos (DW) Ventajas
rentabilidad de las inversiones
realizadas para su creación
aumento de la competitividad en el mercado
aumento de la productividad de
los técnicos de dirección
Almacén de Datosdesventajas
privacidad de los datos
Almacén de Datos (DW) Desventajas
Sub-valoración de los recursos
necesarios para la captura, carga y
almacenamiento de los datos
incremento continuo de los
requisitos de los usuarios
los datosSub-valoración del esfuerzo necesario
para su diseño y creación
Procesamiento de Transacciones en Línea
(OLPT) versus Almacén de Datos (DW)OLPT DW
Almacena datos actuales. Almacena datos históricos.
Almacena datos de detalle. Almacena datos de detalle y datos agregados adistintos niveles.
Los datos son dinámicos (actualizables). Los datos son estáticos.
Soporta decisiones diarias. Soporta decisiones estratégicas.
Base de datos medianas (100 Mb – 100 Gb). Base de datos grandes (100 Gb – 100 Tb).Base de datos medianas (100 Mb – 100 Gb). Base de datos grandes (100 Gb – 100 Tb).
Una herramienta puede informar al vendedorsobre el número total de libros vendidos para unaregión determinada en un trimestre determinado.
Una herramienta puede informar de los factoresque influyen en la venta de los libros.
Las transacciones son repetitivos. Las transacciones no son previsibles.
El número de transacciones es elevado. El número de transacciones es bajo o medio.
El tiempo de respuesta pequeño (segundos). El tiempo de respuesta variable (segundos-horas)
Dedicado al procesamiento de transacciones. Dedicado al análisis de datos.
Orientado a los procesos de la organización. Orientado a la información relevante.
Sirve a muchos usuarios. Sirve a técnicos de la dirección.
DataMartEs el almacén de datos relacional que contiene las tablas a partir de las cualesse construye el cubo dimensional.
Además, es un repositorio parcial de datos de la empresa, donde sealmacenan datos tácticos y operativos, con el objeto de obtener informacióntáctica.
Por otra parte, es un conjunto de hechos y datos organizados para soportedecisional basados en la necesidad de un área o departamento específico. Losdatos son orientados a satisfacer las necesidades particulares de undepartamento dado teniendo sólo sentido para el personal de esedepartamento dado teniendo sólo sentido para el personal de esedepartamento y sus datos no tienen porque tener las mismas fuentes que losde otro DataMart.
Con su implementación se consigue:
• Programas y procedimientos para extraer, transformar y cargar datos.
• Instalar herramientas de acceso a los datos.
• Poblar el DW con los datos necesarios.
• Poblar el catálogo de metadatos con los datos necesarios.
• Técnicas de uso y soporte el almacén
DataMart (Tipos)1.- Data Marts Finanzas.
2.- Data Marts Comercial.
3.- Data Marts Logística.
4.- Data Marts Recursos Humanos.
DataMart versus Almacén de Datos (DW)
DataMart DW
Se usa en un proceso, departamento oárea especifica.
Se usa en toda la empresa.
Requiere de 3 a 6 meses para sudesarrollo.
Requiere de 1 a 3 años para sudesarrollo.
Base de datos medianas (100 Mb – Base de datos grandes (100 Gb – 100Base de datos medianas (100 Mb –100 Gb).
Base de datos grandes (100 Gb – 100Tb).
Posibilitar a Ejecutivos de la empresa, de nivel superior y medio,y analistas, generar, a partir de la información disponible, elconocimiento necesario para orientar, readecuar o fortalecermejores y más rápidas decisiones ejecutivas, a través de sistemascomo:
Sistema de información ejecutiva (EIS), herramientas queposibilitan la entrega de información estratégica a los ejecutivosa través de: reportes varios, reportes comparativos y cuadros de
Almacén de Datos (DW) Objetivos
a través de: reportes varios, reportes comparativos y cuadros demando multi-dimensionales.
Sistema de asistencia a las decisiones (DSS), herramientas queproporcionan asistencia para la toma de decisiones. Adicionaciertas reglas de decisión y análisis de datos no predefinidos enlas capacidades de un EIS .
Los principales resultados del desarrollo de laarquitectura DW incluyen:
• El modelo de datos fuente.
• El modelo de datos conceptual DW.
• Arquitectura tecnológica DW.
• Estándares y procedimientos DW.
Almacén de Datos (DW) Arquitectura
• Estándares y procedimientos DW.
• El plan de implementación incremental para el DW.
Organización (Externa) de Los Datos…
Las herramientas de explotación de los almacenes de datos han
adoptado un modelo
Almacén de Datos (DW) Arquitectura
adoptado un modelo multidimensional de datos.
Se ofrece al usuario una visión multidimensional de los datos que son
objeto de análisis.
Departamento
Categoría
Marca
Descripción
Mes
Semana
Almacén de Datos (DW) Arquitectura
importe
unidades
Almacén
Ciudad
Región
Tipo
Departamento
Nro_productoTipo
Día
Mes
Año
Trimestre
Departamento
Categoría
Marca
Mes
SemanaDescripción
Dimensiones (puntos de vista) desde los que se puede analizar la actividad.
Almacén de Datos (DW) Arquitectura
importe
unidades
Departamento
Nro_productoTipo
Día
Mes
Almacén
Ciudad
Región
Tipo
Año
Actividad que es objeto de análisis con los indicadores que interesa analizar
Trimestre
Los procesos que conforma el DataWarehouse son:
• Sistema ETL (Extraction, Transformation, Load): realiza las funcionesde extracción de las fuentes de datos (transaccionales o externas),transformación (limpieza, consolidación, ...) y la carga del DW,realizando:
– Extracción de los datos.
– Filtrado de los datos: limpieza, consolidación, etc.
– Carga inicial del almacén: ordenación, agregaciones, etc.
Almacén de Datos (DW) Procesos
– Carga inicial del almacén: ordenación, agregaciones, etc.
– Refresco del almacén: operación periódica que propaga loscambios de las fuentes externas al almacén de datos.
• Repositorio Propio de Datos:
– Información relevante: corresponde a la mirada temporal de losdatos (mezcla de “fotos” de los datos) y las agregacionescorrespondientes)
– Metadatos (datos con respecto a los datos), que son almacenadospara indicar el significado y uso de los datos propiamente tal.
• Interfaz: permiten acceder a los datos y sobre ellos se conectan otrotipo de herramientas más sofisticadas
• Herramientas de Consulta: corresponde a software especializado en elanálisis y consulta de grandes volúmenes de datos (OLAP, EIS, Mineríade Datos).
• Sistemas de Integridad: se encargan de un mantenimiento global(actualizaciones y calidad de información)
• Seguridad: encargado de realizar las copias de seguridad,
Almacén de Datos (DW) Procesos
• Seguridad: encargado de realizar las copias de seguridad,recuperación, entre otros.
El desarrollo de la tecnología de Almacenes de Datos se caracteriza por:
1) Temprano desarrollo industrial provocado por las demandas de losusuarios.
2) Uso de metodologías de diseño, donde la atención se ha centrado enmejorar la eficiencia en la ejecución de consultas.
Se diseñan los Almacenes de Datos sabiendo que:1) Modelo de datos utilizado que de cuenta de la necesidad de
Almacén de Datos (DW) Diseño
1) Modelo de datos utilizado que de cuenta de la necesidad dealmacenamiento de información histórica y orientada a análisis.
2) Búsqueda de eficiencia en el almacenamiento y extracción deinformación, así como de herramientas de análisis.
3) Compromiso entre el nivel de detalle requerido y la utilidad y costode ellos .
Diseño lógico específico
Diseño conceptual
Recogida y análisis derequisitos
Almacén de Datos (DW) Diseño
Diseño físico
Diseño lógico específico
Implementación
Diseño conceptual
Recogida y análisis derequisitos
Análisis
Discernimiento de fuentes necesarias del
Requisitos de usuario
Almacén de Datos (DW) Diseño
Diseño físico
Diseño lógico
Implementación
fuentes necesarias del sistema de información de la organización (OLTP) y las externas
usuario (consultas de análisis necesarias, nivel de agregación, …)
Diseño Conceptual
Diseño Lógico
Almacén de Datos (DW) Diseño
Diseño conceptual
Recogida y análisis derequisitos
Modelado multidimensional (MR)
Esquemas
estrella
Diseño físico
Diseño lógico
Implementación
Diseño Físico
Almacén de Datos (DW) Diseño
Diseño conceptual
Recogida y análisis derequisitos
Definición del esquema ROLAP o MOLAP
Diseño del ETL
Diseño físico
Diseño lógico
Implementación
Implementación
Almacén de Datos (DW) Diseño
Diseño conceptual
Recogida y análisis derequisitos
Carga del AD (ETL)
Preparación de las vistas de usuario
(herramienta OLAP)
Diseño físico
Diseño lógico
Implementación
Paso 1. Elegir un “proceso” de la organización para modelar.
Paso 2. Decidir el gránulo (nivel de detalle) de representación delproceso.
Paso 3. Identificar las dimensiones que caracterizan el proceso.
Paso 4. Decidir la información a almacenar sobre el proceso.
Almacén de Datos (DW) Diseño
Pasos
Paso 4. Decidir la información a almacenar sobre el proceso.
Paso 1. Elegir un “proceso” de la organización para modelar.
Proceso: actividad de la organización soportada porun OLTP del cual se puede extraer información con elpropósito de construir el almacén de datos.
Almacén de Datos (DW) Diseño
Pasos
Pedidos (de clientes).
Compras (a suministradores).
Facturación.
Envíos.
Ventas.
Inventario.
Paso 2. Decidir el gránulo (nivel de detalle) de representación.
Gránulo: es el nivel de detalle al que se desea almacenarinformación sobre la actividad a modelar.
�El gránulo define el nivel atómico de datos en el almacén dedatos.
El gránulo determina el significado de las tuplas de la tabla de
Almacén de Datos (DW) Diseño
Pasos
�El gránulo determina el significado de las tuplas de la tabla de hechos.
�El gránulo determina las dimensiones básicas del esquema
• transacción en el OLTP.
• información diaria.
• información semanal.
• información mensual.
Paso 3. Identificar las dimensiones que caracterizan el proceso.
� Dimensiones: dimensiones que caracterizan la actividad al nivel de detalle (gránulo) que se ha elegido.
Tiempo (dimensión temporal: ¿cuándo se produce la actividad?)
Producto (dimensión ¿cuál es el objeto de la actividad?)
Almacén de Datos (DW) Diseño
Pasos
Producto (dimensión ¿cuál es el objeto de la actividad?)
Almacén (dimensión geográfica: ¿dónde se produce la actividad?)
Cliente (dimensión ¿quién es el destinatario de la actividad?)
� De cada dimensión se debe decidir los atributos (propiedades) relevantes para el análisis de la actividad.
� Entre los atributos de una dimensión existen jerarquías naturales que deben ser identificadas (día-mes-año)
Paso 4. Decidir la información a almacenar sobre elproceso.
Hechos: información (sobre la actividad) que sedesea almacenar en cada tupla de la tabla dehechos y que será el objeto del análisis.
Almacén de Datos (DW) Diseño
Pasos
Precio
Unidades
Importe
Nota: algunos datos que en el OLTP coincidirían con valores de atributos dedimensiones, en el almacén de datos pueden representar hechos. (Ejemplo: elprecio de venta de un producto).
El Modelo de Datos para representar historia y diseño delAlmacén de Datos esta basado en el compromiso de:
a) Repetir una foto temporal de los datos, así como aquelloselementos descriptivos (dimensiones).
b) Orientación hacia el análisis y descubrimiento, así comoidentificar aquellos valores a ser requeridos (hechos).
Almacén de Datos (DW) Diseño
Modelo de Datos
identificar aquellos valores a ser requeridos (hechos).
Tiempo
• Modelo Multidimensional representa la actividad que es analizada(hecho) y las dimensiones que caracterizan la actividad(dimensiones).
• La información del hecho (actividad) se representan porindicadores (medidas o atributos de hecho).
• La información de cada dimensión se representan por atributos (dedimensión).
Almacén de Datos (DW) Diseño
Modelo Multidimensional
dimensión).
Los tipos del Modelo Multidimensional son:
• Esquema de Estrella (Star schema): Un hecho está en medio delconjunto de dimensiones
• Esquema de Copo de Nieve (Snowflake schema): Un refinamientodel anterior, donde alguna jerarquía dimensional es normalizada enun conjunto de pequeñas dimensiones.
• Constelación de Hechos: Tablas de múltiples hechos, vistas comouna colección de estrellas.
Este esquema multidimensional recibe varios nombres:
– Estrella: si la jerarquía de dimensiones es lineal
PERSONAL
tiempoproyecto
equipo
Almacén de Datos (DW) Diseño
Modelo Multidimensional (Esquema)
– Estrella jerárquica o copo de nieve: si la jerarquía no eslineal.
equipo
VENTAS
tiempo
producto
lugar
Contiene Realizada
Producto
ID_ProductoNombreProducto
<pi> IVA20
<M>
ID_Producto <pi>
Local
ID_LocalDirección
<pi> IVA30
<M>
ID_Local <pi>
Ventas
CantidadValor
II
Producto
(Cantidad, Valor)
Almacén de Datos (DW) Diseño
Modelo Multidimensional en Estrella Lineal
Durante
Valor I
Día
NumeroMesAño
<pi> IVA20I
<M><M><M>
Numero <pi>
Local
Día
• En este caso existendimensiones quetienen la posibilidadde extender sudescripción vía
Agrupa Pertenece
Contiene Real izada
Producto
ID_ProductoNombreProducto
<pi> IVA20
<M>
ID_Producto <pi>
Local
ID_LocalDirección
<pi> IVA30
<M>
ID_Local <pi>
Ventas
Comuna
ID_ComunaNombreComuna
<pi> IVA30
<M>
ID_Comuna <pi>
Categoria
ID_CategoriaNombreCategoria
<pi> IVA40
<M>
ID_Categoria <pi>
Almacén de Datos (DW) Diseño
Modelo Multidimensional en Estrella Jerárquico
descripción víajerarquía.
• El caso de ladimensión tiempo seextiende en dosjerarquías.
Corresponde
Compone
Posee
Durante
CantidadValor
II
Día
NumeroNombreDia
<pi> IVA20
<M><M>
Numero <pi>
Mes
ID_MesNombre
<pi> IVA30
<M>
ID_Mes <pi>
Año
NumeroAño <pi> I <M>
NumeroAño <pi>
TipoDia
ID_TipoDiaNombreTipoDia
<pi> IVA30
<M>
ID_TipoDia <pi>
MOLAP - OLAP Multidimensional
• Los datos origen y sus agregaciones están en una estructura multidimensional.
• Los objetos dimensionales son procesados para incorporar cambios de los datos operacionales
• Existe latencia. tiempo comprendido entre procesamientos• Existe latencia. tiempo comprendido entre procesamientos
• Características:
– Provee excelente rendimiento y compresión de datos.
– Mejor tiempo de respuesta, depende de las las agregaciones.
– Estructura optimizada para maximizar las consultas.
– Apropiado para cubos de rápida respuesta.
ROLAP - OLAP Relacional
• La información del cubo, sus datos, su agregación, sumas son almacenados en una base de datos relacional.
• No copia la BD original, accede a las tablas origen.• Es más lenta que las otras estrategias (MOLAP o HOLAP).• Se utiliza para ahorrar espacio de almacenamiento en • Se utiliza para ahorrar espacio de almacenamiento en
grandes DB de baja frecuencia de consulta.• Usos comunes:
– Cuando los clientes desean ver los cambios inmediatamente.
– Cuando contamos con grandes conjuntos de datos que no son frecuentemente buscados
HOLAP – OLAP Híbrido• Combina atributos de MOLAP y ROLAP.
• Las agregaciones se almacenen en una estructura multidimensional y los detalle, en la BD original.
• Cubos más pequeños q’ MOLAP y más rápidos q’ ROLAP.
• Usos comunes:
– Cubos que requieren rápida respuesta– Cubos que requieren rápida respuesta
– Cuando existen sumarizaciones basadas en una gran cantidad de datos de origen.
– Solución de compromiso para bajar el espacio ocupado sin perjudicar totalmente el rendimiento de las consultas.
Características
MOLAP ROLAP HOLAPAlmacenamiento de
las AgregacionesModelo
MultidimensionalBase de datos
relacionalModelo Multidimensional
Almacenamiento de los datos
Modelo Multidimensional
Base de datos relacional
Base de datos relacional
Facilidad de Creación
Sencillo Muy Sencillo Sencillo
Buena para consultas que Velocidad de
respuestaBuena Regular o Baja
Buena para consultas que posean agregaciones,
Regular para datos de bajo nivel
EscalabilidadProblemas de escalabilidad
Son más escalables
Recomendados paraCubos con uso
frecuente
Datos que no son frecuentemente
usados
Si el cubo requiere una rápida respuesta
Ventajas y Desventajas
Ventajas Desventajas
MOLAPMejor performance en lostiempos de respuesta
Duplica el almacenamientode datos (ocupa másespacio)
Ahorra espacio dealmacenamiento.
El tiempo de respuesta aROLAP
almacenamiento.Útil cuando se trabaja conmuy grandes conjuntos dedatos.
El tiempo de respuesta aconsultas es mayor.
HOLAPBuen tiempo de respuestasólo para informaciónsumarizada
Volúmenes de datos másgrandes en la base de datosrelacional