Post on 13-Feb-2017
Integración de datos: Desde el batch hasta Servicios Federados de Datos.hasta Servicios Federados de Datos. Prácticas, Enfoques y Realidades
Jorge Arias (jorge.arias@oracle.com)
Senior Principal Consultant
Oracle Consulting Latinamerica
El negocio es un objetivo en movimiento queEl negocio es un objetivo en movimiento que necesita soportarse en datos e información
consistente y en tiempo realconsistente y en tiempo real.
Objetivo
• Abordar los enfoques actuales de integración deAbordar los enfoques actuales de integración de datos desde las marcadas necesidades del negocio definidas en términos de flexibilidad, tiempo real, consistencia e integridad y agilidad y velocidad de responder a estrategias cambiantes.
Agenda
• Contexto
• Cómo soportamos el negocio actualmente: ETL, DB‐k b ó d l d dLink, ODS, Objetos canónicos, Modelos Federados,
EAI/ESB
• Soportan la siguiente generación: ELT, Datos Federados SOA + MDMFederados, SOA + MDM
• Conclusiones & PreguntasConclusiones & Preguntas
Contexto: Estrategias de negocio Cambiantes
Estrategia de Negocio
DefineDefineDefine
Ciclos de reconovación más cortos
Procesos de negocio
Modelo de informaciónModelo de información
Aplicaciones
Tecnología
Iniciativa o Proyecto #1
Iniciativa o Proyecto #2
Iniciativa o Proyecto #N
Cultura y Gestión del Cambio
Gobernabilidad
¿ ESENCIA FLEXIBLE ?SOA + Datos consistentes +
Vistas reales de la información
Contexto: Estrategias de negocio
• Cualquier iniciativa o proyecto de negocio/IT obedece a una
Cambiantes
respuesta a la estrategia de negocio
• La complejidad de un proyecto tiene que ser gestionada desde diferentes dimensiones Considerar una visión TI simplista sólodiferentes dimensiones. Considerar una visión TI simplista sólo terminará en fracasos
• Necesitamos de un estilo de arquitectura lo suficientemente flexible y basada en datos consistentes que permita soportardicha estrategia de negocio cambiante.
• Datos consistentes y de calidad son pieza estructural de• Datos consistentes y de calidad son pieza estructural de cualquier estilo de arquitectura seleccionado para soportar este negocio cambiante.
6
Contexto: Realidad de nuestras organizaciones (Qué viva la duplicidad)
Solicitar crédito en línea
éCó
IndicadoresProcesos
organizaciones (Qué viva la duplicidad)
P l
Clientes¿ Porqué hecho el desembolso o no me han notificado?
Base de datos temporal
¿Cómo va este negocio?
GrupoGerencial ¿Por qué no
li l Portal (SOLO ES TEMPORAL)
12 horas
Validar referencias y Reali ar análisis Validar riesgo Crear Digitar
cumplimos las metas?
CRMECM
6 horas 8 horas
Análisis S i
4 horas
Core
4 horas
Validar referencias y datos
Realizar análisiscrediticio
Validar riesgo Crear Productos
Digitar solicitud
4 horas
CRMECM Análisis de crédito
Scoring CoreBancario
(Procedimientos)
Área comercial
Área de GestiónDocumental
Área decrédito
Área deRiesgo
Área de operaciones
Contexto: Empresas orientadas al cliente
• Las compañías están orientando su estrategia hacia un modelo centrado l á l d l d l d ó d
vía procesos de negocio (1)
en clientes más que en el tradicional modelo de orientación a productos.
• Los clientes solicitan procesos de negocio como medio de atención y t ió d l i i (O i t ió l t á it )prestación de los servicios (Orientación al trámite)
• Los procesos de negocio motivan estrategias de medición a nivel ejecutivo (KPI & Dashboard)(KPI & Dashboard).
• Información segmentada SI, pero inconsistente NO: Tanto Datos operacionales como Datos Analíticos soportados en datos maestrosoperacionales como Datos Analíticos soportados en datos maestros (Clientes, Productos, Proveedores) como medio de entregar fuentes únicas de verdad orientadas al cliente.
Contexto: Empresas orientadas al cliente vía procesos de negocio (2)
CLIENTES GRUPO EJECUTIVO
BAMPORTAL
SOA ataca problemas de funcionalidades de negocio fragmentadas, pero no resuelve
problemas de datos fragmentados. Incluso si no se ataca el problema; SOA podría ser un
Proceso: Gestión solicitud crédito
BPMDashboard,KPI (Key Performance I di t )
no se ataca el problema; SOA podría ser un acelerador de problemas
Indicator)
Crear cliente
RealizarAnálisis crediticio
ValidarRiesgo
CrearCrédito
Desembolsarcrédito
SERVICES
RiesgoCréditoCRM Core Bancario
EIS
EMPLEADOS
Contexto: Requerimientos del día a día: Vistas 360° “ Cerca del 75% de las empresas son incapaces de generar
un vista 360° de sus clientes” Gartner 2007
“OLTP: TC, Credito, Hipotecas etc
Información de productos
“
DWH
Hipotecas, etc.
Perfil & Segmento del cliente
Indicadores de gestión Seguimiento de PQRs
DashboardsOLTP: Seguimientos a problemas (CRM)
d cado es de gest ó Segu e to de Q s
Screen shot tomado de Novell IDM - Novell Derechos Reservados
Contexto: Requerimientos del día a día: Tableros de control
NTR: Near To real timeSumarizacionessemanales
Tiempo Real
Screen shot tomado de Novell IDM - Novell Derechos Reservados
¿Cómo estamos soportando estos requerimientos?
¿ Replicaciones Batch/ETL?¿ Replicaciones Batch/ETL?
¿ C l l t d i “ti l”?¿ Como resolvemos la tendencia “tiempo real”?
¿ Qué tan consistencia y confiable es la información?
Contexto: De donde partimos… (1)
Cliente
MS-AccessSQL ServerSAPCobol Oracle Excel
Contexto: De donde partimos… (2)
MS-AccessSQL ServerSAPCobol Oracle Excel
Cliente Cliente Cliente Cliente Cliente Cliente
Contexto: De donde partimos… (3)
Sistemas de información
Siebel SAP Vision + FACT Systematics RemedyTroubleTicket
Cliente RW RW RW R RW RCliente RW RW RW R RW R
Cuentas R RW RW RW
Tarjetas RW RW RW¿ Como podremos ir desde Múltiples
puntos de entrada de la misma información a una simple vistaFacturas R RW RW R R
Pagos R RW RW RW
información a una simple vista consistente del negocio?
Entidades de negocio
Más de un sistema es dueño de la misma entidad: Problemas de
calidad e inconsistencia de datos.
Contexto: Resumen…• La orientación al cliente más que a productos es mucho más que cambiar una
visión al interior de la fuerza de ventas, es cambiar parte de la estructural conceptual y física de nuestros sistemas de información.p y
• Los requerimientos de negocio a los cuales debemos enfrentarnos hoy en día son cada vez más complejos y ambiciosos.p j y
• Al parecer los modelos actuales de integración no nos alcanzan para soportar dichos requerimientos.q
• Emerge sobre el horizonte SOA: Pero es tan sólo parte de la solución, incluso puede ser parte del problemap p p
• Y al final del día lo único que pareciera ser importante para el grupo ejecutivo son: Indicadores de negocio en tiempo real vía procesos medibles, tableros de g p p ,control cercanos al tiempo real y vistas 360°
Agenda
• Contexto
• Cómo soportamos el negocio actualmente: ETL, DB‐i k bj ó i d l d dLink, ODS, Objetos canónicos, Modelos Federados, EAI/ESB
• Soportando la siguiente generación: ELT, Datos Federados SOA + MDM SOA+BPM+BAMFederados, SOA + MDM, SOA+BPM+BAM
• Conclusiones & PreguntasConclusiones & Preguntas
De donde partimos: Tipos de datos
Datos OperacionalesRepresenta el estado
operacional de laDatos Operacionales(OLTP)
operacional de la organización
Datos de la organización
Datos Analíticos(OLAP)
Representa el desempeño de la
organización (Soporte a la toma decisiones )organización ( ) a la toma decisiones )
Representa las tid d d i
Datos Maestros(Master Data)
entidades de negocio sobre las cuales
operan las transacciones &
Dimensiones sobre las cuales los análisis son
realizados
De donde partimos: Taxonomía de integración
Datos
BatchETL, ELT, DB Link
EII ODSGRANDES VOLUMENES DE INFORMACIÓN
Linea
Acomplamiento
SocketsRPC /DCOM
EII, ODS
IntegraciónSincróna
Acomplamiento fuerte
Acomplamiento
RMICORBA
Aplicación
pdébil WebServices
EAI
AsincronaMOM / JMS /MQ Series
Copyright Lucasian Labs ‐ Jorge Arias 2006 19
Presentación Screen ScrapperConectores HTTPConectores Telnet
¿Cómo operamos?: Procesos integrados b d t i i t t (SOA A t l)sobre datos inconsistentes (SOA Actual)
Reglas de negocio Modelos de datos
ClientesP d t
CRM
Productos
ERP
ClientesProductos
Facturador
SOA/BPM ClientesProductos
Facturador
ClientesProductos
Proceso integrado y soportado sobre datos
duplicados e
Ordenesinconsistentes.
¿Cómo operamos?: Decisiones potenciadas SOA í d t i i t tpor SOA vía datos inconsistentes
Reglas de negocio Modelos de datosSoporte a toma de
decisiones
CRM
Reportes
Dashboards
ClientesProductos
ETL
ERP
DatamartClientes
Productos
ETL
Facturador
SOA/BPMDWH Ad Hoc
Queries
CubosClientesProductos
Cualquier cambio sonbre los datos a nivel del ETL o del
ETL
ETLFacturador
Analisis OLAP
Productosdatos a nivel del ETL o del DHW es invisible a los
sistemas OLTP Necesidad de operacionalizar el DWH
ETL
OrdenesClientes
Productos
¿Cómo operamos?: Problemasp
• Carencia de dueños de datos (entidades de negocio)
Modelo de dueños de objetos– Modelo de dueños de objetos
• Duplicidad de datos
– Necesidad de publicación de servicios de datosp
• Datos inconsistentes
– Necesidad de sincronización entre fuentes replicadas
• Millonarias pérdidas por entregas de correspondencia a clientes.
N fl ibl “R d ti 2 k t• No se es flexible “Reduce time 2 market
Necesitamos integraciones de datos queNecesitamos integraciones de datos que permitan tener fuentes replicadas en estado
sincronizadas y consistentes.sincronizadas y consistentes.
T d i i i ti SOA it iToda iniciativa SOA necesita primera asegurar la existencia de datos integrados y
i t tconsistentes.
¿Cómo integramos?: ETL (1)g ( )
Datos inconsistentes
Extracción CargaTransformaciónCRM ERPTransformación
Tablas de listas
Las duplica (off-line) /Las lee en línea
Funciona bastante bien. Sin embargo, puede tener problemas de desempeñoTablas de listas
de valores
MOTOR ETL
puede tener problemas de desempeño por movimientos de “data” entre el engine y el target
¿Cómo integramos?: ETL N * (N‐1) g ( )Interfaces
Integración en batch de clientesIntegración en batch de clientes
CRM ERPETL (2)
ETL (5)
ETL (6)ETL (7) ETL (8)ETL (9) ETL (10)
N*(N‐1) Interfaces
Facturador Ordenes
ETL (3)
ETL (4
( )
Situación inmanejable
¿Cómo integramos? Podríamos ir a un EAI g( Pero…) Grandes Volúmenes de Información
ERP ERPCRM
CRM OrdenesBus de Integración
Facturador
FacturadorOrdenes
Punto a Punto(N * (N 1)) Interfaces
EAI (N Interfaces)
(N * (N-1)) Interfaces
¿Cómo integramos?: ETL basado en
Entidades genericas ( Sustantivos) que determinan el que hacer del negocio. (
gobjetos genéricos (Reutilización) (1)
Modelo de objetos genericos)En la realidad existen diferentes versiones e instanciaciones de la misma entidad de negocio en diferentes sistemas.
Defínición Cliente ERP(Objeto Especifico)
D fi i ió Cli t CRM
( j p )
Definición cliente Generica(Objeto genéricos)
Definición Cliente CRM(Objeto Especifico) Definición Cliente Facturador
(Objeto Especifico)
22/09/2008
27
¿Cómo integramos?: ETL basado en
MOTOR ETL
gobjetos genéricos (Reutilización) (2)
ExtracciónTransformación CRM 2 Genérica
CRM Transformación Genérica 2 ERP
Transformación Genérica 2 Order
Carga
Ge é ca Ge é ca O de
CargaGenerica 2 Facturador
OrderERP
Facturador
¿Cómo integramos?: DB Links (1)
Manejador OrdenesO de es
¿ Qué sucede sí al pasar grandes volúmenes de información falla la comunicación? Aplico
nuevamente todos los registros? Como puedo validar en qué registro voy?
¿Cómo integramos?: DB Links (2)
Sistema BS ste a
Sistema C
Sistema A
Sistema C
Sistema D
¿ Si quisiéramos llevar el sistema “A” a un data center?
¿ Acaso los DB Links no s generan un acoplamiento
Sistema E
¿ Acaso los DB Links no s generan un acoplamiento demasiado fuerte?
¿Cómo integramos?: ODS• Fuente de datos compartida, accedida por varios sistemas en
producción(OLTP) y la cual consolida información de diversas fuentes de
datos o sistemas tanto OLAP, como OLTP.
NRT
A li ió 1
5 Minutos
Aplicación 1
CRM
Aplicación 2ODS 2 Horas
Copia compartidade datos
Aplicación 3ERP
de datos.
Aplicación 4DWHIntegración por
base datos 5 Días
¿Cómo integramos?: Modelos Federados (EII)Aplicaciones Clientes (Canales)
Orientado a la consultaconsulta
Agregador Virtual de
Servicio(Interfaz) :Ciclo de vida del cliente
EII: EnterpriseInformation g g
información Metadata: Schema Virtual
Sub-queries Sub-queries Sub-queries Sub-queries
InformationIntegration
Adapter Adapter Adapter Adapter
Sub queries Sub queries Sub queries
ERP CRM Facturador Ordenes
¿Cómo integramos?: Definir modelos ( )canónicos (1) – Contexto
Entidades genericas ( Sustantivos) que determinan el que hacer del negocio ( Modelo de objetos genéricos)negocio. ( Modelo de objetos genéricos)
Este modelo considera la relaciones semanticas existentes entre los bj tobjetos.
A nivel de negocio debe existir una única definición ( Sistema Dueño)
En la realidad existen diferentes versiones e instanciaciones de la misma entidad de negocio en diferentes sistemas.
Tambien conocidas como OntologíasTambien conocidas como Ontologías
¿Cómo integramos?: Definir modelos ( )canónicos (2) – Relaciones Semanticas
Semantica de las relaciones
Entidades de negocio
22/09/2008 Copyright Lucasian Labs ‐ Jorge Arias 2006 34
¿Cómo integramos?: Definir modelos ( )canónicos (3) ‐ Dialectos Empleado
CuentaBalance
F t TarjetaFactura Tarjeta Credito
Sistema de
Si t d
Cuentas de Ahorro
IFX, FIXSistema de Tarjeta de
CreditoSistema de
Credito Hipotecario
Empleado
CuentaBalance
Factura Tarjeta
Empleado
CuentaBalance
T j tFacturaCredito Factura Tarjeta
Credito
¿Cómo integramos?: Definir modelos ( )canónicos (3) – Dueños de datos
Siebel SAP Vision + FACT Systematics RemedyTroubleTicket
Cli t RW R R R R RCliente RW R R R R R
Cuentas R RW R R
Tarjetas RW R R
Facturas R RW R R R
Pagos R RW R R
Un sólo dueño de la entidad: SAP debe publicar un servicio de datos que permite
36
p q pmanejar el ciclo de pagos
Agenda
• Contexto
• Cómo soportamos el negocio actualmente: ETL, DB‐i k bj ó i d l d dLink, ODS, Objetos canónicos, Modelos Federados, EAI/ESB
• Soportando la siguiente generación: ELT, Datos Federados SOA + MDMFederados, SOA + MDM
• Conclusiones & PreguntasConclusiones & Preguntas
ELT: Extraction Loader & Transformation (1)
• El modelo ETL tradicional presenta varias falencias:
– Costos en tiempos de respuesta inherente a llevar datos desde el p pdestino o el origen al motor de ETL para facilitar las transformación en este último (Listas de valores, tablas maestras).
– En ambientes de bastante integración ETL, el motor puede llegar a ser g , p gun cuello de Botella. (Uso intensivo de CPU)
– Requiere un servidor dedicado para el servidor ETL.
• Emerge ELT como una alternativa para:
– Transformar en el destino ó en el origen.
E di fl j j i d i ió ETL d d l– Estudios reflejan mejora en tiempos de integración ETL de cerca del 40% ‐ 52%.
– El motor ETL simplemente se limita a ser un orquestador de agentes t dremotos de carga.
– No necesita un servidor dedicado para el motor ETL
ELT: Extraction Loader & Transformation (2)
Diseñador / Consola de Intercambio ELT
AdapterAdapter
Extracción Carga OrdenesCRM
Transformación Transformación
¿Cómo integramos?: Modelos Federados (EII)Aplicaciones Clientes (Canales)
Orientado a la consultaconsulta
Agregador Virtual de
Servicio(Interfaz) :Ciclo de vida del cliente
EII: EnterpriseInformation g g
información Metadata: Schema Virtual
Sub-queries Sub-queries Sub-queries Sub-queries
InformationIntegration
Adapter Adapter Adapter Adapter
Sub queries Sub queries Sub queries
ERP CRM Facturador Ordenes
Master Data Management (1) ‐ Definición
• Master Data Management (MDM) es la correcta combinación de aplicaciones y tecnologías que permiten consolidar, limpiar y extender (actualizar/crear) el ecosistema de datos maestros de la organización; y sincronizar estos mismos con todas las aplicaciones, procesos y h i t líti t l ió d l iherramientas analíticas que soportan la operación del negocio
• Beneficios:– Eficiencia Operacional– Información consistente en todo momento de los datos maestros
de la organizacióng– Permite tener DWH Operacionales– Promueve un plataforma confiable para la toma de decisiones.
Master Data Management (2) OLTP
Portal IVR Internet ATM
Canales
SOA
CRM ERP FACT.
EL-T EL-T EL-T
SOASO
SOA
Enterprise Service Bus (ESB)Soporte a toma de
decisiones
EL T
Enterprise Service Bus (ESB)Reportes
Dashboards
EL-T
SOA
MDM (Clientes, Productos, Proveedores, etc)
DWHAd Hoc Queries
CubosETL / EL-T
Analisis OLAP
SOA + BPM + BAM (1)
CLIENTES GRUPO EJECUTIVO
BAMPORTAL
Proceso: Gestión solicitud crédito
BPMDashboard,KPI (Key Performance Indicator)
BAM
( ey e o a ce d cato )
Crear cliente
RealizarAnálisis crediticio
ValidarRiesgo
CrearCrédito
Desembolsarcrédito
SERVICES
crediticio
RiesgoCréditoCRM Core Bancario
EIS
EMPLEADOS
SOA + BPM + BAM (2)
Alertas de
Eventos
Alertas de negocio
Métricas de negocio
Tablero de control (Dashboard)
¿Numero de créditos de consumo otorgados en Bogotá en la última semana?ú t a se a a
Fact: Créditos Otorgados
Dimensión: TiempoÚltimo año
Dimensión: GeografíaCiudad de Guatemala
Dimensión: Tipo CréditoConsumo Modelo Estrella
BAM: BusinessSOA + BPM + BAM (3)
Agencias Asesores Fuerza Ventas
Canales Presenciales
BAM: Business Activity Monitoring
35 Créditos de consumo aprobados en las ultimas dos h B á
Evento: Tipo de crédito, Fecha
horas en Bogotá
estionar Solicitud de
Repositorio de eventos de negocio
Evento: Geografía
Evento: Otorgado
estionar Solicitud de édito de consumo
Realizar Análisis crediticio & Riesgo
Capturar Solicitud Digitalizar/DigitarSolicitud
ODS + EII + SOA
Fi h d l li
Página Web (Visiones centralizadas)Portal
• Vistas consolidadas de datos (Clientes, Empleado,etc.)
Ficha del cliente(Vista compuesta de datos)
C lA li i
Servicio de
SOAP JMS MQ SeriesRMI FileRemoting
ConsultaActualizaciones
ODS
Servicio de Información(Vista 360°)
Bus de Servicios
Sincronización
Tarjeta de Crédito Créditos
Cuentas de ahorro DHWDHW
Sistemas operacionales
Agenda
• Contexto
• Cómo soportamos el negocio actualmente: ETL, DB‐i k d d l bjLink, EAI, ODS, Base de datos temporales, Objetos canónicos
• Soportan la siguiente generación: ELT, Datos Federados SOA + MDMFederados, SOA + MDM
• Conclusiones & PreguntasConclusiones & Preguntas
ConclusionesConclusiones
PreguntasPreguntas