15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel...
Transcript of 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel...
![Page 1: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/1.jpg)
Carmen Cabanillas SerranoSubdirectora General Adjunta
Tecnologías de la Información y las ComunicacionesMinisterio de Educación, Cultura y Deporte
15 de noviembre de 2016
Big Data
M E C D
![Page 2: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/2.jpg)
Índice
![Page 3: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/3.jpg)
Historia
![Page 4: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/4.jpg)
Historia
![Page 5: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/5.jpg)
Fundamentos
Cloud Interna Cloud Externa
Cloud Privada
![Page 6: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/6.jpg)
Internet es el motor del crecimiento
Fundamentos
![Page 7: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/7.jpg)
Fundamentos
![Page 8: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/8.jpg)
Velocidad
VeracidadVariedad
Volumen
MBGBTBPB
Tablas
Base datos
Audio
Tiempo real
Ruido VariabilidadVisualización
Millones transacciones
Fundamentos
ValorBig Answers
Visión del negocio en tiempo real
![Page 9: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/9.jpg)
Fundamentos
![Page 10: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/10.jpg)
DimensiónLegal
DimensiónSocial
Dimensión Económica
DimensiónTecnológica
DimensiónAplicación
CopyrightPrivacidadAcceso
Comportamiento del usuarioImpacto en la sociedad
Modelos de NegocioMarketingPrecios
Procesamiento de DatosEstadísticasVisualización
Preservación DigitalDecisiones
Fundamentos
![Page 11: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/11.jpg)
Fundamentos
![Page 12: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/12.jpg)
Fundamentos
![Page 13: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/13.jpg)
Cuadrante Mágico de Gartner sobre Plataformas Analíticas y de Business Intelligence 2016
Proyectos
![Page 14: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/14.jpg)
Proyectos
2012
![Page 15: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/15.jpg)
Proyectos
![Page 16: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/16.jpg)
Proyectos
Infraestructura
IAAS
PAAS
SAAS
Servidores Almacenamiento
RedesSeguridad
Aplicaciones
B. D. No SQL
Hadoop
Análisis, cuadros de mando y
visualización
Limpieza, transformación e integración de datos
La información como servicio
Fuente:
![Page 17: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/17.jpg)
Visualización de datosProyectos
![Page 18: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/18.jpg)
Proyectos Proyección
Entorno Big Data crece al 12,5% (TIC 6%‐8%)Empleo en España
La demanda supera a la ofertaPerfil
2/3 son técnicos (java, base de datos, B.I., etc.)1/3 son marketing, comercial, etc.
Empresas del mundo por capitalización bursátil Mayo2016
Ranking Empresa Cap. Bursátil(miles millones €)
1 Apple Inc. 488,92
2 Alphabet Inc‐A (Google) 448,84
3 Microsoft Corp. 375,54
4 Exxon Mobil Corp 310,37
6 Facebook Inc‐A 280,32
9 Amazon.Com Inc 238,21
32 Oracle Corp 142,77
Ranking Perfil1 Analistas de datos2 Programadores3 Arquitectos tecnológicos4 Data manager5 Consultores B. D.6 Product manager
66 Inditex ‐ 89,79Ibex 35 >100
![Page 19: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/19.jpg)
�Ejemplos: Juegos OnLine
�Antes del Big Data�Recibir y procesar un elevado nivel de eventos era casi imposible�Tecnologías principales:
�Bds relacionales (i.e. MySql, Oracle)�Sistema de colas con consumidores
�Con Big Data�Estadísticas y respuesta a eventos en tiempo real�Tecnologías principales:
�Storm, Erlang�NoSQL
Proyectos
![Page 20: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/20.jpg)
�Ejemplos: Anuncios Clasificados
�Lo que se podía antes del Big Data�Hacer portales de clasificados (inmobiliarios, etc) a nivel de un país. �Tecnologías principales:
�Bases de datos relacionales (i.e. MySQL, Oracle)
�Lo que era casi imposible y ahora es bastante más sencillo�Hacer un buscador por categorías a escala mundial�Tecnologías principales:
�Hadoop, Hbase, Storm�Solr, ElasticSearch
Proyectos
![Page 21: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/21.jpg)
Análisis de influencia online y en redes sociales
�Lo que se podía antes del Big Data�Análisis en el servidor(análisis locales)�Tecnologías principales:
�Bases de datos relacionales (i.e. MySQL)�Librerías en servidor.
�Lo que era casi imposible y ahora muy razonable�Analizar la influencia de todos los individuos en una red social�Tecnologías principales:
�Hadoop, Hbase, Storm�NoSQL: Voldemort, Cassandra�Hamma, Giraph
Proyectos
![Page 22: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/22.jpg)
Explotar datos agregados
�Lo que se podía antes del Big Data�Datos en silos�Presos de los DW (muy poco flexibles)�Tecnologías principales:
�Datawarehouses�Lo que era casi imposible y ahora es muy razonable
�Explotar de nuevas maneras los datos y dar valor a terceros�Tecnologías principales:
�Hadoop�NoSQL,�Gestores geográficos
Proyectos
![Page 23: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/23.jpg)
Redes de anuncios (Ad networks)
�Lo que se podía antes del Big Data�Estadísticas básicas en Bases de datos relacionales de clientes�Agregados de muy alto nivel (se pierde el grano fino)�Tecnologías principales:
�BDs relacionales (i.e. MySql, Oracle)
�Lo que era casi imposible y ahora es muy razonable�No eliminar ni un dato�Estadísticas muy ricas y con mucho detalle para cada cliente�Tecnologías principales:
�Hadoop�NoSQL, Splout SQL
Proyectos
![Page 24: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/24.jpg)
Educación
![Page 25: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/25.jpg)
Educación-MECD
![Page 26: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/26.jpg)
Becas y Ayudas
Educación-MECD
![Page 27: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/27.jpg)
Educación-MECD
![Page 28: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/28.jpg)
Cultura
![Page 29: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/29.jpg)
Actividades Culturales
Cultura-MECD
![Page 30: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/30.jpg)
Manuscripts of Purcell’s anthems in cathedral and chapel libraries.
Stephen Rose et al. Early Music 2015;43:649-660© The Author 2015. Published by Oxford University Press.
Writing a Big Data history of music LONDON
Cultura
![Page 31: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/31.jpg)
RISP –BIG‐MECD
RISP ‐MECD
LinkedOpen Data
Modelos RDF(S)
Cultura-MECD
BNE:Recolección masiva del dominio .es y selectiva por acontecimientos
![Page 32: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/32.jpg)
Deporte
![Page 33: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/33.jpg)
MECD_CCN-AGE
![Page 34: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/34.jpg)
Aproximación en el CCN
Defensa de Redes
Prevención y detecciónPolíticasProcedimientosMedidas técnicas
IntercambioEmpresas y otros
Organismos
Firmas, patrones, impacto
Análisis de tráficoMinería de datos
Gestión de incidentes y capacidad de reacción
Análisis forense / ingeniería inversaFirmas / Patrones / Análisis de Tráfico,
Minería de datos
Ciberseguridad
MECD_CCN-AGE
![Page 35: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/35.jpg)
Ciberseguridad Ejemplo de Uso
Big Data Analytics
DeepSee Big Data Security Analytics
Partner IntegrationDeepSee® ApplicationsReports, GeoIP, Reconstruction,
Packet Analysis
Reputation, Threat Feeds, and File Analysis
Inteligencia de la amenaza
Sensores
![Page 36: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/36.jpg)
Servidor de Informes
MECD
![Page 37: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/37.jpg)
Servidor de Informes
MECD
![Page 38: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/38.jpg)
Datos internos
Datos externos
Redes sociales
Datos Públicos
MECD
![Page 39: 15 de noviembre de 2016 - CénitS - COMPUTAEX · 2016-11-16 · Recibir y procesar un elevado nivel de eventos era casi imposible ˜ Tecnologías principales: ˜ Bdsrelacionales (i.e.](https://reader036.fdocuments.mx/reader036/viewer/2022080512/5f3d7a1bdb06260cec7d2748/html5/thumbnails/39.jpg)
MECD