Agenda ¿Qué es Big Data? ¿Por qué usar Big Data? ¿Quién usa Big Data? Hadoop Arquitectura de Hadoop.
Infraestructura para big data Telefónica
-
Upload
telefonica-grandes-clientes -
Category
Technology
-
view
963 -
download
4
Transcript of Infraestructura para big data Telefónica
![Page 1: Infraestructura para big data Telefónica](https://reader030.fdocuments.mx/reader030/viewer/2022032514/55d55605bb61eb0b1a8b461a/html5/thumbnails/1.jpg)
1Telefónica DigitalTelefónica Digital
Junio 2013
Grandes cantidades de DatosServidores de Alto rendimiento
Foto: http://www.wallpixy.com/competitions-dog-racing-dog-elephant-wallpapers-download/
![Page 2: Infraestructura para big data Telefónica](https://reader030.fdocuments.mx/reader030/viewer/2022032514/55d55605bb61eb0b1a8b461a/html5/thumbnails/2.jpg)
2Telefónica Digital
Para Gestionar Grandes Cantidades de Datos…
Ilustración: http://humorsalmon.blogspot.com.es/2009/12/un-minimo-de-circo.html
Necesidades técnicas: acceso a grandes volúmenes de datos no estructurados, en fuentes distribuidas que deben capturarse y procesarse.
Limitaciones de coste: se necesita gran capacidad de cómputo y almacenamiento por lo que se apuesta por un uso eficiente de infraestructura genérica.
Tiempos de respuesta: los datos deben poder analizarse en horas en vez de en semanas para poder tomar decisiones en tiempo real.
01
02
03
![Page 3: Infraestructura para big data Telefónica](https://reader030.fdocuments.mx/reader030/viewer/2022032514/55d55605bb61eb0b1a8b461a/html5/thumbnails/3.jpg)
3Telefónica Digital
Necesidades Técnicas
Ofrece la capacidad de procesar datos en un volumen anteriormente no atacable con herramientas de DWH clásico.• Utiliza sistema de ficheros distribuido• Tolerante a fallos, gestiona réplicas,
fallo de nodos, etc.• Open source (Apache)• Escalable (Yahoo! tiene cluster de
4000 nodos)• Muy potente: permite ordenar 1TB
de números aleatorios en 62 segundos.Fuentes:
http://hadoop.apache.org/ http://www.slideshare.net/kevinweil/hadoop-pig-and-twitter-nosql-east-2009
01
http://wiki.apache.org/hadoop/PoweredBy
¿Quién usa Hadoop?
![Page 4: Infraestructura para big data Telefónica](https://reader030.fdocuments.mx/reader030/viewer/2022032514/55d55605bb61eb0b1a8b461a/html5/thumbnails/4.jpg)
4Telefónica Digital
Limitaciones de Costes
CAPACIDAD DE LOS SERVIDORES DEDICADOS
TIEMPO
NIV
EL
DE
CA
RG
A S
ER
VID
OR
ES
Periodo de procesamiento de datos: requiere mucha capacidad.
Periodo sin procesamiento: capacidad contratada sobrante
La infraestructura dedicada dimensionada según los picos de
demanda es cara e ineficiente
02
![Page 5: Infraestructura para big data Telefónica](https://reader030.fdocuments.mx/reader030/viewer/2022032514/55d55605bb61eb0b1a8b461a/html5/thumbnails/5.jpg)
5Telefónica Digital
TIEMPO
Servidores virtualesSe adaptan a la necesidad de carga de cada momento (escalado vertical) o pueden crearse o destruirse en el momento (escalado horizontal)
3 SERVIDORES S
100 SERVIDORES XL
20 SERVIDORES L
3 SERVIDORES S2 SERVIDORES S
15 SERVIDORES M 15 SERVIDORES M
Pago por uso: el coste se adapta a la capacidad que se necesita en cada
momento.
02Limitaciones de Costes
![Page 6: Infraestructura para big data Telefónica](https://reader030.fdocuments.mx/reader030/viewer/2022032514/55d55605bb61eb0b1a8b461a/html5/thumbnails/6.jpg)
6Telefónica Digital
03Tiempos de respuesta
• Servidores de alto rendimiento:• Virtualización realizada a nivel de Sistema Operativo• Caché de alto rendimiento• Tecnología 400% CPU bursting
• Optimización de procesos de desarrollo con DTrace.
Fuente: http://joyent.com/company/press/joyent-launches-high-performance-hadoop-solution
3x Las operaciones de E/S de clusters de Hadoop sobre Instant Servers son 3 veces más rápidas (comparando servidores de igual capacidad)
Es posible reducir costes 2/3 obteniendo los mismos tiempos de respuesta.
1/3
más rápido
del coste
Menores tiempos de respuesta para obtener resultados en tiempo real.
![Page 7: Infraestructura para big data Telefónica](https://reader030.fdocuments.mx/reader030/viewer/2022032514/55d55605bb61eb0b1a8b461a/html5/thumbnails/7.jpg)
7Telefónica Digital
Servidores de Alto Rendimiento
www.InstantServers.es
Pago por usoAlto
rendimiento
Disponibilidad 99,95%
trimestral por máquina
Datos en España y soporte
telefónico en español
![Page 8: Infraestructura para big data Telefónica](https://reader030.fdocuments.mx/reader030/viewer/2022032514/55d55605bb61eb0b1a8b461a/html5/thumbnails/8.jpg)
8Telefónica Digital
o Big Data como Servicio
¿Cómo funciona?
• Un servicio extremo a extremo• En modo pago por uso • Con un Time to Market muy reducido
1. Con Escenarios acotados:
Gestión del Riesgo
¿Quién tiene riesgo de impago?
¿Dónde invertir mi presupuesto de Marketing?
Marketing Mix
Pricing¿Qué precio es el óptimo para mi producto?
2. Mediante un modelo explicativo/predictivo:
Modelando eventos pasados para entender por qué han ocurrido y poder crear modelos predictivos.etc…
![Page 9: Infraestructura para big data Telefónica](https://reader030.fdocuments.mx/reader030/viewer/2022032514/55d55605bb61eb0b1a8b461a/html5/thumbnails/9.jpg)
Lorena de la Flor@lorenadelaflor
GraciasMás información en:
www.InstantServers.es