1 © Copyright 2013 EMC Corporation. Todos los derechos reservados.
Asumir el control de big data: soluciones de análisis y almacenamiento para obtener información de gran impacto sobre el negocio
2 © Copyright 2013 EMC Corporation. Todos los derechos reservados.
Agenda
Big data y NAS de escalamiento horizontal EMC Isilon
La promesa de Hadoop
Descripción general de la tecnología Hadoop
Isilon y Hadoop
Retos tecnológicos de Hadoop en DAS
Cómo Isilon lo ayuda a asumir el control de big data
Ejemplo de caso de estudio
Recursos
3 © Copyright 2013 EMC Corporation. Todos los derechos reservados.
0
10
20
30
40
50
60
70
80
90
2009 2010 2011 2012 2013 2014
Exabyte
s
El reto de big data
En 2013, el 80 % de toda la capacidad de almacenamiento implementada estará destinada a datos no estructurados
Fuente: “Scale Out Storage in the Content Driven Enterprise: Unleashing the Value of Information Assets”, informe técnico de IDC
Basados en archivos: CAGR del 61.8 % Basados en bloques: CAGR del 23.7 %
4 © Copyright 2013 EMC Corporation. Todos los derechos reservados.
NAS de escalamiento horizontal EMC Isilon
Simplicidad y facilidad de uso: Un solo sistema de archivos, un solo volumen
Escalabilidad masiva: De 18 TB a más de 20 PB
NAS más rápido del mundo: 1.6 millones de operaciones SPECsfs y más de 100 GB/s de rendimiento
Eficiencia inigualable: Organización en niveles automatizada y más del 80 % de utilización
Altamente resistente: Sobrevive a fallas múltiples
Opciones sólidas de seguridad y protección de datos
Flexible: Soporte multiprotocolo, incluido el soporte nativo para HDFS
5 © Copyright 2013 EMC Corporation. Todos los derechos reservados.
Hadoop: encuentre los datos más valiosos
6 © Copyright 2013 EMC Corporation. Todos los derechos reservados.
• Creado hace más de 6 años
• Plataforma de software diseñada para analizar grandes cantidades de datos no estructurados
• Dos componentes principales:
– Sistema de archivos distribuido Hadoop (HDFS) (almacenamiento)
– MapReduce (cómputo)
• Ahora un proyecto Apache de nivel superior respaldado por una gran comunidad de desarrollo de código abierto
Hadoop
7 © Copyright 2013 EMC Corporation. Todos los derechos reservados.
NameNode secundario
DataNode/TaskTracker JobTracker
NameNode
Descripción general de la tecnología Hadoop
8 © Copyright 2013 EMC Corporation. Todos los derechos reservados.
NameNode
Administra el espacio de nombres del sistema de archivos
Almacena todos los metadatos en la memoria RAM
Nombres de archivos, propietarios, grupo, información de acceso
Identifica los bloques asociados
Administra la replicación de bloques
9 © Copyright 2013 EMC Corporation. Todos los derechos reservados.
NameNode secundario
Administra y edita logs, y realiza puntos de comprobación de metadatos de NameNode
NO proporciona failover de NameNode
– No es un respaldo ni un standby activo para el NameNode
10 © Copyright 2013 EMC Corporation. Todos los derechos reservados.
JobTracker
Administra todos los trabajos del cluster
Rastrea e informa el estado de trabajos y tareas
Proporciona la funcionalidad de líneas de espera de trabajos
11 © Copyright 2013 EMC Corporation. Todos los derechos reservados.
DataNode/TaskTracker
Almacena bloques de archivos en un sistema de archivos nativo del SO de host (por ejemplo, EXT3, ZFS)
Responde solicitudes de lectura/escritura de los clientes
Ejecuta operaciones de replicación, eliminación y creación de bloques
Algunos bloques se pueden almacenar en múltiples DataNodes para brindar redundancia
12 © Copyright 2013 EMC Corporation. Todos los derechos reservados.
Isilon: compatibilidad nativa con HDFS
La primera y única plataforma NAS de escalamiento horizontal con compatibilidad nativa con HDFS 1.0 y HDFS 2.0
Isilon es compatible con las interfaces de HDFS para que NameNode y DataNode alojen datos y metadatos
El sistema de archivos subyacente es OneFS
¡Es tan fácil como dirigir los clientes HDFS al nombre DNS del cluster Isilon!
13 © Copyright 2013 EMC Corporation. Todos los derechos reservados.
Estrategias de infraestructura para Hadoop Direct Attached Storage (DAS) NAS de escalamiento horizontal EMC Isilon
NameNode
Software Apache Hadoop en servidor x86
NAS de escalamiento horizontal de Isilon
14 © Copyright 2013 EMC Corporation. Todos los derechos reservados.
Retos tecnológicos de Hadoop en DAS
15 © Copyright 2013 EMC Corporation. Todos los derechos reservados.
Retos tecnológicos de Hadoop
1 Infraestructura de almacenamiento dedicada
– Excepcional solo para Hadoop
2 Punto único de falla
– NameNode
3 Falta de protección de datos empresariales
– Sin Snapshots, replicación, respaldo
4 Eficiencia de almacenamiento deficiente
– Espejeado 3 veces
5 Escalabilidad fija
– Cómputo rígido según radio de almacenamiento
6 Importación y exportación manuales
– Sin soporte multiprotocolo
NameNode
Hadoop en DAS
16 © Copyright 2013 EMC Corporation. Todos los derechos reservados.
Retos tecnológicos de Hadoop
1 Infraestructura de almacenamiento dedicada
– Excepcional solo para Hadoop
2 Punto único de falla
– NameNode
3 Falta de protección de datos empresariales
– Sin Snapshots, replicación, respaldo
4 Eficiencia de almacenamiento deficiente
– Espejeado 3 veces
5 Escalabilidad fija
– Cómputo rígido según radio de almacenamiento
6 Importación y exportación manuales
– Sin soporte multiprotocolo
1 vez
1 vez
2 veces
2 veces
3 veces
2 veces
3 veces
3 veces
1 vez
NameNode
Hadoop en DAS
17 © Copyright 2013 EMC Corporation. Todos los derechos reservados.
DISPOSITIVOS MÓVILES ANÁLISIS DE
Funciones clave
Beneficios
Hadoop 2.0
Compatibilidad nativa con HDFS
Compatibilidad con Pivotal HD
Compatibilidad simultánea con HDFS 1.0 y HDFS 2.0
NameNode distribuido
Compatibilidad con aplicaciones Hadoop abiertas
Sin puntos únicos de falla
TCO mejorado
Isilon y Hadoop
18 © Copyright 2013 EMC Corporation. Todos los derechos reservados.
Isilon enfrenta el reto de Hadoop
1 Infraestructura de almacenamiento dedicada
– Excepcional solo para Hadoop
2 Punto único de falla
– NameNode
3 Falta de protección de datos empresariales
– Sin snapshots, replicación, respaldo
4 Eficiencia de almacenamiento deficiente
– Espejeado 3 veces
5 Escalabilidad fija
– Cómputo rígido según radio de almacenamiento
6 Importación y exportación manuales
– Sin soporte multiprotocolo
1
Plataforma de almacenamiento de escalamiento horizontal
– Admite múltiples aplicaciones y flujos de trabajo
2 Sin puntos únicos de falla
– NameNode distribuido
3 Protección de datos de punto a punto
– SnapshotIQ, SyncIQ, respaldo de NDMP
4 Eficiencia de almacenamiento líder en el sector
– Más del 80 % de utilización de almacenamiento
5 Escalabilidad independiente
– Agrega cómputo y almacenamiento de manera independiente
6 Multiprotocolo
– NFS, CIFS, FTP, HTTP, HDFS 1.0 y HDFS 2.0
Hadoop en DAS Hadoop en Isilon
19 © Copyright 2013 EMC Corporation. Todos los derechos reservados.
Protección de datos de Hadoop Hadoop en DAS
Hadoop en Isilon
El HDFS tradicional no tiene replicación
Sin snapshots de datos
Pérdida de control de la versión
No está diseñado para datos de misión crítica
La integración completa con Isilon SnapshotIQ identifica los cambios
Replicación de escalamiento horizontal multithread de múltiples nodos
RPO/RTO mejorado para la continuidad del negocio
¡Hadoop replicado geográficamente!
20 © Copyright 2013 EMC Corporation. Todos los derechos reservados.
Soporte para protocolos
Servidores
Servidores
Servidores
Hadoop en DAS
Hadoop en Isilon
HDFS no es visible para Windows, Unix, Linux, Apple o cualquier otro sistema de archivos de forma nativa
Big data solo se utiliza para big data
La compatibilidad multiprotocolo inherente en Isilon permite el acceso universal a todos los sistemas de archivos, incluido Hadoop
¡Big data son datos reales!
Servidores
21 © Copyright 2013 EMC Corporation. Todos los derechos reservados.
Red del centro de datos
Tiempo de obtención de resultados
Copia de datos Análisis Análisis en el lugar
Almacenamiento primario existente
Hadoop en DAS
¿Alguna vez copió 100 TB de
almacenamiento primario en un
sistema Hadoop?
¿Cuánto se tarda aproximadamente en copiar 100 TB de un
lugar a otro mediante un enlace de 10 GB?
Más de 24 horas
Red del centro de datos
Almacenamiento primario existente
Nodos de procesamiento de Hadoop
Lectura de los datos pertinentes que se analizarán
22 © Copyright 2013 EMC Corporation. Todos los derechos reservados.
Return Path Obtiene una ventaja competitiva con análisis de Hadoop y Isilon
Reto
Crecimiento de datos de 25 a 50 TB por año
Rendimiento y capacidad limitados para admitir análisis de Hadoop exhaustivo
Sistemas dispares que carecían de rendimiento y capacidad
Solución
Serie X
SmartPools, SmartConnect, SmartQuotas, InsightIQ
Resultados Permite el acceso ilimitado a los datos de correo electrónico para el análisis
Reduce en un 30 % el espacio físico del centro de datos de almacenamiento compartido
Mejora la disponibilidad y la confiabilidad del análisis de Hadoop
Brinda ahorros de US$350,000 en alimentación, enfriamiento y mantenimiento
Aplicaciones
Hadoop, soluciones de inteligencia de correo electrónico desarrolladas internamente
“Isilon suministra datos NFS en múltiples conjuntos de aplicaciones de productos y permite que nuestro equipo de análisis pueda acceder a ellos. Eso lo convierte en un activador de negocios clave, ya que permite que Return Path desarrolle soluciones para clientes mucho más rápido”.
DIZ CARTER Vicepresidente de operaciones de infraestructura
23 © Copyright 2013 EMC Corporation. Todos los derechos reservados.
La ventaja de Isilon para Hadoop
Acelere los beneficios de Hadoop
– Implementación rápida y sencilla
– Menor tiempo para obtener información
Reduzca el riesgo
– La arquitectura altamente resistente elimina el punto único de falla del NameNode de Hadoop
Brinde protección de datos empresarial sólida y eficiente
– Respaldo, recuperación de datos y snapshots rápidos
– Replicación de datos sencilla y eficiente para la recuperación de desastres
Aumente la eficiencia y reduzca los costos del centro de datos
– Sin los costos de inversión y administración de una infraestructura Hadoop dedicada
– Escalamiento de recursos de cómputo y almacenamiento de manera independiente
– Compatibilidad con ambientes de servidores físicos y virtualizados
El primero y único almacenamiento de escalamiento horizontal con integración nativa de Hadoop
24 © Copyright 2013 EMC Corporation. Todos los derechos reservados.
Más información EMC.com:
– NAS de escalamiento horizontal EMC Isilon: http://mexico.emc.com/isilon
– Soluciones de almacenamiento de escalamiento horizontal para Hadoop:
http://mexico.emc.com/big-data/scale-out-storage-hadoop.htm
Resumen de la solución: Solución de almacenamiento y análisis de big data de EMC
Informe técnico: Hadoop en NAS de escalamiento horizontal EMC Isilon
Informe de analista: Solución empresarial Hadoop de EMC, Enterprise Strategy Group, 2012
Top Related