Datos Masivos I - Conceptos básicos -...
Transcript of Datos Masivos I - Conceptos básicos -...
![Page 1: Datos Masivos I - Conceptos básicos - UNAMturing.iimas.unam.mx/~gibranfp/cursos/datos_masivos_i/... · 2020. 2. 5. · Datos Masivos I - Conceptos básicos Author: Gibran Fuentes-Pineda](https://reader035.fdocuments.mx/reader035/viewer/2022062318/6130b1321ecc51586944423c/html5/thumbnails/1.jpg)
Datos Masivos IConceptos básicos
Gibran Fuentes-PinedaEnero 2020
1
![Page 2: Datos Masivos I - Conceptos básicos - UNAMturing.iimas.unam.mx/~gibranfp/cursos/datos_masivos_i/... · 2020. 2. 5. · Datos Masivos I - Conceptos básicos Author: Gibran Fuentes-Pineda](https://reader035.fdocuments.mx/reader035/viewer/2022062318/6130b1321ecc51586944423c/html5/thumbnails/2.jpg)
Muchos más datos y a mayor velocidad
Imagen tomada de http://www.tech-dynamics.com/wp-content/uploads/2014/02/BigDataChart.png
2
![Page 3: Datos Masivos I - Conceptos básicos - UNAMturing.iimas.unam.mx/~gibranfp/cursos/datos_masivos_i/... · 2020. 2. 5. · Datos Masivos I - Conceptos básicos Author: Gibran Fuentes-Pineda](https://reader035.fdocuments.mx/reader035/viewer/2022062318/6130b1321ecc51586944423c/html5/thumbnails/3.jpg)
Más parámetros y más datos no estructurados
Imagen tomada de https://www.datanami.com/2017/02/01/solving-storage-just-beginning-minio-ceo-periasamy/
3
![Page 4: Datos Masivos I - Conceptos básicos - UNAMturing.iimas.unam.mx/~gibranfp/cursos/datos_masivos_i/... · 2020. 2. 5. · Datos Masivos I - Conceptos básicos Author: Gibran Fuentes-Pineda](https://reader035.fdocuments.mx/reader035/viewer/2022062318/6130b1321ecc51586944423c/html5/thumbnails/4.jpg)
Análisis menos descriptivo, más predictivo/prescriptivo
Descriptivo Diagnóstico Predictivo Prescriptivo
Complejidad
Involucramiento humano
4
![Page 5: Datos Masivos I - Conceptos básicos - UNAMturing.iimas.unam.mx/~gibranfp/cursos/datos_masivos_i/... · 2020. 2. 5. · Datos Masivos I - Conceptos básicos Author: Gibran Fuentes-Pineda](https://reader035.fdocuments.mx/reader035/viewer/2022062318/6130b1321ecc51586944423c/html5/thumbnails/5.jpg)
Más aplicaciones (1)
•
Imagen tomada de The Washington Post
5
![Page 6: Datos Masivos I - Conceptos básicos - UNAMturing.iimas.unam.mx/~gibranfp/cursos/datos_masivos_i/... · 2020. 2. 5. · Datos Masivos I - Conceptos básicos Author: Gibran Fuentes-Pineda](https://reader035.fdocuments.mx/reader035/viewer/2022062318/6130b1321ecc51586944423c/html5/thumbnails/6.jpg)
Más aplicaciones (2)
•
Imagen tomada de Snavely et al. Photo Tourism: Exploring Photo Collections in 3D, ACM Transactions on Graphics , 2006.
6
![Page 7: Datos Masivos I - Conceptos básicos - UNAMturing.iimas.unam.mx/~gibranfp/cursos/datos_masivos_i/... · 2020. 2. 5. · Datos Masivos I - Conceptos básicos Author: Gibran Fuentes-Pineda](https://reader035.fdocuments.mx/reader035/viewer/2022062318/6130b1321ecc51586944423c/html5/thumbnails/7.jpg)
Más aplicaciones (3)
•
7
![Page 8: Datos Masivos I - Conceptos básicos - UNAMturing.iimas.unam.mx/~gibranfp/cursos/datos_masivos_i/... · 2020. 2. 5. · Datos Masivos I - Conceptos básicos Author: Gibran Fuentes-Pineda](https://reader035.fdocuments.mx/reader035/viewer/2022062318/6130b1321ecc51586944423c/html5/thumbnails/8.jpg)
Mejores modelos (1)
Imagen tomada de Tang et al., Canadian Association of Radiologists Journal 69(2), 2018
8
![Page 9: Datos Masivos I - Conceptos básicos - UNAMturing.iimas.unam.mx/~gibranfp/cursos/datos_masivos_i/... · 2020. 2. 5. · Datos Masivos I - Conceptos básicos Author: Gibran Fuentes-Pineda](https://reader035.fdocuments.mx/reader035/viewer/2022062318/6130b1321ecc51586944423c/html5/thumbnails/9.jpg)
Mejores modelos (2)
Imagen tomada de
https://hackernoon.com/memorizing-is-not-learning-6-tricks-to-prevent-overfitting-in-machine-learning-820b091dc42
9
![Page 10: Datos Masivos I - Conceptos básicos - UNAMturing.iimas.unam.mx/~gibranfp/cursos/datos_masivos_i/... · 2020. 2. 5. · Datos Masivos I - Conceptos básicos Author: Gibran Fuentes-Pineda](https://reader035.fdocuments.mx/reader035/viewer/2022062318/6130b1321ecc51586944423c/html5/thumbnails/10.jpg)
Definición
10
![Page 11: Datos Masivos I - Conceptos básicos - UNAMturing.iimas.unam.mx/~gibranfp/cursos/datos_masivos_i/... · 2020. 2. 5. · Datos Masivos I - Conceptos básicos Author: Gibran Fuentes-Pineda](https://reader035.fdocuments.mx/reader035/viewer/2022062318/6130b1321ecc51586944423c/html5/thumbnails/11.jpg)
Características: 3Vs
11
![Page 12: Datos Masivos I - Conceptos básicos - UNAMturing.iimas.unam.mx/~gibranfp/cursos/datos_masivos_i/... · 2020. 2. 5. · Datos Masivos I - Conceptos básicos Author: Gibran Fuentes-Pineda](https://reader035.fdocuments.mx/reader035/viewer/2022062318/6130b1321ecc51586944423c/html5/thumbnails/12.jpg)
Características: 4Vs
12
![Page 13: Datos Masivos I - Conceptos básicos - UNAMturing.iimas.unam.mx/~gibranfp/cursos/datos_masivos_i/... · 2020. 2. 5. · Datos Masivos I - Conceptos básicos Author: Gibran Fuentes-Pineda](https://reader035.fdocuments.mx/reader035/viewer/2022062318/6130b1321ecc51586944423c/html5/thumbnails/13.jpg)
Quizás muchas Vs
13
![Page 14: Datos Masivos I - Conceptos básicos - UNAMturing.iimas.unam.mx/~gibranfp/cursos/datos_masivos_i/... · 2020. 2. 5. · Datos Masivos I - Conceptos básicos Author: Gibran Fuentes-Pineda](https://reader035.fdocuments.mx/reader035/viewer/2022062318/6130b1321ecc51586944423c/html5/thumbnails/14.jpg)
Retos
• Concepciones: cuestión simplemente implementacional,lo mismo pero con más datos
• Muchos retos• Algoritmos, estructuras de datos y modelos escalables• Representaciones eficientes• Dimensionalidad, diversidad y variabilidad extremas• Respuesta en línea o tiempo real• Paralelización• Modelado• Búsqueda, organización y exploración
14
![Page 15: Datos Masivos I - Conceptos básicos - UNAMturing.iimas.unam.mx/~gibranfp/cursos/datos_masivos_i/... · 2020. 2. 5. · Datos Masivos I - Conceptos básicos Author: Gibran Fuentes-Pineda](https://reader035.fdocuments.mx/reader035/viewer/2022062318/6130b1321ecc51586944423c/html5/thumbnails/15.jpg)
El principio de Bonferroni
Calcula el número esperado de ocurrencias de un even-to bajo la suposición que es aleatorio. Si el número esmuchomayor al de las ocurrencias reales, entonces lasconclusiones que puedas sacar a partir de estos even-tos probablemente sean falsas.
15
![Page 16: Datos Masivos I - Conceptos básicos - UNAMturing.iimas.unam.mx/~gibranfp/cursos/datos_masivos_i/... · 2020. 2. 5. · Datos Masivos I - Conceptos básicos Author: Gibran Fuentes-Pineda](https://reader035.fdocuments.mx/reader035/viewer/2022062318/6130b1321ecc51586944423c/html5/thumbnails/16.jpg)
El caso de Google Flu Trends1
1Ginsberg et al. Detecting influenza epidemics using search engine querydata, Nature, 2009.
16
![Page 17: Datos Masivos I - Conceptos básicos - UNAMturing.iimas.unam.mx/~gibranfp/cursos/datos_masivos_i/... · 2020. 2. 5. · Datos Masivos I - Conceptos básicos Author: Gibran Fuentes-Pineda](https://reader035.fdocuments.mx/reader035/viewer/2022062318/6130b1321ecc51586944423c/html5/thumbnails/17.jpg)
Privacidad y riesgo
• Vigilancia• Sesgos• Baja exploración
17