Análisis de logs Análisis de Logs Descubriendo la vida oculta de los números en nuestro servidor.

Análisis de logs

Análisis de LogsDescubriendo la vida oculta de los números en nuestro servidor

Análisis de logs

Objetivos del curso

Entender que es un log

Personalizar el análisis

Entender las herramientas

Presentar el análisis con resultados

Análisis de logs

Sumario

Antes de abrir el log

Qué es un log?

Ventajas del análisis

Generar acción

Análisis de logs

Antes de abrir el log

• Definir objetivos• Entender el site a medir• Motivación del usuario • Anticipar datos a conseguir• Final: Generar acción

Análisis de logs

Definir objetivos

• Que queremos conocer• Formato de los datos

Análisis de logs

Entender el site a medir

• Arquitectura• Obejtivos• Tecnología• Ciclos de actualización• Promociones

Análisis de logs

Motivación del usuario

• Comprar / Transacción• Buscar información• Comparar / Monitorizar datos• Diversión

Análisis de logs

Motivación del usuario

• Conociendo el comportamiento del usario, es más facil insertar promociones

• Construir sobre las rutas y ciclos que el usuario ha creado

Análisis de logs

Anticipar datos a conseguir

• Rango de fechas• Precisión• Audiencia

Análisis de logs

Objetivo final: Generar acción

• Presentar datos de forma dinámica• El éxito de una presentación se basa en el tiempo y en encontrar las motivaciones de la audiencia

• Tener en mente que es lo que queremos generar con la presentación

Análisis de logs

Objetivo final: Generar acción

• Conocer la audiencia• Entender las necesidades

Análisis de logs

• La interacción en una web es bastante lineal

• Un site bien diseñado ofrecerá datos más fiables y más fáciles de entender

• Es interesante por el volumen de datos, rapidez, accesibilidad

Estudiar un log es sencillo

Análisis de logs

…pero se puede complicar

• Arquitectura debil• Mala gestión de los archivos• Tecnología que evita un

registro limpio

Análisis de logs

148.221.70.215

[03/Mar/2002:23:59:35 +0100]

/dietas/rapidas/manzana.html

http://google.yahoo.com/dieta+manzana

"Mozilla/4.0 MSIE 5.0; Windows95"

Que es un log?2

Análisis de logs

• Número identificación máquina del usuario

• Relativo valor

• Clave : En lapsos cortos de tiempo es referencia de sesión única

148.221.70.215

[03/Mar/2002:23:59:35 +0100]

Análisis de logs

Nombre de usuario

• Aparece en el log• % registrados frente a no

registrados • Conocer % de log-in

• Clave: Autoidentificar al usuario para una mejor contabilidad y seguimiento

148.221.70.215

[03/Mar/2002:23:59:35 +0100]

Análisis de logs

Contraseña

• Autentificar al usuario con nombre y clave asegura la identidad

• Las cookies tampoco son la salvación

• Clave: Identificar errores en la entrada de contraseñas

148.221.70.215

[03/Mar/2002:23:59:35 +0100]

Análisis de logs

• Ciclos temporales • Impacto de campañas • Semana, Mes, Año

• Clave: Entender la tendencia del tráfico

148.221.70.215

[03/Mar/2002:23:59:35 +0100]

Análisis de logs

Tiempo de permanencia

• Separar el tiempo de permanencia en el site del tiempo por página

• Valorar el tiempo de permanencia en relación al tipo de site

Análisis de logs

• Factor clave en:– Login– Portada– Verificar compra– Páginas de salida– Resultado búsquedas

Análisis de logs

• Una navegación consistente ayuda a medir el interés por el contenido de la página

• Una navegación inconsistente dará más variables difíciles de controlar

• Los directorios ayudan a acceder al contenido de forma más rápida

Análisis de logs

Entender los ciclos

• Construir sobre los puntos de concentración de usuarios (horas, semanas, temporadas…)

• Desarrollo de nuevos productos para un mejor balance y utilización de los recursos

Análisis de logs

Documento pedido

• Elementos más pedidos• Páginas de salida, rutas,

etc…

• Clave: Disponer de una estructura que nos ayude a entender el log

148.221.70.215

[03/Mar/2002:23:59:35 +0100]

Análisis de logs

Páginas más vistas

• Valorar el contenido del site• Efectividad de los menus• Referenciar el éxito de promociones• Uso del buscador frente al menú\• Construir sobre las secciones que

concentran más usuarios

Análisis de logs

• Distorsión por la arquitectura del site

• Si para llegar a la página X tengo que pasar por la “portada”, “menu 1” y “menu 2”, estas paginas reciben visitas que no se deben a su interes sino por circunstancias de la arquitectura del site

Análisis de logs

• Valorar la modificación de páginas por su exito dentro de la categoría

• En caso de fracaso, eliminar, modificar

• Este tipo de medidas dan valor al log

Análisis de logs

• Comparar páginas que se encuentren en los mismos niveles del site

• Crear bloques de páginas, secciones, herramientas, formato, tecnología…

• Insertar claves dentro de la URL para una mejor identificación

Análisis de logs

• 200 - Éxito• 300 - Redirección.• 400 - Error• 500 - Fallo servidor

• Clave: Conocer errores y posibles debilidades dentro de la arquitectura

148.221.70.215

[03/Mar/2002:23:59:35 +0100]

Análisis de logs

Colección de errores

• Entrada de datos• Información no encontrada pero disponible• Información solicitada pero no disponible• Errores del sistema• Enlaces perdidos

Análisis de logs

• Consecuencias de 1% de error / mes– 400.000 visitas /mes– 4.000 reciben error / mes– 48.000 visitas reciben error / año

• Objetivo final 99.8%

Análisis de logs

Volumen de transferencia

• Importante por el coste que supone

• Clave: El volumen de transferencia debe tenerse en cuenta a la hora de medir el tiempo de permanencia y número de páginas vistas

148.221.70.215

[03/Mar/2002:23:59:35 +0100]

Análisis de logs

Volumen de transferencia

• 60 seg / 30kbs = 2• 60 seg / 300kbs = 0.2

• Clave: Cuanto más peso tenga que bajar un usuario menos tiempo permanecera viendo el contenido y mas reticencia a seguir navegando

148.221.70.215

[03/Mar/2002:23:59:35 +0100]

Análisis de logs

Referencia

• Desde donde llega el usuario.

• Clave:– Navegación más utilizada– Buscadores externos– Rutas navegación

148.221.70.215

[03/Mar/2002:23:59:35 +0100]

Análisis de logs

Referencia

• Agrupando por directorios podemos ver la influencia de unas secciones del site sobre otras

• Cuantos visitantes de la sección “televisores” llegan a la sección “DVDs”

148.221.70.215

[03/Mar/2002:23:59:35 +0100]

Análisis de logs

Referencias de Buscadores

• Clave para optimizar metatags• Páginas de destino

– Recuperar usuarios de páginas interiores

– Tiempo de permanencia

Análisis de logs

• Recibimos sólo donde nos encontramos indexados

• Recibimos sólo referencias que han sido pinchadas

Análisis de logs

• Reproducir las búsquedas para comprobar nuestra posición, descripción, competencia.

Análisis de logs

Referencias

• Eficacia de menús• Conocer enlaces más usados• Banners• Promociones internas

Análisis de logs

Sistema del usuario

• Interesante para conocer targets pero viene a ser 95% MS/IE

148.221.70.215

[03/Mar/2002:23:59:35 +0100]

Análisis de logs

Formularios

• Presentan su propio log• Estudiar la entrada de datos• El tiempo de permanencia y páginas

consultadas• Validar errores sobre páginas

independientes para tener los datos en el log

Análisis de logs

Ventajas

• Precisión• Gratuito• Verdadero• Amplio

Ventajas del análisis3

Análisis de logs

Desventajas

• Acceso• Herramientas• Compresión de los

resultados• Poner en acción

Análisis de logs

El log es lo primero y último

• Para conocer el estado de un site debemos empezar por el log

• El log nos dará la información para conocer el día a día de las operaciones

• Identificar la procedencia de usuarios y su comportamiento a lo largo del tiempo

Análisis de logs

El Acceso al Log

• Desconocido• Olvidado• Peso archivo• Clave: Iniciar

colaboración MKT e IT

Análisis de logs

El peso del Log

• Cada hit genera 200 bytes• 50.000 hits generan 9 Mgs• Si tenemos 50.000 visitas x 5

páginas vistas x 15 elementos por página = 675 Mgs

• Clave: Mantener actualizado el log para evitar el colapso por tamaño

Análisis de logs

Herramientas

• Caras• Complejas• Difícil comparar

• Solución: Olvidar la herramienta y centrarse en los resultados

Análisis de logs

Mantener y optimizar

• Utilizar• Comparar• Validar• Compartir• Publicar

Análisis de logs

Utilizar

• Si los datos son “usables” serán utilizados• Las acciones se pondrán en marcha• Servirán como referencia

Análisis de logs

Comparar

• Comparar el log a lo largo del tiempo• Entre diferentes logs (divisiones,

compañias, paises…)• Entre diferentes medios (web, mail,

agentes comerciales…)

Análisis de logs

Validar

• De forma interna• De forma legal

Análisis de logs

• Si el archivo es ligero se puede mover• Si lo dejamos crecer se hace inmanejable

Análisis de logs

Publicar

• Clave para motivar el departamento / empleados / clientes / accionistas

• Formatos estandar para poder adecuar la salida de los datos (web, excel, imprenta…)

Análisis de logs

Generar un archivo

• Consistente• Completo• Adecuado

Análisis de logs

Errores de medición

• Cache• Conexión• Tiempo de bajada de la página• Networks• “Back button”• Pausas en la navegación

Análisis de logs

Páginas dinámicas

• Si tenemos URLs tenemos resultados

• Poner metodos de validación de datos• Aun mayor colaboración entre

programación e internet

Análisis de logs

El valor de analizar web logs

• Cual es el valor real del análisis?• Es una perdida de tiempo?

Análisis de logs

• Valoración de modificaciones• Promociones• Exito en el proceso de transacciónes• Valoración de nuevos productos

Análisis de logs

• Crear presentaciones que muestren datos relevantes

• Consistencia y rapidez en la ejecución• Aportar soluciones concretas a

problemas reales

Análisis de logs

• Mayor precisión en los resultados resultará en un mayor valor de la publicidad

• Conocer lo que atrae al usuario generará promociones de éxito

Análisis de logs

• Presentamos para conseguir algo

• Entender el marco de acción de la audiencia

• Definir una acción, cuanto y cuando

Generar acción4

Análisis de logs

Ejemplo

El buscador no da buenos resultados

– Datos del análisis, datos del análisis, datos del análisis, datos del análisis...

En 3 semanas es la revisión trimestral

Nos jugamos mucho en esta presentación

Análisis de logs

Ejemplo

Campaña Navidad: Objetivo crecer 25%

– Datos del análisis, datos del análisis, datos del análisis, datos del análisis...

Debemos coordinar mejor las acciones

Test de Newsletter y banners en 2 semanas

Análisis de logs

Involucrar a la audiencia

• Dinero (ganar, ahorrar)• Tiempo, campañas, ciclos• Ahorrar esfuerzos• Ganar confort• Ser admirado / popular / concursos• Reconocimiento• Mantener lo que tenemos...

Análisis de logs

Atraer con titulares

• Emepezar por el mensaje principal• Exponer el tema principal con claridad• Enriquecer la presentación con los

detalles

• Evitar el “hablar por hablar”

Análisis de logs

Enriquecer los datos

• Referencias a eventos• Comentarios de clientes

• Aportar el toque humano

Análisis de logs

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

Resultados de la campaña otoño

Análisis de logs

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

La newsletter generó máximos

que el banner nunca ha dado

La página de destino daba problemas

Se mejoró la página de destino y el formulario pero se perdieron visitas

por los fallos de la anterior camapña

Algunos mails de quejas sobre el peso y contenido

Resultados de la campaña otoño

Análisis de logs

Versiones A y B

Muestra: 15,000 usuarios. Fecha: 23 - 30 Agosoto. Tiempo de permanencia (media): A - 3:30 / B - 4:56Páginas vistas: A - 25 / B - 36

Análisis de logs

Versiones A y B

Tiempo de permanencia:

Páginas vistas:

4:56 +23%

8 14 +75%

Análisis de logs

Rutas de usuarios

11 22 33 44 55

15’’ 25’’ 8’’ 15’’ 6’’Tiempo de permanencia

Series1

Análisis de logsSeries1

Rutas de usuarios

11 22 33 44 55

15’’ 12’’ 8’’ 10’’ 6’’Tiempo de permanencia

Si no acertamos con la primera página, la venta está perdidaAfinar la estrategia con las páginas de destino

Análisis de logs

Presentación gráfica

• Revelación de lo invisible

• Comparación de datos• Buscar ciclos que permitan una

comparación precisa y valida.• Cruzar referencias que puedan crear

patrones de conducta• Acumular para tener referencias claras• Contar con un diseño de calidad

Análisis de logs

El toque humano

• El análisis de datos no depende de la herramienta

• Es la relación de variables la que ofrece la foto completa

• Eso solo se consigue con el toque humano

Análisis de logs

Gracias

iworkwithyou@yahoo.com

Análisis de logs Análisis de Logs Descubriendo la vida oculta de los números en nuestro servidor.

Documents

Transcript of Análisis de logs Análisis de Logs Descubriendo la vida oculta de los números en nuestro servidor.

EL PROBLEMA - dspace.espol.edu.ec€¦ · Capacidad de procesamiento y análisis de logs tcpdump del orden de Gigabytes ... La importancia de analizar logs tcpdump como fuente de

Descubriendo septiembre2009

Descubriendo texturas

Descubriendo Mendoza

Logs Correlación de Eventos OSSIM

"Descubriendo Miradas"

Sem3-Logs y Boot Win2008server_pdf

Introducción Recogida de evidencias Análisis de procesos. Análisis de ficheros y logs. Procedimiento.

De Mensajería hacia Logs con Apache Kafka

Centralización de logs

Sistema Para Generar Gráficas a Partir de Logs Tcpdum

SISTEMAS DE INFORMACIÓN PARA EL REPOSITORIO DE LOGS ...

Descubriendo mexico

Descubriendo Ajenjo

Descubriendo asteroides

Monitorización y recolección de logs

Gestión de Logs - Network Startup Resource Center

Logs Sesión 0001

Curso Avanzado Seguridad Logs

Descubriendo culturas