Gestión de Errores e Indexación en sitios enormes

¿Quíen soy?Pedro MartínezResponsable Departamento SEO en Unidad Editorial

¿Más de 1000?

Detectando errores

WMT3 Métodos

Google Analytics

Logs de servidor

Google Webmasters Tools

Errores en diferentes plataformas

- Errores mostrados para diferentes dispositivos y tipos- Tener en cuenta para webs con web movil en dinamic serving o version mobile- Errores en Google News específicos de la plataforma

Google Webmasters Tools

Errores especificos de plataforma - Errores de servidor- Errores 404 Leves- Errores de acceso- Errores 404 (not found)- Otros

Google Webmasters Tools

Códigos de estado HTTP

1xx: Respuestas informativas

2xx: Peticiones correctas

3xx: Redirecciones

4xx: Errores del cliente

5xx: Errores de servidor

Codigos de estado http

3xx: Redirecciones

301: Movido permanentemente302: Movido temporalmente303: Vea Otra (desde HTTP/1.1)307: Movido temporalmente (desde HTTP/1.1)

Codigos de estado http

4xx: Errores del cliente

403 : Prohibido

404 : No encontrado408 : Tiempo de espera agotado410 : Ya no disponible

503 : Servicio no disponible

Codigos de estado http

Webmasters toolshttps://developers.google.com/webmaster-tools/

•De forma directa desde WMT•Desde la API•Desde “Errors crawl feed”

3 métodos

Descargar Errores

• Descarga CSV desde Webmasters tools• Hasta 1000 por tipo

• Descarga la API de Webmasters tools• Hasta 100.000 por tipo

• Crawl Errors Feed• En teoría todos

Da de alta tus directorios en WMT

API WMThttps://developers.google.com/webmaster-tools/

API WMThttps://developers.google.com/webmaster-tools/

Ejemplos de conexión en varios lenguajes - Python

https://developers.google.com/webmaster-tools/v3/quickstart/quickstart-python?hl=es

- PHP

https://github.com/eyecatchup/php-webmaster-tools-downloads

Crawl Errors Feed

http://searchengineland.com/google-webmaster-tools-crawl-errors-how-to-get-detailed-data-from-the-api-115153

<atom:entry> <atom:id>id</atom:id> <wt:crawl-type>web-crawl</wt:crawl-type> <wt:issue-type>http-error</wt:issue-type> <wt:url>http://example.com/dir/</wt:url> <wt:detail>4xx Error</wt:detail> <wt:linked-from>http://example.com</wt:linked-from> <wt:date-detected>2008-11-17T01:06:10.000 </wt:date-detected></atom:entry>

API WMThttps://developers.google.com/webmaster-tools/

CSVAPI

MYSQL

Excel

Errores en excel

Errores en excelTabla dinamica

Errores en excel

• Segmenta todos los errores

• Visualízalos en una línea de tiempo

• Comprueba tendencias

• Busca patrones

Buscando errorescon Google

Analytics

¡Taguea tus errores!

Google Analytics

A tener en cuenta:

Google Analytics

Nuestra pagina muestra la 404 conservando la URL o no

Si redirige: Añadimos el tag a nuestra pagina personalizada

Si NO redirige: Podemos hacerlo desde Tag Manager o Añadiendo un evento

http://www.lunametrics.com/blog/2014/08/19/404-errors-google-analytics-google-tag-manager/

• ¡OJO !Solo se registran errores de usuarios no de crawerls

• Si creamos un objetivo para nuestros errores podemos ver como han llegado a el nuestros usuarios

Google Analytics

Analizar logsdel servidor

Adelántate a Google

• Busca un buen visualizador

• Siempre puedes exportar a excel

• Busca un buen PC…

Analisis de Logs

Kibana

• Kibana

• Splunk

Herramientas de analisis de Logs

http://www.visualisingdata.com/index.php/resources/

Recursos

Dashboards personalizados

- Una gestión visual de los códigos de estado leidos directamente de los logs te permitirá tener una visual en el tiempo de la salud de tu site

Dashboards personalizados

- Agrupa y diferencia las respuesta de servidor frente al resto de códigos

Se original pero no olvides la funcionalidad

• Un enlace a la home o buscador

• Un enlace al sitemap de la página

• Proporciona una salida rápida

• Un toque distintivo

Ideas para nuestra página de error

Convierte el problema en una oportunidad

No culpes al usuario de tus errores

¡Importante!

Comprobar si esas paginas existen o si se debe a un problema de acceso

Verificar si queremos que Google indexe ese contenido

Corrigiendo errores 404

Si nunca mas van a estar accesibles y Google no debe rastrearlas

Eliminamos la URL o

carpeta desde WMT

Bloqueamos el acceso desde el robots.txt

Marcamos el error como solucionado

en WMT

Corrigiendo errores 404

Screaming Frog es un software muy ligero que reside en tu PC y con el cual se puede realizar un crawl completo de un sitio web.

Screaming Frog es DIOS

El numero de links internos que apuntan a la URI seleccionada en la ventana superior

Comprueba los errores de rastreo que GWT te notifica

1. Descarga desde Google Webmaster Tools el listado de 404;

2. Elimina eventuales duplicados;

3. Copia todas la URLs en file .txt;

4. Usa Screaming Frog en List Mode y rastrea URLs del file .txt;

5. Exporta los 404 que han quedado después del rastreo y

corrígelos.

1.Salva las antiguas URLs en un fichero .csv o .txt

2.Cárgalo en Screaming Frog

3.Comprueba que todas hagan 301 correctamente

4.Exporta las URLs defectuosa y corrige los errores

En una migración

Screaming Frog

DeepCrawl http://deepcrawl.co.uk/

Monitoriza tu web… …y a tu

competencia

Control de indexación

Indices de sitemaps por secciones

GWT – Parámetros de URL¡¡¡¡¡¡Precaución!!!!!!

GWT – Explorar como Google- Permite analizar la pagina como el bot de Google, detectar posibles errores - Posibilita enviar paginas o carpetas para su indexación

http://cortefiel.com/es/tienda/hombre/cazadoras/

http://cortefiel.com/es/tienda/hombre/cazadoras/?option_value_talla=&price_order=asc&ov_color_sku=

<link rel="canonical" href="http://cortefiel.com/es/tienda/hombre/cazadoras/"/>

Link: <http://www.example.com/descargas/libro-blanco.pdf>; rel="canonical"

Ficheros HTML

Ficheros PDF o cualquier indexable por Google

Canonical

Añadir en las cabeceras

¿rel="canonical" es una sugerencia o una directiva?

¿Puede ser el enlace absoluto o relativo?

¿El contenido de un conjunto de páginas debe ser similar al de la versión canónica?

¿Qué sucede si rel="canonical" conduce a una página que no existe?

¿Puede seguir Google una cadena de designaciones rel="canonical"?

¿Se puede utilizar rel="canonical" para sugerir una URL canónica de un dominio completamente distinto?

Que debes saber de “Canonical”

GWT – URL bloqueadas, Robots.txt

Gracias!!

Pedro MartínezTwitter: @PedroMG