Googlebot-mobile ade: Ein neuer User Agent für das Crawling von Smartphone Content
Kommentare

Google hat in der Vergangenheit unterschiedliche Crawler verwendet, um Inhalte für Smartphones und Feature Phones zu indexieren. Diese wurden als Googlebot-mobile bezeichnet. Nun gab Google bekannt, dass dieser User Agent, zumindest für das Inexieren von Smartphone Content, ausgemustert wird und sich in Zukunft allgemein als „Googlebot“ ausweisen wird.

Bedingt durch die unterschiedliche Geräteleistung von Feature Phones und Smartphones musste das Crawling und die Indizierung von Feature Phone Content öfter ausgeschlossen werden. Mit der Änderung der Crawler räumt Google nun die Doppeldeutigkeit aus, die häufiger dazu geführt hatte, dass Webmaster versehentlich das Crawling von Smartphones blockiert hatten, obwohl sie eigentlich nur Feature-Phones vom Index ausschließen wollten.

Dies sind die neue Googlebot-User-Agent Angaben für Smartphones:

Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Folgender Googlebot-mobile-User-Agent wird hinfällig:

Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

Die nachfolgenden Googlebot-mobile-User-Agents bleiben für das Crawling von Feature Phone Content bestehen:

So wird nun das Crawling für Inhalte von Feature Phone in der robots.txt korrekt blockiert:

User-Agent: Googlebot-Mobile

Disallow: /

Ob die robots.txt richtig angepasst ist, kann über Webmaster-Tools getestet werden. Detailinformationen zu den einzelnen Crawlern finden sich ebenfalls in der Webmaster-Tools-Hilfe.

Unsere Redaktion empfiehlt:

Relevante Beiträge

Meinungen zu diesem Beitrag

X
- Gib Deinen Standort ein -
- or -