Die Robots.txt ist eine Textdatei innerhalb der eigenen Website, welche vorgibt, welche Bereiche einer Website durchsucht oder auslassen werden sollen. Google hat nun angekündigt, dass diese Datei ab 1. September nicht mehr beachtet wird.

Betroffen sind die Anweisungen:

  • Noindex - Mit dieser Anweisung kann verhindert werden, dass eine bestimmte Seite Ihrer Website in der Google-Suche erscheint.
  • Nofollow - Mithilfe von "nofollow" kann Suchmaschinen die Anweisung erteilt werden, einzelne oder alle Links auf einer Seite nicht zu verfolgen.
  • Crawl-delay - Die beiden Codes 404 und 410 bedeuten, dass es die Seite einer Internetseite nicht mehr gibt.

Als Begründung gibt Google an, dass die genannten Anweisungen nur eine sehr geringe Verbreitung besitzen.

Es gibt zahlreich Alternativen für die betroffenen Bereiche.

Benötigen Sie Unterstützung bei der Änderungen. Gerne helfe ich Ihnen weiter!