Robots.txt-Generator

Steuern Sie, wie Suchmaschinen-Bots Ihre Website crawlen. Verbergen Sie sensible Ordner, geben Sie Ihre Sitemap an und schützen Sie Ihr SEO-Ranking.

Allgemeine Einstellungen

Standardzugriff (Alle Bots)

Crawl-Verzögerung (Sekunden)

Wie viele Sekunden Bots zwischen Anfragen warten sollen (Reduziert Serverlast).

Sitemap-URL

Gesperrte Verzeichnisse

Schnellvorlagen

Ihre Robots.txt-Datei

User-agent: *

Was ist Robots.txt?

Robots.txt ist eine einfache Textdatei im Stammverzeichnis Ihrer Website. Sie teilt Suchmaschinen-Crawlern mit, welche Teile Ihrer Website gescannt werden sollen und welche nicht. Sie ist ein Eckpfeiler der technischen SEO.

Bedeutung von User-agent: *

Dieser Befehl zielt auf "Alle Bots" ab. Jede Regel darunter, wie `Disallow: /admin/`, gilt für jeden Besucher-Bot, von Google bis Yandex.

Warum Sitemap hinzufügen?

Das Hinzufügen von `Sitemap: https://...` am Ende Ihrer robots.txt ermöglicht es Google, neue Inhalte auf Ihrer Website viel schneller zu entdecken. Auch ohne Search Console finden Bots Ihre Karte hier.

Robots.txt FAQ

Wo sollte die robots.txt liegen?

Sie muss im Stammverzeichnis liegen und unter `seite.com/robots.txt` erreichbar sein. In Unterverzeichnissen (seite.com/blog/robots.txt) funktioniert sie nicht.

Entfernt Disallow Seiten aus Google?

Nein, es verhindert nur das Crawlen. Wenn die Seite bereits indexiert ist oder extern verlinkt wird, kann sie weiterhin erscheinen. Nutzen Sie das "noindex"-Tag zum Entfernen.