SEO-Tools/Robots.txt-Generator

Robots.txt-Generator

Erstellen und anpassen Sie robots.txt für Suchmaschinen-Crawler

User-Agent

Erlaubte Pfade

Ein Pfad pro Zeile

Verbotene Pfade

Ein Pfad pro Zeile

Sitemap-URL

Crawl-Verzögerung (Sekunden)

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/
Disallow: /api/

Sitemap: https://example.com/sitemap.xml

Speichern Sie als robots.txt im Stammverzeichnis Ihrer Website