Wohin gehört die robots.txt?

In das Stammverzeichnis deiner Domain: /robots.txt.

Blockiert sie böswillige Bots?

Sie ist beratend; brave Crawler befolgen sie.

Eine robots.txt-Datei für deine Seite generieren.

Gesperrte Pfade (einer pro Zeile)Sitemap-URL

Ausgabe

User-agent: *
Disallow: /admin
Disallow: /private
Sitemap: https://example.com/sitemap.xml

Erstelle eine robots.txt mit gesperrten Pfaden und einer Sitemap-Referenz.

Wohin gehört die robots.txt?: In das Stammverzeichnis deiner Domain: /robots.txt.
Blockiert sie böswillige Bots?: Sie ist beratend; brave Crawler befolgen sie.