Di mana robots.txt ditempatkan?

Di root domain Anda: /robots.txt.

Apakah memblokir bot jahat?

Sifatnya anjuran; crawler yang taat mematuhinya.

Hasilkan berkas robots.txt untuk situs Anda.

Jalur yang dilarang (satu per baris)URL sitemap

Keluaran

User-agent: *
Disallow: /admin
Disallow: /private
Sitemap: https://example.com/sitemap.xml

Buat robots.txt dengan jalur yang dilarang dan referensi sitemap.

Di mana robots.txt ditempatkan?: Di root domain Anda: /robots.txt.
Apakah memblokir bot jahat?: Sifatnya anjuran; crawler yang taat mematuhinya.