robots.txt ジェネレーター

使い方

1. 許可しないパスを入力します。
2. サイトマップのURLを追加します。
3. robots.txt をコピーします。

よくある質問

robots.txt はどこに置く?

ドメインのルートに置きます: /robots.txt。

悪質なボットをブロックできる?

あくまで指示であり、行儀の良いクローラーが従います。