¿Dónde va robots.txt?

En la raíz de tu dominio: /robots.txt.

¿Bloquea a los bots maliciosos?

Es orientativo; los rastreadores que se comportan bien lo obedecen.

Genera un archivo robots.txt para tu sitio.

Rutas no permitidas (una por línea)URL del sitemap

Salida

User-agent: *
Disallow: /admin
Disallow: /private
Sitemap: https://example.com/sitemap.xml

Crea un robots.txt con rutas no permitidas y una referencia al sitemap.

¿Dónde va robots.txt?: En la raíz de tu dominio: /robots.txt.
¿Bloquea a los bots maliciosos?: Es orientativo; los rastreadores que se comportan bien lo obedecen.