Onde fica o robots.txt?

Na raiz do seu domínio: /robots.txt.

Ele bloqueia bots maliciosos?

Ele é orientativo; rastreadores bem-comportados o obedecem.

Gere um arquivo robots.txt para o seu site.

Caminhos a não permitir (um por linha)URL do sitemap

Saída

User-agent: *
Disallow: /admin
Disallow: /private
Sitemap: https://example.com/sitemap.xml

Crie um robots.txt com caminhos não permitidos e uma referência de sitemap.

Onde fica o robots.txt?: Na raiz do seu domínio: /robots.txt.
Ele bloqueia bots maliciosos?: Ele é orientativo; rastreadores bem-comportados o obedecem.