# Default: Erst mal allen alles verbieten
User-agent: *
Disallow: /

# Sicherheitshalber auch ein spezielles, komplettes Verbot
User-agent: jobs.de-Robot
Disallow: /

# Dann doch für einige nur einiges verbieten: Google, Bing, DuckDuckGo, Yahoo (Slurp)
User-agent: Googlebot
User-agent: bingbot
User-agent: DuckDuckBot
User-agent: Slurp
Disallow: /cache/
Disallow: /output/
Disallow: /suche.phtml
Disallow: /suchen.phtml
Disallow: /redirect.phtml
Crawl-delay: 10

Sitemap: https://www.nieheim.de/sitemap.xml