# robots.txt file for http://www.ferienhaus-kloeber.de
# programming: www.meiss.info | www.rhein-main-mediendesign.de
# Gibt an, welche Unterverzeichnisse nicht durch Crawler durchsucht werden sollen

# www.archive.org sperren
User-agent: ia_archiver
Disallow: /

# immer sperren
User-agent: *
Disallow: /logs/
Disallow: /alt/
Disallow: /css/
Disallow: /images/
Disallow: /scripte/
Disallow: /cgi-bin/
Disallow: /cgi-data/
Disallow: /lightbox/

# sperren
Disallow: /galerie_wohnung/
Disallow: /galerie_landschaft/

# auch sperren
User-agent: EmailCollector
Disallow: /

User-agent: WebReaper
Disallow: /

#Yahoo-Bot, 600 Sekunden d.h. alle 10 Minuten
User-agent: Slurp 
Crawl-delay: 600