# robots.txt fuer http://www.rodolfo-weber.de/
User-agent: *
Disallow: /temp/       # Die Dateien sind sehr kurzlebig
Disallow: /logfiles/   # Die ändern sich jeden Tag
Disallow: /bilder/     # Bilder nicht downloaden
Disallow: /cgi-bin/    # CGI Ausgaben nicht indexieren
Disallow: /news.html   # Die news.html ändert sich täglich

User-agent: *
Disallow: / RealMedia /
Disallow: / archiv /
Disallow: / forum /
Disallow: / cgi-bin /
Disallow: / werbung /
Disallow: / artikelversand /
Disallow: / Großbild /
Disallow: / druckbild /
Disallow: / druckrezension /
Disallow: / Druckversion /
Disallow: / aktiv /
Disallow: / staticgen / mobil /

# User-agent: Firefly/1.0
# Disallow: /

User-agent: WebReaper
Disallow: /

User-agent: Slurp
Crawl-delay: 18

User-agent: ia_archiver
Disallow: /