# robots.txt fuer http://www.ulf-dunkel.de/
User-agent: *            # Wildchar * schließt alle Crawler aus.

# Mit den einzelnen Disallow-Einträgen bestimmt man Dateien und Verzeichnisse, die nicht indexiert werden sollen.
# 'Disallow: /' verbietet die komplette Site
# 'Disallow: ' erlaubt die ganze Site

Disallow: /files/
Disallow: /fotos/
Disallow: /images/        
Disallow: /richter-dtp/
Disallow: /pb-test/
Disallow: /test/

Disallow: /cgi-bin/    # CGI-Ausgaben nicht indexieren
Disallow: /css/
Disallow: /includes/
Disallow: /js/
Disallow: /sys/

Disallow: /logfiles/   # Die ändern sich jeden Tag
Disallow: /temp/       # Die Dateien sind sehr kurzlebig
Disallow: /tmp/        # Die Dateien sind sehr kurzlebig