# robots.txt User-agent: * Disallow: /counter/ # Die Dateien sind sehr kurzlebig Disallow: /gaestebuch/ # Die ändern sich jeden Tag Disallow: /images/ # Bilder nicht downloaden Disallow: /cgi-bin/ # CGI Ausgaben nicht indexieren Disallow: /cgi-data/ # CGI Ausgaben nicht indexieren Disallow: /news.htm # Die news.html ändert sich täglich