# robots.txt # Gibt an, welche Unterverzeichnisse bzw. Dateien nicht durch Crawler durchsucht werden sollen User-agent: * Disallow: /logs Disallow: /cgi-bin Disallow: /statistik Disallow: /images Disallow: impressum.htm Disallow: *.gif Disallow: *.jpg # google Bilder ausschliessen User-agent: Googlebot-Image Disallow: /