######################################################## # robots.txt fuer dhd24.com # [siehe http://selfhtml.teamone.de/diverses/robots.htm] ######################################################## # Verzeichnisse bitte unten eintragen: ######################################################## ######################################################## # Allgemein ######################################################## User-agent: * Disallow: / ######################################################## # Speziell ######################################################## User-agent: Adsbot-Google Allow: / User-agent: Feedfetcher-Google Allow: / User-agent: Googlebot Allow: / User-agent: Googlebot-Image Allow: / User-agent: Googlebot-Mobile Allow: / User-agent: ia_archiver Allow: / User-agent: MediaPartners-Google Allow: / User-agent: msnbot Allow: / User-agent: Slurp Allow: / User-agent: TEOMA Allow: / User-agent: eBay Relevance Ad Crawler Allow: / User-agent: eBay Relevance Ad Crawler powered by contentDetection (www.mindup.de) Allow: / User-agent: Heritrix Allow: /