Robots.txt & SEO

Beschreibung

Die Robots-Datei (robots.txt) steuert, auf welche Crawler zugegriffen werden kann oder nicht.

Beispiel

Block one folder

User-agent: *
                            Disallow: /folder/
                        

Block one file

User-agent: *
                            Disallow: /file.html
                        

Block all

User-agent: *
                            Disallow: /
                        

Allow all

User-agent: *
                            Disallow:
                        

User agents: google

User-agent: Googlebot
                        





Alex Bieth, SEO Consultant