## Mit der folgenden Syntax erlauben Sie ALLEN Suchmaschinen-Robots, ALLE ihren Daten auszulesen: # User-agent: * # Allow: / ## Mit / bestimmen Sie "alle Daten dieses Verzeichnisses und aller Unterverzeichnisse". ## Mit der folgenden Syntax erlauben Sie keinem Suchmaschinen-Robot, auch nur irgendetwas von ihren Daten auszulesen: # User-agent: * # Disallow: / ## Mit / bestimmen Sie "alle Daten dieses Verzeichnisses und aller Unterverzeichnisse". ## Mit der folgenden Syntax nehmen Sie einen bestimmten Robot namens mein-Robot von allen anderen Verboten aus: # User-agent: mein-Robot # Disallow: ## Durch eine fehlende Angabe hinter Disallow: wird alles erlaubt!