Doch was ist wenn Google eine Seite indexiert hat, die lieber verborgen bleiben soll. Das Impressum wäre bspw. so eine Seite. Dann kann die robots.txt Datei verwendet werden, mit der quasi dem Google Bot Anweisungen gegeben werden können. Überprüfen wir das doch einfach mal für Zalando.de. Daraus kann man erkennen, dass die Unterseiten „/cart“, „/wardrobe“, „/myaccount“ usw. für alle Suchmaschinen verborgen bleiben sollen. Und ein spezielles Unterverzeichnes für Bing nicht indexiert werden soll. Das heißt, wenn eine spezielle Seite von euch partout nicht indexiert werden will, geht auf unser kostenloses Tool drauf, tragt eure URL ein und schaut, ob vielleicht genau diese aus Versehen auf „non-index“ steht. Das würde euch zumindest hier angezeigt werden.