Weil ich es eben wieder mit Schaudern feststellen musste: Nein, eine robots.txt ist keine Firewall, an die sich Clients halten müssen. (Es gibt übrigens nicht mal einen RFC dazu.) Es ist vielmehr eine Empfehlung für gutartige Crawler, mehr nicht. Wenn ich in einer robots.txt dann seitenweise(!) Deep-Links sehe, tlw. noch mit Kommentaren, Datum, Versionierung, Usernamen etc. dann hat jemand etwas nicht richtig verstanden. Dies erleichtert nur die Erkundung potentieller Angriffsflächen, was natürlich das genaue Gegenteil des intendierten Ziels war.

Aber geht mal selbst auf Erkundung, natürlich unter strikter Einhaltung sämtlicher rechtlicher Grundlagen!