robot_rules 0.9.3
A tool to determine if the robots.txt would prevent a given user agent from making a request to a given URI.
Gemfile:
=
In die Zwischenablage kopieren
Kopiert!
installieren:
=
Runtime Abhängigkeiten (1):
addressable
>= 2.1.2
Besitzer:
Autoren:
-
James Edward Gray II, Jeremy Friesen, Edgar Gonzalez
SHA 256-Prüfsumme:
e9ef85a1ba4939df3bc5501bb62370b89771cb01f40031f96270095900a5abe2