RubyGems Navigation menu

jeremyf-robot_rules 0.9.1

A tool to determine if the robots.txt would prevent a given user agent from making a request to a given URI.

Gemfile:
=

instalar:
=

Versiones:

  1. 0.9.1 August 11, 2014 (7 KB)

Autores:

  • James Edward Gray II, Jeremy Friesen

SHA 256 checksum:

=

Total de descargas 3.531

Para esta versión 3.531

Versión publicada:

Licencias:

N/A

Versión de Ruby requerida: >= 0

Enlace: