jeremyf-robot_rules 0.9.1
A tool to determine if the robots.txt would prevent a given user agent from making a request to a given URI.
Gemfile:
=
クリップボードにコピー
コピー完了!
インストール:
=
バージョン履歴:
- 0.9.1 - August 11, 2014 (7KB)
作者:
-
James Edward Gray II, Jeremy Friesen
SHA 256チェックサム:
7910715811b5624708a508751122cf2b58e07cd59f030241eddaef5b8ab7fed9