spidrの被依存関係 以下のgemの最新版はspidrを必要としています
validate-website 1.12.0
validate-website is a web crawler for checking the markup validity with XML Schema / DT...
125,222 ダウンロード数
esearchy 0.2.3
A library to search for emails in search engines
52,091 ダウンロード数
wayback_archiver 1.4.0
Post URLs to Wayback Machine (Internet Archive), using a crawler, from Sitemap(s) or a ...
45,976 ダウンロード数
ronin-scanners 0.1.4
Ronin Scanners is a Ruby library for Ronin that provides Ruby interfaces to various thi...
22,342 ダウンロード数
monet 0.3.1
Monet is a web UI change comparer.
21,230 ダウンロード数
contentar 0.0.5
A Gem to produce competitive intelligence data
13,040 ダウンロード数
hacker-gems 0.3
Hacker-gems installs most needed gems for hackers.
12,360 ダウンロード数
refract 0.0.2
Crawler that auto generates SitePrism Page Objects
5,053 ダウンロード数
spidr_cli 0.3.0
Command Line Interface (CLI) for the spidr gem.
4,797 ダウンロード数
ronin-web-spider 0.1.0
ronin-web-spider is a collection of common web spidering routines using the spidr gem.
4,640 ダウンロード数
stupid_crawler 0.2.1
Stupid crawler that looks for URLs on a given site. Result is saved as two CSV files on...
3,703 ダウンロード数
site_health 0.2.0
Crawl a site and check various health indicators, such as: HTTP 4XX, 5XX status, valid ...
3,565 ダウンロード数