RubyGems Navigation menu

arachnid 0.1.1

Arachnid is a web crawler that relies on Bloom Filters to efficiently store visited urls and Typhoeus to avoid the overhead of Mechanize when crawling every page on a domain.

Gemfile:
= Copier Copié!

installation:
=

Versions:

  1. 0.4.1 - January 17, 2014 (5 ko)
  2. 0.4.0 - January 16, 2014 (4,5 ko)
  3. 0.3.2 - January 16, 2014 (5 ko)
  4. 0.3.1 - January 16, 2014 (5 ko)
  5. 0.3.0 - January 16, 2014 (4,5 ko)
  6. 0.1.1 - November 12, 2011 (4,5 ko)
Voir toutes les versions (12)

Dépendances de Runtime (4):

bloomfilter-rb = 2.1.1
domainatrix = 0.0.10
nokogiri = 1.5.0
typhoeus = 0.3.2
Show all transitive dependencies

Propriétaires:

Auteurs:

  • dchuk

Total de contrôle SHA 256:

141989c6d5e973e865a4e35e20078a7e7f80577d6726ecc895b310e9ad36de49
← Version précédente Version suivante →

Total de téléchargements 48 741

Pour cette version 4 405

License:

aucune

Version de Ruby requise: None

Liens:

Page d'accueil Documentation Télécharger Review changes Badge Abonnement RSS Signaler un abus Reverse dependencies