arachnid 0.2.1

Arachnid is a web crawler that relies on Bloom Filters to efficiently store visited urls and Typhoeus to avoid the overhead of Mechanize when crawling every page on a domain.

Gemfile:
= Copier Copié!

installation:
=

Versions:

0.4.1 - January 17, 2014 (5 ko)
0.4.0 - January 16, 2014 (4,5 ko)
0.3.2 - January 16, 2014 (5 ko)
0.3.1 - January 16, 2014 (5 ko)
0.3.0 - January 16, 2014 (4,5 ko)
0.2.1 - November 29, 2011 (4,5 ko)

Voir toutes les versions (12)

Dépendances de Runtime (4):

bloomfilter-rb = 2.1.1

domainatrix = 0.0.10

nokogiri = 1.5.0

typhoeus = 0.3.2

Show all transitive dependencies

Propriétaires:

Auteurs:

dchuk

Total de contrôle SHA 256:

9692fe29efa02bc187c6d9acc9b1767a9560210fa0067bd72d5ec9c8d2e82cb5

arachnid 0.2.1

Gemfile:
= Copier Copié!

installation:
=

Versions:

Dépendances de Runtime (4):

Propriétaires:

Auteurs:

Total de contrôle SHA 256:

Total de téléchargements 48 951

Pour cette version 4 400

License:
aucune

Version de Ruby requise: None

Liens:

arachnid 0.2.1

Gemfile: = Copier Copié!

installation: =

Versions:

Dépendances de Runtime (4):

Propriétaires:

Auteurs:

Total de contrôle SHA 256:

Total de téléchargements 48 951

Pour cette version 4 400

License: aucune

Version de Ruby requise: None

Liens:

Gemfile:
= Copier Copié!

installation:
=

License:
aucune