RubyGems Navigation menu

tokenizer 0.2.0

A simple multilingual tokenizer for NLP tasks. This tool provides a CLI and a library for linguistic tokenization which is an anavoidable step for many HLT (human language technology) tasks in the preprocessing phase for further syntactic, semantic and other higher level processing goals. Use it for tokenization of German, English and French texts.

バージョン履歴:

  1. 0.3.0 - January 20, 2016 (10KB)
  2. 0.2.0 - January 11, 2016 (10KB)
  3. 0.1.2 - September 03, 2015 (9.5KB)
  4. 0.1.1 - August 25, 2011 (8KB)
  5. 0.1.0 - May 19, 2011 (5.5KB)
全てのバージョンを表示 (全6項目)

オーナー:

作者:

  • Andrei Beliankou

SHA 256チェックサム:

2e76010a92a4721e146d6e99ff805ceb67aa0711c784cea735b771517118d5ee

累計ダウンロード数 152,960

現行バージョン 72,577

Gemfile:
= クリップボードにコピー コピー完了!

インストール:
=

ライセンス:

MIT

必要Rubyバージョン: >= 1.9.3

リンク集: