tokenizer-ruby 0.1.1

Fast tokenization for Ruby using HuggingFace's Rust-powered tokenizers library. Supports GPT, BERT, LLaMA, Claude, and any HuggingFace tokenizer.

Gemfile:
=

インストール:
=

バージョン履歴:

0.1.1 March 10, 2026 (10.5KB)
0.1.0 March 07, 2026 (9.5KB)

Runtime依存関係 (1):

rb_sys ~> 0.9

全ての推移的な依存関係を表示

所有者:

プッシュ者:

作者:

Johannes Dwi Cahyo

SHA 256チェックサム:

=

累計ダウンロード数 234

このバージョンのみ 103

このバージョンがリリースされたのは:
March 10, 2026 8:26am

ライセンス:
MIT

必要なRubyのバージョン: >= 3.1

リンク:

ホームページダウンロード差分をレビューバッジ RSS Analytics 悪用報告被依存関係