tokenizer-ruby 0.1.1

Fast tokenization for Ruby using HuggingFace's Rust-powered tokenizers library. Supports GPT, BERT, LLaMA, Claude, and any HuggingFace tokenizer.

Gemfile:
=

installieren:
=

Versionen:

0.1.1 March 10, 2026 (10,5 KB)
0.1.0 March 07, 2026 (9,5 KB)

Runtime Abhängigkeiten (1):

rb_sys ~> 0.9

Alle transitiven Abhängigkeiten anzeigen

Besitzer:

Pushed by:

Autoren:

Johannes Dwi Cahyo

SHA 256-Prüfsumme:

=