Method List

Classes Methods Files

Search:

byte_pair_encode Riktoken::BPE
#decode Riktoken::Encoding
#decode Riktoken::BPE
#decoder Riktoken::BPE
default_tiktoken_base_dir Riktoken
#encode Riktoken::BPE
#encode Riktoken::Encoding
#encode_ordinary Riktoken::BPE
#encode_with_special_tokens Riktoken::BPE
#encoder Riktoken::BPE
encoding_for_model Riktoken
encoding_from_file Riktoken
#find_tiktoken_file Riktoken::Encodings::ClassMethods
get_encoding Riktoken
included Riktoken::Encodings
#initialize Riktoken::BPE
#initialize Riktoken::Encoding
list_encoding_names Riktoken
list_model_names Riktoken
#load Riktoken::TiktokenFile
load_encoding Riktoken::Encodings::P50kEdit
load_encoding Riktoken::Encodings::Cl100kBase
load_encoding Riktoken::Encodings::R50kBase
load_encoding Riktoken::Encodings::P50kBase
load_encoding Riktoken::Encodings::O200kBase
make_encoding Riktoken
#name Riktoken::Encoding
#parse Riktoken::TiktokenFile
#regex Riktoken::BPE
#special_regex Riktoken::BPE
#special_tokens Riktoken::BPE
#special_tokens_decoder Riktoken::BPE
#special_tokens_encoder Riktoken::BPE