tokenizers

tokenizers

美 　英

• 网络分词

例句

The tokenizers take care of the actual rules for where to break the text up into words (typically whitespace).

分词器会考虑在哪将文本切分成词（典型的如空格）的实际规则。

Each analyzer includes one or more tokenizers and may include filters.

每一个分析器包括一个或多个分词器和滤词器（filter）。