tokenize

tokenize

美 　英

• 网络符将一个字符串标记化；切分词；令牌化

例句

In the draw method, check to see whether any bytes are available to read; if there are, tokenize them into an array.

通过draw方法，我们可以检查是否有字节可供读取；如果有，我们可以将它们保存到一个数组中。

The new tokenize function performs the opposite action, disaggregating a string with a separator to mark the boundaries.

新增的tokenize函数执行相反的操作，用分隔符标记字符串之间的边界。

Specify the delimiters that the transformation uses to tokenize column values.

指定转换用来标记列值的分隔符。

IndexWriter accepts an analyzer used to tokenize data before it is indexed.

在编制索引前，IndexWriter接收用于标记数据的分析程序。

These differ in the way they tokenize the text and apply filters.

它们在标记文本和应用过滤器的方式上有所区别。

Tokenize Configuration, which provides a repeatable way of injecting variable information into configuration files

TokenizeConfiguration，这个模式提供一种可重复的把可变信息注入配置文件中的方法