tokenizer

tokenizer

美 　英

• 网络分词器；标记器；分词器部分

例句

Analyzers can be composed as a tokenizer and a set of filters using the Apache Solr search library.

我们可以通过ApacheSolr搜索库将分析器分解为一个标识符和一套过滤器。

To verify this, it calls the tokenizer (Tokenizer. java) to return the next token in the input stream.

为了验证这一点，它调用记号赋予器（Tokenizer.java）以返回输入流中的下一个记号。

TokenMgrError. java and ParseException ? These classes represent exception conditions in the tokenizer and parser respectively.

javaandParseException——这些类分别表示记号赋予器和分析器中的异常状况。

What the parser fills in depends on the path it takes through the tokenizer.

解析器填入的内容取决于它通过记号赋予器所采用的路径。

If the tokenizer encounters neither token, it returns a lexical error.

如果记号赋予器未遇到这两个记号，则返回词法错误。

In my experiments, the tokenizer is plenty fast, but the parsing bogs down even with quite small test cases.

在我的实验中，记号赋予器还比较快，但解析过程就很慢了，即便用很小的测试案例也很慢。

With the tokenizer, it is easy to decode the processing instructions.

有了tokenizer，就很容易译码处理指令。

A good lexer example can help a lot with learning how to write a tokenizer.

一个好的lexer例子会非常有助于学习如何编写断词器（tokenizer）。

The process that scans an input string and determines what the tokens are is called the tokenizer . In the query

扫描输入字符串以及判断是何标记的过程称作记号赋予器（tokenizer）。

Fortunately, gnosis. indexer. TextSplitter is a robust tokenizer. For example

幸运的是，gnosis.indexer.TextSplitter是一个健壮的断词工具。