spidering

spidering

美 　英

• 网络蜘蛛；蜘蛛程式；蜘蛛爬行

例句

When spidering or scraping, always obey the robots. txt file available on the server and incorporate it into your politeness policy.

在进行这种操作时，一定要遵循服务器上提供的robots.txt文件的指示，并将其结合到您的礼貌原则当中。

This exploration is done either using an automatic spidering engine, or by observing a user manually browse the site.

这个考察要么通过使用一个自动下载网站内容引擎的方法，要么通过通过监测一个用户手工浏览这个网站的方式进行。

Results from spidering are recorded in the search engine's index or catalog.

蜘蛛爬行得到的结果记录在搜索引擎的索引或目录中。

Spidering agents are notified that certain FOAF files aren't encrypted for them, and the agents can then ignore those files.

搜索代理得到没有为它们加密某些FOAF文件的通知，于是代理可以忽略那些文件。

Newer protocols, such as SOAP, make spidering much easier and less intrusive to normal Web operations.

一些新的协议，例如SOAP，会让爬行对于普通的Web操作来说更为容易，并且所受的干扰更小。

The spidering is supposed to do multiple searches at the same time and use anonymous proxy way.

该蜘蛛是应该做的，同时使用多个搜索和匿名代理的方式。