全部

1·Newer protocols, such as SOAP, make spidering much easier and less intrusive to normal Web operations.

一些新的协议，例如SOAP，会让爬行对于普通的Web操作来说更为容易，并且所受的干扰更小。

2·Sims led the descent into the crater, anchoring ropes and spidering down walls. The rest of the party followed.

西姆斯沿着锚定好的绳索从岩壁垂降到火山口中，其他人随后跟着他也爬了下去。

3·This exploration is done either using an automatic spidering engine, or by observing a user manually browse the site.

这个考察要么通过使用一个自动下载网站内容引擎的方法，要么通过通过监测一个用户手工浏览这个网站的方式进行。

4·Spidering agents are notified that certain FOAF files aren't encrypted for them, and the agents can then ignore those files.

搜索代理得到没有为它们加密某些FOAF文件的通知，于是代理可以忽略那些文件。

5·When spidering or scraping, always obey the robots.txt file available on the server and incorporate it into your politeness policy.

在进行这种操作时，一定要遵循服务器上提供的robots . txt文件的指示，并将其结合到您的礼貌原则当中。

6·It features indexing of both static and dynamic pages, spidering of almost all links in HTML content, in hrefs, areamaps, and frames, and full text indexing.

它的功能有静态和动态页面索引，在HTML内容中用hrefs, areamaps，和frames以及全文本索引构成所有的链接网。