世爵平台登录 世爵平台注册 世爵客户端下载
文章阅读
日期:2017-03-13 09:45来源:世爵平台
蜘蛛spider的抓取方式
对于搜索引擎来说,要抓取互联网上所有的网页几乎是不可能的。从目前公布
的数据来看,容量最大的搜索引擎也不过是抓取了整个网页数量的40%左右。这其
中的原因,一方面是抓取技术的瓶颈,无法遍历所有的网页,有许多网页无法从其
他网页的链接中找到;另一方面是存储技术和处理技术的问题。如果按照每个页
的平均大小为20K计算(包含图片),100亿网页的容量是100×2000G字节。即使
能够存储,下载也存在问题(按照一台机器每秒下载20K计算,需要240台机器不
停地下载一年时间,才能把所有网页下载完毕)。
同时,由于数据量太大,在提供搜索时也会有效率方面的影响。因此,许多搜
索引擎的搜索引擎蜘蛛只是抓取那些重要的网页,而在抓取的时候,评价重要性主
要的依据是某个网页的链接深度。
在抓取网页的时候,搜索引擎蜘蛛一般有两种策略:广度优先和深度优先。广度优先
是指搜索引擎蜘蛛会先抓取起始网页中链接的所有网页,然后再选
择其中的一个链接网页,继续抓取在此网页中链接的所有网页。这是最常用的方式,
因为这个方法可以让搜索引擎蜘蛛并行处理,提高其抓取速度。深度优先是指搜索
引擎蜘蜘蛛会从起始页开始,一个链接一个链接跟踪下去,处理完这条线路之后再转
入下一个起始页,继续跟踪链接。这个方法有个优点是搜索引擎蜘蛛在设计的时候
比较容易。
由于不可能抓取所有的网页,有些搜索引擎蜘蛛对一些不太重要的网站,设置
了访问的层数。如果搜索引擎蜘蛛设置的访间层数为2的话,网页1是不会被访问到的。
这也让有些网站上一部分网页能够在搜索引擎上搜
去到、另外一部分不能被搜索到。对于网站设计者来说,扁平化的网站结构设计有
助于搜索引擎抓取其更多的网页。
搜索引擎蜘蛛在访问网站网页的时候,经常会遇到加密数据和网页权限的问
题,有些网页是需要有会员权限才能访问的。当然,网站的所有者可以通过协议让
搜索引擎蜘蛛不去抓取,但对于一些出售报告的网站,他们希望搜索引擎能搜索到
他们的报告,但又不能完全免费地让搜索者查看,这样就需要给搜索引擎蜘蛛提
供相应的用户名和密码。搜索引擎蜘蛛可以通过所给的权限对这些网页进行网页
抓取,从而提供搜索。而当搜索者点击查看该网页的时候,同样需要搜索者提供
相应的权限验证。
相关文章
最新文章

世爵链接 | 世爵地图 | 世爵平台 | 世爵介绍 | 世爵娱乐 | 世爵平台代理 | 世爵官网 |