厦门网站建设,厦门网站设计,厦门网页设计,企业网站建设,企业网站改版
厦门网站建设,厦门网站设计,厦门网页设计,企业网站建设,企业网站改版
厦门网站建设,厦门网站设计,厦门网页设计,企业网站建设,企业网站改版
厦门网站建设,厦门网站设计,厦门网页设计,企业网站建设,企业网站改版
厦门网站建设,厦门网站设计,厦门网页设计,企业网站建设,企业网站改版
厦门网站建设,厦门网站设计,厦门网页设计,企业网站建设,企业网站改版
  • 多年的服务经验
  • 强大的技术支持
  • 7*24小时不间断服务
  • 高素质的客服人员
  • 庞大的客户群体
  • 独立的服务器
网站知识 您当前所在的位置是:首页 < 网站知识
网络爬虫的类型--厦门做网站 2013-07-23 21:10:40

批量型爬虫(batch crawler):批量型爬虫有比较明确的抓取范围和目标,当爬虫达到这个设定的目标后,即停止抓取过程。至于具体目标可能各异,也许是设定抓取一定数量的网页即可,也许是设定抓取消耗的时间等,不一而足。

     增量型爬虫(incremental crawler):增量型爬虫与批量型爬虫不同,会保持持续不断的抓取,对于抓取到网页,要定期更新,因为互联网网页处于不断变化 中,新增网页、网页被删除或者网页内容更改都很常见,而增量型爬虫需要及时反映这种变化,所以处于持续不断的抓取过程中,不是在抓取新网页,就是在更新已在网页。通用的商业搜索引擎爬虫基本都属此类。

    垂直型爬虫(focused crawler):垂直型爬虫关注特定主题内容或者属于特定行业的网页,比如对于健康网站来说,只需要从互联网页面里找到与健康相关的页面内容即可,其他行业的内容不在考虑范围。垂直型爬虫一个最大的特点和难点就是:如何识别网页内容是否属于指定 行业或者 主题。从节省系统资源的角度来说,不太可能把所有互联网页面下载下来之后再去筛选,这样浪费资源就太过分了,往往需要爬虫在抓取阶段就能够动态识别某个网址是否与主题相关,并尽量不去抓取无关页面,以达到节省资源的目的。垂直搜索网站或者垂直行业网站往往需要此种类型的爬虫。

注:此文章由厦门正道设计转载,转载请注明出处链接www.zdsj.net,厦门网站建设,厦门做网站,厦门建网站公司6年行业经验,为您量身服务厦门网站建设,联系电话:13400659982

 

厦门网站建设,厦门网页设计,企业网站建设,企业网站改版 厦门网站建设,厦门网页设计,企业网站建设,企业网站改版 厦门网站建设,厦门网页设计,企业网站建设,企业网站改版 厦门网站建设,厦门网页设计,企业网站建设,企业网站改版 厦门网站建设,厦门网页设计,企业网站建设,企业网站改版