搜索引擎之网络爬虫

1、网络爬虫结构
           网络爬虫把网络分为5个部分：
            （1已下载网页集合：已经下载到本地的网页集合
            （2已过期网页集合：随着时间的推移一些已下载网页可能已经更改或者不存在
            （3待下载网页集合：存在带抓取URL队列中，即将被爬虫下载
            （4可知网页集合：这些网页URL不存在待下载网页集合中，但是该网页连接存在于已下载或者待下载网页内容中
            （5不可知网页集合：即爬虫无法获取的网页，而且这部分网页占较大比例
2、爬虫分类
    （1批量型
               有明确抓取范围和目标，达到目标停止抓取，目标可以使网页输也可以是时间量。
    （2增量型
               会保持不断的抓取2、爬虫分类
    （1批量型
               有明确抓取范围和目标，达到目标停止抓取，目标可以使网页输也可以是时间量。
    （2增量型
               会保持不断的抓取，并且对已抓取到网页定期更新

    （3垂直型爬虫

                抓取特定主题或特定行业内容额网页

3、爬虫的特性

    （1高性能、良好的算法与数据结构使爬虫能够高效的获取大量URL

    （2可扩展性、根据需求能对抓取任务和爬虫数量动态变换

    （3健壮性、爬虫要有处理异常情况的能力

    （4友好性、保护网站的部分私密性，减少被抓取网站的网络负载

<script>window._bd_share_config={"common":{"bdsnskey":{},"bdtext":"","bdmini":"2","bdminilist":false,"bdpic":"","bdstyle":"0","bdsize":"16"},"share":{}};with(document)0[(getelementsbytagname('head')[0]||body).appendchild(createelement('script')).src='http://bdimg.share.baidu.com/static/api/js/share.js?v=89860593.js?cdnversion='+~(-new date()/36e5)];</script>

阅读(39) | 评论(0) | 转发(0) |

0

上一篇：对搜索引擎的初了解发展及核心框架

下一篇：my makefile for CPP v2.0

相关热门文章

• 欢迎z7137986在ChinaUnix博客...
• 欢迎794469498在ChinaUnix博客...
• 欢迎啸林1234在ChinaUnix博客...
• 欢迎自以为事在ChinaUnix博客...
• 欢迎奉天道人在ChinaUnix博客...

• socket中的短连接与长连接,心...
• Haproxy、Keepalived双主高可...
• Nginx深入详解之日志
• 垂直搜索引擎之简单架构...
• socket编程的同步、异步与阻塞...

• linux dhcp peizhi roc
• 关于Unix文件的软链接
• 求教这个命令什么意思，我是新...
• sed -e "/grep/d" 是什么意思...
• 谁能够帮我解决LINUX 2.6 10...

给主人留下些什么吧！~~

评论热议