lzj0470的专栏

  http://community.youkuaiyun.com/Expert/topic/5696/5696765.xml?temp=.7289392   1】 网络爬虫高度可配置性。 2】 网络爬虫可以解析抓到的网页里的链接 3】 网络爬虫有简单的存储配置 4】 网络爬虫拥有智能的根据网页更新分析功能 5】 网络爬虫的效率相当的高 那么依据特征，其实也就是要求了，如何设计爬虫呢？要注意哪些步骤呢？ ...

在Google这个由10的100次方得名的站点中，各种评估网站的算法层出不穷，而PageRank即是其中之一。 Google的PageRank根据网站的外部链接和内部链接的数量和质量俩衡量网站的价值。PageRank背后的概念是，每个到页面的链接都是对该页面的一次投票，被链接的越多，就意味着被其他网站投票越多。这个就是所谓的“链接流行度”——衡量多少人愿意将他们的网站和你的网站挂钩。 Pag...

今天，搞一个韩文的网站，编码方式为euc-kr，在平常其他网站都正常的情况下，今天用到这个网站上却不正常了。搞了一天，我还以为是我的代码有问题。结果是一位网友帮我解决掉。并不是我的程序有问题，而是开发工具缺少字符集包。给我一个包就行拉。...

近期有很多站长咨询，怎样正确设置"robots.txt"文件。为了解决广大站长朋友们的疑问，我们对《Robots.txt 协议标准》进行了翻译，希望此篇译文能够帮助大家对"robots.txt"文件有更深的了解。 Robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单，但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容，或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。...

loiyspider是一个开源的网络爬虫，意在解决： 1、用最短的时间,找到最新比较频繁的页面。 2、搜集需要的关键字。 3、基于模板方式采集特定的页面。

结果显示Strhash和Tianlhash的性能较佳 HfIp 都是很可靠的

点击Windows系统里的“开始” – “运行”，输入：tracert 123.125.71.96 点击确定。 结果里包含baiduspider-*.crawl.baidu.com即表示为真正的百度蜘蛛