
Other
cfy_yinwenhao
这个作者很懒,什么都没留下…
展开
-
修复 http 503 服务不可用
http 503 错误:因暂时超载或临时维护,您的 Web 服务器目前无法处理 HTTP 请求。 首先要找到造成503瓶颈的根本原因,有可能在数据库、有可能是在磁盘IO、有可能是网络连接数超过了处理能力。 在性能监视器中,web service > Current Connections 连接数在20000+,而数据库连接和磁盘的IO都在合理范围之内,所以,基本上就是连原创 2012-02-16 12:19:34 · 2661 阅读 · 0 评论 -
支持Ajax的网页爬虫技术
普通web网站的信息,用下载URL的HTML源代码就能满足基本需求,但是当今的使用web2.0技术的网站比较多,像一些电商网站、SNS网站等,在抓取网页的部分信息时,比如评论等,直接下载HTML源代码,就满足不了需求,需要定制出很多的ajax规则,通过多次请求来完成一个页面的信息收集。在这个情况下,爬虫的代码定制就比较复杂,开发和维护的难度增加。 找了一些支持ajax抓取的开源工具比如 Cr原创 2013-10-23 13:18:18 · 1550 阅读 · 0 评论