lb521200200的专栏

selenium 基于模拟浏览器的方式 基本任何网页都可以抓取selenium一般有八种定位方法  By.id()  通过id定位 By.name()  通过name 定位 By.xpath() 通过xpath定位 By.className() 通过className定位 By.cssSelector() 通过CSS 定位 By.linkText() 通过linkText By.t

目前 楼主做了一个基于微信订阅号的聊天机器人， 爬取很多笑话，段子，天气预报网站，部分科技新闻等，机器人可以讲笑话，讲段子，预报天气，简单聊天等。结合聊天机器人，爬虫还可以做哪些有趣的事情，目前想法接下来爬股票，爬美女图片，爬部分问答网站以及百科知识等，欢迎大家讨论给出建议

今天不想工作，比较累，遇到一个网站反爬比较严重，不说具体哪个名字了，简单总结下爬虫防封策略1，伪装http 头     chrome 开发者模式，firebug等抓包工具，查看http 进行模拟User-Agent，有的需要加上Referer，可以多加入几个http user2，代理ip，对于限制ip 或者ip被封的采用代理ip   代理ip 可以抓取，本人每天监控十多个网站，

不想说具体哪个公司了，作为技术人员反爬没事，但是加上一句骂人话，就好了，哎

计划接下来几个月，利用业余时间做一个薪资调研app，包括公司的薪资水平，行业薪资水平 和岗位薪资水平

最近计划两周时间内看完webmagic最新版WebMagic-0.7.0 的源代码，看了下最新版增加了很多功能WebMagic 0.7.0 版本发布了，此次更新重写了HttpClientDownloader，完善了POST等其他Http Method的支持，并重写了代理API，更加简单和便于扩展。POST支持新的POST API，支持各种RequestBody #513

目前爬虫分为新闻类，舆情类和信息类新闻类主要关注各个网站新闻，舆情类主要关注新闻，论坛 微博自媒体之类信息类：个人信息，公司信息，政策 法律信息，感觉除了信息类，其余基本没有敏感性的问题 还好，但是感觉爬虫敏感性的分析有点问题 不知道怎么界定算对。

public static void main(String[] args) {        // TODO Auto-generated method stub            String url ="http://www.toutiao.com/search/?keyword=道德经";    //Document document1 = HttpUtil.getPa