
爬虫之路
Mr_Hammer
GISer
展开
-
【爬虫初探】新浪微博搜索爬虫总览
不知在那个群里面看到的消息:请问如何抓取近几个月来大蒜的价格? Oh!My!God!卖大蒜的农夫现在都需要用到数据抓取、数据分析来制定销售策略销售计划等等,IT行业的程序员们以及我们这种类似IT行业的GISer们对数据的需求自然不用说,同时,找工作、找学校、找房东,都可以用到数据抓取,数据抓取是一个很有意思的事情。 一直以来都希望学一学数据抓取,但一个重度拖延症患者的拖延水平简直是要上天了…20原创 2016-05-02 14:33:42 · 1990 阅读 · 0 评论 -
【爬虫初探】新浪微博搜索爬虫实现
全文概述功能:爬取新浪微博的搜索结果,支持高级搜索中对搜索时间的限定 网址:http://s.weibo.com/ 实现:采取selenium测试工具,模拟微博登录,结合PhantomJS/Firefox,分析DOM节点后,采用Xpath对节点信息进行获取,实现重要信息的抓取,并存储至Excel中。 获取的微博信息包括:博主昵称, 博主主页, 微博认证, 微博达人, 微博内容, 发布时间, 微原创 2016-05-02 18:21:45 · 16924 阅读 · 2 评论 -
xpath选择当前结点的子节点
在通过selenium使用xpath选择节点的时候,可能会遇到这么一种情况:在指定的当前节点下搜索满足要求的节点。node = driver.find_element_by_xpath("//div[@class='WB_cardwrap S_bg2 clearfix']") BZNC = node.find_element_by_xpath("//div[@class='feed_content原创 2016-05-02 18:43:51 · 20425 阅读 · 8 评论