sun_hjh的博客

最近东方财富网更新了网页布局，之前学习量化的时候东方财富网的爬虫失效，于是就重新研究了下。1.网页分析在东方财富网改版之前，股票代码数据直接存在网页源码里，获取非常方便。最近改版之后，数据以表格的形式存储在JS文件里。此前的爬虫版本：'''输入为html源码，输出为股票代码和名字。''''''此前股票代码和名字可从http://quote.eastmoney.com/stocklis...

需求：只需输入搜索关键词可设置搜索时间范围可翻页呈现搜索页每一条信息的标题、链接、网站名称、简介依照上述需求，针对百度搜索页面制定爬取规则可迅速获得搜索链接（百度搜索提供的链接，非正式链接）、标题、简介，如下：content = etree.HTML(response.text)res_title = content.xpath('//*[@id="%d"]/h3/a' % ((...