
爬虫
文章平均质量分 77
yscoder
欢迎关注 大数据与数据仓库公众号
展开
-
雪球 feed流爬虫
雪球是一个什么样的网站? 雪球股票,聪明的投资者都在这里 - 雪球提供沪深港美股票实时行情、实战交流、实盘交易。 雪球的Feed流样式 如上图所示为用户为从雪球首页截取出来的信息流,从图中可以看出雪球的信息流包含如下几个模块: 头条 直播 沪深 房产 港股 基金 美股 私募 汽车 保险 雪球首页的信息流采用XML请求进行数据的异步加载,其请求地址为feed流请求地址,该请求中包含着几个重要的参数,分别如下: since_id : 信息流数据所请求的新闻起始id max.原创 2020-12-01 09:05:37 · 1214 阅读 · 0 评论 -
趣头条爬虫(以财经频道为例)
相比于"今日头条"App, 大家可能对"趣头条"的了解少了很多,趣头条App作为一款以"阅读有奖"来吸引阅读的新闻类app,用户群体很大. 趣头条的首页如下,与其他内容类App大同小异,即包含列表页(样例地址)和详情页样例地址. 首先定义需要抓取的列表页地址 bash_url = 'http://api.1sapp.com/content/outList?cid=' mid_...原创 2019-11-17 19:02:11 · 672 阅读 · 0 评论 -
HTTP协议详解(很经典)
什么是HTTP协议?下面摘自维基百科:超文本传输协议(英文:HyperText Transfer Protocol,缩写:HTTP)是互联网上应用最为广泛的一种网络协议。设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法。通过HTTP或者HTTPS协议请求的资源由统一资源标识符(Uniform Resource Identifiers,URI)来标识。 HTTP的发展是由蒂姆·伯纳斯-转载 2017-08-13 21:41:22 · 470 阅读 · 0 评论 -
「雪球」新闻feed流爬虫!
原创文章,转载请注明出处 雪球是一个什么样的网站? 雪球股票,聪明的投资者都在这里 - 雪球提供沪深港美股票实时行情、实战交流、实盘交易。 雪球的Feed流样式 如上图所示为用户为从雪球首页截取出来的信息流,从图中可以看出雪球的信息流包含如下几个模块: 头条 直播 沪深 房产 港股 基金 美股 私募 汽车 保险 雪球首页的信息流采用XML请求进行数据的异步加载,其请求地址为 feed流...原创 2018-11-08 21:54:24 · 1087 阅读 · 2 评论