数据之美----雪球网股票组合分析

【从零开始玩量化16】如何获取雪球组合/果仁策略数据 目前,没对获取回来的数据做什么处理和加工,全是原汁原味的,需要自己处理和清洗,后续看情况是否增加一些结构化的方法。 阅读详情

简介


因为工作需要,爬了几个大型的网站,练就一身爬取数据和分析数据的功夫。所以,在无聊的时候写了个爬取系统。主要功能是爬取雪球组合的数据,并进行分析,得出一些有价值有潜力的股票代码。实盘到没有测试,随便估计了一下,至少跟盘不会出现亏损。

先普及一下组合的概念:由雪球、微博等平台的投资主理人管理的股票持仓池。


技术架构


特点:简单可依赖

  • 多服务器多核心异步架构实时爬取
  • 机器学习、数理统计经典方法分析
  • 6000+组合数据分析的结果秒出

以上有点吹。但是爬取的效果还是准确的。


分析方法


主要是基于统计方法。机器学习也会在后面跟上,获得更多有价值的信息。

我们分析了6000+组合的数据,对每个组合的具体持仓进行了分析。得出所有组合持仓的并集,这就是持仓最多的热门股票。当然已经排除停牌股。

同时,计算组合持仓的相同的股票的仓位大小,用总仓位除以持有该股的总组合数,得出平均权重。按大小,排除最佳重仓股。有的人会想,不少主理人喜欢重仓一只股票。所以,我们会特意标出仓位较重的组合名称及他们的个数,以供参考。不得不建议,想跟风最佳重仓股,请折半投资。比如平均仓位大小是90%,那么根据自己的仓位,投资20-45%左右是最佳的方案。

6000+ 组合并不是每一个组合都作为数据的权重出现。对于关停的、僵尸的、长线的组合,对其做分析貌似没有太多的价值。所以,我们分析以下2类组合:

  • 总收益高于280%,月收益高于9%,每日收益震荡在-5% - 20%的组合,一月调仓3次以上
  • 总收益为高于45%,月收益高于15%,每日收益震荡在-3% - 20%的组合,一月调仓5次以上


对外接口


之前在做Restful的一些应用,对于相关的技术还算了解。为了能让别人访问数据,我们做了接口,将分析、处理、加工完的数据开放。

只需要用户名即可,不需要密码,因为也没有打算建立用户账户体系。


展示网站


毕竟不是大多数人都会IT技术,所以没有办法。我只好又做了一个网站,专门用于展示分析数据。

不知道这个东西有没有人会看,但是希望能帮到大家。


团队简介


谷震平

目前在某一线互联网公司,任职数据仓库工程师,专注是数据采集、ETL。也是本文作者。笔者对这个项目的感情很特别。当初,大学辅修金融,以为自己毕业后能进投行工作,但是没人要。后来做了现在的工作。可能就是心里还有一丝丝抱怨与不甘,才做了现在的事情。希望,能帮助更多的人们,鼓励更多人追求梦想。

忆梦涟

一位美少女工程师,北邮研究生,专注NLP、机器学习。数据分析、科学计算的能力了得。


结语


写到这里,还有很多想说的没有说完。如果对我们的工作感兴趣,欢迎留言继续交流。

关注微信公众号,回复你所持有的股票中文名称,就会得到从6000多人的持仓数据中分析出来的该股情况!

现在只回复4项数据:

  • 日期
  • 平均持仓,该股在当天6000多人的平均持有情况,值在0 - 100%之间
  • 总体持仓,该股在当天6000多人的全体持有情况,值大于0%
  • 所在组合数,该股在当天6000多人的总计买入人数,值大于1

持仓的数据,请自己脑补%(百分号),忘记单位可就不好了。

快快添加关注公众号—-谷震平的专栏吧,也可扫二维码下方二维码:
谷震平的专栏  炒股

^-^

Python爬虫 获取雪球网股票讨论内容( 获取json文件的内容) 由于期末课程作业的数据需要用到投资网站的评论,所以就准备从雪球网上爬取了。话不多说,下面就进入正题。 新的改变 首先登入雪球网,输入自己的关键词查找相关评论。 然后通过F12或者右键-检查进入控制台。 再点击网络查找我们需要的内容封装在哪里。第一次点击时会发现只有如下所示的空白页面,只需要再刷新一下就可以了。 之后发现我们需要的评论内容封装在左侧所示的json文件中,预览以后可见每一条评论都以字典的方式存储,当页的(每页有十条,通过“size:10”可知)所有都评论存在list列表中。 展开每一条评 阅读详情

相关推荐

C++实现利用雪球组合进行自动化投资策略检验

为了进一步提升投资决策的精准度,近期我选取数套投资策略,借助雪球平台的组合功能进行自动化检验。

yxstars 2482

XueQiuSuperSpider:终极雪球股票数据爬虫框架完全指南

XueQiuSuperSpider是一款功能强大的雪球股票信息超级爬虫框架,专为广大股民、程序员和数据分析爱好者设计。它能够帮助用户灵活、高效地从雪球网获取各类股票数据,实现个性化的股票筛选与分析,满足不同用户的投资研究需求。 ## 为什么选择XueQiuSuperSpider? 在股票投资的世界里,准确、及时的数据是做出明智决策的关键。雪球网作为国内知名的股票社区,拥有海量的股票信息,但官方

gitblog_00011的博客 776

雪球 feed流爬虫

雪球是一个什么样的网站? 雪球股票,聪明的投资者都在这里 - 雪球提供沪深港美股票实时行情、实战交流、实盘交易。 雪球的Feed流样式 如上图所示为用户为从雪球首页截取出来的信息流,从图中可以看出雪球的信息流包含如下几个模块: 头条 直播 沪深 房产 港股 基金 美股 私募 汽车 保险 雪球首页的信息流采用XML请求进行数据的异步加载,其请求地址为feed流请求地址,该请求中包含着几个重要的参数,分别如下: since_id : 信息流数据所请求的新闻起始id max.

yscoder的博客 1511

大数据项目:python股票数据分析预测系统 股价预测 深度学习 神经网络LSTM预测算法 requests爬虫 Flask框架 大数据 毕业设计✅

python股票数据分析预测系统 股价预测 深度学习 神经网络LSTM预测算法 requests爬虫 Flask框架 大数据 毕业设计✅

vx_biyesheji0002的博客 977

基于Python的雪球网投资组合数据爬取与分析实战:从入门到精通

在当今数字化投资时代,数据已成为投资者最重要的资产之一。雪球网作为中国领先的投资社交平台,汇聚了大量优质的投资组合数据,这些数据对于量化投资研究和个人投资决策具有重要价值。本文将详细介绍如何使用Python最新技术栈构建一个高效、稳定的雪球网投资组合爬虫,并深入分析获取的数据。投资组合持仓明细及变动历史投资收益率曲线与风险指标投资者操作策略与调仓频率热门行业与个股关注度。

2201_76125261的博客 920

Python 爬虫实战:全面解析雪球网用户投资组合数据采集

本文介绍了如何使用 Python 爬虫技术,抓取雪球网用户的投资组合信息。通过模拟登录、解析页面内容等步骤,获取了用户的持仓数据。未来,可以进一步探索以下方向:

2201_76125261的博客 1304

XueQiuSuperSpider终极指南:三步构建你的智能股票数据监控系统

在投资的世界里,信息就是财富。面对海量的股票数据,如何高效获取、精准分析、实时监控最赚钱的投资组合?这正是XueQiuSuperSpider雪球超级爬虫要解决的痛点。作为一款专业的雪球股票信息采集分析工具,它能够帮助投资者快速构建个性化的股票数据监控系统,实现对最赚钱投资组合持仓与收益走势的深度分析。 ## 为什么需要专业的股票数据爬虫? 传统股票分析工具往往存在以下问题: 1. **数据源

gitblog_00149的博客 193

使用 Requests 实现雪球网股票数据爬取

本文介绍了通过API接口爬取雪球网股票数据的技术方案。项目采用Python的requests库直接调用雪球API,高效获取A股市场股票数据,包含12个关键指标。文章详细讲解了8个实现步骤:环境配置、请求头设置、分页处理、数据提取与存储等,并提供了完整代码。相比传统爬虫,API方式具有效率高、数据全、稳定性好等优势。该方案可用于市场监控、量化策略等场景,但需注意合规使用。文中还包含优化建议和法律声明,为金融数据分析提供了实用技术参考。

那些看似不起波澜的日复一日,会在某天让你看到坚持的意义 437

【项目记录】雪球网股票组合数据爬虫(包括雪球模拟登录代码)

室友上半年跟了一个做机器学习方向的导师做股票投资组合的项目,暑假来找我帮忙弄点股票组合的数据来测试算法。目前国内股票资讯网站大约只有雪球能够比较方便地获取大规模的股票组合数据,七月疲于双专生活不能自理,八月断断续续地弄了一阵子,碰了一鼻子灰总算有些摸透了雪球网的套路。这里分享一下我在爬取雪球网数据时遇到的问题,一方面是对自己项目的一个小结,另一方面给其他需要爬取雪球网数据的小伙伴们提供一些参考,也...

梦想破三的奔三狗 3万+

Python 爬虫实战:如何爬取雪球用户数据并进行分析

requests:用于发送 HTTP 请求并获取响应数据。json:处理 JSON 格式的数据,解析接口返回的数据。:用于解析 HTML 网页,提取所需的内容。pandas:用于处理和分析数据。matplotlibseaborn:用于数据的可视化。Selenium:模拟浏览器操作,处理动态加载的数据。本文介绍了如何使用 Python 编写爬虫,爬取雪球用户的数据,并对数据进行了分析和可视化。通过这篇博客,读者可以学习到如何编写爬虫、如何处理反爬虫机制、如何分析和可视化爬取的数据。

2201_76125261的博客 2193

easytrader:提供同花顺客户端国金华泰客户端雪球的基金,股票自动程序化交易以及自动打新,支持跟踪joinquant ricequant模拟交易和实盘雪球组合,量化交易组件

易交易者 进行自动的程序化股票交易 支持跟踪joinquant , ricequant的模拟交易 支持跟踪雪球组合调仓 支持通用的同花顺客户端模拟操作 实现自动登录 支持通过webserver远程操作客户端 支持命令行调用,方便其他语言适应 基于Python3.6,Win。注:Linux仅支持雪球 微信群以及公众号 欢迎大家扫码关注公众号“食灯鬼”,一起交流。进群可通过菜单加我好友,备注量化。 若二维码因Github网络无法打开,请点击打开图片。 作者 easytrader :copyright: ,根据许可证发行。 博客 ·微博·Twitter 相关 支持券商 海通网上交易系统独立委托 华泰客户端(专业交易Ⅱ) 国金客户端(全能行证券交易终端PC版) 其他券商通用同花顺客户端(需要手动登陆) 模拟交易 雪球组合@ () 使用文档 作者其他作品

爬取雪球网的新闻数据

以下将从处理cookie的两种方式来分析爬取雪球网的新闻数据, 一个是手动处理cookie,到源码去抓包,找到他的request header里面的cookie,复制出来封装到headers内; 另一个是自动处理cookie,引入模块requests的session,这个方法和requests一样可以发送get和post请求,但是他在发送请求的时候自动携带cookie 那么什么情况下我们爬取数据需要用到cookie呢? 首先我们要知道cookie他是服务器记录客户端的一种状态,有一些网站的爬取,需要

KobeHoo的博客 3367

蓝牙Mesh安全机制全解析:如何防止你的智能门锁被黑客控制?

本文深入解析蓝牙Mesh安全机制,重点探讨如何保护智能门锁免受黑客攻击。详细介绍了蓝牙Mesh的多层次安全架构,包括密钥管理体系、设备入网流程及实战防护策略,帮助用户构建更安全的智能家居网络。

h3i4j的博客 729

解析雪球网站 Cookie 获取方法

编程并非百分之百完美,就像支付宝也存在风险,只是很少有人去尝试破解。而对于一些网站的数据采集,我们需要掌握特定的方法来获取所需的 Cookie。通过以上步骤,我们可以初步了解从雪球网站获取 Cookie 的方法。在实际操作中,可能会遇到各种问题,需要不断尝试和调试。同时,也要注意合法合规地使用获取到的数据。

m0_57836225的博客 2356

OFDM基本原理

OFDM基础介绍,包括OFDM的核心思想,数学推导了OFDM信号的调制解调过程。

伊丽莎白的学习之路 8908

在虚拟机上搭建FTP服务器

chroot_list_file=/etc/vsftpd/chroot_list # 对chroot_list下用户限制。[root@localhost ~]# vim /etc/vsftpd/vsftpd.conf #打开配置文件。# 指定用户的shell: -s /usr/bin/nologin。# 在配置文件中找到以下几行代码, 去掉注释(去掉 "#"号)# 指定用户主目录:/data/ftp/ftpuser -M。(2)修改配置文件,路径/etc/vsftpd/ 下的文件。

weixin_70753380的博客 3209

雪球股票数据源

雪球 股票信息 https://xueqiu.com/stock/f10/compinfo.json?symbol=SZ000501 利润表 https://xueqiu.com/stock/f10/incstatement.json?symbol=SZ000501 资产负债表 https://xueqiu.com/stock/f10/balsheet.json?symbol=SZ00...

fanjingdan的专栏 1万+

Dynamics CRM证书更换

  Dynamics CRM产品一般有两种认证方式。第一种是基于声明的内部访问也就是无证书单纯用账号密码验证。第二种就是联合身份认证,需要安装网站证书。   对于联合身份认证的情况因为需要安装证书,而且证书是有一个一年的有效期,所以运维人员每年都需要进行证书更换的操作。以下就是更换证书的方法及过程。 证书根据申请方式一般也分两种,第一种是自建证书,这种证书是没有机构认证的所以安装上之后网站因为没...

bzpfly的博客 877

【项目总结】雪球爬虫完结(附Snowball模块代码)

作为https://blog.youkuaiyun.com/CY19980216/article/details/82770410的一个完结。 暂时先把代码搬上来,注释已经写的很详细了。顺带做一个备份。 目前除了调仓记录的获取外其他都已经可以用多进程进行,由于采用了多进程,速度有明显提升。目前测试结果为1500000只组合数据爬取需要200分钟,获取10000只优质组合的净值数据需要不到300分钟。 问...

梦想破三的奔三狗 1万+

聚类技术:发展历史、主要分类与重要论文解析

在数据挖掘和机器学习的广袤领域中,聚类作为一种强大的无监督学习技术,一直扮演着至关重要的角色。它能够帮助我们从海量的数据中发现隐藏的模式和结构,将相似的数据对象归为一类,从而为进一步的分析和决策提供有价值的信息。

qq_48131648的博客 2630

工业4.0必备:C#上位机+数字孪生 生产线实时监控与智能预警系统(工业级实战)

数据割裂:PLC、传感器、工业相机的数据散落在不同系统,想看全局生产状态要切换N个软件,“数据孤岛”导致决策滞后;故障难预判:设备突发故障时,只能停机排查,平均故障响应时间超30分钟,一条生产线停工1小时损失超10万;可视化差:传统监控只有冰冷的数字和2D图表,设备运行状态、生产流程、物料流转无法直观感知,新人上手需3个月才能熟悉产线。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 659

python爬取雪球网交易数据

雪球网交易数据爬取,python源码。 雪球是一个投资者的社交网络平台,爬取交易数据。 代码: def get_trade_behavior(uid): import requests import random import time import json result = [] res = [] headers = [{ 'User-Agent': "Mozilla/5.0 (X11; CrOS x86_64

Jerry_wo的博客 5935

【Simulink教程案例18】基于simulink的基础OFDM+64QAM发射接收链路仿真

OFDM(Orthogonal Frequency Division Multiplexing)即正交频分复用技术,实际上OFDM是MCM(Multi Carrier Modulation),多载波调制的一种。通过频分复用实现高速串行数据的并行传输, 它具有较好的抗多径衰落的能力,能够支持多用户接入。OFDM技术由MCM(Multi-Carrier Modulation,多载波调制)发展而来。OFDM技术是多载波传输方案的实现方式之一,它的。

FPGA/MATLAB学习教程/源码/项目合作开发 1988

Cookie

Cookie反爬策略:Cookie需求:爬取雪球网的咨询信息Cookie的处理方式 反爬策略:Cookie Cookie 存储在客户端的一组键值对 web中cookie的典型应用: 免密登录 cookie和爬虫之间的关联 有时候,对一张页面进行请求的时候,如果请求过程中不携带cookie的话,那么无法请求到对应的数据。因此cookie是爬虫一个非常典型且常见的反爬机制 需求:爬取雪球网的咨询信息 https://xueqiu.com/ 分析: 判断爬取的数据是否为动态加载相关的更多咨询是动

一个孤独漫步者的遐想的博客 543

Qt基础之十九:进程与QProcess

进程就是一个程序的执行实例,也就是正在运行的程序。对操作系统来说,进程就是一个担当分配系统资源CPU时间、内存的实体。在Qt 中,我们使用QProcess来表示一个进程。这个类可以允许我们的应用程序启动一个新的外部程序,并且与这个程序进行通讯。当外部程序开始启动时,QProcess的状态为Starting;外部程序已经启动时,QProcess的状态为Running,并发送started()信号;当外部层序退出了,QProcess的状态为NotRunning(初始状态),并发送finished()信号。

草上爬的博客 1万+

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

为什么说雪球API更适合小白投资者?

雪球API是雪球公司提供的一种应用程序接口,允许开发者和投资者通过编程方式访问雪球平台的数据和功能。通过API,用户可以获取实时的股市数据、财经新闻、社区讨论等信息,以及执行交易操作。

云策量化的博客 2425

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

上一篇: 爬虫之刃----赶集网招聘类爬取案例详解(系列四)
下一篇: Hadoop----集群搭建指南(上卷)
谷震平
博客等级 码龄14年 486粉丝 58原创
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值