大数据的金融数据读取及分析(二)

本文介绍了如何使用Python的tushare库来获取和分析金融数据,包括注册获取token,使用旧版和新版接口获取股市指数、股票列表、公司信息以及不同周期的行情数据。示例代码展示了不同的数据查询方法,并指出调用部分功能可能需要积分。

一、注册和获取token

参考大数据的金融数据读取及分析(一)大数据的金融数据读取及分析(-)_石工记的博客-优快云博客

二、获取股市信息

需注意的是,利用tushare接口获取部分信息时对积分有不同的要求,积分不足会造成访问权限受限的情况

ps:高校学生可联系站方申请访问权限。在这里可通过旧版接口访问指数信息。新版接口为tushare pro

1.新建ExportData.py

import tushare as ts
import openpyxl

pro = ts.pro_api(token='你的token')

# 旧版tushare接口获取国内股市指数
# 上证指数:sh; 深指:sz; 沪深300:hs00; 上证50:sz50; 中小板:zxb; 创业板cyb
df = ts.get_hist_data('sh',start='2020-01-01',end='2022-03-25')

# 新版tushare pro接口获取国内数据(至少2000积分才可以调取)
# pro = ts.pro_api()
# df = pro.index_dailybasic(trade_date='20181018', fields='ts_code,trade_date,turnover_rate,pe')

# 1.查询当前所有正常上市交易的股票列表
# df = pro.stock_basic(exchange='', list_status='L', fields='ts_code,symbol,name,area,industry,list_date')

# 2.查询上市公司的基本信息
# df = pro.stock_company(exchange='SZSE', fields='ts_code,chairman,manager,secretary,reg_capital,setup_date,province') # exchange 交易所代码

# 3.A股日线行情
# df = pro.query('daily', ts_code='000422.SZ', start_date='20220301', end_date='20220325')

# 4.获取指数基础信息
# df = pro.index_basic(market='CSI') # 获取中证指数基本信息,上交所:SSE;深交所:SZSE

# 5.指数日线行情(需至少2000积分可调取)
# df = pro.index_daily(ts_code='399300.SZ', start_date='20180101', end_date='20181010')

# 6.指数周线行情(需要至少600积分可调取)
# df = pro.index_weekly(ts_code='000001.SH', start_date='20180101', end_date='20190329', fields='ts_code,trade_date,open,high,low,close,vol,amount')

# 7.指数月线行情(需要至少600积分可调取)
# df = pro.index_monthly(ts_code='000001.SH', start_date='20180101', end_date='20190330', fields='ts_code,trade_date,open,high,low,close,vol,amount')

# 8.大盘指数每日指标(需要至少400积分可调取)
# df = pro.index_dailybasic(trade_date='20220325', fields='ts_code,trade_date,turnover_rate,pe')

# 9.获取中证500或者国外指数
# 富时中国A50指数 (富时A50):XIN9; 恒生指数:HSI; 道琼斯工业指数:DJI; 标普500指数:SPX; 纳斯达克指数:IXIC
# 富时100指数:FTSE; 法国CAC40指数:FCHI; 德国DAX指数:GDAXI; 日经225指数:N225; 韩国综合指数:KS11
# 澳大利亚标普200指数:AS51; 印度孟买SENSEX指数:SENSEX; 巴西IBOVESPA指数:IBOVESPA; 俄罗斯RTS指数:RTS
# 台湾加权指数:TWII; 马来西亚指数:CKLSE; 加拿大S&P/TSX指数:SPTSX; STOXX欧洲50指数:CSX5P
# df = pro.index_global(ts_code='IXIC', start_date='2020-01-01',end_date='2021-03-25') # 纳斯达克指数

# 10.A股每日重要基本面指标(需至少2000积分可调取)
# df = pro.daily_basic(ts_code='', trade_date='20180726', fields='ts_code,trade_date,turnover_rate,volume_ratio,pe,pb')
print(df)
df.to_excel('d:\\python\\data\\result.xlsx',startrow=0,startcol=0) # 插入数据

 

 

 对生成excel数据分析,请听下回大数据的金融数据读取及分析(三)分解

### Hadoop 气象大数据分析要求 #### 数据收集与预处理 为了有效利用Hadoop进行气象数据分析,需先将原始气象数据上传至HDFS文件系统。这可以通过命令行工具完成,例如创建目录并上传文件: ```bash hdfs dfs -mkdir -p /usr/hadoop/in hdfs dfs -put data.txt /usr/hadoop/in/ ``` 这些操作确保了后续计算可以顺利读取所需的数据集[^1]。 #### 存储架构设计 考虑到气象数据量庞大且结构复杂的特点,在构建存储方案时应考虑以下几个方面: - **高可用性**:通过多副本机制保障数据安全; - **可扩展性**:支持动态增加节点以应对不断增长的数据规模; - **高效查询性能**:优化索引结构以便快速检索特定时间段内的记录; #### 计算资源规划 执行大规模分布式运算前,必须合理配置集群中的硬件设备参数,包括但不限于CPU核心数、内存大小等指标。此外还需调整YARN调度策略来平衡各任务间的负载差异,从而提高整体吞吐率和响应速度[^2]。 --- ### Hadoop 金融数据分析要求 #### 安全合规考量 鉴于金融机构对于客户隐私保护有着严格的规定,因此在实施任何涉及敏感信息的操作之前都应当遵循相应的法律法规。具体措施如下: - 对传输通道加密防止窃听攻击; - 实施严格的权限控制体系限制非法访问行为的发生; - 建立完善的审计追踪制度便于事后追查责任主体; #### 高效实时处理能力 金融市场瞬息万变,这就意味着平台不仅要具备强大的批处理功能还要拥有出色的流式计算引擎用于捕捉最新行情变化趋势。借助Kafka消息队列配合Spark Streaming组件即可达成上述目标,同时还能兼顾低延迟特性满足高频交易场景下的苛刻需求[^4]。 #### 统计模型搭建 除了常规报表统计外更重要的是要建立科学合理的风险评估体系帮助企业做出明智的投资决策。常用方法有线性回归预测股价波动幅度、时间序列分解法识别周期规律等等。值得注意的是当样本数量特别巨大时传统单机算法往往力不从心此时就需要引入MapReduce编程范型分而治之地解决问题[^3]。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值