自己动手写股票数据分析软件之数据获取

前言

本文旨在分享编程经验，非炒股指导软件。

一、Tushare数据介绍

Tushare是一个免费、开源的python财经数据接口包。主要实现对股票等金融数据从数据采集、清洗加工 到 数据存储的过程，能够为金融分析人员提供快速、整洁、和多样的便于分析的数据，为他们在数据获取方面极大地减轻工作量，使他们更加专注于策略和模型的研究与实现上。

二、IDE环境介绍

1、python 3.7

tushare接口为python接口，为了比较方便的获取数据，该系统为python+java环境。python主要用于股票数据获取和数据分析，java主要用于网站的搭建及结果的展示。

2、mysql数据库

用于存储历史股票数据(近3年)和新闻舆论信息。

注意：若mysql数据库中存储中文，请使用utf8的方式创建：

CREATE DATABASE tushare DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

3、工具环境配置（pycharm + anaconda）

为了使用pyhton tushare工具包，安装了anaconda工具，在pycharm中需要配置anaconda所在的环境，如图：

三、数据存储

本博客主要使用3张表，股票列表、行业分类和历史数据3张表

1、股票列表（沪深上市公司的基本情况）

code,代码
name,名称
industry,所属行业
area,地区
pe,市盈率
outstanding,流通股本(亿)
totals,总股本(亿)
totalAssets,总资产(万)
liquidAssets,流动资产
fixedAssets,固定资产
reserved,公积金
reservedPerShare,每股公积金
esp,每股收益
bvps,每股净资
pb,市净率
timeToMarket,上市日期
undp,未分利润
perundp, 每股未分配
rev,收入同比(%)
profit,利润同比(%)
gpr,毛利率(%)
npr,净利润率(%)
holders,股东人数

将数据存储到数据库python代码

def getStockBasic():
    df = ts.get_stock_basics()
    engine = create_engine('mysql://root:root@127.0.0.1/tushare?charset=utf8')
    df.to_sql('stock_basics', engine, if_exists='append')

注意1：若没有提前建立数据表，该方法会自动在数据库中创建表。但可能没写字段无法自动对应，需要后期修改数据表。

注意2：该数据库请使用utf8的方式创建，否则在存储中文的时候，会失败。

CREATE DATABASE tushare DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

2、行业分类表

• code：股票代码
• name：股票名称
• c_name：行业名称

行业分类信息如下

将数据存储到数据库python代码

def getIndustryClassified():
    df = ts.get_industry_classified()
    engine = create_engine('mysql://root:root@127.0.0.1/tushare?charset=utf8')
    df.to_sql('industry_classified', engine, if_exists='append')

3、历史数据表（该接口提供最近3年的历史成交数据）

• date：日期
• open：开盘价
• high：最高价
• close：收盘价
• low：最低价
• volume：成交量
• price_change：价格变动
• p_change：涨跌幅
• ma5：5日均价
• ma10：10日均价
• ma20:20日均价
• v_ma5:5日均量
• v_ma10:10日均量
• v_ma20:20日均量
• turnover:换手率[注：指数无此项]

#获取所有股票的历史数据
def getHistDataAll():
    #从数据库读取所有股票代码
    # 打开数据库连接
    db = MySQLdb.connect("localhost", "root", "root", "tushare", charset='utf8')
    # 使用cursor()方法获取操作游标
    cursor = db.cursor()
    # 使用execute方法执行SQL语句
    sql = "select code from tushare.stock_basics"
    cursor.execute(sql)
    # 使用 fetchone() 方法获取所有数据
    data = cursor.fetchall()
    for da in data:
        getHistData(da[0])
    # 关闭数据库连接
    db.close()

# 获取每只股票的历史数据
def getHistData(code):
    df = ts.get_hist_data(code)
    if df is not None:
        df.insert(0, 'code', code)
        engine = create_engine('mysql://root:root@127.0.0.1/tushare?charset=utf8')
        # 存入数据库
        df.to_sql('hist_data', engine, if_exists='append')

该表大约有200W条数据，在获取数据时，需要等待一段时间。

若考虑到每天自动同步历史数据的话，需要写一个定时任务，来自动同步每天数据。

（后续补充...）

若需要获取其他数据，可以从tushare网站自主选择添加。

相关问题，可QQ交流：1931969006