使用DTW算法对上证50成分股走势进行聚类分析

0.背景

客户要求对发电机组的过程参数进行分析，把走势异常的工艺过程数据挑出来。研究这个需求的时候感觉可能DTW算法比较合适。

关于DTW算法的描述前人描述很多。知乎中这位大神的收藏夹有很多关于时间序列算法的描述。

时间序列相似度以及聚类 - 收藏夹 - 知乎


 

想着搞点数据来试试才知道效果怎么样以及学会怎么用。然而甲方的数据倒腾起来太费劲。最好搞的数据是从富途上扒拉股票数据。于是决定把上证50成分股的走势搞个聚类看看，哪些成分股的走势是趋同的。

1. 准备工作

安装DTAIDistance的包。

pip install dtaidistance

注意要先有OpenMP。用法参考官方文档Welcome to DTAIDistance’s documentation! — DTAIDistance 2.2.1 documentation

准备从富途扒拉股票数据。参考官方文档富途开放接口

获取上证50列表。成分股数据 _ 数据中心 _ 东方财富网 上扒拉到excel里。

2.代码

基本就是调用datidistance包的现成函数。需要注意的是，包里的聚类算法输入的是由numpy.ndarray组成的list。list中每一行代表一个时间序列，时间序列的长度可以不等。

a=[
        np.array([0.,1,2,0,1,]),
        np.array([0.,1,3,1,2]),
        np.array([0.,0.5,1,2.5,3,0,2])
    ]

 

就如同上面那样，整体的代码如下，东西都很简单看看注释和官方文档就行。

from futu import *
import  numpy as np
from dtaidistance import dtw, dtw_ndim, clustering, util_numpy
import dtaidistance.dtw_visualisation as dtwvis
from dtaidistance.exceptions import PyClusteringException
import matplotlib.pyplot as plt

def read_sh50():
    return pd.read_excel("./sh50.xlsx")
def read_k():
    df_sh50 = read_sh50()
    quote_ctx = OpenQuoteContext(host='127.0.0.1', port=11111)
    start_date = "2020-9-1"#K线开始时间
    end_date = "2021-9-1"#K线结束时间
    s=[]
    for i in range(df_sh50.shape[0]):
        ret, data, page_req_key = quote_ctx.request_history_kline(df_sh50.at[i, 'futucode'], start=start_date,
                                                                  end=end_date, max_count=1000)#获取上证50每一个股票的K线数据
        if ret == RET_OK:
            if i == 0:
                ntmp=np.array(data['close'].values.tolist())#将收盘价转换为numpy array
                ntmp=(ntmp-np.min(ntmp))/(np.max(ntmp)-np.min(ntmp))#归一化
                s = [ntmp]
            else:
                ntmp = np.array(data['close'].values.tolist())
                ntmp = (ntmp - np.min(ntmp)) / (np.max(ntmp) - np.min(ntmp))
                s.append(ntmp)
    quote_ctx.close()  # 结束后记得关闭当条连接，防止连接条数用尽
    model1 = clustering.LinkageTree(dtw.distance_matrix_fast, {})#指定聚类所用的方法为linkagetree，计算两条曲线相似度的函数用dtw.distance_matrix_fast
    cluster_idx = model1.fit(s)#进行聚类计算
    plt.rcParams['font.family'] = ['sans-serif']#中文支持
    plt.rcParams['font.sans-serif'] = ['SimHei']
    fig, ax = plt.subplots(nrows=1, ncols=2, figsize=(100, 100))#整个大点的图好放得下
    show_ts_label = lambda idx: df_sh50.at[idx,'股票名称']#指定每条曲线的标签
    model1.plot("hierarchy.png", axes=ax, show_ts_label=show_ts_label,
               show_tr_label=True, ts_label_margin=-10,
               ts_left_margin=10, ts_sample_length=1)

3. 结果

不出意外一坨银行股挤在了一起。然而民生银行还真是奇葩，跟其他银行股不一样。药茅、光茅和航发、韦尔股份的走势高度一致，也就是版块不重要，靠梦想的股票和靠现金流的股票都是各玩各的。