基于Google Cloud Platform的时间序列预测实战：BQML与AutoML应用指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00177/article/details/148441508

基于Google Cloud Platform的时间序列预测实战：BQML与AutoML应用指南

training-data-analyst Labs and demos for courses for GCP Training (http://cloud.google.com/training). 项目地址: https://gitcode.com/gh_mirrors/tr/training-data-analyst

概述

时间序列预测是机器学习领域的重要应用场景之一，在金融、零售、物联网等行业有着广泛的应用。本文将基于Google Cloud Platform的training-data-analyst项目，详细介绍如何使用BigQuery ML (BQML)和AutoML Tables构建时间序列预测模型，实现股票市场趋势预测。

环境准备

在开始建模前，我们需要完成以下准备工作：

设置项目参数：指定GCP项目名称和区域

PROJECT = "your-gcp-project-here"  # 替换为您的GCP项目名称
REGION = "us-central1"  # 替换为您的存储桶区域

创建数据集和表：使用BigQuery Python客户端创建数据集和特征表

from google.cloud import bigquery

bq = bigquery.Client(project=PROJECT)

def create_dataset():
    dataset = bigquery.Dataset(bq.dataset("stock_market"))
    try:
        bq.create_dataset(dataset)
        print("数据集创建成功")
    except:
        print("数据集已存在")

def create_features_table():
    try:
        bq.query('''
        CREATE TABLE stock_market.eps_percent_change_sp500
        AS
        SELECT *
        FROM `stock_market.eps_percent_change_sp500`
        ''').to_dataframe()
        print('表创建成功')
    except Exception as e:
        if 'Already Exists' in str(e):
            print('表已存在')
        else:
            raise Exception('表创建失败')

create_dataset()
create_features_table()

数据探索

在建模前，我们需要先了解数据的基本情况：

SELECT *
FROM stock_market.eps_percent_change_sp500
LIMIT 10

数据包含以下关键特征：

股票代码(symbol)和日期(Date)
开盘价(Open)
过去5/20/260天的最低价、最高价、平均价和标准差
目标变量：股票方向(direction)和标准化变化(normalized_change)

使用BQML构建分类模型

模型创建

我们将首先构建一个分类模型来预测股票走势方向(上涨/下跌/持平)：

CREATE OR REPLACE MODEL stock_market.direction_model
OPTIONS(model_type='logistic_reg') AS
SELECT
  symbol, Date, Open,
  close_MIN_prior_5_days, close_MIN_prior_20_days, close_MIN_prior_260_days,
  close_MAX_prior_5_days, close_MAX_prior_20_days, close_MAX_prior_260_days,
  close_AVG_prior_5_days, close_AVG_prior_20_days, close_AVG_prior_260_days,
  close_STDDEV_prior_5_days, close_STDDEV_prior_20_days, close_STDDEV_prior_260_days,
  direction
FROM `stock_market.eps_percent_change_sp500`
WHERE ABS(MOD(FARM_FINGERPRINT(symbol), 15)) = 1

关键点说明：

使用CREATE OR REPLACE MODEL语句创建模型
OPTIONS指定模型类型为逻辑回归(logistic_reg)
使用FARM_FINGERPRINT函数实现数据随机抽样

模型评估

训练完成后，我们可以评估模型性能：

SELECT *
FROM ML.EVALUATE(MODEL `stock_market.direction_model`)

评估指标包括：

准确率(accuracy)
精确率(precision)
召回率(recall)
F1分数
AUC值

训练过程分析

查看训练过程的详细信息：

SELECT *
FROM ML.TRAINING_INFO(MODEL `stock_market.direction_model`)
ORDER BY iteration

输出包含每次迭代的损失值、学习率等训练指标。

使用BQML构建回归模型

除了分类问题，我们还可以构建回归模型预测股票价格变化幅度：

CREATE OR REPLACE MODEL stock_market.price_model
OPTIONS(model_type='linear_reg') AS
SELECT
  symbol, Date, Open,
  close_MIN_prior_5_days, close_MIN_prior_20_days, close_MIN_prior_260_days,
  close_MAX_prior_5_days, close_MAX_prior_20_days, close_MAX_prior_260_days,
  close_AVG_prior_5_days, close_AVG_prior_20_days, close_AVG_prior_260_days,
  close_STDDEV_prior_5_days, close_STDDEV_prior_20_days, close_STDDEV_prior_260_days,
  normalized_change
FROM `stock_market.eps_percent_change_sp500`
WHERE ABS(MOD(FARM_FINGERPRINT(symbol), 15)) = 1

回归模型的评估指标包括：