Python量化数据仓库搭建系列1:数据库安装与操作
本系列教程为量化开发者,提供本地量化金融数据仓库的搭建教程与全套源代码。我们以恒有数(UDATA)金融数据社区为数据源,将金融基础数据落到本地数据库。教程提供全套源代码,包括历史数据下载与增量数据更新,数据更新任务部署与日常监控等操作。
一、数据仓库
数据仓库(Data Warehouse)简称DW或DWH,数据仓库顾名思义,是一个很大的数据存储集合。是数据库的一种概念上的升级,输入方是各种各样的数据源,最终的输出用于数据分析、量化分析、数据挖掘、数据报表等方向,从逻辑上讲数据仓库和数据库是没有什么区别的。
二、数据库选型
目前常用的开源免费数据库有MySQL、MongoDB 、Postgresql 和 SQLite (Python自带)。在2020-2021年DB-Engines 排行榜前十的见下图,各个数据库有各自的特点和适用场景。具体选用哪一个作为量化投资的数据库,取决于存储的数据特点、性能要求和成本。对于个人来说,硬件水平、技术水平、费用成本和学习时间成本等因素都相当重要。
本系列教程,选用MySQL数据库为例,讲解数据仓库的搭建过程。其他数据库相关教程,也将会陆续推出,敬请期待。
MySQL数据库是当今最流行的开放源码数据库之一,为用户提供了一个相对简单的解决方案,适用于广泛的应用程序部署。MySQL Community Server是MySQL数据库的免费开源版,对个人用户非常友好。
三、数据库安装
1、MySQL Community Server安装包下载
安装包下载网页为:https://dev.mysql.com/downloads/mysql/,选择对应的操作系统,点击下载,例如下图为下载64位Windows系统MySQL Community Server安装包:
2、软件安装
A、双击安装包,进行安装;
B、Choosing a Setup Type页面,选择Developer Default,点击next进入下一步;
C、Path Conflicts页面,确认安装路径与数据存放路径,点击next进入下一步;
D、Check Requirements页面,检查安装条件,直接点击next进入下一步;
E、Installation页面,点击execute执行(此处等待时间较久),执行完后点击next进入下一步;
F、Product Configuration页面,点击next进入下一步;
G、Type and Networking页面,点击next进入下一步;
H、Authentication Method页面,点击next进入下一步;
I、Accounts and Roles页面,设置Root密码,点击next进入下一步;
J、Windows Service页面,点击next进入下一步;
K、Apply Configuration页面,点击execute执行,点击Finish;
L、Product Configuration页面,点击next进入下一步;
M、