（一） 关于实现一个可用的量化金融平台的简单思路（持续更新）

本文是一个框架性的简单思路，限于现在的差劲的技术实力与有限的认知水平，以下内容肯定有许多纰漏、理想主义的问题，希望有大神能够留言指正，本文也会持续修正更新

目标： 实现一个可用的量化金融平台

细化目标：

平台需要具备的几大要点：

1. 数据获取

获取的数据是独立储存的，自己的平台可以调用这些数据，也可以开放接口供给别人使用。
目前的思路是数据库需要分为三层，
第一层是获取层，搭建分布式数据库，我们不仅需要国内的数据，还有许多国外的数据，所以数据获取、初步清洗（格式化的清洗）与存储需要就近部署VPS实现，下一层的数据库定时拿走这些数据，拿走这些数据后，这一层的数据库应当能够自动删除所有已被拿走的本地数据（毕竟VPS的空间太贵了，还是太穷的原因）
这样的好处：
对于开发者而言，因为众所周知的原因，我们无法访问外网，就近部署VPS，集中获取大量数据，再集中下载，更加方便，还能分离业务，各干各的；
对于第三层数据库来说，关于获取数据的业务只需要管理好几个数据接口就行了，可以集中精力进行数据的深度加工；
对于第一层数据库来说，只需要专心维护好爬虫就行；
对于其他接口使用者而言，经过两层的数据获取与汇总数据库的处理，大家可以通过第二层数据库开放的接口，很简单方便并可靠的调用这些原始数据，专心的进行下一步开发使用，而不是面对着数以百计甚至数以千计的数据接口发呆，更不用头疼各种因为网络问题，或者是爬虫问题或者莫名其妙的问题带来的稀奇古怪的报错，更不需要在本地再部署数据获取的环境；
第二层是汇总层，我们首先需要把各个VPS中获取到的初步数据汇总存储到我们的数据库中，而且需要先把这些数据永久的保存下来，这一层虽然说是汇总，但肯定不是真汇总到了一个数据库中，毕竟上一层获取到的数据还分SQL和NOSQL，这一层应当可以开放接口供其他人使用；
这样的好处是随着时间的过渡，我们的清洗加工策略，甚至是随着业务逻辑的改变，程序需要使用的数据库格式都可能会改变，这时候是需要对所有的原始数据进行重新清洗加工；
对于不同的使用者而言，大家有不同的清洗逻辑、业务逻辑，原始数据的保存有利于面向不同的使用环境。
第三层是自定义加工层，之前获取到的数据只是经过了初步的格式化加工，我们我们无法确保数据的真实性可靠性，且不同数据库的数据会有大量的重复，同一个标题，内容不同的数据，这些数据需要面向自己的需求、思路，使用不同的方法进行清洗加工分析，最后保存，程序直接从这一层调用数据，
我认为深度的量化不应该只是从设计策略开始，虽然直接从策略开始对非计算机专业的用户来说更友好，但我觉得体现自己策略的数据深度清洗加工和自有数据库的设计才是策略设计的第一步，用自己的量化思想处理重复数据、异常数据，设计出最贴切自己策略的数据库，再到策略程序的调用，才是完整的策略设计且能在使用中高效的执行，有些人可能觉的在策略程序中写入数据处理的代码，现用现处理也很方便，不过在当数据量变得很大的时候，现用现处理所浪费的精力、资源和时间是及其让人头疼的，而且直接使用现成的数据库可能无法完美的贴合自己所设计的方法。

其实在第三层数据库这一步就出现了分支，使用者在这里设计了符合自己策略的数据库，后面业务的具体实现可能会出现很大的区别，具体问题就具体对待吧

2. 数据分析与策略模型设计

策略设计应当分为三个部分
第一部分是现有的常规、传统的数据分析方法与策略模型
这些东西有用么？很有用
但它真的有用吗？其实没啥用
要是真的有用，那满大街都是炒股成功的土豪了，资本再也收割不了韭菜了，但要是说没用，也是假的，这些算法、模型，都是无数数学家、经济学家用自己一生的专业知识总结出来的，谁敢说自己还比那些位学者更专业更NB？
所以对待 这些方法，我觉得我们都要学，我们都要用，我们要站在巨人的肩膀上，我们要相信前人的专业能力，但不能迷信前人一定是对的，他们的东西一定是有用的

第二部分是机器学习的数据分析

第三部分是以自己对经济与金融的理解为基础，设计的方法与模型

虽然三个部分是分开写的，但其实应该是一体的，以机器学习为主，在其中增加设定，我记得有个什么名词就是说这种思路的，不过忘了，后续更新修改的时候再补充吧。

目前我的知识太浅薄，只有这么一个及其不专业的简单想法与思路，后期打算再开一个金融知识板块和算法板块，在学习过程中更新、修改、完善、补充

3. 可视化

数据可视化的框架很多，计划用web实现，具体用什么框架，还得继续学习与实验后再去决定，后面再开一个板块专门更新学习可视化过程中的笔记
可视化之后能够直观的看到趋势变化，其中好处不言而喻
对于我这个中二少年而言，想象一下，满墙的显示器，上面跑着我自己写的程序，显示着科技感爆棚的数据可视化页面，想想想都觉得激动（偷偷擦一下口水）

4. 模拟交易

模拟交易有两个用处，机器学习时需要用，自己交易验证的时候也要用
具体的实现方法还没有思路，后面再更新吧

5. 量化交易

这儿就是我们的最终目的了，毕竟一个可用的量化系统最后竟然不能用来实际的量化交易，那还干个啥。
用来进行量化交易的服务器本着就近原则，肯定不能是集中部署的，交易所在哪，购买地理位置最近的VPS部署交易程序
不过交易模块与策略模块的部署关系还得琢磨琢磨，是部署在一起，还是分开部署？
具体的实现方法后面慢慢学习补充。

最近学着学着感觉自己跟个无头苍蝇一样，想走数据分析-量化金融的路，但却一团乱麻，不知从何学起，所以这篇文章其实是捋一捋自己的思路，确定一下自己的学习思路，也期待有大神能够指正，然后按部就班的学习与实现，千言万语汇成一句话：“不要等，不要急”