qq_38870388的博客

转载 单机上使用dask

原创 MySQL必知必会（4至14章）

第四章：检索数据第五章：排序检索数据

转载 MySQL查看数据库表容量大小

原创 SQLAlchemy教程

SQLAlchemy对象关系映射器提供了一种将用户定义的Python类与数据库表以及这些类（对象）的实例与相应表中的行关联起来的方法。它包括一个透明地同步对象及其相关行之间状态的所有更改的系统，称为unit of work以及用用户定义的类及其相互之间定义的关系表示数据库查询的系统。ORM与用于构造ORM的SQLAlchemy表达式语言形成对比。而SQL表达式语言SQL表达式语言教程提出了一种直接表示关系数据库原始结构而不加意见的系统，ORM提出了一种高级抽象的使用模式，它本身就是表达式语言应用...

转载 mysql安装，以及初始化密码

也就是：初始化数据库的时候会生成一个随机密码，之后需要自己重新修改密码。

原创 MySQL必知必会（1至3章）

第一章：了解SQL数据库：保存有组织的数据的容器表：某种特定类型数据的结构化清单列：表中的一个字段行：表中的一个记录主键：一列（或一组列），其值能够唯一区分表中每个行SQL：是结构化查询语言（Structuered Query Language)的缩写。SQL是一种专门用来与数据库通信的语言。第二章：MySQL简介MySQL是一种DBMS——一种数据软件，用于对数据检索、管理和处理MySQL、Oracle以及Microsoft SQL Server等数据库是基于客户机-服

转载 net start mysql 启动MySQL服务报错 发生系统错误 5 解决方法

net start mysql 启动MySQL服务报错 发生系统错误 5 解决方法 1-错误详情2-单次解决方法2.1-目录 C:\Windows\System32 -> 找到 cmd.exe2.2-右击属性 -> 以管理员身份运行2.3-运行成功 3-永久解...

转载 MySQL的启动和关闭

1.Windows下启动服务mysqld --console　　或　　net start mysql　　关闭服务mysqladmin -uroot shudown　　或　　net stop mysql　　2.Linux下启动服务service mysql start　　　关闭服务service mysql stop　　重启服务service restart stop 分类: 数据库-MySQL 标签: ...

转载 windows/linux环境python3.7出现ssl或者tsl不可用的解决方法

首先明确问题原因在于缺少openssl或者版本过低。 1，去下载winopessl 入口 直接下载第一行exe大小为3m左右的安装包（测试版） 鉴于部分同学重装可能操作不当，推荐执行下面命令 （或可以重新编译执行命令 python -m pip install --upgrade pip） 或者 载你的python3.7 重新安装p...

原创 算是年度总结的总结

从事量化交易行业一年多了，学了一些东西，但是还是没有真正能够落地的。1、理论：《期货市场技术分析》、《海归交易法则》、《打开量化投资的黑箱》、《金融时间序列分析》、《算法交易》、《华泰多因子系列》+各类金融工程研报。研究过开源单因子分析框架 jqfactor_analyzer，熟悉单因子分析流程。日内高频，分析五档行情。2、数据分析：《利用 python 进行数据分析》、《金融大数据分析》、《应用统计方法》、《数据结构与算法python语言描述》和《mysql必知必会》收获：数据分析就是

原创 无监督学习概论

无监督学习是从无标注的数据中学习数据的统计规律或者说内在结构的机器学习，主要包括聚类、降维、概率估计。可以考虑发掘数据的纵向结构，把相似的样本聚到同类，即对数据进行聚类。还可以考虑发掘数据的横向结构，把高维空间的向量转换为低维空间的向量，即对数据进行降维。也可以同时考虑发掘数据的纵向和横向结构，假设数据由含有...

原创 SVM

支持向量机。我还没法完全的理解其中的数学推导过程，先留着，以后补上。1、线性可分支持向量机分离超平面： 分类决策函数： 线性可分支持向量机的最优解存在且唯一。位于间隔边界上的实例点为支持向量。最优分离超平面由支持向量完全决定。2、线性支持向量机分离超平面： 分类决策函数： 线性支持向量机的解唯一但不一定唯一支持向量可在间隔边界上，也可在间隔边界与分离...

转载 安装mysqld系统及基础应用

MySQL篇第一章、安装mysqld系统及基础应用一、安装注意：mysql的标点符号只能是英文的标点符号。1、设置配置文件。文件格式：文本格式文件位置：Mysql的主目录下文件名称：my.ini文件内容： [mysqld]port=3306（port表示网络端口)basedir=D:/mysql-5.6.10-winx64（MySQL主目录在硬盘中的路径）datadir=E:/shujuku（存放数据库的数据文件的路径）max_connections=20（最大连接...

转载 最棒的10款MySQL GUI工具

绝大多数的关系数据库都明显不同于MS Access，它们都有两个截然不同的部分：后端作为数据仓库，前端作为用于数据组件通信的用户界面。这种设计非常巧妙，它并行处理两层编程模型，将数据 层从用户界面中分离出来，同时运行数据库软件制造商专注于它们的产品强项：数据存储和管理。它同时为第三方创建大量的应用程序提供了便利，使各种数据库间 的交互性更强。这类产品包括Embarcadero Rapid SQL和Oracle SQL Developer。这里有十款优秀的MySQL图形化界面。1. Workbe...

转载 Python工程目录组织

Python工程目录组织from: https://zhuanlan.zhihu.com/p/36221226Python工程目录组织关于如何组织一个较好的Python工程目录结构，已经有一些得到了共识的目录结构。在Stackoverflow的这个问题上，能看到大家对Python目录结构的讨论。这里面说的已经很好了，我也不打算重新造轮子列举各种不同的方式，这里面我说一下我的理解和体会。假设你的项目名为foo, 我比较建议的最方便快捷目录结构这样就足够了:Fo...

原创 隐马尔可夫模型

原创 2020-08-19机器学习小记

1、我现在学习机器学习是两本书，一本是：统计学习方法，另一本是：机器学习实战。以前有一些基础，看过一些视屏教程，但是感觉就是理解的不够深入，最主要的原因就是：模型的数学推理过程不熟练。2、现在两手抓，理论靠：统计学习方法。实践靠：机器学习实战。现在我对模型的理论推导都写过了，也记录了一些笔记。3、现在这个阶段：理解模型的数学推导过程，编写代码 下一阶段：手写出这些模型数学推导过程 再下一阶段：用这些模型去处理现实中的问题...

原创 逻辑斯蒂回归和最大熵模型

1、logistic回归梯度上升优化算法'''logistic回归梯度上升优化算法'''def loadDataSet(): ''' 读取testSet.txt文件 --------------- 返回： dataMat：list,特征 labelMat：list,标签 ''' dataMat = [] ; labelMat = [] fr = open('D:\\spyder_code\\machinelear

原创 python中使用matplotlib画图show不显示

1、使用%pylab查看matplotlib后端2、查看自己的配置支持什么3、设置使用自己的配置所支持的import matplotlibmatplotlib.use('TkAgg')

转载 深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件

转自：https://blog.youkuaiyun.com/lijil168/article/details/69395023？？？？从几何角度看拉格朗日乘子法的物理意义：

原创 决策树

一、主要步骤特征选择决策树的生成决策树的修剪二、算法实现'''创建分支的伪代码函数creatBranch(): 检测数据集中的每个子项是否属于同一分类： if so return 类标签； Else 寻找划分数据集的最好特征 划分数据集 创建分支节点 for 每个划分的子集 调用函数createBranch并增加返回结果到分支节点中 re

原创 预测数值型数据：回归

一、概述1、普通最小二乘法， 确保可逆def loadDataSet(fileName): #general function to parse tab -delimited floats numFeat = len(open(fileName).readline().split('\t')) - 1 #get number of fields dataMat = []; labelMat = [] fr = open(fil...

原创 基于概率论的分类方法：朴素贝叶斯

一、朴素贝叶斯的前提特征独立且同等重要二、import numpy as npimport ospath = os.getcwd()#%%'''准备数据：从文本中构建向量'''def loadDataSet(): postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], ['maybe', 'not', 'take', 'him', 'to', 'do

原创 华泰单因子测试之换手率类因子

一、因子选择二、因子收益1）绘制各分位数各周期的平均收益（收益数值不是重点，主要用于观察是否具有单调性）#绘制各分位数各周期的平均收益（收益数值不是重点，主要用于观察是否具有单调性）plot_quantile_returns_bar(by_group=False, demeaned=True, group_adjust=False)2）绘制各分位数的累计收益（收益数值不是重点，看层次是否分明）#绘制各分位数的累计收益（收益数值不是重点，看层次是否分明）w...

原创 华泰单因子测试之成长类因子

一、因子选择

原创 华泰单因子测试之波动率类因子

1、考虑行业间差异、不同市值规模间差异行业间差异 ：如果存在较大差异，需要做行业中性化处理2、绘制各分位数各周期的平均收益（收益数值不是重点，主要用于观察是否具有单调性。已经知道行业间差异很大，做了中性处理。）...

转载 Windows系统Git安装教程（详解Git安装过程）

转载 一步一步教你如何在GitHub上上传自己的项目

这里附上一个别人写的常见Git错误的解决：http://blog.163.com/023_dns/blog/static/1187273662013111301046930/

转载 Git下载、安装与环境配置

转自：https://blog.youkuaiyun.com/huangqqdy/article/details/83032408

原创 K-近邻法

一、建议代码实现import numpy as npimport operatordef creatDataset(): group = np.array([[1,1.1],[1,1],[0,0],[0,0.1]]) labels = ['A','A','B','B'] return group,labelsdef classify0(inX,dataSet,labels,k): ''' k-近领算法 ------------

原创 华泰单因子之动量类因子

一、因子选择二、因子收益1）绘制各分位数各周期的平均收益（收益数值不是重点，主要用于观察是否具有单调性）wgt_return_factor.plot_quantile_returns_bar(by_group=False, demeaned=False, group_adjust=False)2）绘制各分位数的累计收益（收益数值不是重点，看层次是否分明）#绘制各分位数的累计收益（收益数值不是重点，看层次是否分明）wgt_return_factor.plot_c...

原创 中证300、500、800成分股调整时间

'''函数get_rng(start_year=None,end_year=None)得到的是每次指数成分股改变时的开始日期在函数get_interval(start_year,end_year)中得到一个完整的周期'''from datetime import datetimedef get_rng(start_year=None,end_year=None): ''' 输入起始结束年份，得到300，500，800指数成分股调整日期。 '''...

原创 华泰单因子测试之估值类因子（回归法）

IC值1、计算每日因子IC值ic_date = pe_factor.calc_factor_information_coefficient(group_adjust=0, by_group=0, method='rank') def calc_factor_information_coefficient(self, group_adjust=False, by...

原创 华泰单因子测试之估值类因子（分层回测）

分层回测'''class FactorAnalyzer(object): def __init__(self, factor, prices, groupby=None, weights=1.0, quantiles=None, bins=None, periods=(1, 5, 10), binn...

转载 详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解

声明：本文为原创文章，发表于nebulaf91的csdn博客。欢迎转载，但请务必保留本信息，注明文章出处。本文作者: nebulaf91本文原始地址：http://blog.youkuaiyun.com/u011508640/article/details/72815981...

原创 因子数据处理前后比较

一、空值1、 处理前。（存在空值）2、处理后。（不存在空值）二、因子值得整体特征1、处理前2、处理后三、因子值的分布情况1、处理前2、处理后3、概括处理前后因子数值差别很大四、散点图1、处理前因子散点图2、处理后因子散点图五、 柱状图1、处理前因子柱状图2、处理后因子柱状图...

原创 原始因子处理之手写标准化函数

一、标准化代码实现（z_score方法标准化）def standardlize(data, inf2nan=True, axis=1): ''' 参数 ----------- data: pd.Series/pd.DataFrame/np.array, 待标准化的序列 inf2nan: 是否将 np.inf 和 -np.inf 替换成 np.nan。默认为 True axis=1: 在 data 为 pd.DataFrame 时使用，如果 ser

原创 原始因子处理之手写去极值函数

一、去极值百分位去极值：直接以上下百分位为边界，将边界外数据归为边界上数据，目前行业内一般不使用。 标准化去极值：又称为标准差法。标准差本身可以体现因子的离散程度，是基于因子的平均值 Xmean而定的。在离群值处理过程中，可通过用 Xmean±nσ来衡量因子与平均值的距离。　标准差法处理的逻辑与MAD法类似，首先计算出因子的平均值与标准差，其次确认参数 n（这里选定 n = 3,3个标准差以内概率为99.73%），从而确认因子值的合理范围为 [Xmean−nσ,Xmean nσ] MAD中位数去极值

原创 原始因子数据分析与处理

1、原始因子数据统计空值情况def detecte_null_value(self,factor_data=None): ''' 统计空值情况 参数 ----------- self.factor : Series 返回值 ----------- null_value_situation : dict 键名:

原创 申万一级行业变化

'''申万指数在2014-02-21有一次大改,删除了6个一级行业，并增加了11个一级行业。故：date < 2014-02-21 申万一级行业有23个date = 2014-02-21 申万一级行业有34个date > 2014-02-21 申万一级行业有28个'''#date='2014-02-20'，23个code1 = jd.get_industries(name='sw_l1', date='2013-01-20')#date='2014-02-21'有.