hezzfew的博客

机器学习之线性模型1. 线性模型2. 对数几率模型（Logistic回归）3. 线性判别分析（LDA）4. 多分类学习5. 类别不平衡问题1. 线性模型线性模型是一类统计模型的总称，包括线性回归模型，方差分析模型，常应用于生物、医学、经济、管理。一般线性模型或多元回归模型是一个统计线性模型，公式：Y=WX+U，说白了就是用线性的函数去模拟样例的分布，在整个模拟过程中，我们希望线性模型的MSE最小，关于线性模型的MSE具体可详见另一篇文章：回归评估参数在模拟过程中存在一元线性函数，还有多元线性函数，对

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

DDPG 算法1 离散动作 vs. 连续动作离散动作与连续动作是相对的概念，一个是可数的，一个是不可数的。在 CartPole 环境中，可以有向左推小车、向右推小车两个动作。在 Frozen Lake 环境中，小乌龟可以有上下左右四个动作。在 Atari 的 Pong 游戏中，游戏有 6 个按键的动作可以输出。但在实际情况中，经常会遇到连续动作空间的情况，也就是输出的动作是不可数的。比如说推小车力的大小、 选择下一时刻方向盘的转动角度或者四轴飞行器的四个螺旋桨给的电压的大小等等。对于这些连续

稀疏奖励及模仿学习1 稀疏奖励关键词reward shaping： 在我们的agent与environment进行交互时，我们人为的设计一些reward，从而“指挥”agent，告诉其采取哪一个action是最优的，而这个reward并不是environment对应的reward，这样可以提高我们estimate Q-function时的准确性。ICM（intrinsic curiosity module）： 其代表着curiosity driven这个技术中的增加新的reward function

DQN 算法及 Actor-Critic 算法1 关键概念DQN(Deep Q-Network)： 基于深度学习的Q-learning算法，其结合了 Value Function Approximation（价值函数近似）与神经网络技术，并采用了目标网络（Target Network）和经历回放（Experience Replay）的方法进行网络的训练。State-value Function： 本质是一种critic。其输入为actor某一时刻的state，对应的输出为一个标量，即当act

策略梯度与PPO算法1 策略梯度2 PPO算法

马尔科夫链相关概念相关概念2. 存在的问题

强化学习基础知识1. 概念强化学习四要素：状态(state)、动作(action)、策略（policy）、奖励(reward)。强化学习就是考虑的是智能体（Agent）与环境（Environment）的交互问题：这里是引用智能体处在一个环境中，每个状态为智能体对当前环境的感知；智能体只能通过动作来影响环境，当智能体执行一个动作后，会使得环境按某种概率转移到另一个状态；同时，环境会根据潜在的奖赏函数反馈给智能体一个奖赏。— 周志华 《机器学习》强化学习的目标是找到一个最优策略，使智能体获得尽

1 模型融合的方式平均：简单平均法加权平均法投票：简单投票法加权投票法综合：排序融合log融合stacking:构建多层模型，并利用预测结果再拟合预测。blending：选取部分数据预测训练得到预测结果作为新特征，带入剩下的数据中预测。boosting/bagging2 详述2.1 stacking将若干基学习器获得的预测结果，将预测结果作为新的训练集来训练一个学习器。如下图 假设有五个基学习器，将数据带入五基学习器中得到预测结果，再带入

在特征工程上进行差不多的时候，接下来考虑更多的是模型调优，一般会先进行模型选择，在模型选择过程中，根据特征和数据情况，选择合适的基础模型，在基础模型上再进行参数寻优的过程，一般模型的准确率和在参数寻优的准确率上，差别一般是2个点左右，不过参数寻优过程中，寻优的成本会很大。1.模型学习相应模型的学习内容：逻辑回归模型决策树模型GBDT模型XGBoost模型LightGBM模型Catboost模型时间序列模型RNNLSTM推荐教材《机器学习》《统计学习

金融风控相关的知识点对于金融风控预测类常见的评估指标如下KS(Kolmogorov-Smirnov)KS统计量由两位苏联数学家A.N. Kolmogorov和N.V. Smirnov提出。在风控中，KS常用于评估模型区分度。区分度越大，说明模型的风险排序能力（ranking ability）越强。K-S曲线与ROC曲线类似，不同在于ROC曲线将真正例率和假正例率作为横纵轴K-S曲线将真正例率和假正例率都作为纵轴，横轴则由选定的阈值来充当。公式如下：KS=max(TPR-FPR)KS不

1 时序模型时序规则相关内容常见的时序模型2 时序特征时序特征工程3 模型训练和预测模型训练和验证4 相关数学知识点概率论相关知识点

1 模型训练、预测及线下验证数据划分：训练集、线下验证集、线下测试集、线上测试集无时序的数据集：简单划分、交叉验证划分等有时序的数据集：需考虑时序、nested交叉验证划分等模型选择依据在验证集上的效果选择除了关注效果的均值，还要关注稳健性还需考虑线上效果；可将线上效果视为一折数据参数调优不建议将精力放在参数调优上；容易过拟合大体的设置参数即可应将精力重点放在特征工程；其次是模型融合2 常用的回归模型模型参数的设置不建议将精力放在调参；黔驴技穷时再调参

1 特征工程1.1 了解特征工程数据挖掘“二八原则”80%的精力 => 选取特征20%的精力 => 模型融合等基于数据分析与探索提取潜在有价值的特征特征工程重要性特征越好，模型的性能越出色特征越好，构建的模型越简单特征越好，模型的灵活性越强1.2 特征提取与特征组合特征提取基于数据分析与探索提取箱型图分析点线图分析离散型特征很重要：可用于设计规则易于模型拟合，xgboost、lightgbm、catboost等都以决策树为基模型便于理解便于做特征组合

1 时间序列概念时间序列简单的说就是各时间点上形成的数值序列，时间序列分析就是通过观察历史数据预测未来的值。在这里需要强调一点的是，时间序列分析并不是关于时间的回归，它主要是研究自身的变化规律的（这里不考虑含外生变量的时间序列）。2 时间序列分析1.基本模型自回归移动平均模型(ARMA(p，q))是时间序列中最为重要的模型之一，它主要由两部分组成： AR代表p阶自回归过程，MA代表q阶移动平均过程，其公式如下：依据模型的形式、特性及自相关和偏自相关函数的特征，总结如下：在时间序列中，ARIM

1 LightGBM的介绍LightGBM是2017年由微软推出的可扩展机器学习系统，是微软旗下DMKT的一个开源项目，由2014年首届阿里巴巴大数据竞赛获胜者之一柯国霖老师带领开发。它是一款基于GBDT（梯度提升决策树）算法的分布式梯度提升框架，为了满足缩短模型计算时间的需求，LightGBM的设计思路主要集中在减小数据对内存与计算性能的使用，以及减少多机器并行计算时的通讯代价。LightGBM可以看作是XGBoost的升级豪华版，在获得与XGBoost近似精度的同时，又提供了更快的训练速度与更少的内

1 决策树的介绍决策树是一种常见的分类模型，在金融分控、医疗辅助诊断等诸多行业具有较为广泛的应用。决策树的核心思想是基于树结构对数据进行划分，这种思想是人类处理问题时的本能方法。例如在婚恋市场中，女方通常会先看男方是否有房产，如果有房产再看是否有车产，如果有车产再看是否有稳定工作……最后得出是否要深入了解的判断。决策树的主要优点：具有很好的解释性，模型可以生成可以理解的规则。可以发现特征的重要程度。模型的计算复杂度较低。决策树的主要缺点：模型容易过拟合，需要采用减枝技术处理。不能很好利用连

机器学习算法（一）（基于逻辑回归的分类）逻辑回归的介绍逻辑回归（Logistic regression，简称LR），虽然是带有回归两个字，但逻辑回归其实是一个分类模型，并且广泛应用于各个领域之中。虽然现在深度学习相对于这些传统方法更为火热，但实则这些传统方法仍然有其独特的优势依然广泛应用于各个领域中。逻辑回归最突出的两点就是模型简单和模型的可解释性强。优点 ：实现简单，易于理解和实现；计算代价不高，速度很快，存储资源低。缺点：容易欠拟合，分类精度可能不高。逻辑回归和线性回归的区别，就是广泛的线性

交叉验证将原数据进行分组，一部分作为训练集，另一部分作为验证集，首先用训练集对不同参数的模型进行训练，再利用验证集来测试训练得到的模型，进而验证集的测试误差来衡量模型中的参数。常用的交叉验证方法：Hold-out 方法 Hold-out方法即将原数据随机的分成两组，一组用作训练数据集，另一组用作验证数据集。 训练集训练模型，验证集则用于验证训练得到的模型，验证集的测试误差则为衡量...

回归评估参数在回归过程中，常用的指标包含很多。MSE: Mean Squared Error 均方误差是指参数估计值与参数真值之差平方的期望值; MSE可以评价数据的变化程度，MSE的值越小，说明预测模型描述实验数据具有更好的精确度 MSE=1N∑t=1N(observedt−predictedt)2MSE=1N∑t=1N(observedt−predictedt)2 MSE...

岭回归（Ridge Regression）岭回归是一种改良的最小二乘估计法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于普通的最小二乘法OLS。本质是在自变量信息矩阵的主对角线元素上人为地加入一个非负因子。直接套用线性回归有可能会产生过拟合，如果加上L2正则化项，就是岭回归...