尚小馨的博客

神经网络技术起源于上世纪五、六十年代，当时叫感知机（perceptron），拥有输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换达到输出层，在输出层得到分类结果。早期感知机的推动者是Rosenblatt。      但是，Rosenblatt的单层感知机有一个严重得不能再严重的问题，即它对稍复杂一些的函数都无能为力（比如最为典型的“异或”操作）。连异或都不能拟合，你还能指望这货有什么实

平台研究类数据计算平台搭建，基础算法实现，当然，要求支持大样本量、高维度数据，所以可能还需要底层开发、并行计算、分布式计算等方面的知识；算法研究类文本挖掘，如领域知识图谱构建、垃圾短信过滤等； 推荐，广告推荐、APP 推荐、题目推荐、新闻推荐等； 排序，搜索结果排序、广告排序等； 广告投放效果分析； 互联网信用评价； 图像识别、理解。数据挖掘类 商业智能，如统计报表； 用户体验分析

GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力（generalization)较强的算法。近些年更因为被用于搜索排序的机器学习模型而引起大家关注。

决策树的基本思想 决策树的思想来源非常朴素，每个人大脑中都有类似if-then这样的判断逻辑，if表示条件，then就是选择或决策。在程序设计中，最基本的语句条件分支结构就是if-then结构。而最早的决策树就是利用这类结构分隔数据的一种分类学习方法。实例背景 假定某IT公司销售笔记本电脑产品，为了提高销售收入，公司对各类用户建立了统一的调查表，统计了几个月的销售数据之后收集了如图所示的数据

回归算法原理 CART(Classification and Regression Tree)算法是目前决策树算法中最为成熟的一类算法，应用范围也比较广泛。它既可以用于分类。 西方预测理论一般都是基于回归的，CART是一种通过决策树方法实现回归的算法，它具有很多其他全局回归算法不具有的特性。 在创建回归模型时，样本的取值分为观察值和输出值两种，观察值和输出值都是连续的，不像分类函数那

1 参数可分为两种，一种是影响模型在训练集上的准确度或是影响防止过拟合能力的参数；另外一种是不影响这两者的其他参数。模型在样本总体上的准确度（后简称准确度）由其在训练集上的准确度及其防止过拟合的能力所共同决定，所以在调参时，我们主要对第一种参数进行调整，最终达到的效果是：模型在训练集上的准确度和防止过拟合能力的大和谐！ 2 简单来说，集成学习是一种技术框架，其按照不同的思路来组合基础模型。目前

题记：一直以为ftrl_proximal_lr模型是为了解决参数在内存中的使用问题。跟大神请教后，ta说：ftrl_proximal 为了解决online中模型稀疏性的问题。前世今生直接贴图：

线性代数的本质