- 博客(373)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 论文解读：LightGBM——A Highly Efficient Gradient Boosting Decision Tree
摘要GBDT是个非常流行的机器学习算法，有几个非常有效的应用实现，例如XGBoost合pGBRT。尽管这些应用算法应用来了很多工程优化技术，但是当特征维度特别大，数据量特别多时，这些算法还是不够高效。一个主要原因是：对于每一个特征，他们需要遍历所有数据去估计所有分裂点的信息增益，这会非常耗时。为了解决这个问题，我们提出了两种技术：GOSS(单边梯度采样)和EFB(互斥特征绑定)。对于GOSS，我们留下梯度较大的数据样本，而对梯度较小的样本进行随机采样，并加上权重补偿损失。论文也证明梯度较大的样本对计算信息
2021-01-20 21:29:31
1925
原创 极大似然估计与最大后验概率估计(MLE&MAP)
文章目录0. 写在前面1. 频率学派与贝叶斯派1.1 频率学派1.2 贝叶斯派2. 极大似然估计与最大后验估计2.1 极大似然估计(MLE)2.2 最大后验概率估计(MAP)3. 经验风险最小化与结构风险最小化3.1 经验风险最小化3.2 结构风险最小化4. MLE与MAP的联系0. 写在前面最近复习《统计学基础》，在第一张看到了最大似然和最大后验概率估计，突然傻了眼，一点印象都没有，然后决定这次彻底把它弄懂，本文会参考这篇博客。1. 频率学派与贝叶斯派在说极大似然估计（Maximum Likeli
2020-10-26 16:18:47
707
1
原创 Variance&Deviation Tradeoff（方差、偏差权衡）
0 写在前面今天，突然想起来偏方差的分解问题，于是我想系统的推一推公式，再次复习一下周志华老师的西瓜书上关于偏方差的问题。1 正文首先周老师为了引入偏方差分解问题，提出了一个问题：“对学习算法除了通过实验估计其泛化性能，人们往往还希望了解为什么具有这样的性能。偏差-方差分解(bias-variance decomposition)是解释学习算法泛化性能的一种重要工具。”2 公式推导西瓜书p45页公式推导：这里解释一点：即假设噪声的期望为0的合理性对于一般算法问题，我们都会假设噪声的分布是服从0
2020-10-08 18:20:25
1301
原创 神经网络中参数的初始化问题
1. 为什么神经网络不能初始化权重W为0？参考博客2. 随意初始化为非零的权重是否可行?答案肯定是不行的！随意的初始化权重可能会导致梯度爆炸和梯度消失。例如当神经网络为线性的，我们初始化所有参数W=0.1或者W=0.9，都会造成指数级影响3. 如何解决神经网络中参数初始化问题？对于Relu函数我们一般使用0均值和方差为2/n[l-1]的正太分布对于tanh函数，使用0均值和方差为1/n[l-1]的正态分布，被称之为Xavier初始化...
2020-06-04 15:25:55
845
原创 模型训练中遇到的问题——梯度消失/爆炸(Loss为nan)
可能出现的原因Learning_rate过大，导致梯度较大，导致梯度爆炸激活函数、损失函数选取不当，在这种情况很少出现当网络的层数比较多，模型的数值稳定性容易变差，容易产生梯度消失和梯度爆炸，这会导致我们的loss在训练时变为nan，也称之为数据溢出。采用stride大于kernel size的池化层解决方法（个人经验）首先不要先考虑激活函数，应该先考虑的是learning_rate，试着降低学习率，虽然优化器(Adam)推荐0.001，但并不适用全部网络，试着减少一个量级。如果发现减少
2020-05-16 10:34:17
8895
3
原创 深入理解批标准化(Batch Normalization)
文章目录0 前言1 “Internal Covariate Shift”问题1.1 什么是“Internal Covariate Shift”2 Batch Norm的本质思想2.1 本质思想2.2 将激活输入调整为N(0,1)有何用？2.3 存在的一个问题3 Batch Norm的训练过程3.1 再Mini-batch SGD下做BN操作4 Batch Norm的预测过程4.1 预测中存在的问题...
2020-04-14 12:29:21
1268
2
原创 深度学习中常用的激活函数理解
ReLU还有一个优点是：Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生。Dead ReLU Problem原因有两个主要原因可能导致这种情况产生:(1)先这样想：参数得不到更新是由于梯度为0；对于ReLU函数，导数为0表示ReLU的输入为负数，所以要分析是什么会导致我们的输入为负数（如下）(2) 非常不幸的参数...
2020-04-10 11:02:31
378
原创 2024世界人工智能大会（WAIC）学习总结
在2024年的世界人工智能大会（WAIC）上，我们见证了从农业社会到工业社会再到数字化社会的深刻转变。这一进程不仅体现在技术的单点爆发，更引发了整个产业链的全面突破，未来将是技术以指数级速度发展的崭新时代。
2024-07-14 14:54:49
652
原创 【Git】git reset & git rm & git rm
在日常开发时，我们经常会需要撤销之前的一些修改内容或者回退到之前的某一个版本，这时候reset命令就派上用场了。
2023-07-30 21:54:37
710
原创 【Git】分支合并&冲突产生与解决
合并操作在Git中属于最为核心的一个操作，包括三种合并方式：一种为fast forward ，需要满足有非常强的前提条件才能执行；一种为3 way merge方式，这种是我们工作中常见的；最后一种为变基rebase。另外，本篇文章也会深入讲解冲突如何产生，以及如何解决。
2023-07-23 17:56:03
5046
原创 【Hadoop】回答Hadoop是什么
回答Hadoop是什么，发展历史，它的优势，和它的基本组成。对于算法工程师而言，并不需要弄清楚源代码部分，最重要的是知道是什么，怎么用很重要，因为我们的侧重点还是在算法上面。
2022-10-23 16:54:00
741
原创 【scala】Object和Class
使用scala 代码定义一个简单的object. scala 中没有静态的概念,所有静态的东西都放在 object 中.所以 object Test 可以理解一个静态类.看下编译的内容. object Test 代码如下在字节码反编译的结果上是体现了两个文件,Test.class 和 Test$.classTest.class 代码如下} }Test$.class 代码如下} }可以看到当只定义了 object 不定义 class 时,字节码中同样还是会存在class。
2022-09-25 21:03:25
619
原创 【scala】可变长度参数与装包解包
Scala 允许函数的最后一个参数可以是重复的。这可以允许用户向函数传入可变长度参数列表。然而这里面涉及到拆包和解包的过程，特别容易搞错，这里记录一下。在函数内部，args类型是String数组。符号可以将数组中的每个元素依次传入函数。将多个参数打包成数组赋值给args。...
2022-08-28 10:41:25
328
原创 【scala】foreach，forall，map，exists对比
scala中foreach，forall，map，exists这三个函数感觉功能上特别想，今天来对比总结一下。
2022-07-29 16:37:12
388
原创 【scala】类的属性
中的或[this]中的包中的类及它们的伴生对像可见外，对其它所有类都是private。private[this]限定了这个类的方法只能访问自己对象的属性privateAge，不能访问其他对象（即使这个对象是根据这个类生成）的属性。scala中类的属性默认都是private类型的，但默认会生成public类型的getter()和setter()，即私有属性，公有方法。在主构造器形参中，如果一个属性没有var或者val的修饰符，Scala不会生成getter和setter方法。声明的变量都是类的属性。.....
2022-07-28 18:25:59
711
原创 【spark】Master&Wroker、Driver&Executor、Job&Stage&Task概念
Spark中存在大量的角色和阶段，如Master\Worker、Driver\Executor、Job\Stage\Task等，本节主要是讲解这些角色的含义和之间的关系。
2022-07-17 17:56:51
320
原创 【spark】两种部署模式deploy-mode：cluster，client
SparkApplication提交运行时部署模式DeployMode，表示的是DriverProgram运行的地方，要么是提交应用的Clientclient，要么是集群中从节点（Standalonecluster。默认值为client，当时在实际项目中，尤其在生产环境，使用cluster部署模式提交应用运行。Cluster和Client模式最最本质的区别是Driver程序运行在哪里。官方的解释。.........
2022-07-16 17:40:26
2467
1
原创 【spark】spark的三种常用运行环境：Local，Standalone，Yarn
Spark作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行,在国内工作中主流的环境为Yarn，不过逐渐容器式环境也慢慢流行起来。spark提供了基于不同环境下的部署模式，本篇针对常用的部署和运行模式，简单做一下总结。...
2022-07-16 17:07:48
1856
2
原创 【Linux】swp文件
linux swp文件是一种后缀为“.swp”的文件，该文件是在当使用vi或者vim编辑一个文件时产生的，当编辑完成正常退出时，该文件就会自动删除；swp文件是隐藏文件，在目录下使用“ls -al”才能查看。...
2022-07-12 19:45:54
8403
原创 【计算广告】feed流
feed流即持续更新并呈现给用户内容的信息流。Feed是一种信息格式，平台通过它将资讯传递给用户。Feed是信息聚合的最小单元,每一条状态或者消息都是Feed，比如朋友圈中的一个动态就是一个Feed，微博中的一条微博就是一个Feed。Feed流即持续更新并呈现给用户内容的信息流。每个人的朋友圈，微博关注页，头条新闻等等都是一个Feed流。每当用户发帖，对所有粉丝推送一条该用户的动态消息记录。需要考虑的是如果一个粉丝量级非常大的用户（大V），发布一条动态那么需要在每个粉丝页推送一条动态，多个大V级别用户同时发
2022-07-08 18:23:29
446
原创 【计算广告】六大系统技术
本博客是学习刘鹏老师《计算广告》所做的笔记，如果涉及侵权，请联系我立马下架搜索与搜索广告准则不一致，例如我们百度搜索国行，第一条肯定是广告，因为利润高，如果仅是搜索，那么结果肯定是国行的官方网站放在第一位...
2022-05-28 19:02:28
174
1
原创 【计算广告】商业化体系六大产品问题
本博客是学习刘鹏老师《计算广告》所做的笔记，如果涉及侵权，请联系我立马下架1. 供需接口1.1 需求方层级组织广告有买的一方，有卖的一方，这两者之间总是需要通过一个接口来交互，最常见的一种方式就是用一个界面，比如说京准通。我们总是把需求方分成四个层次：广告主，广告计划，广告组和广告创意。1.2 供需之间的各种对接方式这里要理清一个概念：每一次交易必然存在买方(需求方)和卖方(供给方)。媒体（卖）和ADX(买)ADX(卖)和DSP(买)DSP（卖）和广告主 （买）所以你会发现，.
2022-05-28 18:04:07
206
原创 【计算广告】边际成本的妙用
最近在读《计算广告》这本书，里面提到了边际成本这个概念，并指出所有能够传播信息的商品，其售价都会趋向其边际成本同时又指出了：电影是一种边际成本很低，同时传播的信息很大的典型商品，但电影票的售价往往远高于其边际成本，从而引出一个想法：“是否可以在电影上探索新的商业模式！”而在这个场景中，边际成本就是电影院多卖出一张电影票所增加的成本这个成本包括的内容很多，比如人员的服务，设备的使用，产生的能源损耗等等…但是随着卖出的电影票的增加，边际成本 就会变的越来越低，也许到了最后，只是打印一张电影票
2022-05-25 12:07:49
960
原创 【Python】AttributeError: ‘str‘ object has no attribute ‘decode‘解决方法
1. 引起问题的原因有两种原因：Python2和Python3在字符串编码上的区别。Python 3.4: str : AttributeError: ‘str’ object has no attribute 'decode2. encode与decode函数str与bytes表示的是两种数据类型，str为字符串型，bytes为字节型。对str编码encode得到bytes，对bytes解码得到str，两者互为转换。而上面出现问题的一种原因是对str字符串使用了解码，显然是猪头不对马尾。t
2021-12-19 10:42:35
17820
空空如也
tensorflow中fit过程中loss得shape是怎么样得？
2020-05-24
TA创建的收藏夹 TA关注的收藏夹
TA关注的人