
机器学习
BruceWu1234
遇见最好的自己
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
决策树之C4.5实现(离散属性与连续,属性并存)
这两天自己实现了一个C4.5的决策树,用的是UCI上的一个数据集abalone.data 具体数据如下(前5条):M,0.455,0.365,0.095,0.514,0.2245,0.101,0.15,15M,0.35,0.265,0.09,0.2255,0.0995,0.0485,0.07,7F,0.53,0.42,0.135,0.677,0.2565,0.1415,0.21,9M...原创 2018-02-09 16:17:27 · 12649 阅读 · 7 评论 -
机器学习中的集成学习
一.Voting从最简单的Voting说起,这也可以说是一种模型融合。假设对于一个二分类问题,有3个基础模型,那么就采取投票制的方法,投票多者确定为最终的分类。二.Averaging对于回归问题,一个简单直接的思路是取平均。稍稍改进的方法是进行加权平均。权值可以用排序的方法确定,举个例子,比如A、B、C三种基本模型,模型效果进行排名,假设排名分别是1,2,3,那么给这三个模型赋予的权值分别是...原创 2019-08-08 12:23:17 · 460 阅读 · 0 评论 -
神经网络中的各种归一化算法
摘要 神经网络中有各种归一化算法:Batch Normalization (BN)、Layer Normalization (LN)、Instance Normalization (IN)、Group Normalization (GN)。从公式看它们都差不多:无非是减去均值,除以标准差,再施以线性映射。y=γ(x−μ(x)σ(x))y=γ(\frac{x-μ(x)}{σ...原创 2019-07-13 16:45:43 · 3416 阅读 · 0 评论 -
beam search及pytorch实现
主要记录两种不同的beam search版本版本一,使用类似层次遍历的方式进行搜索,用队列进行维护,每次循环对当前层的所有节点进行搜索,这些节点每个分别对应topk个节点作为下一层候选节点,取所有候选节点的前tok个作为下一层节点加入队列bfs with width constraint. 启发式搜索的一种. 属于贪心算法. 如果k -> inf,那么等价于bfs.从根节点开始(),...原创 2019-07-13 00:12:01 · 10656 阅读 · 3 评论 -
seq2seq以及attention模型的pytorch实现(以机器翻译为例)
前言本系列教程为pytorch官网文档翻译。本文对应官网地址:https://pytorch.org/tutorials/intermediate/seq2seq_translation_tutorial.html系列教程总目录传送门:我是一个传送门本系列教程\对应的 jupyter notebook 可以在我的Github仓库下载:下载地址:https://github.com/Hol...原创 2019-04-20 00:25:53 · 4782 阅读 · 2 评论 -
文本分类系列(2):TextRNN及其pytorch实现
[文本分类系列(1):TextCNN及其pytorch实现](https://blog.youkuaiyun.com/u014514939/article/details/88834548)TextRNN尽管TextCNN能够在很多任务里面能有不错的表现,但CNN有个最大问题是固定 filter_size 的视野,一方面无法建模更长的序列信息,另一方面 filter_size 的超参调节也很繁琐。CNN...原创 2019-03-27 18:18:32 · 6517 阅读 · 8 评论 -
文本分类系列(1):textcnn及其pytorch实现
textcnn原理:核心点在于使用卷积来捕捉局部相关性,具体到文本分类任务中可以利用CNN来提取句子中类似 n-gram 的关键信息。textcnn详细过程:第一层是图中最左边的7乘5的句子矩阵,每行是词向量,维度=5,这个可以类比为图像中的原始像素点了。然后经过不同 filter_size的一维卷积层(这里是2,3,4),每个filter_size 有filter_num(这里是2)个输...原创 2019-03-27 02:15:45 · 12040 阅读 · 7 评论 -
XGBOOST与GBDT的比较
xgboost相比传统gbdt有何不同?xgboost为什么快?xgboost如何支持并行?传统GBDT以CART作为基分类器,xgboost还支持线性分类器,这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归(分类问题)或者线性回归(回归问题)传统GBDT在优化时只用到一阶导数信息,xgboost则对代价函数进行了二阶泰勒展开,同时用到了一阶和二阶导数。顺便提一下,xgboos...转载 2019-03-19 14:56:19 · 276 阅读 · 0 评论