- 博客(11)
- 收藏
- 关注
RSS订阅原创 transformer的一些note
Pos-Embedding不同维度的正弦曲线，横轴为变化的pos。我们还尝试使用学习的位置embedding来代替，发现这两个版本产生了几乎相同的结果。我们选择正弦模型是因为它可以使模型外推到比训练中遇到的序列长度长的序列。未完待续...
2020-08-25 16:01:58
208
原创 additive attention 与 dot product attention
最常用的注意力机制为additive attention 和dot product attentionadditive attention ：在dkd_kdk较小时，两者中additive attention优于不做scale的dot product attention，当dkd_kdk较大时，dot product attention方差变大，会导致softmax函数中梯度消失（类似sigmoid，导数为tex(t+ex)2\frac{te^x}{(t+e^x)^2}(t+ex)2tex,方差
2020-08-24 21:08:26
3043
原创 关于树模型一些问题的思考--从决策树一直到XGB
首先是ID3，C4.5与CART树的区别：1、分特征基点不同，以及对应造成的特性：前两者基于熵条件熵信息增益（ID3）缺点：信息增益偏向取值较多的特征原因：当特征的取值较多时，根据此特征划分更容易得到纯度更高的子集，因此划分之后的熵更低，由于划分前的熵是一定的，因此信息增益更大，因此信息增益比较 偏向取值较多的特征。信息增益比（C4.5）其中的HA(D)H_A(D)HA(D)，对于样本集合DDD，将当前特征AAA作为随机变量（取值是特征AAA的各个特征值），求得的经验熵。（之
2020-08-04 21:05:43
581
1
原创 逻辑回归为什么对切斜的数据特别敏感(正负例数据比例相差悬殊时预测效果不好)
逻辑回归为什么对切斜的数据特别敏感(正负例数据比例相差悬殊时预测效果不好) 使用线性模型进行分类第一个要面对的问题就是如何降低离群值的影响,而第二大问题就是,在正负例数据比例相差悬殊时预测效果不好.为什么会出现这种情况呢?原因来自于逻辑回归交叉熵损失函数是通过最大似然估计来推导出的. 使用最大似然估计来推导损失函数,那无疑,我们得到的结果就是所有样本被预测正确的最大概率.注意重点是我们得到的结果是预测正确率最大的结果,100个样本预测正确90个和预测正确91个的两组w,我们会选正确91个的这
2020-07-09 09:32:36
830
原创 DFS BFS
DFS:深度优先算法，是一种用于遍历或搜索树或图的算法。沿着树的深度遍历树的节点，尽可能深的搜索树的分支。当节点v的所在边都己被探寻过，搜索将回溯到发现节点v的那条边的起始节点。这一过程一直进行到已发现从源节点可达的所有节点为止。如果还存在未被发现的节点，则选择其中一个作为源节点并重复以上过程，整个进程反复进行直到所有节点都被访问为止。属于盲目搜索。这种适合用堆栈，把子节点存入stack后...
2020-03-21 21:51:24
118
原创 冒泡排序
def bubbleSort(arr): # 这里用lastIndex记录每一趟最后发生交换的位置，依次作为对普通冒泡排序的改进 length = len(arr) change = length - 1 while change: lastIndex = 0 # lastIndex记录该趟最后移动元素的位置 for...
2020-03-16 22:38:58
103
原创 时间复杂度
时间复杂度时间复杂度定义说是基本语句的实现次数（if while…)在折半插入排序里面def Bsearch(arr, low, high, k): # 二分查找法 while low <= high: mid = (low + high) // 2 if arr[mid] == k: return mid ...
2020-03-16 22:20:44
240
原创 空间复杂度
分析一个算法所占用的存储空间要从各方面综合考虑。如对于递归算法来说，一般都比较简短，算法本身所占用的存储空间较少，但运行时需要一个附加堆栈，从而占用较多的临时工作单元；若写成非递归算法，一般可能比较长，算法本身占用的存储空间较多，但运行时将可能需要较少的存储单元。一个算法的空间复杂度只考虑在运行过程中为局部变量分配的存储空间的大小，它包括为参数表中形参变量分配的存储空间和为在函数体中定义的局部变...
2020-03-16 22:03:47
296
原创 归并排序复杂度
归并排序复杂度数字总共有n个的两组有序数列排序每次最多比较n次最多情况：1，3，5，7 和2，4，6，81和2比–list.append(1)3和2比…3和4比…5和4比…5和6比…7和6比…7和8比…和一般的排序相比如上例，1不用和3，5，7比且1和2比完如果小，也不用和4，6，8比次数可以理解为两个序列有都有指针在第一个数位置，比一次其中一个指针后移动一位，两个指针最多...
2020-03-16 14:48:38
346
原创 python实现一个循环队列
python实现一个循环队列```pythonclass RecyQueue: ''' 顺序结构循环队列 头指针指向队头元素，尾指针指向队尾元素的下一个位置 牺牲一个空间位置用于区分队空队满 ----------------这里用%的特性实现了循环------- 队空：front == rear 队满：(rear + 1) % capa...
2020-03-15 21:06:09
740
原创 信息检索19-20章
信息检索19-20章Web 搜索基础你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计 ，将会带来全新...
2019-08-23 19:53:10
930
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人