- 博客(79)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Fix Bug: “undefined symbol: ..., version libcublasLt.so.11“ （简单有效！强推~）
环境配置中的bug和坑
2023-02-20 11:13:03
2910
1
原创 Huggingface Accelerate 学习笔记
1. 前言Accelerate 能帮助我们：方便用户在不同设备上 run Pytorch training script.mixed precision不同的分布式训练场景, e.g., multi-GPU, TPUs, …提供了一些 CLI 工具方便用户更快的 configure & test 训练环境，launch the scripts.方便使用：用一个例子感受一下。传统的 PyTorch trainin..
2022-05-26 20:08:24
15298
1
原创 VSCODE 远程 debug python，lauch.json 配置
{ // Use IntelliSense to learn about possible attributes. // Hover to view descriptions of existing attributes. // For more information, visit: https://go.microsoft.com/fwlink/?linkid=830387 "version": "0.2.0", "configurations": [
2022-04-25 15:44:29
1058
转载 ERROR 2002 (HY000): Can‘t connect to local MySQL server through socket ‘/var/run/mysqld/mysqld.sock‘
$ mysql -u<username> -p<password> 提示：ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/run/mysqld/mysqld.sock' (111)。解决方法：检查文件/var/run/mysql/mysqld.sock是否存在。若不存，则进行手动创建：$ touch /var/run/mysqld/mysqld.sock。更改文件权限，使
2021-12-12 17:31:16
3238
1
原创 2020.3 Enhanced meta-learning for cross-lingual named entity recognition with minimal resources 阅读笔记
MotivationProblem Setting:a) One source language with rich labeled data.b) No labeled data in the target language.现有的 Cross-lingula NER 方法可以分为两大类：a) Label projection (generate labeled data i...
2020-03-11 00:06:54
1014
原创 2018.8. Unsupervised machine translation: A novel approach to provide fast... 阅读笔记
Unsupervised machine translation: A novel approach to provide fast, accurate translations for more languagesFB AI researchAbstract本文提出的方法由两个步骤构成：word-by-word initialization 和 translating sentence (...
2019-10-21 13:54:21
227
原创 2018.8. Phrase-Based & Neural Unsupervised Machine Translation 阅读笔记
2018.8-Guillaume Lample-Phrase-Based & Neural Unsupervised Machine TranslationFacebookAbstractThis paper: propose 2 modelsneural model (NMT)phrase-based model (PBSMT)both of them leverage...
2019-10-21 13:53:06
181
原创 2018.4. Unsupervised machine translation using monolingual corpora 阅读笔记
2018.4-Guillaume Lample, Marc’Aurelio Ranzato-Unsupervised machine translation using monolingual corpora only-ICLR2018Facebook AI researchAbstractTargetunsupervised translationThis paperMap...
2019-10-21 13:52:34
179
原创 2018.2. Unsupervised Neural Machine Translation 阅读笔记
2018.2-Mikel Artetxe, Kyunghyum Cho-Unsupervised Nueral Machine TranslationUPV/EHU, New York UniversityICLR2018AbstractThis paerbuild upon the recent work on unsupervised embedding mappings这篇...
2019-10-21 13:52:07
184
原创 2017. cheap translation for Cross-lingual NER 阅读笔记
cheap translation for Cross-lingual NER, Illinois Champaign提出了一个生成翻译字典的 cheap translation 算法该算法可以和 wikifier features、Brown Cluster features 等结合取得更好的效果通过实验说明当 source Lan. 与 traget Lan. 相似度比较高时，可以进一...
2019-10-21 13:51:02
278
原创 2018.9. Neural Cross-Lingual Named Entity Recognition 阅读笔记
Jiateng XieNeual Cross-Lingual Named Entity Recognition, CMUAbstract本文提出了两种方法来解决 under the unsupervised transfer setting 下 cross-lingual NER 中的挑战。lexical mapping (STEP 1-3). word ordering (STEP 4)....
2019-10-21 13:49:28
397
原创 code snippets
hit Ctrl + C to break out of training earlytry: for epoch in range(epochs): # code for training hereexcept KeyboardInterrupt: print('Exiting from training early.')
2019-04-24 10:33:57
247
原创 python argparse中action的可选参数store_true的作用
# test.pyimport argparseif __name__ == '__main__': parser = argparse.ArgumentParser() parser.add_argument("--test_action", action='store_true') args = parser.parse_args() action_va...
2019-04-13 10:52:07
56146
11
原创 Beam Search score function
一般情况下，beam search 通常用于翻译等句子生成任务中。 beam_size 用来在翻译所所需时长和翻译准确度之间进行权衡。当beam_size = 1时，beam search 则退化为 greedy search。另一方面，当 n_best 的取值大于1时，由 beam search 可以得到一个 approximate n-best list，而不是只输入一个最优值。Hypot...
2019-02-01 14:33:35
1296
原创 2017.4-Jeff Donahue, Trevor Darrell-Adversarial feature learning-UCB-ICLR2017 阅读笔记
2017.4-Jeff Donahue, Trevor Darrell-Adversarial feature learning-UCB-ICLR2017本文创新点：提出 BiGANs，能够进行 inverse mapping (data => latent space)在GAN 中引入 encoder，命名为 Bi-GAN, 将 discriminator 对 X 和 G(z) 的...
2018-10-14 15:50:12
649
原创 2016.9-Jiwei Li-Deep reinforcement learning for dialogue generation-Stanford 阅读笔记
2016.9-Jiwei Li-Deep reinforcement learning for dialogue generation-arXiv-StanfordAbstractRecent neural modelsShort-sightedpredicting utterances one at a timeignoring their influence on future...
2018-10-14 15:47:00
399
原创 自动微分方法简介
假设我们定义了一个方程：f(x,y)=x2y+y+2f(x,y)=x2y+y+2f(x,y) = x^2y + y + 2，我们需要对 xxx 和 yyy 求偏导，此时通常由以下几种做法：手动求导符号微分数值微分前向自动微分反向自动微分1. 手动求导拿起纸笔应用链式法则逐层求导即可。缺点是易于出错。2. 符号微分下图是符号微分方法在函数g(x,y)g(x,y...
2018-07-13 17:33:44
5152
原创 Ensemble Learning and Random Forest
1. Voting Classifiers分类 hard voting: 选择投票最多的类别soft voting: 选择概率和最大的类别，通常会比 hard voting 效果好一些。many weak leaners -&amp;gt; strong learner性能有限的原因 各个classifier之间不够 independent, 预测的 错误结果 之间通常有一定的关联性 =&amp;...
2018-07-11 15:58:54
709
原创 Decision Trees
Decision TreeTraining and Visualizing a decision treeMaking PredictionsEstimating Class ProbabilitiesThe CART Training AlgorithmComputational ComplexityGini Impurity or Entropy?Regularization...
2018-07-11 15:40:58
1104
原创 Auto-encoding Variational Bayes 阅读笔记
MotivationPerform efficient inference and learning in :directed probabilistic modelscontinuous latent variablesintractable posterior distribution (即概率p(z|x)p(z|x)p(z|x)未知)large datasets解决方法...
2018-06-12 11:45:59
1990
2
原创 Online SVM 和 Hinge Loss
在线学习意味着应用增量学习方法来处理新增样本。对于 linear SVM 问题，求解方法之一是利用 Gradient Descent 最小化如下所示的代价函数（有SVM原问题得到），但遗憾的是与基于二次规划的求解方法相比，收敛速度要慢得多。【式-1】线性SVM分类代价函数 J(w,b)=12wTw+C∑i=1mmax(0,1−yi(wTxi+b))J(w,b)=12wTw+C∑i=1mm...
2018-05-23 22:55:29
905
原创 kernel SVM 和 multi-kernel SVM
3. Kernel SVM线性分类（超平面）并不能满足所有场合的需求，如形状为套环的样本集。此时便需要引入非线性分类方程：【式-0】非线性分类方程 H′(x)=wTϕ(x)+bH′(x)=wTϕ(x)+b H'(x) = w^T\phi(x)+b同理，在任一点 xxx 处，若 H′(x)&gt;0H′(x)&gt;0H'(x) > 0，则 xxx 属于第 I 类；若 H′(...
2018-05-23 16:56:45
1761
原创 SVM 中的mathematics —— Basic SVM 和 Soft Margin SVM
1. Basic SVM训练样本集：{(xi,yi),i=1,2,⋯,m=m++m−}{(xi,yi),i=1,2,⋯,m=m++m−}\{(x_i, y_i), i=1,2,\cdots, m=m^++m^-\}，其中，xi∈Rn,yi∈{+1,−1}xi∈Rn,yi∈{+1,−1}x_i\in R^{n},y_i\in\{+1,-1\}目标 1)：找到一个超平面{x|wTx+b=0}{...
2018-05-22 22:24:02
376
原创 SVM 概述
本篇为概述，数学推导见下篇：Linear SVM Classification适用场合：线性可分特点：large margin classificationhard margin classification:目标/核心：要求所有的样本必须被正确分类存在的问题： 要求训练样本必须 线性可分对 Outliers 特别敏感（产生泛化能力差的问题）soft margin cla...
2018-05-22 22:21:50
796
原创 Softmax Regression
Logistic Regression 常用于 二分类 的场合，而 Softmax Regression (又名 Multinomial Logistic Regression) 就是 Logistic Regression 在 多类别 场合下的推广，这种推广并不需要训练或者结合多个二分类分类器。1. 概率估计和类别预测基本思路：对某一样本/实例 xxx： - 首先计算该样本属于各个...
2018-05-19 19:18:26
480
原创 逻辑回归 Logistic Regression
又名 Logit Regression. 通常用来估计样本属于某一类的概率。1. 概率估计【式-1】Logistic Regression模型估计概率（向量形式） p̂&amp;nbsp;=hθ(x)=σ(θTx)p^=hθ(x)=σ(θTx)\hat{p} = h_{\theta}(\mathbf{x}) = \sigma(\theta^T\mathbf{x}) 其中， σ(t)=...
2018-05-19 15:52:48
673
原创 正则化线性模型：岭回归 Ridge Regression、Lasso 回归、Elastic Net (弹性网络) 和 Early stopping
模型正则化(减小自由度)是减少过拟合的方法之一。对多项式模型来说，正则化可以通过减少阶数来实现。对线性模型来说，正则化往往通过约束模型的权重来实现。Ridge Regression 岭回归, 又名 Tikhonov regularization岭回归是线性回归的正则化版本，即在原来的线性回归的 cost function 中添加正则项（regularization term）:...
2018-05-11 23:58:43
10634
原创 判断模型是overfit还是underfit -- learning curve 与 bias/variance tradeoff
首先，我们先生成一组大致符合二次函数规律的训练师数据，再分别用 1) 线性函数，2) 二次函数 和 3) degree=300的多项式函数进行回归分析，结果如下（代码见文末） 在这个示例中，degree=300的情况明显overfit训练数据，linear model为underfit。二次函数则很好的拟合了训练数据，因为训练数据就是有二次函数生成的。而通常情况下我们并不知道训练数据符合...
2018-05-11 19:57:19
7652
原创 多项式回归 Polynomial Regression
前面介绍了线性拟合数据的情况。那么，当数据并不符合线性规律而是更复杂的时候应该怎么办呢？一种简单的解决方法就是将每一维特征的幂次添加为新的特征，再对所有的特征进行线性回归分析。这种方法就是 多项式回归。具体做法可以从示例代码中体会一下。。。注意当存在多维特征时，多项式回归能够发现特征之间的相互关系，这是因为在添加新特征的时候，添加的是所有特征的排列组合。以Scikit-Le...
2018-05-07 17:58:36
18534
1
原创 线性回归 Linear Regression (2) —— 利用梯度下降法求解 & python 实现
Gradient Descent (GD) 的核心思想迭代地调整模型参数，来最小化 代价函数 cost function。沿着下降梯度的方向一旦梯度等于0，便得到了(局部)极小值。具体步骤随机初始化参数 θθ\theta (random initialization)沿着负梯度方向 逐步优化 θθ\theta（逐步减小cost function的取值），直到算法收敛。...
2018-05-07 11:11:38
2321
原创 线性回归 Linear Regression (1)
1. 什么是线性模型 (linear Regression model)？线性回归模型通过简单计算输入特征的加权和，再加上一个常数项，即 bias term (又称为 intercept term) 来进行预测，如式-1所示。【式-1：线性回归模型预测】 ŷ=θ0+θ1x1+θ2x2+⋯+θnxxy^=θ0+θ1x1+θ2x2+⋯+θnxx\hat{y} = \theta_0 + \...
2018-05-05 17:36:19
1686
原创 Pycharm throws error :ImportError: No module named sklearn
本文以 Pycharm 找不到 “sklearn” 为例,说明一下在 Pycharm中报错 No module name * 时的一般解决方案我遇到的情况是: Pycharm中引用sklearn时代码下面出现了红线,运行程序时出现了上面的报错. 但在命令行输入$python 然后>> from sklearn.decomposition import PCA 时确不会报错.这说名自己的确是安
2017-12-09 18:46:38
4829
原创 深度学习tensorflow环境配置：Ubuntu 16.04 LTS + GTX 1080 Ti，2017年11月
写在前面我是在11月20日左右配置的深度学习环境……怎么说呢，这个时间其实有点尴尬，很多东西都出了新版本，但可能不同工具之间一些由版本引起的问题还没有解决，所以，碰到了很多坑，还好最后都找到了解决办法。本文主要分享一下我参考的一篇非常靠谱的教程：深度学习tensorflow环境搭建（二）和内容连续的深度学习tensorflow环境搭建（三），以及每一个步骤里面一些你不注意可能会踩的坑……
2017-11-21 11:02:34
1256
原创 tmux安装 & tmux教程
0. 安装：$ sudo apt-get install tmux如果不可以，你可能需要更新一下再安装： $ sudo apt-get update$ sudo apt-get install tmux进入tmux: $ tmux然后就是快捷键的操作啦，下文中 C-b 指组合键 Control+b，告知tmux为快捷键操作。 ...
2017-08-10 16:08:01
1777
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人