- 博客(52)
- 资源 (1)
- 收藏
- 关注
原创 Pycharm远程调试docker containers
现在做深度学习相关的工作,所以不可避免的要使用到GPU.但是GPU在远程服务器,调试真的很晕。 刚开始的使用2D网络的时候在本地还能调试一下,但是自从使用了3D网络,本地没法调试。只能本地改完代码,上传服务器,再用服务器来跑新的代码,手动加print调试。23333 为了避免再做这么傻的事,要把远程调试的配置记录下来。以后直接用Pycharm调试远程服务器里的docker con...
2018-07-07 21:34:05
10866
13
原创 python pip及conda指南
最近做实验,换了新环境。OSX + Pycharm + Anaconda2 之前在Ubuntu上都是直接在终端中使用pip安装相关的包。但是在OSX中却会遇到一些坑。同时Anaconda2本身自带了很多有用的包,加上conda的包管理,总体来说比pip优秀一些。但是conda安装也会有些坑,这里介绍一些今天安装的经验。conda的安装,这一块就不介绍了,网上有非常多的教程。就是普通命令行下需...
2018-04-19 23:23:56
1218
原创 机器学习-逻辑回归模型公式推导
LR介绍Logistic Regression 是一种非线性的回归模型,同时也可以使用逻辑回归模型来作分类任务。Logistic Regression回归模型使用的Sigmoid函数作为假设模型。 hθ(x)=11+e−xhθ(x)=11+e−x h_{\theta}(x) = \frac{1}{1+e^{-x}} 其中 x=∑niθifi,i=1,2...nx=∑inθifi,i=...
2018-03-25 20:51:14
2840
原创 机器学习-聚类(K-Means)
K-Means原理初探传统K-Means算法流程K-Means初始化优化K-Means++ 在上节我们提到,k个初始化的质心的位置选择对最后的聚类结果和运行时间都有很大的影响,因此需要选择合适的k个质心。如果仅仅是完全随机的选择,有可能导致算法收敛很慢。K-Means++算法就是对K-Means随机初始化质心的方法的优化。 K-Means++的对于初始化质心的优化策略也很简单,如下: ...
2018-03-25 19:20:21
452
原创 神经网络推导
BP神经网络算法(单变量版本)网络结构定义输入变量XmXmX_m,其中m=1,2,3,...,Ninputm=1,2,3,...,Ninputm=1,2,3,...,N_{input}要预测的变量tmtmt_m,其中m=1,2,3,...,Ninputm=1,2,3,...,Ninputm=1,2,3,...,N_{input}设置三层网络结构,前两层为隐藏层,最后一层为输出层 ...
2018-03-04 18:57:49
452
原创 python数据分析代码优化小结
过去一段时间在对python版本的评分卡模型做效率优化。之前的版本已经实现了所有功能但是速度实在太慢。13W的数据量包含130个特征(其中30个连续值)使用原来的版本需要花费将近两小时的时间才能够计算出所有特征值的IV。这个效率实在是。。。。 经过优化,现在可以将时间控制在5s左右。可以说是相当不错了。 接下来小结一下关于python代码方面优化的方法。(算法方面没啥可改的就是简单的统计数)
2018-01-06 17:32:49
960
原创 word2vec的使用(未完成)
最近希望使用TextCNN来进行文本分类,还以为很简单。然后去github clone了两个项目。想着先用gensim.word2vec就可以获得很好的效果。结果发现下载下来的代码都是使用google word2vec。gensim.word2vec是基于google word2vec写的,但是gensim.word2vec的功能少一些。它没法统计word2vec的维度,它也无法返回词向量矩阵,更加
2017-09-14 20:15:30
1603
转载 机器学习-聚类(K-Means)
K-Means算法是无监督的聚类算法,它实现起来比较简单,聚类效果也不错,因此应用很广泛。K-Means算法有大量的变体,本文就从最传统的K-Means算法讲起,在其基础上讲述K-Means的优化变体方法。包括初始化优化K-Means++, 距离计算优化elkan K-Means算法和大数据情况下的优化Mini Batch K-Means算法。
2017-08-08 19:40:48
864
转载 Caffe(CPU)-Ubuntu16.04下安装教程(未完成)
由于需要使用深度学习做一些实验,所以需要安装Caffe。 这里主要介绍安装pycaffe 而自己电脑的比较老旧,GPU无法使用。所以需要安装Caffe(CPU)版本。 这里主要记录主要步骤和遇到的一些坑。 由于仅仅安装CPU版本,所以跳过GPU版本的安装。安装所需要的依赖包在root权限下,安装以下内容>> sudo apt-get install libp...
2017-08-08 11:36:30
350
原创 ZeroTier-全网畅连
小伙伴们是不是有时候想在宿舍远程ping自己实验室的主机但是发现网段不对没法ping通? 按照最近想搭建Hadoop分布式集群,可是自己的主机就一台,那怎么搭建分布式集群呢? 对了,实验室有不少主机,完全可以用实验室的主机来搭建Hadoop分布式集群嘛。 想法很好,可是如何进行网络连接却成了大问题。由于实验室主机是属于局域网并非公网。而我在宿舍想连接实验室的主机却由于网段不同无法Ping通。
2017-06-25 23:40:30
34958
2
原创 《统计学习方法》学习总结(未完待续)
统计学习方法的三要素:模型(model)、策略(strategy)、算法(algorithm).生成模型和判别模型分类 生成模型:可以还原出联合概率分布P(X,Y),学习收敛速度更快,存在隐变量时还是可以使用。 朴素贝叶斯分类法隐马尔可夫模型判别模型:直接学习条件概率P(X|Y)或决策函数f(X),学习准确率更高,可以简化学习问题(对数据进行各种程度上的抽象、定义特征并使用特征) k近邻
2017-03-02 00:12:23
474
原创 MATLAB安装时遇到signal_doc_en_common错误
MATLAB安装过程中遇到signal_doc_en_common错误如何进行处理?
2017-02-27 15:56:32
7052
1
原创 Ubuntu-Chrome 更新Flash插件
上次使用Chromium出现无法登录同步账号的问题。现在换了chrome,账号能登录了。但是Flash插件出问题了。真是命运多舛~直接使用chrome://components/ 更新插件不行。原来是需要使用全局代理才行。解决方法:1、在终端,使用全局代理打开 chrome $: google-chrome --proxy-server="socks5://127.0.0.1:1080"2、在打开的
2017-02-25 13:22:49
2926
原创 Excle也能编程-VBA小工具
工作中有用到,就学习了一下VBA编程。发现这个真的可以使得Excle工作效率倍增。 工作需求,为照片粘贴档案条。需要将一条条数据,转换为小纸片并且按照特殊样式排序。 完成后像这样其实要完成这个还是比较简单的。 主要说说自己遇到的几个“坑” 1.此次样式用到了“模板”,并不是完全靠代码来调整出来的。 2.想用插件-窗口来封装“转换”操作。但是发现窗口不行,所以后面用到窗体中的按钮来实现。
2017-02-06 23:40:50
8394
2
转载 在Ubuntu上安装OpenCV3.0+和Python2.7+环境(转)
Ubuntu 16.04LTS版本,安装OpenCV3.0+环境。 转的文章,亲测可用!t
2016-11-10 22:50:55
7815
原创 用户画像初探-Sogou用户画像比赛
起源是师兄叫着参加Sogou的用户画像比赛。过程中师兄比较忙,所以就自己试着摸索了一下。这也是第一次参加数据挖掘的比赛。所以记录一下,勉励自己更加努力才行。LDA主题模型+决策树1、LDA主题模型文本预处理(编码问题烦死了)结巴分词(去停用词)大文本处理(内存8G直接跑到内存溢出,让我哭一会儿)gensim中关于主题模型函数讲解2、决策树决策树生成对于连续数的处理返回结果的问题如何
2016-11-10 11:18:53
2275
原创 Python中正则表达式的使用
之前已经提到过关于正则表达式的一些基本操作和方法。但是相比于JS,PHP中的操作,Python中的操作有一些特别。 首先,Python中正则匹配成功后返回的不是字符串而是match对象re.match与re.search的区别
2016-11-07 16:34:33
430
原创 Ubuntu 14.04 卡在Logo中无法进入系统解决方案
1.双显卡(2.无法进入grup菜单)3.手动安装显卡驱动4.不小心将桌面数据删除
2016-09-03 13:51:38
20898
2
原创 深度学习成长路线图
1、阅读深度学习论文和教程,从介绍性的文字开始,逐渐提高难度。记录阅读心得,定期总结所学知识。2、把学到的算法自己实现一下,从零开始,保证你理解了其中的数学。别光照着论文里看到的伪代码复制一遍,实现一些变种。3、用真实数据来测试这些算法,可以参加Kaggle竞赛。通过接触数据,你能学到很多;4、把你整个过程中的心得和结果写在博客上,跟领域内的专家联系,问问他们是否愿意接收你在他们的项目上远程合作,或
2016-08-27 17:51:19
4295
原创 Unbuntu环境下安装Flask+Python+MySQL+Apache
Ubuntu环境下安装Python+Flask+Apache+MySQL
2016-07-26 15:00:21
882
原创 MataLab-GUI编程初探
由于毕设的原因所以需要将Matalab中的GUI工具 这里对使用的GUI功能进行简单的介绍和总结1.新建-图形用户界面-BlankGUI(空白GUI)
2016-05-02 15:05:58
921
simhei.ttf
2017-09-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人