
PySpark-机器学习
Keywords: Python, Spark, Machine Learning.
仙道菜
北京航空航天大学研究生;
关注:计算机视觉、机器学习等;
邮箱:cyh@buaa.edu.cn
展开
-
【深度神经网络压缩】Deep Compression (ICLR2016 Best Paper)
做过深度学习的应该都知道,NN大法确实效果很赞,在各个领域轻松碾压传统算法,不过真正用到实际项目中却会有很大的问题: 1. 计算量非常巨大;2. 模型特别吃内存;怎么办?使用网络压缩技术咯!《Deep Compression》 是 ICLR 2016 Best Paper,将AlexNet从200MB压缩到6.9MB,而且不降低准确率!原创 2016-06-19 01:51:39 · 27032 阅读 · 9 评论 -
【计算机视觉】Visual Tracking 领域最新进展(论文与源码)
最近在研究 tracking,所以总结了一些较新的 tracking 相关的论文和源码。希望能够为刚进入这个领域的同学节省一些时间。如您有其他优秀的paper或者code,欢迎在回复中留言~谢谢!原创 2016-06-05 22:48:15 · 17029 阅读 · 8 评论 -
【计算机视觉】《Learning Multi-Domain Convolutional Neural Networks for Visual Tracking》
本博客是《Learning Multi-Domain Convolutional Neural Networks for Visual Tracking》的阅读笔记。继 Object Classification、Detection 之后,Tracking 也"沦陷"啦,又一个被deep learning拿下的领域,这篇论文提出的 MDNet 在wuyi老师发布的OTB50和OTB100数据库上面取得了惊人的成绩。原创 2016-06-05 16:49:27 · 11186 阅读 · 2 评论 -
【深度学习】caffe 中的一些参数介绍
caffe 是非常强大的深度学习框架,作为使用者,我们当然要对它的一些配置参数有一定的认识,本文简单介绍了caffe中的一些参数,持续更新中...原创 2016-05-30 14:33:42 · 49404 阅读 · 4 评论 -
【卷积神经网络-进化史】从LeNet到AlexNet
本系列博客是对刘昕博士的《CNN的近期进展与实用技巧》的一个扩充性资料。主要引用刘昕博士的思路,将按照如下方向对CNN的发展作一个更加详细的介绍:【从LeNet到AlexNet】、【进化之路一:网络结构加深】、【进化之路二:加强卷积功能】、【进化之路三:从分类到检测】、【进化之路四:新增功能模块】原创 2016-05-17 23:20:30 · 78206 阅读 · 5 评论 -
【pySpark教程】Big Data, Hardware trends, and Spark(二)
Big Data, Hardware trends, and Spark 本博客是【pySpark教程】系列的文章。 是 Berkeley 的 Python Spark公开课的学习笔记(see 原课程)。 由于个人能力有限,不免有些错误,还望各位批评指正。 更多相关博客请猛戳:http://blog.youkuaiyun.com/cyh24/article/category/6原创 2016-02-13 21:28:39 · 6794 阅读 · 0 评论 -
【pySpark教程】Introduction & 预备工作(一)
在这个课程中,我们会学习如何编写并且调试Python Spark(pySpark)程序。为了满足大家的需求,我们的软件开发环境是使用Virtual Machine(VM虚拟机)。本文将手把手教你安装该环境。原创 2016-02-08 20:13:40 · 11151 阅读 · 0 评论 -
使用docker安装部署Spark集群来训练CNN(含Python实例)
实验室有4台服务器(8个GPU/台),平日都只使用了其中的一个GPU,实在暴遣天物!于是决定使用docker安装部署Spark集群,将这些GPU都利用起来训练CNN。本文是博主含泪写出的踩坑总结,希望能够给各位提供了一些前车之鉴来避开这些坑。原创 2015-11-06 15:03:18 · 22515 阅读 · 14 评论 -
【论文笔记】SparkNET: 用Spark训练深度神经网络
这篇论文是 Berkeley大学 Michael I. Jordan 组的最新论文。训练深度神经网络是一个非常耗时的过程,比如用卷积神经网络去训练一个目标识别任务需要好几天来训练。因此,充分利用集群的资源,加快训练速度成了一个非常重要的领域。SparkNet 是基于Spark的深度神经网络架构。原创 2015-12-27 23:00:47 · 12710 阅读 · 3 评论 -
【Spark 机器学习】K-means聚类算法(理论篇)
【机器学习】K-means聚类算法(理论篇) 本博客是【Spark-Python-机器学习】系列的文章。 该系列的文章主要讲解【机器学习】的一些通用算法的原理,并且使用【Python+Spark】来实现。 文章通常分为上下篇(理论篇 与 实践篇)。 如需转载,请附上本文链接:http://blog.youkuaiyun.com/cyh_24/article/details/50原创 2015-12-31 23:49:54 · 8013 阅读 · 0 评论