ACM 【程式=演算法+資料結構】@蜡笔小轩V

SVD算是大学线性代数的标配课程内容吧，但貌似没引起多少关注。实际上，SVD除了有很直观的几何解释，还相当有用。比如Netflix（一个在线电影租借公司）为提高电影推荐系统10%精确度悬赏一百万美刀奖金。这问题咋一看好像挺简单，实际上可是很有挑战性。参赛选手用的方法牛B哄哄，但核心就是SVD。 SVD把一个保存有我们感兴趣信息的大矩阵分解成小的、更有含义的小矩阵。这篇文章将介绍SVD的几何含义及一些应用。

听闻FastText是word2vec的加速版，吓得我赶紧找点资料看看，免得被人给忽悠了。《PaperWeekly 第五期——从Word2Vec到FastText》 这篇文章不错，对word2vec不熟悉的可以先看看这篇。觉得不够清楚，那直接看fastText的github源代码吧 https://github.com/facebookresearch/fastTextPlease cite

主要参考资料: 两分钟demo：快速Neural style艺术风格转换 不过，上面的资料主要还是抛砖引玉用(或者说是推销mxnet啦)，要了解细节最好还是得读读原版论文，甚至源代码。所以本篇笔记主要是记录一下Neural Style算法核心idea和代码实现细节。

前面有一个车道检测的项目，这个是高级版的。 计算机视觉 1. 摄像头：学习摄像头的物理知识，以及如何校准、反失真和转换图像角度。 2. 车道检测：研究可以应对弯道、恶劣天气和不同照明情况的先进车道检测技 术。 3. 实战项目：高级车道检测 在各种条件下检测车道线，包括不断变化的路面、弯道和变化的照明条件。使用 OpenCV、滤波器、多项式拟合和样条曲线（spline）实现

现在人工智障很火啊，不过吹牛的多，接地气的少，技术还是不能脱离实际应用。无人车看上去是一个比较靠谱的人工智能落地点，而且有一定技术深度，更重要的是看上去比较好玩。Udacity有一个《无人驾驶车工程师》的课程，可惜要交钱，质量不错，墙裂推荐！

车道识别，基于传统的cv方法。之前刚好弄过一个《使用opencv实现通过摄像头自动输入阿里云身份宝验证码》，opencv弄起来驾轻就熟，直接搞起来吧！代码 https://github.com/udacity/CarND-LaneLines-P1

听到Vehicle-Detection，我还以为是YOLO，SSD啥的，结果课程里用的是传统的HOG。Excuse me？就是各种论文里被用来踩一脚的SIFT、HOG？那也好吧，深刻体会体会传统方法有多弱鸡。HOGHOG之前简单了解过，不要既然要动手干活，还是得了解一些具体的计算细节。

当然，最好的材料还是看原版论文。原版论文都没看就别跟别人凑热闹，瞎逼逼了。AlphaGo之前的论文也需要仔细看看，不然可能不明白diff在什么地方。AlphaGo Zero《Mastering the Game of Go without Human Knowledge》AlphaGO Lee《Mastering the game of Go with deep neural networks and tree》

看《准确率98%的深度学习交通标志识别是如何做到的？》这篇文章的时候，发现了udacity的自动驾驶课程。可惜要收费，不过课程project在github上有，那直接做project就好了，不上课了。那先从Build a Traffic Sign Recognition Program开始吧。

最近学了cuda，准备找个项目来练练手。先分析了一把代码，发现主要性能瓶颈在cv::pyrMeanShiftFiltering，原本打算自己撸一个gpu版的，没想到一搜发现已经有人写好了cuda::meanShiftSegmentation。那就改变计划，读读源码吧。mean shiftmean shift简单理解就是划一个圈圈，算出mean，然后往这个方向shift过去。

最近工作中开始使用opencv来做一些跟图像相关的机器学习项目，开始对图像处理产生浓厚的兴趣。搜索资料的时候偶然看到有一些使用opencv读取摄像头的小demo，在输入烦人的阿里云数加身份宝验证码的时候，突发奇想，为何不用摄像头自动识别验证码，实现快速输入。当然，出于学习目的可以用摄像头来输入，如果是公司里，追求短平快和稳定，直接对手机截屏进行识别才是正路。说干就干，公司台式机没有摄像头，先买一个。

简单理解DeepWalk=deep learning（word2vec） + random walk。是把一个图的节点转换成二维坐标，保持坐标相近的点，在原始的图中关系也比较紧密（指边的连接关系）。我把这玩意称作Graph2Vec，差不多是这个意思吧。 处理图关系数据可以借鉴的一个挺有意思的思路。

看到Deep Learning能用在推荐一下子两眼放光。论文的场景是Google Play的推荐。效果有一点。TensorFlow也有现成的API，可以尝试一下，感觉有希望。

LR回顾LR是机器学习入门的第一道坎，总结一下，Linear Regression 和logistic Regression都是属于GLM，套了logistic之后，输出结果就变成一个概率了，loss function和 likelihood function取反是类似的东西，都可以作为优化的目标。但我感觉 likelihood function从概率统计上来说，更有理论支持吧。loss

机器学习实践中分类器常用的评价指标就是auc，不想搞懂，简单用的话，记住一句话就行auc取值范围[0.5,1]，越大表示越好，小于0.5的把结果取反就行。想搞懂的，看An introduction to ROC analysis （Tom Fawcett）这篇论文把。我把这篇论文的要点整理了一下。引子假设有下面两个分类器，哪个好？

机器学习简明手册 面向读者：有一定机器学习基础的。不是新手入门手册。实用导向的，所以不会扣细节和具体式子，只给出算法idea。能当作复习提纲，或者学习的roadmap吧。参考资料主要有《机器学习实战》（简称《实战》），《统计机器学习》，李航著（简称《统计》)，cs229。

《基于R语言的图像处理&机器学习：kaggle图像背景去污比赛系列教程》原文在这里 * Image Processing + Machine Learning in R: Denoising Dirty Documents Tutorial Series 要站在巨人的肩膀前进啊。拜读一下，吸收经验。

推荐一个deep learning绝佳的入门资料 * UFLDL(Unsupervised Feature Learning and Deep Learning)教程 http://deeplearning.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B

经常说的2/8原则，LR肯定就是能解决80%问题中那20%的工具。所以LR还是值得好好研究的。发现以前对LR重视不够，总想着赶紧把其他算法也学了，才能拉小跟同事之间机器学习的gap。其实LR用得还是挺多的，而且效果还是不错的。一些高大上的算法，在公司这种大数据面前不一定跑得动，即使跑得动，效果也不一定好，而且还有可解释性和工程维护方面复杂度的问题。这倒是挺残酷的现实。

之前看了很多入门的资料，如果现在让我来写写，我觉得我会选择”数字识别(digit recognizer)”作为例子，足够有趣，而且能说明很多问题。kaggle是个实践的好地方，python是门方便的语言，sklearn是个不错的库，文档很适合学习。那就用sklearn来实践一下机器学习，加深理解吧！

原版论文是《Mastering the game of Go with deep neural networks and tree search》,有时间的还是建议读一读，没时间的可以看看我这篇笔记凑活一下。网上有一些分析AlphaGo的文章，但最经典的肯定还是原文，还是踏踏实实搞懂AlphaGo的基本原理我们再来吹牛逼吧。需要的基础是机器学习基本理论+蒙特卡罗树搜索（MCTS）。

说到机器学习，很多人推荐的学习资料就是斯坦福Andrew Ng的cs229，有相关的视频和讲义。不过好的资料 != 好入门的资料，Andrew Ng在coursera有另外一个机器学习课程，更适合入门。这篇笔记是对这两个机器学习课程的笔记

前言对于深度学习，新手我推荐先看UFLDL，不做assignment的话，一两个晚上就可以看完。毕竟卷积、池化啥的并不是什么特别玄的东西。课程简明扼要，一针见血，把最基础、最重要的点都点出来 了。 cs231n这个是一个完整的课程，内容就多了点，虽然说课程是computer vision的，但80%还是深度学习的内容。图像的工作暂时用不上，我就先略过了。 突然发现这两个课程都是斯坦福的，牛校就是牛。

StarSpace是facebook开源的一个新的embedding工具包，卖点就是Embed All The Things，也就是名字里star (指’*’通配符) 的含义。 官网 https://github.com/facebookresearch/StarSpaceword2vec有一些后续优化的变种，比如fasttext、starspace。fasttext最大的优化还是加入了su...