笔记本

import csvfrom matplotlib import pyplot as plt

跟着哔哩哔哩视频开始写爬虫啦，目标：下载白死不得姐的视频

学习画图了

开始学写爬虫啦，但是刚看书开头说本书以python2.7为案例讲解，很多模块未适配到python3.x，不过我看这本书的时候发现他说的很多没适配的模块基本都适配过来了，所以就决定用python3.6来写，正好体会下3和2的差别

python3中使用builtwith以及各种疑难问题的方法

python实现随机掷色子并统计绘图

python基础学习代码

随机漫步

上一次写的机器学习算法是使用线性回归算法实现的，但是线性回归算法不可避免的会出现过拟合问题，训练的越多你的模型就越匹配你的训练数据而逐渐丧失了对新数据的“预测性”，为了解决这个问题提出了岭回归，lars算法，惩罚线性回归等方案。

新浪微博需要登录才能爬取，这里使用m.weibo.cn这个移动端网站即可实现简化操作，用这个访问可以直接得到的微博id。分析新浪微博的评论获取方式得知，其采用动态加载。所以使用json模块解析json代码单独编写了字符优化函数，解决微博评论中的嘈杂干扰字符本函数是用python写网络爬虫的终极目的，所以采用函数化方式编写，方便后期优化和添加各种功能

统计数据类型

终于要构建机器学习分类器啦，激动，学玩这个才发现，python实在是会让人便懒得，构建分类器竟然不用写线性回归学习过程…..直接用sklearn包就可以了

基本和上次写的爬取不得姐视频差不太多，也是正则表达式方法，所以这次就直接贴代码了

前面用惩罚线性回归模型构建过红酒口感预测模型，探索对红酒口感贡献最大属性排行，这里使用sklearn包的二元决策树来解决这个问题

今天学模拟登陆结果发现微博这个鬼东西登陆有点复杂，用户名base64加密不说，密码rsa加密。。。。。。搞得我头晕死了。实在没办法，5分钟写个英文翻译休息下。用的是百度翻译

参考：《python机器学习预测分析核心算法》4-2 & llx1026同学的修改代码十折交叉验证整体采用上节的lars算法框架，加入了十折验证，十个β系数，每个β系数进行350次迭代。

学习使用xpath代替正则表达式，首先得了解xpath语法

如果多模型之间是近似独立的，则多个模型的联合性能会显著优于单个模型这是投票决策系统的理论基础，上次看了一直不太理解，刚好被惩罚线性回归搞混了来算算这个清醒下。。。

画出数据图，找异常数据

开始学用python搞机器学习啦，用的是uc irvine数据仓库的“”岩石 vs 水雷“”数据，线做这个数据的获取与规模统计

第一个机器学习算法用了线性回归方法构建了岩石水雷分类器：构建我的第一个机器学习—-岩石水雷声呐分类器

tensorflow构建手写数字图像识别—softmax算法，摘自tensorflow中文社区

10折交叉验证各个深度下的平均误差然后看看哪个深度会对预测产生明显的优

昨天搞完二叉决策树刷了一会儿玩加赛事，发现他们给出了lck，eu，na和入围赛的数据，刚好最近刚学完惩罚线性回归机器学习模型，就着手打算一边学着书上的模型一边用这个职业赛场的数据看看lol比赛背后的输赢定理

沙老师的作业，，， 1.启动本地内核调试模式：file—kernel dbg—-local  2.查看加载的驱动模块—–lm  3.显示调试器当前运行进程信息—-！process  4.dd xxx 进xxx看内容  5.dds xxx 打印内存地址上的二进制值同时自动搜索二进制值对应的符号  6.ssdt表是包含R3和R0层的api函...

fsdfsdfsdfsdfsd

跟着tensorflow入门学习构建一个神经网络提升mnist识别率，最终提升到接近1的正确率了，基本参考网站代码，自己打上去顺便理解下过程，不懂得地方做了中文标注

上手试试

上次写的mnist神经网络cnn预测只能输出训练数据，测试数据没有，百度发现是资源耗尽问题

使用sklearn包实现底层二叉决策树随机森林生成，迭代过程使用梯度提升法，最后结果bagging投票决定，下面是算法实现过程

看书看了神经网络的原理和学习方式，感觉蛮简单的。实际应用中却基本舍弃了这种模型了，卷积神经网络

用我上次写的mnist1024层全连接层模型，训练了20000次，在测试集上的正确率为99.3%，这次打算写一个直接使用训练模型进行图片识别的python程序，第一步是自己手动构建个测试矩阵测试，因为第一次尝试这种东西所以遇到了好多问题。。。，现附上代码吧，测试了几下没问题

《python机器学习预测分析核心算法》第六章 刚刚看书看一半的时候突然有个想法，看了这么久机器学习，机器学习模型到现在要解决的最大的问题就是过拟合和欠拟合的问题，然后联想到以前经常听各种“专家”说童年是最有创造力的时期，中国孩子教书太死，小孩的创造力没了。那机器学习模型如果和人类大脑近似的话那么所谓的过拟合是不是就是学习过多之后丧失了创造力呢，欠拟合是否就是童年时期不会做题的状态呢，有点意思

随机森林

1.本来想训练LOL人物识别的，但是各种英雄皮肤一换人都认不出来，所以就选用 Fate 动漫人物的识别 2.图片收集工具：fatkun 说实话有这个工具方便多了，但是收集的还是很累，好多无关图片还要手动去除，害怕影响训练 3. 思考这个迁移学习方式的时候有点疑惑，Google设计这个神经网络结构的时候为了降低计算量和参数量，在最后也并未使用全连接层，但是几乎所有的Inception V3

学习tensflow自编码的相关知识tensorflow学习相关代码仓库： https://github.com/joliph/tensorflow 本节代码： https://github.com/joliph/tensorflow/blob/master/autoencoder.py自编码是一种无监督式机器学习，相比于含有label的训练，自编码技术所需的数据要求更低 例如：

终于彻底搞懂word2vec是什么了………….其实很简单，理解了之后再看之前写的稀里糊涂的代码有种豁然开朗的感觉。。先转载一篇给我Word2Vec解惑的文章：http://blog.youkuaiyun.com/mylove0414/article/details/61616617 word2vec也叫word embeddings，中文名“词向量”，作用就是将自然语言中的字词转为计算机可以理解的

模仿英文词向量，样本是我随便在网上下的小说，经过测试中文的速度比英文慢很多。。。主要时间消耗在data，dictionary的生成那里，所以把程序分成两个部分，一个是完成data，dictionary的生成然后保存为文件，另一个直接读取然后训练。tensorflow系列代码仓库：https://github.com/joliph/字典生成：import jiebaimport r

记录文字处理的各种简介的代码表示1.快速去除中文标点（read的时候要以utf8格式）def clean_str(string): string = re.sub("[^\u4e00-\u9fff]", " ", string) string = re.sub(r"\s{2,}", " ", string)#合并多个空格为一个 return string.str...

卷积神经网络图片识别关键发展 2012年alexnet：relu激活函数，lrn层，dropdout，重叠最大池化，数据增强 2014年vggnet：两个3x3卷积代替一个5x5卷积，lrn层用处不大,卷积层越深效果基本越好，1x1卷积核性价比很高 2014年的Inception net v1：全局平均池化层+维度变换代替最后一个全链接层，多分支小神经网络结构堆叠成大网络，辅助分类节点 2