python学习3

这周开始接触关于python爬虫程序方面的知识,这相比我以前学习的C语言程序简直就是高大上。刚开始接触这么高级的程序,一时间我还手足无措- -。

首先我们要抓取网页数据,这里要用到urllib、urllib2,这两个库用法差不多,但urllib2提供更多的功能,是urllib的升级,因此一般使用后者。首先导入urllib2,然后我们就可以抓取网页的数据了:


>>>html = urllib2.urlopen('http://www.baidu.com').read()


这个时候我们就把百度首页的抓取出来并读入了html中


>>>print html


print后我们就可以看到获取的网页数据了- -

不过我在抓取网页数据并输出后,有乱码出现的情况,后来我了解到有个chardet的库可以解决这个问题,它可以获取网页的编码,因此我们可以先将网页解码然后用utf-8再进行编码,乱码情况就好了。


>>>code = chardet.detect(html).get('encoding','utf-8')

>>>html = html.decode(code,'ignore').encode('utf-8')


这样转换之后刚开始出现的乱码情况就没有了,不过chardet需要我们自己去下载并安装- -。


不过后来看到老师介绍的一个request模块,我便去看了一下它的功能,发现获取网页数据以及解决乱码问题变得更简单了,requests.get(url)获取网页数据,输出时有自带转码的输出形式,妈妈再也不担心我的程序会出现乱码情况啦!目前仍在学习有关爬虫方面的知识中...fighting! - -

根据原作 https://pan.quark.cn/s/459657bcfd45 的源码改编 Classic-ML-Methods-Algo 引言 建立这个项目,是为了梳理和总结传统机器学习(Machine Learning)方法(methods)或者算法(algo),和各位同仁相互学习交流. 现在的深度学习本质上来自于传统的神经网络模型,很大程度上是传统机器学习的延续,同时也在不少时候需要结合传统方法来实现. 任何机器学习方法基本的流程结构都是通用的;使用的评价方法也基本通用;使用的一些数学知识也是通用的. 本文在梳理传统机器学习方法算法的同时也会顺便补充这些流程,数学上的知识以供参考. 机器学习 机器学习是人工智能(Artificial Intelligence)的一个分支,也是实现人工智能最重要的手段.区别于传统的基于规则(rule-based)的算法,机器学习可以从数据中获取知识,从而实现规定的任务[Ian Goodfellow and Yoshua Bengio and Aaron Courville的Deep Learning].这些知识可以分为四种: 总结(summarization) 预测(prediction) 估计(estimation) 假想验证(hypothesis testing) 机器学习主要关心的是预测[Varian在Big Data : New Tricks for Econometrics],预测的可以是连续性的输出变量,分类,聚类或者物品之间的有趣关联. 机器学习分类 根据数据配置(setting,是否有标签,可以是连续的也可以是离散的)和任务目标,我们可以将机器学习方法分为四种: 无监督(unsupervised) 训练数据没有给定...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值