weixin_39666856的博客

最近学习爬虫，做了一个python爬虫工具写在这里记录一下。# python爬51job工具，稍微改改就可以爬其他网站import csv # 爬下来的数据要写到csv文件中，所以要引入这个模块from urllib import request, errorfrom lxml import etree # 元素树用来进行xpath语法解析时，import...

最近，看了一篇用机器学习来预测房屋价格的文章：httphttps://github.com/TomorrowIsBetter/crawler/blob/master/price_prediction/README.md://于是我就想着能不能把我手头的某品牌设备的价格也进行评估预测，算法用的是SVR回归分析。整个过程的思路其实很简单。1.数据获取。在我参考的博客中，原作者是从58同...

这个工具是对上一个工具的优化，用到了gevent的并发来加快爬虫运行速度# python爬51job工具，稍微改改就可以爬其他网站import csv # 爬下来的数据要写到csv文件中，所以要引入这个模块from urllib import request, error,parsefrom lxml import etree # 元素树用来进行xpath语...

import numpy as npimport pylabimport mathimport random# 1.reshape()重构a=np.arange(15).reshape(3,5)print(a)# 2.返回数组结构print(a.shape)# 3.返回数组的维数print(a.ndim)# 4.dtype.name itemsize size 分别表示数组中...

最近爬虫中的数据要用到dataframe数据框，所以学习了pandas工具包，这个包中dataframe部分还是跟R语言中有点像。用起来差不多，但是部分语法还是有不同的。import pandas as pdimport numpy as npfrom pandas import Series,DataFrame# Series类似于一位数组，它由一组数据以及对应的数据标签（即索引）组成，...

今天学习了matplotlib中的简单使用，其实和以前项目中用到的matlab语句的plot，subplot差不多的。import pandas as pd # 导入pandas库import matplotlib.pyplot as plt # 导入pyplot模块import numpy as npunrate = pd.read_csv('UNRAT...