记录一些开发事项

1 绘图逻辑（1）选择图表类型；（2）添加数据；（3）设置全局变量；（4）显示及保存图表。1.1 图表类型from pyecharts.charts import *1.2 添加数据散点图、折线图等二维数据图形可通过 .add_xaxis(xaxis_data=x)和.add_yaxis(series_name='', y_axis=y)方法设置。饼图等一维图形可通过.add(series_name=‘’, data_pair=[(i, j)for i, j in z

Matplotlib首次发表于2007年，由于在函数设计上参考了MATLAB，其名字以“Mat”开头，中间的“plot”表示绘图这一作用，而结尾的“lib”则表示它是一个集合。近年来，Matplotlib在开源社区的推动下，在科学计算领域得到了广泛的应用，成为了Python中应用非常广泛的绘图工具包之一。Matplotlib中应用最广的是matplotlib.pyplot模块。matplotlib.pyplot是一个命令风格函数的集合，是Matplotlib的机制更像MATLAB。每个绘图函数都可对图形

1 绪论1.1 机器学习的概念致力于研究如何通过计算的手段，利用经验（历史数据）来改善系统自身的性能［机器学习］。从数据中产生模型的算法，即“学习算法”机器学习的应用如股票预测、垃圾邮件过滤软件等。1.2 scikit-learnscikit-learn(sklearn)库整合了多种机器学习算法，可以帮助使用者在数据分析过程中快速建立模型，且模型接口统一，使用起来非常方便。同时，sklearn拥有优秀的官方文档（https://www.cntofu.com/book/170/in

1 合并数据1.1 堆叠合并数据1.1.1 横向堆叠（行对齐，左右拼接）横向堆叠，即将两个表在X轴向拼接在一起，可以使用concat函数完成，concat函数的基本语法如下。pandas.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False, copy=True)常用参数如下所示。

1 读写不同数据源的数据1.1 读写文本文件1.1.1 文件读取文本文件（txt文件）是一种由若干行字符构成的计算机文件，它是一种典型的顺序文件。使用read_table来读取文本文件：pandas.read_table(filepath_or_buffer, sep=’\t’, header=’infer’, names=None, index_col=None, dtype=None, engine=None, nrows=None)csv是一种逗号分隔的文件格式，因为其分隔符不一

Numpy是用于数据科学计算的基础模块，不但能够完成科学计算的任务，而且能够被用作高效的多维数据容器，可用作存储和处理大型矩阵，它的运算速度会比Python自带的列表运算速度要快。Numpy的数据容器可用来存储多种类型数据，这使得Numpy可以快速并且无缝整合各种类型数据。Numpy本身并没有提供很多高级的数据分析功能，理解Numpy数组及数组计算有助于更加高效地使用诸如pandas等数据处理工具。1掌握Numpy数组对象ndarrayndarray（数组）是存储单一数据类型的多维数组。1.1创

任务：爬取某公开网站上的汽车用户消费投诉数据（'http://tousu.315che.com/tousulist/serial/55467/'），字段包含品牌、投诉内容、品牌车型、单号、投诉问题、投诉时间和经销商，并为完成后续项目做准备。（1）获取所有品牌名称、链接（思路：首先向网页发送请求、解析网页，可利用xpath或者beautifulsoup中的find、find_all方法进行品牌名称、链接的提取。）#（1）获取所有品牌名称、链接import requestsfrom lxml

3 使用Beautiful Soup解析网页Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库。目前Beautiful Soup 3已经停止开发，大部分的爬虫选择使用Beautiful Soup 4开发。Beautiful Soup不仅支持Python标准库中的HTML解析器，还支持一些第三方的解析器，具体语法如下。lxml解析器比较常用。3.1 创建BeautifulSoup对象要使用Beautiful Soup库解析网页首先需要创建Beauti

2、requests库实现HTTP请求requests库生成请求的代码非常便利，其使用的request方法的语法格式如下：requests.get(url,**kwargs)2.1发送请求import requests #安装命令：pip install requests -i http://pypi.douban.com/simple --trusted-host pypi.douban.comrq = requests.get('http://www.tipdm.co

1爬虫练习（urllib+xpath）爬取某公司官网新闻中心板块（“http://www.tipdm.com/xwzx/index.jhtml”）中的新闻标题和新闻内容，爬取页数为5页。要求：使用urllib库实现HTTP请求的发送，使用Xpath进行网页解析，最后将爬取到的内容保存至Excel文件中。1.1第一页数据的爬取#导入相应库from urllib import requestfrom lxml import etreeimport pandas as pd #安装命令：.

8 selenium自动化工具8.1 安装selenium插件pip install selenium -i http://pypi.douban.com/simple --trusted-host pypi.douban.com8.2 安装phantomjs无界面浏览器phantomjs压缩包：链接：https://pan.baidu.com/s/1Yn2upMPpe2QMeiOlA7nmxg提取码：d60h解压phantomjs压缩包，把bin所在的路径添加到环境变量.

7 爬虫案例3：贴吧图片下载目标：访问贴吧，找出贴吧中每个帖子的链接根据链接进入帖子，找出帖子中每张图片的链接地址下载图片需要用到xpath规则7.1 获取内容from urllib import request, parseimport sslimport random# 常用User-Agent列表ua_list = [ 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/5

6 xpath首先需要安装Google的Chrome浏览器6.1 安装xpath插件下载 xpath_helper_2_0_2.crx 插件，谷歌拓展商店或者crx4chrome网站均可下载。在Chrome浏览器中，访问 chrome://extensions/ 。打开开发者模式（把开关推动到右边）把下载的crx文件拖到该页面即安装完成。安装后，留意右上角这个，就是xpath插件访问任意其他页面，比如www.baidu.com然后，点击 xpath 插件按钮，

5 Python面向对象5.1 面向对象和面向过程面向过程：C、汇编、Basic、Pascal面向对象：C++、Java、Python、PHP、……面向过程基于计算机的角度出发考虑问题面向对象是从人（第三者）的角度出发考虑问题比如：学生上学面向过程起床洗刷刷穿衣打扮出门，往教室方向走if 遇到十字路口: while 红灯亮: 等待绿灯走到教室while 上课时间未到: 等待上课开始上课while 下课时间未到:

4 发送POST请求4.3 用poster获取有道在线翻译参考有道翻译：http://fanyi.youdao.com/通过Fiddler工具可以获取到请求的URL地址为：http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule提交的请求体参数i=hellofrom=AUTOto=AUTOsmartresult=dictclient=fanyideskwebsalt=16002154

4 发送POST请求4.1 GET请求和POST请求当想要向服务器发送请求的时候，可以考虑附加请求的参数GET请求：把参数直接附加到URL地址的后面https://tieba.baidu.com/f?kw=%E5%8A%A8%E6%BC%AB&ie=utf-8&pn=50这里要访问的URL地址为：https://tieba.baidu.com/f添加了参数：kw=%E5%8A%A8%E6%BC%AB&ie=utf-8&pn=50要访问的贴吧：动漫吧

3 Fiddler抓包工具3.1 安装安装包文件可到官方网址：https://www.telerik.com/fiddler下载，安装过程略。3.2 配置切换到 HTTPS 标签，选上下面的选项然后点击Actions按钮，在弹出框选择 Trust Root Certificate如果弹出如下对话框，选择Yes配置完成后，重启Fiddler，重启浏览器打开百度贴吧，留意User-Agent的信息运行爬虫程序，再留意一下User-Ag.

2 爬虫案例1：访问百度贴吧假设我们要访问的贴吧是：动漫吧头几页的URL地址为：https://tieba.baidu.com/f?kw=%E5%8A%A8%E6%BC%AB&ie=utf-8&pn=0https://tieba.baidu.com/f?kw=%E5%8A%A8%E6%BC%AB&ie=utf-8&pn=50https://tieba.baidu.com/f?kw=%E5%8A%A8%E6%BC%AB&ie=utf-8&pn

在学习Python前需安装Python，建议3.0版本以上以及IDE，IDE可选择PyCharm（专业版收费，社区版免费）或者Anaconda。1 Python基础语法简介1.1 每行的最后一个字符C/C++/Java中每行的最后都需要加上分号Python中每行的最后都不需要加上分号1.2 数据类型C语言中的数据类型：short、int、long、float、double、char、*、[ ]、struct、unionJava中的数据类型：byte、short、int