雨山林稀的博客

数据解析：正则表达式、re模块、bs4、xpath、爬取图片/文字

内容为【2020年Python爬虫全套课程（学完可做项目）】视频学习笔记 基本概念 什么是爬虫 爬虫是通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。 爬虫的价值 抓取互联网上的数据，再讲爬取的数据为我所用，产业化、商业化。 爬虫是否违法 （1）在法律中是不被禁止的。 （2）具有违法风险。 违法爬虫行为 （1）爬虫干扰了被访问网站的正常运营。 （2）爬虫抓取了受到法律保护的特定类型的数据或信息。 如何避免违法爬虫 （1）优化程序，避免干扰被访问网站的正常运营。 （2）在使用和传播爬取到的

Matplotlib matplotlib是最流行的Python底层绘图库，主要工作为数据可视化图表，仿照MATLAB构建。能将数据进行可视化，更直观的呈现；是数据更加客观、更具说服力。 matplotlib实例 （1）将坐标点连接成一条线，组成一个折线图 假设一天中每隔两小时（range(2,26,2)）的气温（℃）分别为[15,13,14.5,17,20,25,26,26,27,22,18,15] from matplotlib import pyplot as plt x = range(2,26,2

1. urllib库：urlopen；response；request；parse；2. response.geturl()；response.info()；response.getcode()；3. 运用词典翻译文本；4. headers；add_header()；5. 延迟提交时间；6. 代理；7. 爬取网页上的图片；

模块：命名空间；导入模块；if __name__ == ‘__main__’；搜索路径；包；Python技巧。

1. 魔法方法：构造和析构、算数运算、属性访问、描述符、定制容器、迭代器； 2. 生成器：推导式。

1.EasyGui图形用户界面； 2.对象：面向对象，self，__init__，公有私有； 3.继承：调用未绑定的父类方法，super，多重继承； 4.组合； 5.类、类对象和实例对象； 6.绑定； 7.与类相关的内置函数：issubclass，isinstance,hasattr,getattr,setattr,delattr,property；

1.字典：映射和序列、内置方法； 2.集合：创建、访问、不可变集合； 3.文件：文件打开模式、对象方法、文件分割； 4.模块：OS模块、os模块中关于文件/目录常用的函数使用方法、os.path模块中关于路径常用的函数使用方法、pickle模块； 5.异常：Python标准异常总结、异常的检测和处理； 6.else&with。

1.字符串（格式化）：format；格式化符号；格式化操作符辅助指令； 2.序列：列表、元组和字符串的共同点；常见内置方法 ； 3.函数：参数；返回值；形参和实参；函数文档；关键字参数；默认参数；收集参数；函数与过程；函数变量的作用域；内嵌函数；闭包（closure）；lambda表达式（匿名函数）；常用BIF（filter() 过滤器、map() 映射）；递归；递归——汉诺塔。

1.分支和循环； 2.条件表达式（三元操作符）； 3.断言 （assert）； 4.循环； 5.range()； 6.break & continue； 7.列表（添加元素，获取元素，删除元素，分片，常用操作符，内置函数）； 8.元组（更新和删除，常见操作符）； 9.字符串（字符串方法）。

1.IDLE； 2.猜数游戏； 3.内置函数； 4.变量； 5.字符串； 6.原始字符串； 7.长字符串； 8.条件分支（if，else）； 9.while循环； 10.random 生成伪随机数，重现伪随机数； 11.数值类型； 12.类型转换； 13.获取变量类型（type，instance）； 14.操作符（算术，逻辑）； 15.优先级。