2501_92499985的博客

我们在上一篇文章初识 Pandas中已经对 Pandas 作了一些基本介绍，本文我们进一步来学习 Pandas 的一些使用。

Pandas 基于NumPy开发，它提供了快速、灵活、明确的数据结构，旨在简单、直观地处理数据。Pandas 适用于处理以下类型的数据：有序和无序的时间序列数据带行列标签的矩阵数据，包括同构或异构型数据与 SQL 或 Excel 表类似的，含异构列的表格数据任意其它形式的观测、统计数据集，数据转入 Pandas 数据结构时不必事先标记Pandas 主要数据结构是 Series（一维数据）与 DataFrame（二维数据），这两种数据结构足以处理金融、统计等领域里的大多数典型用例。

Matplotlib 是 Python 提供的一个绘图库，通过该库我们可以很容易的绘制出折线图、直方图、散点图、饼图等丰富的统计图，安装使用命令即可，Matplotlib 经常会与NumPy一起使用。在进行数据分析时，可视化工作是一个十分重要的环节，数据可视化可以让我们更加直观、清晰的了解数据，Matplotlib 就是一种可视化实现方式。

NumPy（Numerical Python）是一个开源的 Python 科学计算扩展库，主要用来处理任意维度数组与矩阵，通常对于相同的计算任务，使用 NumPy 要比直接使用 Python 基本数据结构要简单、高效的多。安装使用命令即可。

PyQuery 是仿照 jQuery 实现的，语法与 jQuery 几乎完全相同，如果你熟悉 jQuery，又不想再记一套 BeautifulSoup （99%python学习必看的书籍和文章Pdf（市面上的技术书籍确实太多了，这些是我精选出来的）全过程python学习路线（包括各类技术的学习顺序和学习时长、学完技术后的发展方向和建议等）伪类可以根据一个元素的特征进行分类，下面通过示例了解下伪类选择器的使用。） 的调用方法，那么 PyQuery 是一个很好的选择。使用如下终端命令安装。

看到了这里，我们会感觉有点像 time.sleep()，它们的区别是：time.sleep() 必须等待指定时间后才能继续执行， time_to_wait 是在指定的时间范围加载完成即执行，time_to_wait 比 time.sleep() 更灵活一些。Web 应用大多都使用 AJAX 技术进行加载，浏览器载入一个页面时，页面内的元素可能会在不同的时间载入，这会加大定位元素的困难程度，因为元素不在 DOM 里，会抛出 ElementNotVisibleException 异常，使用。

这两个方法通过 .previous_siblings 属性对当前 tag 前面解析的兄弟 tag 节点进行迭代，find_previous_siblings() 方法返回所有符合条件的前面的兄弟节点，find_previous_sibling() 方法返回第一个符合条件的前面的兄弟节点。一样，不同之处在于：find_all() 方法的返回结果是一个列表，find() 方法返回的是第一个节点，find_all() 方法没有找到目标是返回空列表，find() 方法找不到目标时，返回 None。

对于 Requests 库，官方文档是这么说的：Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。警告：非专业使用其他 HTTP 库会导致危险的副作用，包括：安全缺陷症、冗余代码症、重新发明轮子症、啃文档症、抑郁、头疼、甚至死亡。这个介绍还是比较生动形象的，便不再多说。安装使用终端命令。当我们要给请求添加 headers 时，只需给headers注：自定义 headers 优先级是低于一些特定的信息的，如：在.netrc。

对于一些有一定规模或盈利性质比较强的网站，几乎都会做一些防爬措施，防爬措施一般来说有两种：一种是做身份验证，直接把虫子挡在了门口，另一种是在网站设置各种反爬机制，让虫子知难而返。有些时候我们进行爬取时 Request Headers 什么的已经做好了伪装，却并未得到如愿以偿的结果，可能会出现如下几种情况：得到的信息不完整、得到不相关的信息、得不到信息，这种情况我们就需要研究网站的防爬机制，对其进行详细分析了。

网络编程主要的工作就是在发送端将信息通过指定的协议进行组装包，在接收端按照规定好的协议对包进行解析并提取出对应的信息，最终达到通信的目的。传输协议主要有 TCP 和 UDP，TCP 需要建立连接，是可靠的、基于字节流的协议，通常与 IP 协议共同使用；UDP 不需要建立连接，可靠性差，但速度更快。网络编程有一个重要的概念 socket（套接字），应用程序可以通过它发送或接收数据，套接字允许应用程序将 I/O 插入到网络中，并与网络中的其他应用程序进行通信。Socket。

JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，它具有简洁、清晰的层次结构，易于阅读和编写，还可以有效的提升网络传输效率。Python 标准库的 json 模块可以用来处理 JSON 格式数据的基本操作。

XML（Extensible Markup Language）中文译为可扩展标记语言，它是一种简单、灵活、易扩展的文本格式，它主要关注数据内容，常用来传送、存储数据。DOMDOM 方式会将整个 XML 读入内存，在内存中解析成一个树，通过对树的操作来操作 XML，该方式占用内存较大，解析速度较慢。SAXSAX 方式逐行扫描 XML 文档，边扫描边解析，占用内存较小，速度较快，缺点是不能像 DOM 方式那样长期留驻在内存，数据不是长久的，事件过后，若没保存数据，数据会丢失。

Word 是一个十分常用的文字处理工具，通常我们都是手动来操作它，本节我们来看一下如何通过 Python 来操作。Python 提供了库，该库就是为 Word 文档量身定制的，安装使用命令即可。

在现实中，很多工作都需要与数据打交道，Excel 作为常用的数据处理工具，一直备受人们的青睐，而大部分人都是手动操作 Excel，如果数据量较小且是一些简单的操作还好说，但如果数据量较大或是一些复杂的操作，工作量可想而知，因此，我们需要掌握一种简单、高效的方法来操作 Excel。在数据处理方面，Python 一直扮演着重要的角色，对于 Excel 操作，它有着完整且成熟的第三方库，使用也较为简单。xlrd：从 Excel 中读取数据，支持 xls、xlsx。xlwt。

SQLite 是一种嵌入式关系型数据库，其本质就是一个文件，它占用资源低、处理速度快、跨平台、可与 Python、Java 等多种编程语言结合使用。SQLite 是一个进程内的库，可以自给自足、无服务器、无需配置、支持事务，Python 可以通过 sqlite3 模块与 SQLite3 集成（3 是版本号），Python 2.5.x 以上版本内置了 sqlite3 模块，我们可以直接使用。

MySQL 是目前使用最广泛的数据库之一，它有着良好的性能，能够跨平台，支持分布式，能够承受高并发。如果还没有安装 MySQL，可以查看下载地址安装参考。Python 大致有如下 5 种方式操作 MySQL。MySQL-python 也称 MySQLdb，基于 C 库开发，曾经是一个十分流行的 MySQL 驱动，具有出色的性能，但其早已停更，仅支持 Python2，不支持 Python3，现在基本不推荐使用了，取而代之的是它的衍生版。

进程：通常一个运行着的应用程序就是一个进程，比如：我启动了一个音乐播放器，现在它就是一个进程。线程：线程是进程的最小执行单元，比如：我在刚启动的音乐播放器上选了一首歌曲进行播放，这就是一个线程。在多线程一文中，我们说了因为 GIL 的原因，CPython 解释器下的多线程牺牲了并行性，为此 Python 提供了多进程模块，该模块同时提供了本地和远程并发，使用子进程代替线程，可以有效的避免 GIL 带来的影响，能够充分发挥机器上的多核优势，可以实现真正的并行效果，并且它与threading。

在说这个问题之前，我们先简单了解一下基本情况：最初因 GIL 可以简单、快捷的解决多线程并发访问的安全问题选择了这种机制，随后又有大量的代码库开发者开始依赖这种特性，随之时间的推移，人们开始意识到了并行性的问题，但这时已经到了尾大不掉的程度了，所以现实情况是：尽管可以去掉 GIL，但工程量太大了。实现原始锁对象的类，一旦一个线程获得一个锁，会阻塞随后尝试获得锁的线程，直到它被释放，通常称其为互斥锁，它是由 _thread 模块直接扩展实现的。

正则表达式是一个强大的字符串处理工具，几乎所有的字符串操作都可以通过正则表达式来完成，其本质是一个特殊的字符序列，可以方便的检查一个字符串是否与我们定义的字符序列的某种模式相匹配。正则表达式并不是 Python 所特有的，几乎所有编程语言都支持正则表达式，Python 提供了内置模块re和第三方模块regex来支持正则表达式，regex模块提供了与re模块兼容的 API 接口，同时还提供了额外的功能和更全面的 Unicode 支持，本文只介绍re模块。

argparse 模块主要用于处理 Python 命令行参数和选项，程序定义好所需参数后，该模块会通过sys.argv解析出那些参数；除此之外，argparse 模块还会自动生成帮助和使用手册，并在用户给程序传入无效参数时报出错误信息。使用 argparse 模块，我们可以轻松的编写出用户友好的命令行接口。

sys 模块主要负责与 Python 解释器进行交互，该模块提供了一系列用于控制 Python 运行环境的函数和变量。之前我们说过os 模块，该模块与 sys 模块从名称上看着好像有点类似，实际上它们之间是没有什么关系的，os 模块主要负责与操作系统进行交互。

模块描述math提供了对 C 标准定义的数学函数的访问（不适用于复数）cmath提供了一些关于复数的数学函数decimal为快速正确舍入的十进制浮点运算提供支持fractions为分数运算提供支持random实现各种分布的伪随机数生成器statistics提供了用于计算数字数据的数理统计量的函数本文具体介绍一下相对比较常用的模块：math、decimal 和 random。

作用域是 Python 程序可以直接访问命名空间的文本区域（代码区域），名称的非限定引用会尝试在命名空间中查找名称，作用域是静态的，命名空间是随着解释器的执行动态产生的，因此在作用域中访问命名空间中的名字具有了动态性，即作用域被静态确定，被动态使用。命名空间（namespace）是名称到对象的映射，当前大部分命名空间都是通过 Python 字典来实现的，它的主要作用是避免项目中的名字冲突，每一个命名空间都是相对独立的，在不同的命名空间中可以同名，在相同的命名空间中不可以同名。变量修改为全局变量，则需使用。

装饰器（decorator）也称装饰函数，是一种闭包的应用，其主要是用于某些函数需要拓展功能，但又不希望修改原函数，它就是语法糖，使用它可以简化代码、增强其可读性，当然装饰器不是必须要求被使用的，不使用也是可以的，Python 中装饰器通过。不过都没关系，我们再以 Python 为例更通俗的解释一下：比如我们调用一个带有返回值的函数 x，此时函数 x 为我们返回一个函数 y，这个函数 y 就被称作闭包，这么一说是不是豁然开朗了。相当于将被装饰的函数（业务函数）作为参数传入装饰函数（类）。

yield 是一个关键字，作用和 return 差不多，差别在于 yield 返回的是一个生成器（在 Python 中，一边循环一边计算的机制，称为生成器），它的作用是：有利于减小服务器资源，在列表中所有数据存入内存，而生成器相当于一种方法而不是具体的信息，用多少取多少，占用内存小。两个方法，这两个方法共同组成了迭代器协议，通俗来讲迭代器就是一个可以记住遍历位置的对象，迭代器一定是可迭代的，反之不成立。生成器是用来创建迭代器的工具，其写法与标准函数类似，不同之处在于返回时使用。循环遍历，我们可以使用。

起初 Python 中并未内置枚举（enum）类型，枚举是在 Python3.4 添加的新功能，此时我们可能会有一个疑问：Python3.4 之前的版本还能不能使用枚举呢？答案是可以使用，但是不能直接使用，使用之前需要先用安装。什么是枚举？枚举可看作是一系列符号名称的集合，集合中每一个元素要保证唯一性和不可变，因此我们可以对枚举中元素进行恒等比较，通俗来讲枚举就是一系列常量的集合，枚举是可迭代的。枚举有什么作用？我们先来思考一个问题：不使用枚举我们如何定义常量呢？

自定义异常类 MyExcclass MyExc(Exception): #继承Exception类return '被除数不能为0'# 自定义方法try:if n == 0:print(exc)else:except:pass'''1.调用 getNum(1)，输出结果为：10.02.调用 getNum(0)，输出结果为：被除数不能为0'''在这个自定义的异常例子中，当参数 n 不为 0 时，则正常，当 n 等于 0，则抛出异常，自定义异常在实际应用中很少用到，了解即可。

我们都知道 os 中文就是操作系统的意思，顾名思义，Python 的 os 模块提供了各种操作系统的接口，这些接口主要是用来操作文件和目录。Python 中所有依赖于操作系统的内置模块统一设计方式为：对于不同操作系统可用的相同功能使用相同的接口，这样大大增加了代码的可移植性；当然，通过 os 模块操作某一系统的扩展功能也是可以的，但这样做会损害代码的可移植性。

在编程工作中文件操作还是比较常见的，基本文件操作包括：创建、读、写、关闭等，Python 中内置了一些文件操作函数，我们使用 Python 操作文件还是很方便的。

面向对象（OOP）是一种对现实世界理解和抽象的方法，对象的含义是指在现实生活中能够看得见摸得着的具体事物，一句比较经典的描述是一切皆对象，Python 是一门面向对象的语言，面向对象编程简单来说就是一种封装代码的方式。面向对象相关概念类：描述具有相同属性和方法的集合，简单来说就是一个模板，通它来创建对象。对象：类的实例。方法：类中定义的函数。类变量：定义在类中且在函数之外的变量，在所有实例化对象中公用。局部变量：方法中定义的变量，只作用于当前实例。面向对象三大特性。

Python 中一个以.py结尾的文件就是一个模块，模块中定义了变量、函数等来实现一些类似的功能。Python 有很多自带的模块（标准库）和第三方模块，一个模块可以被其他模块引用，实现了代码的复用性。

简单来说函数就是一段实现特定功能的代码，使用函数可以提高代码的重复利用率。Python 中有很多内置函数，比如之前常用的 print 函数，当内置函数不足以满足我们的需求时，我们还可以自定义函数。def 函数名(参数):函数体return 返回值如果要定义一个无任何功能的空函数，函数体只写pass即可。def 函数名():pass当我们不确定参数的个数时，可以使用不定长参数，在参数名前加def 函数名(*参数名):函数体我们还可以使用lambdalambda 参数 : 表达式# 空函数。

datetime 包括了 date 与 time 的所有信息，格式为：datetime(year, month, day, hour=0, minute=0, second=0, microsecond=0, tzinfo=None, *, fold=0)，参数范围值参考 date 类与 time 类。time 类表示由时、分、秒、微秒组成的时间，格式为：time(hour=0, minute=0, second=0, microsecond=0, tzinfo=None, *, fold=0)。

当看到字典这个词时【点这里继续阅读】，有些人包括我自己在内，首先映入眼帘的便是新华字典我清楚的记得，刚上小学时老师就让每一个学生准备一本新华字典，它的使用大家也应该都清楚，通过拼音、偏旁部首等进行查询；今天我们说的字典（dict）是 Python 的数据结构，因为都叫字典，我们不用想也知道它们是十分相似的，它们的内容都是以键-值（key-value）的方式存在的。

Python 中没有数组，而是加入了功能更强大的列表（list），列表可以存储任何类型的数据，同一个列表中的数据类型还可以不同；列表是序列结构，可以进行序列结构的基本操作：索引、切片、加、乘、检查成员。元组（tuple）与列表类似，但元组是不可变的，可简单将其看作是不可变的列表，元组常用于保存不可修改的内容。

Python 中的序列是一块可存放多个值的连续内存空间，所有值按一定顺序排列，每个值所在位置都有一个编号，称其为索引，我们可以通过索引访问其对应值。我们上一节说的就是序列结构，除此之外常见的序列结构还包括列表、元组等。

在之前的文章【【零基础必看】Python 基础（一）：入门必备知识】中我们已经提到了：字符串是 Python 的一种数据类型，它可以通过单引号、双引号、三引号'''或"""来定义，本节我们来详细介绍一下。

标识符是编程时使用的名字，用于给变量、函数、语句块等命名，Python 中标识符由字母、数字、下划线组成，不能以数字开头，区分大小写。上面表中是 Python 中的关键字（保留字），我们在自定义标识符时不能使用关键字。）来表示字符串，引号的开始与结束须类型相同，三引号可以由多行组成。，假如内容为汉字，不指定编码便不能正确的输出及读取，比如我们想要指定编码为。来控制类、函数、逻辑判断等，而是使用缩进，缩进的空格可变。，表示不能直接访问的类属性，需通过类提供的接口进行访问，不能用。Python 可以使用引号（

当需要多次重复执行时，我们要用到循环语句，Python 提供了 for 循环和 while 循环。continue 用在 for 循环和 while 循环语句中，用来终止本次循环。pass 是空语句，它不做任何事情，一般用做占位语句，作用是保持程序结构的完整性。break 用在 for 循环和 while 循环语句中，用来终止整个循环。while 循环，满足条件时进行循环，不满足条件时退出循环。for 循环可以遍历任何序列，比如：字符串。在进行逻辑判断时，我们需要用到条件语句【】，Python 提供了。

Hello，我是 Python 数据类型数字，大家之前对我可能已经有所耳闻，俗话说闻名不如见面，见面要先自我介绍，为了让大家对我有一个清晰的了解，下面我要向大家介绍一下自己。我有三种数值类型，分别是：整型（int）、浮点型（float）、复数（complex），如果你使用的还是我的低版本 Python2，那么还包含长整型（long）。模块中除了求平方根函数，还有很多可以使用的函数。我的基本运算见下表，整型和浮点型均支持下表中运算。除了上面的基本运算外，我还可以借助数学模块。：由实数部分和虚数部分组成。