Python操作excle、pandas应用

Python文件操作

​ 1、open()打开函数
​ open(name,mode.encoding)
​ name:是要打开的目标文件名的字符串(可以包含文件所在的具体路径)。
​ mode：设置打开文件的模式(访问模式)：只读、写入、追加等。
​ encoding:编码格式（推荐使用UTF-8）
​ 示例代码：

  f = open('python.txt', 'r', encoding=”UTF-8)

encoding的顺序不是第三位，所以不能用位置参数，用关键字参数直接指定

​ r ：以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。
​ w ：打开一个文件只用于写入。如果该文件已存在则打开文件，并从开头开始编辑，原有内容会被删除。
​ 如果该文件不存在，创建新文件。
​ a ：打开一个文件用于追加。如果该文件已存在，新的内容将会被写入到已有内容之后。
​ 如果 该文件不存在，创建新文件进行写入。
​ 2、read() 方法：
​ 文件对象.read(num)
​ num表示要从文件中读取的数据的长度（单位是字节），如果没有传入num，那么就表示读取文件中所有的数据。
​ readlines()方法：
​ readlines可以按照行的方式把整个文件中的内容进行一次性读取，并且返回的是一个列表，其中每一行的数据为一个元素。

f = open('python.txt')
content = f.readlines()

[‘hello world\n’, ‘abcdefg\n’, ‘aaa\n’, ‘bbb\n’, ‘ccc’]

print(content)

关闭文件

 f.close()

​ 读操作相关方法

readline()方法：一次读取一行内容
f = open('python.txt')

content = f.readline()
print(f'第一行：{
     
     content}')

content = f.readline()
print(f'第二行：{
     
     content}')

关闭文件

f.close()
for循环读取文件行
for line in open("python.txt", "r"):
print(line)

每一个line临时变量，就记录了文件的一行数据

with open 语法：

with open("python.txt", "r") as f:
f.readlines()

通过在with open的语句块中对文件进行操作

可以在操作完成后自动关闭close文件，避免遗忘掉close方法

文件对象 = open(file, mode, encoding) 打开文件获得文件对象
文件对象.read(num) 读取指定长度字节不指定num读取文件全部
文件对象.readline() 读取一行
文件对象.readlines() 读取全部行，得到列表
for line in 文件对象 for循环文件行，一次循环得到一行数据
文件对象.close() 关闭文件对象
with open() as f 通过with open语法打开文件，可以自动关闭

写操作快速入门：

1. 打开文件

​ f = open(‘python.txt’, ‘w’)

2.文件写入

​ f.write(‘hello world’)

3. 内容刷新

​ f.flush()
文件如果不存在，使用”w”模式，会创建新文件
文件如果存在，使用”w”模式，会将原有内容清空

追加写入操作快速入门

1. 打开文件，通过a模式打开即可

f = open(‘python.txt’, ‘a’)

2.文件写入

f.write(‘hello world’)

3. 内容刷新

f.flush()
注意：
a模式，文件不存在会创建文件
a模式，文件存在会在最后，追加写入文件

捕获常规异常
基本语法：
try:
可能发生错误的代码
except:
如果出现异常执行的代码

需求：尝试以r模式打开文件，如果文件不存在，则以w方式打开。
try:
f = open(‘linux.txt’, ‘r’)
except:
f = open(‘linux.txt’, ‘w’)

捕获指定异常

try:
print(name)
except NameError as e:
print(‘name变量名称未定义错误’)

捕获多个异常

当捕获多个异常时，可以把要捕获的异常类型的名字，放到except 后，并使用元组的方式进行书写。
try:
print(1/0)
except (NameError, ZeroDivisionError):
print(‘ZeroDivision错误…’)

捕获所有异常

基本语法：
try:
print(name)
except Exception as e:
print(e)
异常else
else表示的是如果没有异常要执行的代码。
try:
print(1)
except Exception as e:
print(e)
else:
print(‘我是else，是没有异常的时候执行的代码’)
异常的finally
finally表示的是无论是否异常都要执行的代码，例如关闭文件。
try:
f = open(‘test.txt’, ‘r’)
except Exception as e:
f = open(‘test.txt’, ‘w’)
else:
print(‘没有异常，真开心’)
finally:
f.close()

模块的导入方式

模块在使用前需要先导入 导入的语法如下:
[from 模块名] import [模块|类|变量|函数|*][as 别名]

常用的组合形式如：
import 模块名
from 模块名 import 类、变量、方法等
from 模块名 import *
import 模块名 as 别名
from 模块名 import 功能名 as 别名

import模块名

基本语法：
import 模块名
import 模块名1，模块名2

模块名.功能名()
案例：导入time模块
#导入时间模块
import time
print(“开始”)
#让程序睡眠1秒(阻塞)
time.sleep(1)
print(“结束”)

from 模块名 import 功能名

基本语法：
from 模块名 import 功能名

功能名()
from 模块名 import 功能名

功能名()
案例：导入time模块中的sleep方法
#导入时间模块中的sleep方法
from time import sleep
print(“开始”)
#让程序睡眠1秒(阻塞)
sleep(1)
print(“结束”)

from 模块名 import *

基本语法：
from 模块名 import *

功能名()

案例：导入time模块中所有的方法

#导入时间模块中所有的方法
from time import *
print(“开始”)
#让程序睡眠1秒(阻塞)
sleep(1)
print(“结束”)

as定义别名
基本语法：

模块定义别名

import 模块名 as 别名

功能定义别名

from 模块名 import 功能 as 别名

案例：

模块别名

import time as tt
tt.sleep(2)
print(‘hello’)

功能别名

from time import sleep as sl
sl(2)
print(‘hello’)

制作自定义模块

Python中已经帮我们实现了很多的模块. 不过有时候我们需要一些个性化的模块, 这里就可以通过自定义模块实现, 也就是自己制作一个模块

案例：新建一个Python文件，命名为my_module1.py，并定义test函数

注意事项：当导入多个模块的时候，且模块内有同名功能. 当调用这个同名功能的时候，调用到的是后面导入的模块的功能

all
如果一个模块文件中有__all__变量，当使用from xxx import *导入时，只能导入这个列表中的元素

什么是Python包

从物理上看，包就是一个文件夹，在该文件夹下包含了一个 init.py 文件，该文件夹可用于包含多个模块文件
从逻辑上看，包的本质依然是模块

什么是第三方包

我们知道，包可以包含一堆的Python模块，而每个模块又内含许多的功能。
所以，我们可以认为：一个包，就是一堆同类型功能的集合体。

在Python程序的生态中，有许多非常多的第三方包（非Python官方），可以极大的帮助我们提高开发效率，如：
科学计算中常用的：numpy包
数据分析中常用的：pandas包
大数据计算中常用的：pyspark、apache-flink包
图形可视化常用的：matplotlib、pyecharts
人工智能常用的：tensorflow
等
这些第三方的包，极大的丰富了Python的生态，提高了开发效率。
但是由于是第三方，所以Python没有内置，所以我们需要安装它们才可以导入使用哦。

安装第三方包 - pip
第三方包的安装非常简单，我们只需要使用Python内置的pip程序即可。

打开我们许久未见的：命令提示符程序，在里面输入：
pip install 包名称
即可通过网络快速安装第三方包
pip的网络优化
由于pip是连接的国外的网站进行包的下载，所以有的时候会速度很慢。

我们可以通过如下命令，让其连接国内的网站进行包的安装：
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple 包名称
https://pypi.tuna.tsinghua.edu.cn/simple 是清华大学提供的一个网站，可供pip程序下载第三方包

json有什么用

各种编程语言存储数据的容器不尽相同,在Python中有字典dict这样的数据类型, 而其它语言可能没有对应的字典。
为了让不同的语言都能够相互通用的互相传递数据，JSON就是一种非常良好的中转数据格式。

json格式数据转化

json格式的数据要求很严格, 下面我们看一下他的要求

json数据的格式可以是：

{“name”:“admin”,“age”:18}

也可以是：

[{“name”:“admin”,“age”:18},{“name”:“root”,“age”:16},{“name”:“张三”,“age”:20}]

Python数据和Json数据的相互转化

导入json模块

准备符合格式json格式要求的python数据

data = [{“name”: “老王”, “age”: 16}, {“name”: “张三”, “age”: 20}]

通过 json.dumps(data) 方法把python数据转化为了 json数据

data = json.dumps(data)

通过 json.loads(data) 方法把json数据转化为了 python数据

data = json.loads(data)

1. json：是一种轻量级的数据交互格式, 采用完全独立于编程语言的文本格式来存储和表示数据（就是字符串）
   Python语言使用JSON有很大优势，因为：JSON无非就是一个单独的字典或一个内部元素都是字典的列表
   所以JSON可以直接和Python的字典或列表进行无缝转换。
2. json格式数据转化
   通过 json.dumps(data) 方法把python数据转化为了 json数据
   data = json.dumps(data)
   如果有中文可以带上：ensure_ascii=False参数来确保中文正常转换
   通过 json.loads(data) 方法把josn数据转化为了 python列表或字典
   data = json.loads(data)

使用pickle序列化

使用 pickle.dump(obj,file) obj就是要被序列化的对象，file指的是存储的文件
pickle.load(file) 从file读取数据，反序列化成对象

pyecharts模块介绍

如果想要做出数据可视化效果图, 可以借助pyecharts模块来完成
概况 :
Echarts 是个由百度开源的数据可视化，凭借着良好的交互性，精巧的图表设计，得到了众多开发者的认可. 而 Python 是门富有表达力的语言，很适合用于数据处理. 当数据分析遇上数据可视化时pyecharts 诞生了.

pyecharts快速入门

from pyecharts.charts import Line
#得到折线图对象
line= Line()
#添加x轴数据
line.add_xaxis([“中国”,“美国”,“英国”,“法国”])
#添加y轴数据
line.add_yaxis(“GDP”,[30,20,10,15])
#生成图表
line.render()

pyecharts有哪些配置选项
pyecharts模块中有很多的配置选项, 常用到2个类别的选项:
全局配置选项
系列配置选项
set_global_opts方法
这里全局配置选项可以通过set_global_opts方法来进行配置, 相应的选项和选项的功能如下:

折线图相关配置项
配置项 作用 代码实例
init_opts 对折线图初始化设置宽高 init_opts=opts.InitOpts(width=“1600px”, height=“800px”)
.add_xaxis 添加x轴数据 .add_xaxis(列表)
.add_yaxis 添加y轴数据
创建折线图
l=Line(init_opts=opts.InitOpts(width=“1600px”, height=“800px”))
这里的Line()是构建类对象，我们先不必理解是什么意思，后续在Python高阶中进行详细讲解。
目前我们简单的会用即可
添加数据
l.add_xaxis()
l.add_yaxis()

操作Mysql

搭建PyMysql环境
用pip install 搭建PyMysql
如果使用命令无法安装，需要下载PyMySql-0.9.3-py2.py3-none-any.whl文件，进行安装。
1）进入python官网http://www.python.org点击菜单PyPI

openpyxl使用公式

from openpyxl.utils import FORMULAE
from openpyxl.formula.translate import Translator
ws["c2"] = "=SUM(A2:B2)"

for cell in ws["c3:c4"]:
    cell[0].value = Translator(formula="=SUM(A2:B2),ORIGIN="c2").translate_formula(cell[0].coordinate)

pandas使用

import pandas as pd
pd.to_excel('路径')#保存
people=pd.read_excel('路径',