我的实战经验分享：深入浅出Python数据库操作

本篇适合刚入门Python、已经学习了一些基础，想要关联学习数据库相关操作的朋友们～

先前听到一些朋友的反馈说，Python语言本身是很轻松地入门了，

但在做数据储存的时候，

比如做爬虫爬取到的数据，想要把暂时保存在内存中的数据永久保存起来，

究竟往哪存，怎么存，就有些困惑了。

“with open()”存到本地文件是相对简单的处理，

爬取到的数据大多是结构化的，直接存取文件可能不是效率最高的方法，

但面对数据库，了解到使用数据库的优点之后，

总会感觉与数据库之间似乎还隔了一层神秘面纱，有些难入门。

其实细说下来，也不过如此，本篇会循序递进跟大伙儿聊聊实战经验，

练习实际操作，然后发出**“so easy!”**的感叹～

看过我图文的朋友大概会了解，是比较倾向于**“授之以渔”**的，

本篇也一样，除了说说关键点外，

会给很多资料传送门，明确方向方便大伙儿深入了解。

咱话不多说，直接进入主题吧！

在实操之前，我们稍微先提一下环境配置什么的。

这里建议大伙儿测试的时候搭配使用Anaconda 3

（之前发的图文《 安装环境配置，以及如何编译exe可执行程序(上篇) - Python高手成长路(系列)(第1阶段) 》可以参考），

使用里面自带的一款非常方便学习测试的IDE，叫 Jupyter Notebook（以下简称Notebook）。

图：Jupyter Notebook 的Logo

我能想到的用Jupyter Notebook练习的好处：

· 可以交互式操作，输入一段运行立即能得到运行结果，也能一直保留运行时的内存数据

· 同个笔记文件中，每段代码的运行结果都可以随时保存起来，下次再打开时也可以查看结果内容

· 对比官方原版搭配的IDLE，它界面流畅，而且操作上方便太多，而且还有能写Markdown、显示图表图像等等的加分功能

· 除了默认支持的Python外，还支持R、Julia、Scala等40多款程序语言（支持列表传送门：https://github.com/jupyter/jupyter/wiki/Jupyter-kernels ）

但Jupyter Notebook它也是有缺点的：

· 运行起来可能不是特别快速，虽然做机器学习研究等等一些情景下用它会很方便，但由于软件是前后端分离的形式，后端回传结果到前端网页的过程有一定的性能损失

· 不太适合用做生产用途，对比另一款IDE，PyCharm，项目开发更适合使用后者这款

这里我们尽可能地减少安装环境配置等等的影响，

不同系统上具体操作的差别不会太大。

这里假定使用的是Win10，官网下载安装完成后，

在开始菜单找到Notebook并点开它。

默认配置下，点开后会出现一个黑底白字的控制台窗口，

然后自动调出系统默认浏览器弹出Notebook的主界面窗口。

图：Jupyter Notebook的网页界面和控制台界面

Notebook黑底白字的控制台窗口，在用的过程中千万不能关闭它，

最小化它即可，不必太多理会。

网络上有非常多的Notebook基本操作的指引

（网络资料传送门：https://zhuanlan.zhihu.com/p/33105153 ）

这里不再赘述啦。

上图是我新建了一个文件夹，在里面新建了一个ipynb文件（统一称为Notebook文件）。

OK！实验环境准备就绪，可以继续下一步啦。

01

情景1：爬虫爬取了一些数据，已经整理成清单，怎样存进数据库里面呢？

这里演示时用了一些新闻数据。

根据我的演示内容，目前只抓取一个页面上的部分数据，

然后整理出了“分类，标题，点击数，链接”共4个字段。

图：演示用的部分代码和数据（完整代码数据见GitHub）

数据量确实也不太多的样子，如果用自带的 csv 模块写入到文件也不会太差。

写入标准格式的csv文件，代码不过五六行而已。

（csv模块官方文档传送门：https://docs.python.org/3/library/csv.html ）

图：演示写入到csv文件

那么，

换成使用数据库会增加存取数据的操作成本吗？

会影响程序的运行效率，或者影响本机的性能吗？

答案或许是否定的。

Python自带了一个简单但非常有用的模块叫 sqlite3，

根据官方文档介绍（传送门：https://docs.python.org/3/library/sqlite3.html ），

它适合用于在本机上储存一些数据量不太大的内部数据，

而且对于Python来说，还有一点非常重要的优势是，

『容易迁移』，也就是说，后面改成用MySQL或者PostgreSQL都会很方便，

我们后面的情景会演示『容易迁移』这一点的。

在这种情景下，改成使用sqlite来存取数据有什么优势呢？

· 数据形式基本一致，都是二维的表格

· 存入csv文件的代码，可以很方便地改写成存入sqlite数据表的代码

· 对比csv文件，数据表的每一列可以指定数据类型，便于管理和使用

· 对比csv文件，利用SQL可以处理复杂数据，不需要一次性载入内存再做处理

· 对比csv文件，多了SQL语法语句的操作，支持模糊查询、索引加速等等

那怎么使用 sqlite3呢？

不同数据库还是有不少差别的，数据类型，SQL语法，等等。

因此首先需要查看相关资料了解一下sqlite本身的基本操作

（网络资料传送门：https://www.runoob.com/sqlite/sqlite-create-table.html ）。

sqlite大概是最简单的关系型数据库了，

我们入手的时候尽量往简单里写，以后再深入了解把代码写得更强大。

了解完sqlite本身后，再了解一下在Python中的使用方式。

使用模式基本上离不开这3步：

· 连接数据库

· 操作数据

· 断开数据库

我们这里演示只演示把数据存入sqlite数据库文件的话，

也不外乎是这3步，只是其中多了一个叫“游标（Cursor）”的东东。

游标就像“指针”，增删改查都靠它！

先连接数据库，然后跟数据库申请一个游标对象，

再利用游标把数据依次写到数据库里面，so easy！

图：演示连接和写入到sqlite数据库

写进数据库后，怎样最直观地看到刚写入的数据内容呢？

除了可以再次利用刚才提到的游标，select查询一下数据内容，

也可以安装使用 SQLite Expert Personal 这款软件（个人免费使用），

图形界面操作，也可以在里面编写执行SQL对数据进行二次处理。

图：在 SQLite Expert Personal 中查看刚写入的数据

至此，sqlite已经基本入门了吧～

02

情景2：爬虫爬取的数据越来越多，sqlite数据库文件越滚越大，也满足不了一些更高级的使用需求了，可以快速地迁移到其他数据库上吗？

“切换数据库”对IT运维人来说，有时确实是一个非常令人头大的问题，

但对于我们个人使用来说，能否快速迁移，

答案或许是肯定的，特别是数据规模还不太大的时候，

而且！越早做迁移，痛苦越少～

想象起来好像挺难的？其实并不难哦。

我们先在目前主流的关系型数据库里面，

挑选一款既简单又很强大的数据库软件来做试验，

这里选的是跟MySQL同源的MariaDB数据库，是开源的。

（MariaDB官网：https://downloads.mariadb.org/mariadb/ ）

跟Anaconda 3类似，Win下有可以直接用的安装包，安装MariaDB的过程中，

别忘了设置好root用户的密码（root用户有最高权限），

以及别忘了给“用UTF-8作为服务器默认的字符集（Use UTF8 as default server’s character set）”打上钩。

图：MariaDB 安装过程中需要注意的点

安装完成后就可以直接在本机使用MariaDB数据库啦。

我们还是尽量往简单里写，这里直接使用root用户操作

（不推荐直接使用root用户操作数据！这样不安全！）

（不推荐直接使用root用户操作数据！这样不安全！）

（不推荐直接使用root用户操作数据！这样不安全！）

（重要的事情说三遍！）

后面实际应用时，可以再深入了解一下数据库用户与权限这部分，

给每个项目至少建立一个有限权限的用户，严格控制权限，

以及项目之间除非必要，一般都要进行数据隔离。

情景1里面提到**『容易迁移』**，真的是这样的吗？

确实可以！因为几乎所有的Python连接关系型数据库的模块，

都是根据Python定的一个叫**“DB-API 2.0”的接口标准**来写的，

（官方文档传送门：https://www.python.org/dev/peps/pep-0249/ ）

最大的好处就是，非常方便地，

我们不需要怎么改动代码就可以适用连接更多的数据库。

图：将先前存入sqlite数据库的数据，边读出边写入到MariaDB数据库中

演示的代码可以看出，两种数据库调用的方法函数什么的基本都一样，

可以从sqlite的代码一比一复制过去，再根据 pymysql模块的文档

（传送门：https://pymysql.readthedocs.io/en/latest/ ）

以及MariaDB的参考资料

（网络资料传送门：https://www.w3cschool.cn/mariadb/ ）

稍微改一改代码，就可以用上了，还是so easy，是不？

同样问题，写进数据库后，怎样最直观地看到刚写入的数据内容呢？

依然是“游标”，select查询一下数据内容，

或者使用非常经典的Navicat，进行图形界面操作，

它也支持连接多款数据库软件，功能也相当强大的说。

图：在 Navicat 中查看刚写入的数据

至此，MariaDB数据库，以及怎样操作数据迁移，

都已经基本入门了吧～

最后提一下拓展方向，

大伙儿可以在评论区留言说说哪些是感兴趣的，

以后会专门写图文来讲哈：

· 数据库ORM工具，如 SQLAlchemy：ORM是“把关系数据库的表结构映射到对象上”的意思，操作那些对象就等同于操作数据本身，它其实是在各种数据库连接驱动之上再做了一层封装，下层换数据库时上层代码基本不用做太大的改动，它都能自如应付，具体可以参考廖老师博客的文章（网络资料传送门：https://www.liaoxuefeng.com/wiki/897692888725344/955081460091040 ）

· 非关系型数据库，如 MongoDB：储存数据的结构叫BSON，是一种类似JSON的结构，应用情景比如，经常爬取JSON结构的数据，用它来存取数据会方便很多，具体可以参考网络上的教程（网络资料传送门：https://www.runoob.com/mongodb/mongodb-tutorial.html ）

· 复杂的SQL操作，是需要经验积累的，如果先前没怎么接触数据库，可以先从最简单的操作开始试验（网络资料传送门：https://www.runoob.com/sql/sql-tutorial.html ），然后找题库平台（比如力扣的，传送门：https://leetcode-cn.com/problemset/database/ ）上数据库专题的题目多实操一下，很快就可以积累起来的

最后的最后，附上本篇实操练习的GitHub repo：

https://github.com/djun/db_exercise

以上，希望对你有所帮助～

以上就是“我的实战经验分享：深入浅出Python数据库操作”的全部内容，希望对你有所帮助。
​
​关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

三、Python视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、Python练习题

检查学习结果。

六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

最后祝大家天天进步！！

上面这份完整版的Python全套学习资料已经上传至优快云官方，朋友如果需要可以直接微信扫描下方优快云官方认证二维码免费领取【保证100%免费】。