
python学习笔记
从入门到实战
寻找微光的鱼
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Python爬虫
用Python爬取网页数据通常使用两个库:requests和BeautifulSoup安装很容易pip就行了#导入包import requestsfrom BeautifulSoup import BeautifulSoup as BS主要记录一下.text的用法解释:在看代码的过程中.text无法看懂是什么意思.text就是解析html文件的过程中将文本内容进行拼接,其实就是去...原创 2020-03-31 12:57:52 · 129 阅读 · 0 评论 -
Python并行化
futures包的使用当处理的数据很小时大可不必考虑并行的问题,但是一但处理可并行化的任务以及大文件时,让程序并行化无疑能提高很大的性能。需要并行的任务很多,比如IO密集型的爬数据,读写磁盘等,CPU计算密集型的计算任务等等。而Python由于GIL的原因,默认情况下只能单线程运行,无法直接利用硬件的多核多线程,因此效率较低,python也早提供了一些列的多线程多进程的库可以用来使用,比如mu...原创 2020-03-31 12:33:10 · 314 阅读 · 0 评论 -
pip使用
pip指令失败的解决通常情况下python3自带的pip模块总是会出问题要么速度过慢要么报错#常规指令经常失败pip install XX解决方案一、从两个网址中找到自己需要的包下载到本地Python安装包和Pypi#安装命令pip install 文件的路径解决方案二、通常一的方法仍然很慢,第二种方案就是将包源更改更改成其他镜像网站网上有很多可用的源,例如豆瓣和清华镜像...原创 2020-03-31 12:24:54 · 233 阅读 · 0 评论 -
Python做数据处理
Python做数据匹配一、需要满足的需求:将两个数据库进行内联二、需要用到的包:pandas、fuzzywuzzy(进行字符串的模糊匹配)安装非常容易pip一下就完事了Pandas用于数据库的处理等都非常的方便通常的用法是pandas将数据库数据封装进DataFrame对象pandas#导入pandas包的标准用法import pandas as pdpandas的具体函数使...原创 2020-03-31 11:51:34 · 181 阅读 · 0 评论 -
Python访问数据库
使用SQLiteSQLite是一种嵌入式数据库,数据库就是一个文件。要操作关系型数据库,首先需要连接数据库,一个数据库连接称为Connection;连接到数据库后需要打开游标——Cursor,通过Cursor执行Sql语句,然后获得执行结果。数据库要连接到Python只需要提供符合Python标准的数据库驱动即可。Python标准库中有SQLite的驱动内置,所以可以直接操作SQLite数...原创 2020-03-01 16:19:27 · 290 阅读 · 0 评论