
爬虫程序
文章平均质量分 73
处女座_三月
增长见识, 去见识更加广阔的世界
展开
-
01 python 爬虫基础 (url request)
urllib是Python自带的标准库中用于网络请求的库,无需安装,直接引用即可通常用于爬虫开发、API(应用程序编程接口)数据获取和测试urllib库的4大模块urllib.request :用于打开和读取URLurllib.error:包含提出的例外(异常)urllib.requesturllib.parse:用于解析URLurllib.robotparser:用于解析robots.txt文件kw = {'wd':'马士兵'}# 编写# 解码print(res)原创 2023-02-02 20:19:49 · 754 阅读 · 0 评论 -
02 python 爬虫基础 (数据解析)
pyquery库是jQuery的Python实现,能够以jQuery的语法来操作解析 HTML 文档,易用性和解析速度都很好。原创 2023-02-02 20:21:40 · 786 阅读 · 0 评论 -
03 python爬虫 (数据存储)
1、JSON文件存储2、CSV数据的写入和读取3、Excel数据的写入和读取4、MySQL数据库的常用操作5、Python与MySQL的交互操作6、MongDB数据库的常用操作7、Python与MongDB的交互操作1、JSON文件存储轻量级的数据交换格式python类型转化为json字符串把JSON格式字符串解码转换成Python对象dump( ),将Python内置类型序列化为json对象后写入文件load( ),读取文件中json形式的字符串转化成python类型2、CSV文件。原创 2023-02-01 16:10:32 · 483 阅读 · 1 评论 -
04 python爬虫 (数据库)
MySQL操作实例:MySQL数据库基本操作_Drw_Dcm的博客-优快云博客_mysql数据库操作原创 2023-02-01 17:02:43 · 761 阅读 · 0 评论 -
05 python爬虫 (58同城项目)
'span.address' span中class下面的数据用 span.address 取文件。# doc 取标签div中class下面的a标签 文件。 标签处理 + 数据去重。 保存Excel文件。原创 2023-02-01 13:20:36 · 1750 阅读 · 0 评论