- 博客(22)
- 收藏
- 关注
RSS订阅原创 2020-12-26
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、Python数据解析xpath模块应用二、代码与解析1.代码2.分析3.结果前言用爬虫爬取全国城市名称一、Python数据解析xpath模块应用继续学习了一下xpath模块的应用二、代码与解析1.代码代码如下：import requestsfrom lxml import etreeif __name__ == "__main__": headers = { 'User-Ag
2020-12-26 19:49:58
186
原创 2020-12-19
文章目录一、数据解析之xpath项目工程应用二、代码分析1.代码部分2.分析1.步骤分析2.部分代码分析三、运行结果总结一、数据解析之xpath项目工程应用今天我们进行xpath数据解析的工程应用——解析下载图片数据二、代码分析1.代码部分代码如下：#解析下载图片数据import requestsfrom lxml import etreeimport osif __name__ == "__main__": #获取网页源数据 headers = { '
2020-12-19 17:41:20
140
1
原创 2020-12-16
文章目录前言一、xpath表达式应用1.代码2.结果总结前言今天应用xpath表达式进行项目实现。提示：以下是本篇文章正文内容，下面案例可供参考一、xpath表达式应用爬取58二手房上房子介绍1.代码代码如下：import requestsfrom lxml import etreeif __name__ == "__main__": headers ={ 'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64)
2020-12-16 22:14:32
133
原创 2020-12-15
文章目录xpath表达式一、层级1.层级定位二、属性和索引定位1.属性定位2.索引定位三、取文本和属性1.取文本的两种类型2.获取属性总结xpath表达式今天详细学习了xpath表达式一、层级xpath表达式中层级表达有点类似bs4中的层级，在bs4中是使用 > 和空格进行层级分类，而在xpath中则是使用/和//。接下来，我们一起深入学习一下吧。1.层级定位1./：表示的是从根节点开始定位，同时表示一个层级。tree = etree.parse('test.html')r = t
2020-12-15 22:08:38
89
原创 2020-12-12
文章目录一、xpath解析二、xpath解析原理1.xpath解析原理2.环境的安装3.实例化一个etree对象一、xpath解析xpath解析：最常用且最便捷高效的一种解析方式。通用性很强，不仅可以适用于python，还可以适用于其他编程语言。二、xpath解析原理1.xpath解析原理1.实例化一个etree对象，且需要将被解析的页面源码数据加载到该对象中去。2.调用etree对象中的xpath方法结合xpath表达式实现标签的定位和内容的捕获。2.环境的安装代码如下：pip ins
2020-12-12 22:09:54
128
原创 2020-12-11
文章目录前言一、编码步骤1.bs4爬取三国演义章节内容总结前言接昨天bs4爬取三国演义内容一、编码步骤1.bs4爬取三国演义章节内容代码如下：import requestsfrom bs4 import BeautifulSoupurl='https://www.shicimingju.com/book/sanguoyanyi.html'headers={ 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebK
2020-12-11 23:18:33
134
原创 2020-12-10
文章目录需求：爬取三国演义小说所有的章节标题内容一、步骤总结需求：爬取三国演义小说所有的章节标题内容方向：先利用通用爬虫爬取页面数据，在利用数据解析bs4进行标签的爬取形成文档一、步骤1.先使用通用爬虫对首页的页面数据进行爬取2.在首页解析出章节的标题和详情页的url3.实例化BeautifulSoup对象，需要将页面源码数据加载的该对象中4.解析章节标题和详情页的url总结先熟悉步骤，详细代码明天更新。...
2020-12-10 23:48:39
97
原创 2020-12-09
文章目录前言一、获取标签之间的文本数据1.text，string，get_text()二、获取标签中的属性值1.引入库前言今天我们学习BeatifulSoup提供的用于数据解析的剩下的一点方法与属性一、获取标签之间的文本数据1.text，string，get_text()代码应用：soup.a.textsoup.a.stringsouo.a.get_text()区别：text/get_text()可以获得某一个标签中所有的文本内容。string：只能获取该标签下直系的文本内容。二
2020-12-09 23:27:33
140
原创 2020-12-08
文章目录BeatifulSoup提供的用于数据解析的方法与属性一、soup.tagName二、soup.find()1.soup.find()2.sopu.find_all()三、selectBeatifulSoup提供的用于数据解析的方法与属性今天我们学习BeatifulSoup提供的用于数据解析的方法与属性，先暂时介绍3个方法与属性。有soup.tagName，soup.find(),select。下面我深入了解一下吧。提示：以下是本篇文章正文内容，下面案例可供参考一、soup.tagNa
2020-12-08 23:53:29
694
原创 2020-12-07
文章目录前言一、bs4进行数据解析1.数据解析的原理2.bs4数据解析的原理3.环境安装4.如何实例化BeautifulSoup5.对象的实例化总结前言今天学习使用bs4进行数据解析提示：以下是本篇文章正文内容，下面案例可供参考一、bs4进行数据解析1.数据解析的原理1.标签定位2.提取标签、标签属性中存储的数据值2.bs4数据解析的原理1.实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中2.通过调用BeautifulSoup对象中相关的属性或者方法进行标
2020-12-07 23:43:29
69
原创 2020-12-06
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码
2020-12-07 00:06:55
124
原创 2020-12-05
文章目录前言一、数据解析1.聚焦爬虫2.数据解析二、爬取网页指定图片1.代码部分前言今天进入数据解析的学习。一、数据解析1.聚焦爬虫聚焦爬虫：爬取页面中指定的页面内容。编码流程：1.指定url2.发起请求3.获取响应数据4.数据解析5.持久化存储2.数据解析数据解析分类：1.正则2.bs43.xpath数据解析原理概述：解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储。1.进行指定标签的定位2.标签或者标签对应的属性中存储的数据值进行提取（解析）二
2020-12-05 23:48:11
95
原创 2020-12-04
文章目录前言一、requests模块实现网页采集器二、使用步骤1.代码部分2.代码解读总结前言使用request模块实现简易的网页采集器一、requests模块实现网页采集器注：指定url时需要使用到抓包工具二、使用步骤1.代码部分代码如下：import requestsimport jsonif __name__=="__main__": #批量获取不同企业的id值 url='http://scxk.nmpa.gov.cn:81/xk/itownet/porta
2020-12-04 23:11:29
93
原创 2020-12-03
文章目录前言一、编写基于浏览器自动化的操作代码二、编码实现1.实现自动化总结前言今天学习了一下编写基于浏览器自动化的操作代码 ，实现了自动打开淘宝主页，并滑动网页并搜索商品。一、编写基于浏览器自动化的操作代码编写基于浏览器自动化的操作代码发起请求：get（url）标签定位：find系统的方法标签交互：send_keys(‘xxx’)执行js程序：excute_script(‘js命令’)前进、后退：back（），forward（）关闭浏览器：quit二、编码实现1.实现自动化.
2020-12-03 21:54:22
100
原创 2020-12-02
selenium模块应用文章目录selenium模块应用前言一、selenium模块是什么？1.selenium模块作用2.selenium模块和爬虫之间具有怎样的关联？二、使用步骤1.自动化打开浏览器进入哔哩哔哩官网2.自动化爬取药监局企业名称总结前言python在现在社会的应用明显越来越重要了，接下来让我们学习一些python中的selenium模块吧。以下是本篇文章正文内容一、selenium模块是什么？1.selenium模块作用selenium模块：实现浏览器自动化化。2.s
2020-12-02 22:26:57
146
原创 2020-12-01
学习目标：selenium模块基础和requests模块的应用学习selenium模块的基础用法实现web自动化以及使用requests模块爬取豆瓣网页电影的详情数据。学习内容：1.selenium模块基础1.使用selenium模块实现web自动化。自动启动浏览器，自动打开网页。 2.使用requests模块对豆瓣电影中的数据进行爬取。学习时间：2020.12.1学习产出：先声明requests模块和json模块，然后设置url，接下来对爬取的参数进行封装到字典param中。然后进行Uve
2020-12-01 23:59:40
88
原创 2020-12-01
学习目标：selenium模块基础和requests模块的应用学习selenium模块的基础用法实现web自动化以及使用requests模块爬取豆瓣网页电影的详情数据。学习内容：1.selenium模块基础1.使用selenium模块实现web自动化。自动启动浏览器，自动打开网页。2.使用requests模块对豆瓣电影中的数据进行爬取。学习时间：2020.12.1学习产出：
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人