Java_KW的博客

文章目录scrapy框架安装创建一个scrapy项目终端工具命令scrapy框架安装pip install scrapy创建一个scrapy项目scrapy startproject tutorial创建一个tutorial包含以下内容的目录：tutorial/ scrapy.cfg # 项目的配置文件 tutorial/ # python模块，在这里添加你的爬虫项目 __init__.py it

文章目录一、确认爬取目标二、尝试爬取三、使用`pyppeteer`库四、完整代码一、确认爬取目标爬取中国移动采购与招标网https://b2b.10086.cn/b2b/main/listVendorNotice.html?noticeType=2二、尝试爬取首先我使用开发者工具，尝试看一下，数据是怎么请求回来的。然后就发现这个，https://b2b.10086.cn/b2b/main/listVendorNoticeResult.html?ekp1APd1=5TLUwJWxAYS

文章目录pyppeteerpyppeteer和puppeteer的不同点安装简单使用模拟文本输入和点击移除Chrome正受到自动测试软件的控制爬取京东商城pyppeteerpyppeteer 是非官方 Python 版本的 Puppeteer 库，浏览器自动化库，由日本工程师开发。Puppeteer 是 Google 基于 Node.js 开发的工具，调用 Chrome 的 API，通过 JavaScript 代码来操纵 Chrome 完成一些操作，用于网络爬虫、Web 程序自动测试等。pyppet

文章目录selenium库引擎启动器访问地址切换网页，框架定位元素对元素进行操作网页等待、元素等待、元素遮蔽网页转换、Beautifulsoup、lxml网页关闭，引擎退出定位元素的一些注意事项其他数据保存的问题（简略介绍，以后会详细学习）selenium库selenium库是模拟浏览器，动态爬虫的一个库。首次使用需要安装pip install selenium安装之后导入selenium包就可以了。import selenium一般常用的类有：from selenium import

文章目录爬虫步骤正则表达式什么是正则表达式？正则表达式的规则Python的re模块compile函数match函数search函数findall函数finditer函数split函数sub函数匹配中文注意：贪婪模式与非贪婪模式使用正则爬取工作信息xpath什么是XML?XML的节点关系XPath是什么？xpath语法--选取节点xpath语法--谓语xpath语法--选取未知节点xpath语法--选取若干路径XPath的运算符lxml库xpath实例使用xpath爬取工作信息BeautifulSoup4例子