
爬虫
文章平均质量分 82
manfred1010
这个作者很懒,什么都没留下…
展开
-
selenium自动化介绍
定位元素的介绍在之前的文章已介绍过:https://blog.youkuaiyun.com/manfred1010/article/details/111302139现在,我们可以让网页元素自动化做点什么了。页面交互文本框:element.send_keys("some text") #在文本元素中输入"some text"也可以:element.clear() #清空内容下拉框:selenium有专门的类处理。from selenium.webdriver.support.ui import原创 2020-12-18 23:34:31 · 187 阅读 · 0 评论 -
selenium定位元素及爬虫用途简介
关于安装和配置的部份,请看:https://editor.youkuaiyun.com/md/?articleId=111301269使用selenium的目的,是模仿浏览器来访问和操控网页。所以,我们要先打开网页:from selenium import webdriver# 创建 WebDriver 对象,指明使用PhantomJS驱动driver = webdriver.Chrome() #如未配置环境变量,请加上驱动路径# wd = webdriver.Chrome(r'd:\webdrive原创 2020-12-16 22:56:44 · 269 阅读 · 0 评论 -
Xpath:爬虫用途简要介绍
Xpath的安装pip install lxml生成 HTML 的 DOM 树:from lxml import etreepage = etree.HTML(html_doc)page.xpath('//a[@title="data"]') #通过[]来指定标签内属性,@来指定属性获取两种class的对应链接:/@hrefpage.xpath('//table[@id = "play"]/tr[@class = "odd" or "even"]/td[@class="text-le原创 2020-12-16 22:54:46 · 229 阅读 · 0 评论 -
selenium安装与driver配置
selenium安装对应Python语言来说,Selenium客户端库的安装非常简单,用 pip 命令即可。打开 命令行程序,运行如下命令pip install seleniumSelenium只是操控网页的工具,我们还需要浏览器工具帮忙打开网页。driver的安装浏览器驱动 是和 浏览器对应的。 不同的浏览器 需要选择不同的浏览器驱动。目前主流的浏览器中,谷歌 Chrome 浏览器对 Selenium自动化的支持更加成熟一些。chromedriver的安装一定要与Chrome的版本一致,原创 2020-12-16 20:08:09 · 1361 阅读 · 0 评论