python 爬虫入门——selenium自动搜索小团团

本文介绍如何使用Selenium这一WEB自动化工具进行百度搜索自动化操作。通过Python代码,实现打开百度页面、输入搜索词“小团团露脸视频”并点击搜索,进一步模拟点击搜索结果中的链接。文章展示了Selenium在爬虫领域的应用潜力。

这几天想到哪里写哪里,有可能有点乱。

今天写一个selenium——WEB自动化工具,用来模拟操作人在运行浏览器。
在爬虫中,可以作为一个自动化脚本来使用。

先看一下

在这里插入图片描述
先不说具体应用,大家也会觉得还是很有意思的对不对。

首先调用相应模块,自动打开百度。

from selenium import webdriver
import time
driver = webdriver.Chrome()
driver.get("http://www.baidu.com")

在百度搜索栏中搜索"小团团露脸视频"

#输入小团团露脸视频
driver.find_element_by_id("kw").send_keys("小团团露脸视频")
#单击
driver.find_element_by_id("su").click()

模拟点击,打开第二个网页。

#找到对应的标签,点击
driver.find_element_by_class_name("t").click()

在这里插入图片描述

后续再介绍我们在爬虫中的一些应用。

中间遇到的问题应该是会报错。

这样,我们python爬虫爬取图片信息就完了。

能跑得动的,记得点个赞呗。

后期会有其他方法更新,关注一波呗

在某些情况下,像淘宝这类页面,其 Ajax 接口参数复杂,包含加密密钥等,自行构造 Ajax 参数困难,此时使用 Selenium 是方便捷的抓取方法。Selenium 可在浏览器中运行,模拟用户真实浏览网页操作,能实现浏览器加载页面、搜索关键字和点击翻页等操作,即使是使用异步加载技术的网页,也可模拟翻页获取不同网页的数据 [^1][^2]。 以下是一个简单示例代码,用于使用 Python 结合 Selenium 爬取淘宝商品信息并实现翻页抓取: ```python from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import time # 初始化浏览器 driver = webdriver.Chrome() # 打开淘宝页面 driver.get('https://www.taobao.com') # 定位搜索框并输入关键词 search_box = driver.find_element(By.ID, 'q') search_box.send_keys('手机') search_box.send_keys(Keys.RETURN) # 等待页面加载 WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CSS_SELECTOR, 'div.items div.item.J_MouserOnverReq')) ) # 模拟翻页 for i in range(3): # 这里设置翻页次数,例如翻 3 页 # 等待商品信息加载 time.sleep(3) # 获取当前页面商品信息 items = driver.find_elements(By.CSS_SELECTOR, 'div.items div.item.J_MouserOnverReq') for item in items: try: title = item.find_element(By.CSS_SELECTOR, 'div.row.row-2.title').text price = item.find_element(By.CSS_SELECTOR, 'strong').text print(f'商品标题: {title}, 价格: {price}') except Exception as e: print(f"Error: {e}") # 点击下一页 try: next_button = WebDriverWait(driver, 10).until( EC.element_to_be_clickable((By.CSS_SELECTOR, 'li.next')) ) next_button.click() except Exception as e: print(f"翻页失败: {e}") # 关闭浏览器 driver.quit() ``` 上述代码实现了打开淘宝页面,搜索“手机”关键词,然后模拟翻页 3 次,每次翻页后获取商品的标题和价格信息并打印。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值