【爬虫实战】03使用Selenium爬取淘宝商品数据

于 2024-12-07 23:38:10 发布
阅读量1.2k 收藏 12
点赞数 6
文章标签： 爬虫 selenium python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_74824823/article/details/144319108
版权
Selenium 的使用

Selenium 是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作，同时还可以获取浏览器当前呈现的页面的源代码，做到可见即可爬。对于一些 JavaScript 动态渲染的页面来说，此种抓取方式非常有效。

基本使用
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
import time
browser = webdriver.Edge(executable_path="msedgedriver.exe")
try:
    browser.get('https://www.baidu.com')
    input = browser.find_element_by_id('kw')
    input.send_keys('Python')
    input.send_keys(Keys.ENTER)
    wait = WebDriverWait(browser, 10)
    wait.until(EC.presence_of_element_located((By.ID, 'content_left')))
    print(browser.current_url)
    print(browser.get_cookies())
    print(browser.page_source)
    time.sleep(10)
finally:
    browser.close()

运行代码后发现，会自动弹出一个 Edge浏览器。浏览器首先会跳转到百度，然后在搜索框中输入 Python，接着跳转到搜索结果页

image-20240808205013906

此时在控制台的输出结果如下：

https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=Python&fenlei=256&rsv_pq=0xdbcfb43a003429a9&rsv_t=31cbuoEEKDf8sZW7evt6cGLKtK65yWOTbPzgAwIh%2B4V547pTsNBewlyZicS%2F&rqlang=en&rsv_enter=1&rsv_dl=tb&rsv_sug3=6&rsv_sug2=0&rsv_btype=i&inputT=54&rsv_sug4=54

源代码过长，在此省略。可以看到，我们得到的当前 URL、Cookies 和源代码都是浏览器中的真实内容。

所以说，如果用 Selenium 来驱动浏览器加载网页的话，就可以直接拿到 JavaScript 渲染的结果了，不用担心使用的是什么加密系统。

Selenium 元素定位

Selenium有许多方法对页面的元素进行定位，你可以根据自己的需要选择最合适的一种。Selenium提供了下面的方法进行元素定位：

find_element_by_id

find_element_by_name

find_element_by_xpath

find_element_by_link_text

find_element_by_partial_link_text

find_element_by_tag_name

find_element_by_class_name

find_element_by_css_selector

寻找多个元素（下列方法会返回一个list，其余使用方式相同）：

find_elements_by_name

find_elements_by_xpath

find_elements_by_link_text

find_elements_by_partial_link_text

find_elements_by_tag_name

find_elements_by_class_name*

find_elements_by_css_selector

除了上面这些公有的方法，我们还有2个私有的方法来帮助页页面对象的定位。这两个方法就是find_element和find_elements:

from selenium.webdriver.common.by import By

driver.find_element(By.XPATH,'//button[text()="Some Text"]')
driver.find_elements(By.XPATH,'//button')

By类的可用属性如下：

ID

“id”

XPATH

“xpath”

LINK_TEXT

“link text”

PARTIAL_LINK_TEXT

“partial link text”

NAME

“name”

TAG_NAME

“tag_name”

CLASS_NAME

“class name”

CSS_SELECTOR

“css selector”

实战使用Selenium爬取淘宝数据

导入要使用的库

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from urllib.parse import quote
from lxml import etree
import pandas as pd

访问淘宝商品搜索页面

url=f"https://uland.taobao.com/sem/tbsearch"
browser = webdriver.Edge(executable_path="msedgedriver.exe")
wait = WebDriverWait(browser, 10)
browser.get(url)
print(browser.page_source)

等待片刻会看到打开了selenium自动控制，并且跳转到taobao的url上面

image-20240808205211230

我们不要关闭打开的浏览器继续进行操作，使用代码在搜索框中输入我们想搜索的内容

keyword="笔记本"
input = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="q"]')))
input.send_keys(keyword)

image-20240808205333697

工具成功进行输入，接下来我们控制点击搜索按钮

sousu_btn=browser.find_element(By.CLASS_NAME,'btn-search')
sousu_btn.click()

浏览器成功进行搜索

image-20240808205431789

为了模拟人为进行操作，我们需要控制滚动条的移动，我们使用selenium执行js脚本的方法，来控制滚动条。

browser.execute_script("window.scrollTo(0, 6500)")

其中window.scrollTo(0, 6500)，0表示横坐标，6500表示纵坐标。

我们控制滚动条不断下移，然后界面自然会加载出对应的商品内容。现在我们只需要获得商品的信息就大功告成了。

在这里，我们使用上个教程所涉及到的lxml来分析网页

etree_html = etree.HTML(browser.page_source) 
imgs=etree_html.xpath('//*[@id="pageContent"]/div[1]/div[2]/div[1]/div/div/a/div/div[1]/div[1]/img/@src')
title=etree_html.xpath('//*[@id="pageContent"]/div[1]/div[2]/div[1]/div/div/a/div/div[1]/div[2]/div/span/text()')
priceInt=etree_html.xpath('//*[@id="pageContent"]/div[1]/div[2]/div[1]/div/div/a/div/div[1]/div[4]/div[1]/span[1]/text()')
priceFloat=etree_html.xpath('//*[@id="pageContent"]/div[1]/div[2]/div[1]/div/div/a/div/div[1]/div[4]/div[1]/span[2]/text()')
place1=etree_html.xpath('//*[@id="pageContent"]/div[1]/div[2]/div[1]/div/div/a/div/div[1]/div[4]/div[2]/span/text()')
place2=etree_html.xpath('//*[@id="pageContent"]/div[1]/div[2]/div[1]/div/div/a/div/div[1]/div[4]/div[3]/span/text()')
storename=etree_html.xpath('//*[@id="pageContent"]/div[1]/div[2]/div[1]/div/div/a/div/div[3]/div/a/text()')
storename

使用xpath路径来获取商品相关的内容

最后一步我们点击下一页来进行翻页

next_page=browser.find_element(By.XPATH,'//*[@id="pageContent"]/div[1]/div[2]/div[2]/div[1]/div/button[2]')
next_page.click()

将上述分析整理为函数

import time
def craw_keyword(keyword,page_num):
    # 获取page_num页的keyword物品信息
    input = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="q"]')))
    input.send_keys(keyword)
    sousu_btn=browser.find_element(By.CLASS_NAME,'btn-search')
    sousu_btn.click()
    time.sleep(2)
    flag=True
    count=0
    imgs=[]
    titles=[]
    priceInts=[]
    priceFloats=[]
    place1s=[]
    place2s=[]
    storenames=[]
    while flag:
    # 模拟人进行浏览
        for i in range(1,8):
            browser.execute_script(f'window.scrollTo(0,{i*1000-500})')
            time.sleep(0.5)
        etree_html = etree.HTML(browser.page_source) 
        # 获取信息
        img=etree_html.xpath('//*[@id="pageContent"]/div[1]/div[2]/div[1]/div/div/a/div/div[1]/div[1]/img/@src')
        title=etree_html.xpath('//*[@id="pageContent"]/div[1]/div[2]/div[1]/div/div/a/div/div[1]/div[2]/div/span/text()')
        priceInt=etree_html.xpath('//*[@id="pageContent"]/div[1]/div[2]/div[1]/div/div/a/div/div[1]/div[4]/div[1]/span[1]/text()')
        priceFloat=etree_html.xpath('//*[@id="pageContent"]/div[1]/div[2]/div[1]/div/div/a/div/div[1]/div[4]/div[1]/span[2]/text()')
        place1=etree_html.xpath('//*[@id="pageContent"]/div[1]/div[2]/div[1]/div/div/a/div/div[1]/div[4]/div[2]/span/text()')
        place2=etree_html.xpath('//*[@id="pageContent"]/div[1]/div[2]/div[1]/div/div/a/div/div[1]/div[4]/div[3]/span/text()')
        storename=etree_html.xpath('//*[@id="pageContent"]/div[1]/div[2]/div[1]/div/div/a/div/div[3]/div/a/text()')
        imgs.extend(img)
        titles.extend(title)
        priceInts.extend(priceInt)
        priceFloats.extend(priceFloat)
        place1s.extend(place1)
        place2s.extend(place2)
        storenames.extend(storename)
        # 点击下一页
        next_page=browser.find_element(By.XPATH,'//*[@id="pageContent"]/div[1]/div[2]/div[2]/div[1]/div/button[2]')
        next_page.click()
        time.sleep(5)
        count+=1
        if count>=page_num:
            flag=False
            break
    return  imgs,titles,priceInts,priceFloats,place1s,place2s,storenames

获取信息并进行保存

keyword="笔记本电脑" # 关键词
pages=5 # 获取几页的数据
imgs,titles,priceInts,priceFloats,place1s,place2s,storenames=craw_keyword(keyword,pages)
data=pd.DataFrame({"img_url":imgs,
                   "titles":titles,
                   "preceInt":priceInts,
                   "priceFloats":priceFloats,
                   "place1s":place1s,
                   "storenames":storenames,
                   })
data.to_csv('taobao.csv',index=False,encoding='utf-8')
data

image-20240808210050445

创作不易，请关注GZH【】，发送【爬虫】获取代码及数据。欢迎关注，共同探讨，共同进步！

本代码仅供编程科普教学、科研学术等非盈利用途。

请遵守国家相关法律法规和互联网数据使用规定。

请勿用于商业用途，请勿高频长时间访问服务器，请勿用于网络攻击，请勿恶意窃取信息，请勿用于作恶。

任何后果与作者无关。

m0_74824823
关注
基于Selenium的淘宝商品详情页爬取教程
2201_76125261的博客
03-15 902
通过使用 Selenium，可以绕过淘宝的动态加载和反爬虫策略，成功获取商品详情页数据。本次实战涉及到自动登录、动态加载、数据解析、数据存储等核心技术，完整流程涵盖了数据爬取的各个环节。✅ 完整代码已提供✅ 全面分析了反爬虫机制及优化策略✅ 数据已保存至 CSV 格式。
Python 爬虫实战：使用 Selenium 爬取淘宝商品数据（支持模拟登录和动态加载）
最新发布
2201_76125261的博客
03-09 1263
淘宝是中国最大的电商平台，拥有海量的商品信息和用户数据。由于淘宝页面是通过 JavaScript 渲染的，静态爬虫工具（如。淘宝的反爬机制较为严格，因此需要进行适当的人机模拟和防封策略（如设置延迟、修改请求头等）。设置浏览器的基本配置，模拟真实浏览器环境，使用无头模式（可选）。模拟浏览器行为，可以实现对淘宝动态加载数据的完整爬取。✅ 解析商品标题、价格、销量、商家信息等。模拟登录淘宝，手动输入验证码（必要时）。将商品数据存储为 CSV 文件。✅ 设置合理的请求间隔（使用。✅ 遇到验证码，设置手动处理。
利用selenium爬取淘宝商品
coolcooljob的博客
05-20 4069
        目标：利用selenium抓取淘宝商品并利用pyquery解析得到的商品名称，图片，价格，购买人数，店铺名称和店铺所在地信息，并将其保存在mongodb。1.打开淘宝首页，搜索你要搜索的商品名称，比如我这里搜索ipad,注意观察此时的url有什么变化(附上链接https://s.taobao.com/search?q=ipad）)，仔细观察便可以看到不同，然后查看网页源代码，找到商...
Selenium实战-模拟登录淘宝并爬取商品信息
学而思(xiejava的blog)
02-26 9477
现在很多网站要获取数据都得要先登录。Selenium是一个用于Web应用程序测试的自动化工具。它直接运行在浏览器中，模拟真实用户的操作。本文介绍如何通过Selenium来登录淘宝并自动爬取商品信息。
使用selenium抓取淘宝商品数据
Kaaaakaki的博客
10-18 607
# #使用selenium抓取淘宝商品数据 # # 通过传入关键词 得到要找的关键词商品的网页 # # 解析网页中的商品数据 # # 将解析后的数据保存到mongodb from selenium import webdriver from selenium.common.exceptions import TimeoutException from selenium.webdriver.common.by import By from selenium.webdriver.support import
使用Selenium爬取淘宝商品（绕过登录页面）
降温的博客
04-08 8815
文章目录1.准备工作2.接口分析3.页面分析4.获取商品列表5.解析商品列表6.保存到MongoDB7.遍历每页8.异常处理（绕过登录反爬机制）方法一：修改ChromeDriver.exe方法二：将用户信息的配置文件在代码中加载9.运行参考文献 在之前的文章中，我们成功尝试分析Ajax来抓取页面相关数据，但是并不是所有的页面都可以通过分析Ajax来完成抓取。比如，淘宝，它的整个页面数据构造也是用过Ajax获取的，但是这些Ajax接口参数比较复杂，可能会包含加密密钥等，所以如果想自己构造Ajax参数，还是比较
使用selenium爬取淘宝商品信息
qq_42213727的博客
07-06 816
使用selenium爬取淘宝商品信息，先进入淘宝主页，在搜索那里自动输入apple，自动跳转到有关apple的页面，然后爬取信息。跳转到第二页，要先进行句柄操作，否则爬取的信息还是第一页的。from selenium import webdriver from selenium.webdriver.common.desired_capabilities import DesiredCapabili...
通过Selenium自动爬取淘宝商品信息
2301_79478575的博客
08-13 1105
next_page_btn = wait.until(EC.element_to_be_clickable((By.XPATH, '//button/span[contains(text(),"下一页")]')))next_page_btn = wait.until(EC.element_to_be_clickable((By.XPATH, '//button/span[contains(text(),"下一页")]')))print('已经登录')"""提取商品数据""""""提取商品数据"""
[Python3网络爬虫开发实战] --使用Selenium爬取淘宝商品
u012922806的博客
06-13 1130
利用Selenium抓取淘宝商品并用pyquery解析得到商品的图片、名称、价格、购买人数、店铺名称和店铺所在地信息，并将其保存到MongoDB。 1. 准备工作 确保已经正确安装好Chrome浏览器并配置好了ChromeDriver；另外，还需要正确安装Python的Selenium库；最后，还对接了PhantomJS和Firefox，请确保安装好PhantomJS和Firefox并配置好了Ge...
python+selenium爬取淘宝商品信息+淘宝自动登录——爬虫实战
DAIBISON的博客
03-05 3012
1.前言 继续学习爬虫内容，这回是以selenium模拟操作进行抓取，其中有几个需要登陆的注意事项。 2.自动登陆+查找页面 由于现在淘宝的反爬机制，需要登陆才好下一步操作。在搜索输入后页面会调入登陆界面，经过测试发现微博登陆是不需要验证码的，如果使用账号密码登陆是要滑动，但反爬更加严格，笔者暂时没有解决。也尝试过加cookie，也失败了。因此最好的方法还是利用微博账号自动登录。 登录后获取总页数...
（廿八）Python爬虫：使用Selenium爬取淘宝商品信息-附件资源
03-02
（廿八）Python爬虫：使用Selenium爬取淘宝商品信息-附件资源
Python+Selenium实战——爬取淘宝商品信息
qq_42898642的博客
05-16 4054
本文介绍了Selenium的相关基础操作以及如何利用Selenium爬取淘宝商品数据
Selenium 爬取淘宝数据
浅汐
10-08 883
1、项目流程 2、中心调度 # 中心调度 def main(): try: total = search() total = int(re.compile('.*?(\d+).*?').search(total).group(1)) for i in range(2,total+1): next_page(i) except Exceptio
Selenium爬取淘宝数据
wwxxee
12-30 857
使用Selenium抓取淘宝数据 淘宝的反扒措施太严格了。搞了半天没破解，最后使用使用所见即可爬的Selenium。 在正常浏览器打开淘宝在console面板输入window.navigator.webdriver，返回的时undefined,使用selenium驱动的浏览器同样的操作，返回的是True。可能是淘宝的反扒措施之一。 尝试了淘宝的登录页面，但是没有获取到“密码登录”的接口。 所以直...
[爬虫笔记04] Selenium爬取淘宝商品
wong_faye的博客
04-26 1712
1.爬取分析 打开淘宝网首页，我们需要在搜索框输入商品名称，然后点击搜索按钮提交。 打开浏览器开发者工具，找到输入框和提交按钮。输入框的id为 q，提交按钮我们使用css选择器，路径为 #J_TSearchForm > div.search-button > button。 在搜索框输入“美食”，点击搜索按钮，就会跳到商品目录界面。 我们需要获取商品的总页数。 使用css选择器...
利用selenium爬取淘宝商品信息
qq_36035111的博客
02-29 1230
在淘宝上买东西的时候常常要比较商品的价格，付款的人数等等，若如一个个查看是十分费时的。所以这次就利用爬虫爬取淘宝商品的信息。 首先介绍下selenium，selenium本是用于web自动化的工具。但是其在浏览器上直接运行，就像真正的用户在操作一样。所以也常常用于爬虫。selenium课可直接寻找到web页面中的元素，如页码输入框，确认按钮等等，并且可以对这些元素进行操作，比如点击，清除。 搜...
爬虫百战（5）——使用自动化工具selenium爬取淘宝数据
shy-2的博客
05-09 916
在此声明：本次爬虫数据仅作为学术探讨，不用于商业。如有侵权，联系立删！！！ 使用自动化工具selenium爬取淘宝数据准备工作爬虫所需的库和浏览器驱动网页分析工作网页分析代码实操效果展示 准备工作 爬虫所需的库和浏览器驱动 本次爬虫所需要的库 selenium #可使用pip命令安装 pip install selenium csv re time 安装浏览器驱动 以谷歌浏览器为例，在浏览器地址栏中输入chrome://version/查看浏览器版本 谷歌的驱动：chromedrive.
Selenium爬取亚马逊商品数据
04-25
Selenium是一个用于自动化浏览器操作的工具，可以模拟用户在浏览器中的行为。通过使用Selenium，我们可以编写代码来模拟用户在亚马逊网站上搜索商品、点击链接、获取商品信息等操作，从而实现爬取亚马逊商品数据的功能。 以下是使用Selenium爬取亚马逊商品数据的一般步骤： 1. 安装Selenium库：首先需要安装Selenium库，可以使用pip命令进行安装。 2. 下载浏览器驱动：Selenium需要与具体的浏览器驱动配合使用，例如Chrome浏览器需要下载ChromeDriver。根据你使用的浏览器类型和版本，下载对应的浏览器驱动，并将其配置到系统环境变量中。 3. 导入Selenium库：在Python代码中导入Selenium库。 4. 创建浏览器对象：使用Selenium提供的WebDriver类创建一个浏览器对象，例如Chrome浏览器对象。 5. 打开亚马逊网站：使用浏览器对象的get()方法打开亚马逊网站。 6. 搜索商品：通过定位亚马逊网站搜索框的方式，输入要搜索的商品关键字，并提交搜索。 7. 获取商品信息：通过定位商品信息元素的方式，获取商品的名称、价格、评分等信息。 8. 翻页操作：如果需要爬取多页的商品数据，可以通过定位翻页按钮的方式，模拟点击翻页操作。 9. 数据存储：将获取到的商品数据进行处理，并存储到文件或数据库中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值