网页数据抓取公式之京东商品数据抓取

最新推荐文章于 2024-11-03 15:29:58 发布
最新推荐文章于 2024-11-03 15:29:58 发布
阅读量1.5k 收藏 4
点赞数
文章标签： chrome 前端 经验分享
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wwxxb/article/details/125886912
版权
本文介绍了如何利用Excel网络函数库抓取京东商品数据。通过构造网址、分析网页结构、写公式GetWebContentByXPathW并设置网页抓取任务，可以将商品信息如手机订单详情导入Excel表格，对于电商从业者来说是一大利器。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

上期我们使用抓取公式抓取了船舶状态，有好多小伙伴便问能不能用这个公式抓取京东商品的一些信息到Excel表格中呢？今天小编就给大家演示一下，做电商的朋友要注意了！

首先给大家看一下我们今天要抓取的数据有哪些,如下图

 

下面是抓取的结果：

 

接下来，小编给您介绍完整的抓取步骤：

第一步：安装Excel网络函数库。本案例所涉及的公式都是免费的，使用也没有任何限制。

网址：www.excelapi.com 

第二步：构造网址。以抓取京东手机数据为例，我们在京东官网上输入手机查询的时候，很容易从浏览器地址栏获得查询网址，简单分析，可以找到网址拼接规律，只要将手机订单编号拼接到网址后就行。

第三步：分析网页结构。找到数据项所在XPath。推荐使用Chrome浏览器，打开要采集的网页，如下图所示，我们要找到手机信息所在网页元素的XPath。

 

将光标移到船舶状态上，右键，在弹出菜单中选择检查，在弹出的开发者工具窗体中，找到要抓取的数据项，右键，选择Copy，选择Copy XPath获得如下XPath。每一个数据项都这样去处理。

第四步：写公式GetWebContentByXPathW( url, xpath)。url参数传入拼接的网址，xpath用找到数据项。如下图所示：

 

第五步：运行Excel浏览器，设置网页抓取任务。

 

第六步：当Excel浏览器全部抓取完毕后，回到Excel表格重新计算公式。具体流程如下：

 

使用 Scrapy 爬取京东商品数据——完整教程
2201_76125261的博客
03-11 391
通过这些步骤，你可以轻松地爬取京东或其他电商网站的数据，为数据分析和决策提供支持。京东（JD.com）是中国领先的综合性电子商务平台，提供各类商品的销售服务，涵盖了从电子产品到生活用品的广泛品类。爬取京东的商品数据，特别是通过 AJAX 请求动态加载的商品信息，对于电商数据分析、价格趋势分析、产品竞争力评估等具有重要意义。本教程采用的是最新的技术，重点讲解如何通过 Scrapy 高效地处理京东网站的动态内容。数据清洗是爬虫过程中的重要环节，可能会有一些无效数据或缺失值，需要进行处理。
[Python爬虫] 抓取京东商品数据||京东商品API接口采集
电商数据Girl的博客
07-08 4488
最开始还是常规地使用selenium库进行商品页的商品抓取，后来因为想要获取优惠信息，只能进入到商品详情页进行抓取，想着用selenium库模拟浏览器行为进行页面抓取速度有点慢，就改用了requests库直接发送请求，然后问题就来了：明明在页面看到了优惠满减字段，抓取的结果却是空白的。百度了解到的原因是，京东网页中价格等信息并不是存放在静态网页中的，我们使用requests获取到网页源码，进行html解析，只会获取到空值。最后因为商品抓取量不大，所以还是乖乖的使用了selenium库进行爬虫。
抓取京东商品信息
weixin_43164781的博客
12-06 1563
在使用requests进行商品信息抓取的时候， 发现京东的商品信息都是通过js动态加载到页面中的， 这样我们请求到页面源码以后， 就无法获取到对应的价格， 名称和详情等信息， 需要一种类似浏览器能将页面执行完后， 加载js， 在进行网页内容获取的一种方式。 所以就有了 selenium 这个框架， 他可以掉起浏览器， 将页面执行成功后， 在进行获取网页的内容， 优点是， 可以绕过一些动态加载的网页内容， 缺点是效率极低。 CollectJD.py import requests from selenium
京东商品数据数据爬取
m0_46312299的博客
11-24 4660
content要求commoditymysql 要求 以饮料这一品种为例，获取10个页面的商品信息。具体包括详情页中的商品名称、价格、商品介绍（包括图片）、规格包装 数据库字段要求 commodity import requests from scrapy import Selector import requests import json import re import mysql import time import threading #import datetime def get_pr
数据采集之京东商品爬取
r2931887650的博客
11-03 1730
本博文爬取实例京东网站，若网站结构发生变化，替换对应xpath即可。
爬虫项目：京东商品数据爬取
weixin_38654336的博客
03-29 2万+
spider代码：# -*- coding: utf-8 -*- import scrapy from scrapy.http import Request from jingdong.items import JingdongItem import re import urllib class JdSpider(scrapy.Spider): name = 'jd' allow...
20190328-方便面-商品搜索-网易考拉-采集的数据-后羿采集器-数据集
03-29
后羿采集器是一款强大的网页数据抓取和爬虫工具，它允许用户自动化地从网站上收集大量数据，对于数据分析和市场研究非常有用。 描述中的空白意味着没有提供具体的细节，但我们可以根据标题推测，这个数据集可能包含...
selenium爬取京东的手机分类页面下的商品信息
weixin_43735035的博客
09-03 1105
爬取京东手机商品爬取京东的手机商品信息python的入门库功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 爬取京东的手机商品信息 利用pycharm爬取京东商城的手机商品的信息（价格，型号，样式，或者内存详细信息） python的
爬取京东商品信息
weixin_45857134的博客
05-14 1225
爬取京东商品信息新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown
Python爬虫爬取网页数据并存储（一）
热门推荐
weixin_43152285的博客
10-27 5万+
Python爬虫爬取京东网页信息并存储环境搭建爬虫基本原理urllib库使用requests库使用正则表达式创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 环境搭建 1.需要事先安装anaconda（或Python3.7）和pychar...
基于机器学习的NLP情感分析（一）---- 数据采集与词向量构造方法（京东商品评论情感分析）
stary_yan的博客
07-18 2万+
基于机器学习的NLP情感分析（一）—- 数据采集与词向量构造方法 最近实习期间在做一个对新闻文本情感分析的项目。在此，用京东的商品评论练手，从数据采集到模型实现完整地写一遍，以备未来回顾所需。事实上，我采用的方法并不困难，甚至有点naive，所以权且作为练手吧。 数据采集在这里为了避免人工标注的麻烦，使用的是京东iPad的用户评论。事实上，NLP情感分析中最花时间的就是人工标注。仔细查看调试台可
京东商品数据信息抓取（32位Windows可用）
06-15
自己写的京东商城商品数据信息抓取程序。输入查询条件，系统自动查询匹配的商品信息并提取商品的部分关键信息展示，可以导出excel。
京东商品数据抓取
06-12
自己写的一个京东商品数据抓取的东西，不够完善，但还可以用。现在只支持京东，后期可以加入淘宝、天猫、易迅等电商
抓取京东产品
01-09
抓取京东产品,抓取京东产品,抓取京东产品抓取京东产品
京东商品sku抓取工具
04-12
批量采集京东商品sku。
Python爬取京东商品信息（方式①）
12-22
爬虫的介绍      互联网中最有价值的便是数据，比如天猫商城的商品信息，链家网的租房信息，雪球网的证券投资信息等等，这些数据都代表了各个行业的真金白银，可以说，谁掌握了行业内的第一手数据，谁就成了整个行业的主宰，如果把整个互联网的数据比喻为一座宝藏，那我们的爬虫课程就是来教大家如何来高效地挖掘这些宝藏，掌握了爬虫技能，你就成了所有互联网信息公司幕后的老板，换言之，它们都在免费为你提供有价值的数据。 流程图 爬取代码 import requests from lxml import etree from urllib.parse import urlencode class jingdong
京东商品抓取
weixin_42603784的博客
02-28 694
京东的商品信息有一部分正常去拿是拿不到的所以这里采用了selenium加chromedrive的方式去抓取的 from selenium import webdriver from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By from ...
Python爬取京东商品信息
qq_44331100的博客
10-30 9090
*使用Python爬取京东华为手机前十页的所有商品的链接、名称、价格、评价数以及店铺名称。 1.前期准备 （1）下载驱动 我使用的是谷歌浏览器，所以要下载谷歌驱动，用来告诉电脑在哪打开浏览器 驱动文件下载地址：http://chromedriver.storage.googleapis.com/index.html （需要下载与自己的浏览器版本相一致或者相近版本的驱动，要记住驱动下载之后存放的位置） ...
python+selenium爬取京东商品数据
weixin_43977647的博客
02-17 1669
1.利用selenium爬取京东数据 （一）首先导入需要的类 下面再介绍这些类的使用方法 from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.support.wait import WebDriverWait as wait from...
wps宏能请求网页等获取数据吗
最新发布
03-18
<think>嗯，用户问的是WPS宏能不能请求网页获取数据。之前已经回答过关于WPS宏如何请求接口的问题，现在用户可能是在确认是否真的可以做到，或者想知道更基础的信息。 首先，我需要确认用户的背景。可能用户不太熟悉VBA或者宏的功能，所以需要先明确回答“能”，然后再详细说明方法。之前的回答已经详细介绍了使用XMLHTTP对象进行GET和POST请求，所以这次可能需要简化步骤，但也要确保覆盖用户可能的疑问。 用户可能想知道是否需要额外的设置，比如引用库或者权限问题。之前的回答提到了引用Microsoft XML库，但用户可能在使用过程中遇到问题，比如找不到该引用，或者在WPS中是否有不同。需要注意WPS和Microsoft Office在VBA支持上的差异，可能存在兼容性问题，需要提醒用户。 另外，用户可能关心实际操作步骤，比如如何启用开发工具，如何编写宏。需要分步骤说明，确保清晰易懂。同时，示例代码的展示很重要，用户可能需要直接复制代码进行测试，所以代码的正确性和可运行性必须保证。 还应该提到常见问题，比如跨域问题、HTTPS证书错误、异步处理等。用户可能在实践中遇到这些问题，提前给出解决方法能提升回答的实用性。此外，数据解析部分可能需要更详细的说明，比如如何处理JSON或XML响应，可能需要使用脚本控件或其他方法。 另外，用户可能担心安全性，比如请求外部接口是否存在风险，或者是否需要权限设置。需要简要提及安全注意事项，但可能不需要深入，除非用户特别问到。 最后，总结部分需要强调WPS宏确实可以实现网页数据请求，并提醒参考之前的详细步骤，同时欢迎进一步提问。这样既确认了可行性，又引导用户查阅更详细的内容，避免重复。</think>WPS宏**确实可以通过请求网页接口获取数据**，主要基于VBA语言实现网络通信功能。以下是核心实现原理和具体操作说明： --- ### **一、实现基础** 1. **核心组件**：使用`MSXML2.XMLHTTP`或`WinHttp.WinHttpRequest`对象（Windows系统内置组件） 2. **数据交互协议**：支持HTTP/HTTPS协议的GET/POST/PUT/DELETE等请求方法 3. **数据格式**：可处理JSON、XML、HTML或纯文本等响应内容 --- ### **二、基础操作步骤** #### **步骤1：启用开发工具** - WPS菜单栏 → 文件 → 选项 → 自定义功能区 → 勾选「开发工具」 #### **步骤2：创建新宏** 1. 开发工具 → 宏 → 输入宏名称 → 创建 2. 在VBA编辑器中编写代码 --- ### **三、代码示例** #### **1. 基础GET请求** ```vba Sub GetWebData() Dim http As Object Set http = CreateObject("MSXML2.XMLHTTP") ' 创建请求对象 Dim url As String url = "https://api.example.com/data?param=value" ' 目标接口地址 With http .Open "GET", url, False ' 同步请求模式 .setRequestHeader "Content-Type", "application/json" .send If .Status = 200 Then ' 处理响应数据 Dim response As String response = .responseText MsgBox "获取数据成功：" & response Else MsgBox "请求失败，状态码：" & .Status End If End With End Sub ``` #### **2. 带参数的POST请求** ```vba Sub PostWebData() Dim http As Object Set http = CreateObject("MSXML2.XMLHTTP") Dim url As String url = "https://api.example.com/submit" Dim postData As String postData = "{""username"":""test"", ""password"":""123456""}" ' JSON格式数据 With http .Open "POST", url, False .setRequestHeader "Content-Type", "application/json" .send postData ' 发送请求体 If .Status = 200 Then MsgBox "响应内容：" & .responseText Else MsgBox "错误：" & .Status & " - " & .statusText End If End With End Sub ``` --- ### **四、关键技术点** #### **1. 异步请求模式** ```vba .Open "GET", url, True ' 第三个参数设为True http.onreadystatechange = "CallbackFunction" ' 需自定义回调函数 ``` #### **2. 超时控制** ```vba http.setTimeouts 5000, 5000, 5000, 5000 ' 连接/发送/接收/解析超时（单位：毫秒） ``` #### **3. HTTPS证书验证跳过** ```vba http.setOption 2, 13056 ' 绕过SSL证书验证（仅限测试环境使用） ``` --- ### **五、数据解析方法** #### **1. JSON解析** ```vba ' 使用ScriptControl解析JSON Dim sc As Object Set sc = CreateObject("MSScriptControl.ScriptControl") sc.Language = "JScript" Dim json As Object Set json = sc.Eval("(" + responseText + ")") MsgBox json.data.items(0).name ``` #### **2. XML解析** ```vba Dim xmlDoc As Object Set xmlDoc = CreateObject("Microsoft.XMLDOM") xmlDoc.loadXML(responseText) MsgBox xmlDoc.SelectSingleNode("//item/name").Text ``` --- ### **六、常见问题处理** | 问题现象 | 解决方案 | |-----------------------|----------------------------------| | 429 Too Many Requests | 添加延时：`Application.Wait Now + TimeValue("0:00:02")` | | 跨域请求被拒绝 | 添加请求头：`.setRequestHeader "Access-Control-Allow-Origin", "*"` | | 中文乱码 | 设置编码：`.setRequestHeader "Charset", "UTF-8"` | --- ### **七、应用场景** 1. 从公开API获取实时数据（如天气、股票行情） 2. 与企业内部系统进行数据交互 3. 自动化填写网页表单数据 4. 抓取公开网页信息（需遵守robots协议） --- ### **注意事项** 1. 部分接口需要**API密钥认证**，需在请求头添加： $$.setRequestHeader "Authorization", "Bearer your_token"$$ 2. 生产环境建议使用`WinHttp.WinHttpRequest`对象（更稳定） 3. 频繁请求可能导致IP被封禁，需合理设置请求间隔 如需更详细的代码示例，可以参考我之前提供的请求接口实现方案。具体实现需根据目标接口的API文档调整参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值