item_search_shop - 获得店铺的所有商品

item_search_shop - 获得店铺的所有商品

返回值说明会:
在这里插入图片描述

在这里插入图片描述
Result Object:

{
“user”: {
“bulletin”: “”,
“cid”: 14,
“created”: “2010-10-14 13:47:28”,
“desc”: “<p style=“margin:0cm 0cm 0pt;text-indent:25.5pt”><span style=“letter-spacing:0.4pt;font-family:宋体;font-size:14pt”><span style=“color:rgb(31, 58, 135);font-family:宋体;font-size:14pt”>

<p style=“margin:0cm 0cm 0pt”><font color=”#000000" face=“宋体” size=“3”><span style=“letter-spacing:0.533333px;line-height:20.8696px”>长袖 衬衫  格子 加绒  加厚 保暖",
“modified”: “2019-03-28 10:47:04”,
“nick”: “kowa2010”,
“pic_path”: “/a8/d4/T1H.BJFjVgXXb1upjX.jpg”,
“shop_score”: {
“delivery_score”: “4.7”,
“item_score”: “4.7”,
“service_score”: “4.7”
},
“sid”: 63080792,
“title”: “俏天使上品服饰”,
“zhuy”: “ http://shop63080792.taobao.com/”,
“shop_type”: “C”,
“user_num_id”: “555172250”,
“menu”: [
{
“id”: “1402276857”,
“name”: “2018新款”
}
]
},
“items”: {
“item”: [
{
“num_iid”: 557992924741,
“pic_url”: “ //img.alicdn.com/bao/uploaded/i1/555172250/TB21fwnibSYBuNjSspiXXXNzpXa_!!555172250.jpg”,
“title”: “2019春秋装新款纯棉磨毛格子衬衫女长袖韩版修身打底衬衣上衣外套”,
“promotion_price”: “35.00”,
“price”: “35.00”,
“volume”: 0,
“sales”: “51”
},
{
“num_iid”: 558082685659,
“pic_url”: “ //img.alicdn.com/bao/uploaded/i2/555172250/TB2OiX2djoIL1JjSZFyXXbFBpXa_!!555172250.jpg”,
“title”: “2019春秋装新款修身显瘦长袖女衬衫韩版纯棉磨毛格子衬衣上衣外套”,
“promotion_price”: “35.00”,
“price”: “35.00”,
“volume”: 0,
“sales”: “0”
},
{
“num_iid”: 558135773737,
“pic_url”: “ //img.alicdn.com/bao/uploaded/i4/555172250/TB2wCVdb8USMeJjSszeXXcKgpXa_!!555172250.jpg”,
“title”: “2019秋冬新款中长款加绒加厚格子衬衫女衬衣宽松显瘦大码保暖外套”,
“promotion_price”: “49.00”,
“price”: “49.00”,
“volume”: 0,
“sales”: “0”
},
{
“num_iid”: 565208015735,
“pic_url”: “ //img.alicdn.com/bao/uploaded/i4/555172250/TB2mjUUa8USMeJjy1zjXXc0dXXa_!!555172250.jpg”,
“title”: “2019春秋新款纯棉格子衬衫女长袖韩版修身大码学生衬衣打底衫外套”,
“promotion_price”: “35.00”,
“price”: “35.00”,
“volume”: 0,
“sales”: “9”
},
{
“num_iid”: 565517759251,
“pic_url”: “ //img.alicdn.com/bao/uploaded/i2/555172250/TB2.aiDb_tYBeNjy1XdXXXXyVXa_!!555172250.jpg”,
“title”: “春秋装新款中长款纯棉磨毛格子衬衫女长袖韩版修身大码女衬衣外套”,
“promotion_price”: “39.00”,
“price”: “39.00”,
“volume”: 0,
“sales”: “0”
},
{
“num_iid”: 577201452982,
“pic_url”: “ //img.alicdn.com/bao/uploaded/i1/555172250/O1CN011SUXbdq3ScSuQUN_!!555172250.jpg”,
“title”: “秋冬新款加绒加厚格子衬衫女长袖纯棉韩范中长款保暖衬衣大码外套”,
“promotion_price”: “49.00”,
“price”: “49.00”,
“volume”: 0,
“sales”: “0”
},
{
“num_iid”: 577208668846,
“pic_url”: “ //img.alicdn.com/bao/uploaded/i2/555172250/O1CN011SUXbeWf4feyj5S_!!555172250.jpg”,
“title”: “冬装新款纯棉加绒格子衬衫女长袖韩范修身加厚保暖衬衣宽松女外套”,
“promotion_price”: “48.00”,
“price”: “48.00”,
“volume”: 0,
“sales”: “0”
},
{
“num_iid”: 577274256831,
“pic_url”: “ //img.alicdn.com/bao/uploaded/i4/555172250/O1CN011SUXbfxeO3bc8DO_!!555172250.jpg”,
“title”: “加绒衬衫女长袖保暖加厚格子衬衣秋冬新款韩范宽松打底衫大码外套”,
“promotion_price”: “48.00”,
“price”: “48.00”,
“volume”: 0,
“sales”: “0”
},
{
“num_iid”: 577371725585,
“pic_url”: “ //img.alicdn.com/bao/uploaded/i3/555172250/O1CN011SUXbdujTiIIJbj_!!555172250.jpg”,
“title”: “纯棉磨毛长袖女士格子衬衫春秋新款韩版显瘦衬衣修身打底衫外套”,
“promotion_price”: “35.00”,
“price”: “35.00”,
“volume”: 0,
“sales”: “1”
},
{
“num_iid”: 577426938240,
“pic_url”: “ //img.alicdn.com/bao/uploaded/i1/555172250/O1CN011SUXbcG4vXeFn9i_!!555172250.jpg”,
“title”: “2019秋冬装新款格子加绒衬衫女长袖保暖加厚纯棉衬衣韩版修身外套”,
“promotion_price”: “48.00”,
“price”: “48.00”,
“volume”: 0,
“sales”: “0”
},
{
“num_iid”: 577561252240,
“pic_url”: “ //img.alicdn.com/bao/uploaded/i3/555172250/O1CN011SUXbkAiTgWvfnq_!!555172250.jpg”,
“title”: “2019秋冬新款格子加绒保暖衬衫女长袖加厚韩版修身衬衣大码上衣”,
“promotion_price”: “48.00”,
“price”: “48.00”,
“volume”: 0,
“sales”: “0”
},
{
“num_iid”: 577631538359,
“pic_url”: “ //img.alicdn.com/bao/uploaded/i3/555172250/O1CN011SUXbgosJ3TvvFh_!!555172250.jpg”,
“title”: “冬装加绒衬衫女长袖加厚保暖格子衬衣韩版修身打底衫大码女装外套”,
“promotion_price”: “48.00”,
“price”: “48.00”,
“volume”: 0,
“sales”: “0”
},
{
“num_iid”: 577635856094,
“pic_url”: “ //img.alicdn.com/bao/uploaded/i2/555172250/O1CN011SUXbkKK3M4hVN8_!!555172250.jpg”,
“title”: “格子衬衫女长袖韩范修身2019春秋新款纯棉磨毛衬衣女打底衫薄外套”,
“promotion_price”: “35.00”,
“price”: “35.00”,
“volume”: 0,
“sales”: “8”
},
{
“num_iid”: 577645837866,
“pic_url”: “ //img.alicdn.com/bao/uploaded/i4/555172250/O1CN011SUXbfsCqOMnITR_!!555172250.jpg”,
“title”: “2019春秋装韩版纯棉磨毛格子衬衫女长袖修身衬衣打底衫学生薄外套”,
“promotion_price”: “35.00”,
“price”: “35.00”,
“volume”: 0,
“sales”: “1”
},
{
“num_iid”: 577649233838,
“pic_url”: “ //img.alicdn.com/bao/uploaded/i1/555172250/O1CN011SUXbiDoi0PunW3_!!555172250.jpg”,
“title”: “秋冬纯棉格子保暖衬衫女长袖加绒加厚韩范修身打底衫大码女装衬衣”,
“promotion_price”: “48.00”,
“price”: “48.00”,
“volume”: 0,
“sales”: “0”
},
{
“num_iid”: 577730121817,
“pic_url”: “ //img.alicdn.com/bao/uploaded/i3/555172250/O1CN011SUXbj4oPATZLf5_!!555172250.jpg”,
“title”: “2019秋冬新款格子加绒保暖衬衫女长袖中长款韩版修身衬衣大码外套”,
“promotion_price”: “49.00”,
“price”: “49.00”,
“volume”: 0,
“sales”: “0”
},
{
“num_iid”: 577818327867,
“pic_url”: “ //img.alicdn.com/bao/uploaded/i4/555172250/O1CN011SUXbgiuyS8mPq4_!!555172250.jpg”,
“title”: “2019冬装新款中长款保暖衬衫女长袖格子衬衣加绒加厚大码女装外套”,
“promotion_price”: “49.00”,
“price”: “49.00”,
“volume”: 0,
“sales”: “0”
},
{
“num_iid”: 577841664862,
“pic_url”: “ //img.alicdn.com/bao/uploaded/i3/555172250/O1CN011SUXboOk7SN89Rt_!!555172250.jpg”,
“title”: “秋冬新款弹力加绒加厚长袖格子女衬衫宽松一体绒保暖衬衣大码外套”,
“promotion_price”: “39.00”,
“price”: “39.00”,
“volume”: 0,
“sales”: “0”
},
{
“num_iid”: 578047851304,
“pic_url”: “ //img.alicdn.com/bao/uploaded/i3/555172250/O1CN011SUXbl9bZnenKYK_!!555172250.jpg”,
“title”: “2019春秋新款格子衬衫女长袖中长款纯棉磨毛韩范女衬衣大码打底衫”,
“promotion_price”: “39.00”,
“price”: “39.00”,
“volume”: 0,
“sales”: “0”
},
{
“num_iid”: 592527856322,
“pic_url”: “ //img.alicdn.com/bao/uploaded/i2/555172250/O1CN01IV0anL1SUXfUez68B_!!555172250.jpg”,
“title”: “格子衬衫女短袖2019夏装新款韩版修身显瘦大码女衬衣宽松女装上衣”,
“promotion_price”: “35.00”,
“price”: “35.00”,
“volume”: 0,
“sales”: “0”
},
{
“num_iid”: 593171159393,
“pic_url”: “ //img.alicdn.com/bao/uploaded/i3/555172250/O1CN01Dnfxwy1SUXfY0wfzP_!!555172250.jpg”,
“title”: “2019夏装韩版格子衬衫女短袖纯棉修身衬衣大码显瘦宽松学生上衣”,
“promotion_price”: “35.00”,
“price”: “35.00”,
“volume”: 0,
“sales”: “0”
}
],
“total_results”: “21”,
“page_size”: 40,
“pagecount”: null,
“page”: “1”,
帮我把启用GPU加速和核心反检测配置,加到下面代码里from DrissionPage import ChromiumPage import time from datetime import datetime import pymysql # -------------------- 数据库配置 -------------------- DB_CONFIG = { 'host': 'localhost', 'user': 'root', 'password': '201515abc', 'database': 'jd', 'port': 3306, 'charset': 'utf8mb4' } # -------------------- 初始化浏览器 -------------------- page = ChromiumPage() # 检测验证码函数 def check_captcha(): # 这里假设验证码页面会有特定的元素,如“快速验证”按钮 captcha_element = page.ele('text=快速验证', timeout=1) if captcha_element: print("检测到验证码,请手动完成验证后按回车键继续...") input() # -------------------- 用户输入与页面加载 -------------------- keyword = input("请输入商品名称:") base_url = f'https://search.jd.com/Search?keyword={keyword}&stock=1&click=0' page.get(base_url) time.sleep(1) check_captcha() # -------------------- 获取总页数 -------------------- click_count = 1 # 默认1页 try: total_pages_element = page.ele('xpath=//*[@id="J_topPage"]/span/i') click_count = int(total_pages_element.text) except Exception as e: print(f"获取总页数失败,使用默认值: {e}") # -------------------- 数据爬取 -------------------- all_item_data = [] for _ in range(click_count): # 滚动页面确保元素加载 page.scroll.to_bottom() time.sleep(3) # 固定等待时间 # 提取商品数据 for div in page.eles('.:gl-item'): item_data = { 'SKU': div.attr('data-sku') or '未获取', '店铺名': div.ele('css:.curr-shop').text if div.ele('css:.curr-shop', timeout=0.1) else '无店铺', '类目ID': div.ele('css:.p-img div[data-catid]').attr('data-catid') if div.ele( 'css:.p-img div[data-catid]', timeout=0.1) else '未获取' } all_item_data.append(item_data) # 点击下一页 if _ < click_count - 1: try: next_btn = page.ele('xpath=//a[@class="pn-next"]', timeout=5) next_btn.click() time.sleep(3) check_captcha() # 点击下一页后添加验证码检测 except Exception as e: print(f"翻页失败: {e}") break # --------
最新发布
03-23
<think>好的,我现在需要帮助用户修改DrissionPage的ChromiumPage的初始化配置,以启用GPU加速和规避内核检测。首先,我得了解DrissionPage的基本用法,它可能类似于Selenium,通过启动浏览器实例并设置选项来控制浏览器的行为。用户提到两个需求:启用GPU加速和核心反检测,也就是防止被网站识别出自动化工具。 首先,启用GPU加速通常涉及到浏览器的启动参数。在Chromium或Chrome浏览器中,可以通过命令行参数来控制硬件加速的启用或禁用。例如,默认情况下,如果检测到足够的硬件支持,浏览器会自动启用GPU加速,但有时候可能需要手动强制启用,尤其是在自动化测试中可能因为某些配置导致加速被禁用。常用的参数包括`--enable-gpu-rasterization`、`--ignore-gpu-blocklist`和`--enable-zero-copy`。此外,可能需要禁用一些沙箱功能,比如`--no-sandbox`,但需要注意安全风险。不过,用户的需求是启用,所以可能不需要这个参数,但有时候在自动化环境中可能需要添加。 接下来是规避内核检测。常见的反检测方法包括修改navigator.webdriver属性,禁用自动化扩展如`--disable-blink-features=AutomationControlled`,以及禁用用户代理中的Headless模式特征。此外,用户代理字符串可能需要被覆盖,以防止被识别为自动化浏览器。另外,像`enable-automation`和`use-magic`这样的开关也需要禁用。 现在,我需要将这些参数整合到DrissionPage的ChromiumPage初始化中。根据DrissionPage的文档,初始化时可以传递配置选项,比如通过`ChromiumOptions`来设置启动参数。例如,可能需要使用`options.add_argument()`方法来添加各个命令行参数。 然后,关于反检测的JavaScript执行。可能需要通过执行脚本来修改浏览器环境变量,比如将`navigator.webdriver`设置为undefined或者false。在初始化浏览器后,可以通过`page.run_js()`或者类似的方法来执行这些脚本。 同时,用户提到的引用中有关于GPU加速的配置,比如引用[4]中的TensorFlow设置内存增长,但这里可能需要的是直接通过浏览器参数启用GPU加速。引用[3]提到的GPU命令执行上下文可能和底层驱动有关,但用户的问题更偏向应用层配置。 现在,综合这些信息,我需要构造一个示例代码,展示如何在初始化ChromiumPage时添加这些参数和配置。可能需要设置多个启动参数,如`--enable-gpu-rasterization`,`--ignore-gpu-blocklist`,`--disable-blink-features=AutomationControlled`,`--disable-web-security`等。同时,在页面加载后执行JavaScript来修改webdriver属性。 需要注意的是,某些参数可能会影响浏览器的安全性或功能,比如禁用同源策略,因此用户需要了解潜在的风险。另外,不同版本的Chromium可能对这些参数的支持有所不同,可能需要根据实际情况调整。 最后,验证这些配置是否有效。例如,检查浏览器是否启用了GPU加速可以通过访问chrome://gpu页面查看状态。反检测可以通过访问检测网站或检查navigator.webdriver的值是否被正确修改。 总结步骤: 1. 创建ChromiumOptions对象,添加启用GPU的参数。 2. 添加反检测相关的参数,如禁用自动化特征。 3. 初始化ChromiumPage时传入这些选项。 4. 执行JavaScript代码修改webdriver属性。 5. 可能的其他设置,如设置用户代理。 现在,将这些步骤转化为具体的代码示例,并确保符合DrissionPage的API用法。</think>在DrissionPage中启用GPU加速和规避内核检测主要通过浏览器启动参数和JavaScript环境修改实现。以下为具体配置方法: ### 一、GPU加速配置 通过添加Chromium启动参数启用硬件加速: ```python from DrissionPage import ChromiumPage, ChromiumOptions # 创建浏览器配置对象 co = ChromiumOptions() # GPU加速核心参数 co.arguments.extend([ '--enable-gpu-rasterization', # 强制启用GPU光栅化 '--ignore-gpu-blocklist', # 忽略GPU黑名单 '--enable-zero-copy', # 启用零拷贝缓冲区 '--disable-software-rasterizer', # 禁用软件光栅化 '--use-angle=gl' # 指定图形后端 ]) # 显存优化参数(可选) co.arguments.extend([ '--disable-dev-shm-usage', # 解决共享内存限制 '--gpu-memory-buffer-fraction=0.8' # 显存分配比例 ]) ``` ### 二、反检测配置 #### 1. 启动参数设置 ```python # 规避自动化检测参数 co.arguments.extend([ '--disable-blink-features=AutomationControlled', # 禁用自动化控制特征 '--disable-infobars', # 隐藏自动化提示栏 '--disable-web-security', # 关闭同源策略(需评估风险) '--disable-popup-blocking', # 禁用弹窗拦截 '--no-first-run', # 跳过首次运行向导 '--no-default-browser-check' # 禁用默认浏览器检查 ]) ``` #### 2. 环境变量修改 初始化后执行JavaScript修改浏览器指纹: ```python page = ChromiumPage(addr_driver_opts=co) # 修改WebDriver标识 page.run_js(''' Object.defineProperty(navigator, 'webdriver', { get: () => undefined, configurable: true }); ''') # 修改用户代理 new_ua = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36' page.set.user_agent(new_ua) ``` ### 三、完整配置示例 ```python from DrissionPage import ChromiumPage, ChromiumOptions def init_stealth_browser(): co = ChromiumOptions() # GPU加速配置 co.arguments.extend([ '--enable-gpu-rasterization', '--ignore-gpu-blocklist', '--enable-zero-copy', '--disable-software-rasterizer', '--use-angle=gl' ]) # 反检测配置 co.arguments.extend([ '--disable-blink-features=AutomationControlled', '--disable-infobars', '--disable-web-security', '--no-first-run' ]) # 初始化浏览器 page = ChromiumPage(addr_driver_opts=co, timeout=30) # JavaScript环境修改 page.run_js(''' Object.defineProperties(navigator, { webdriver: { get: () => false }, plugins: { get: () => [1, 2, 3] }, platform: { get: () => 'Win32' } }); ''') return page # 使用示例 browser = init_stealth_browser() browser.get('https://example.com') ``` ### 四、验证方法 1. **GPU加速验证**:访问`chrome://gpu`查看"Graphics Feature Status"是否显示`Hardware accelerated` 2. **反检测验证**:访问`https://bot.sannysoft.com`查看自动化特征检测结果 ### 注意事项 1. 部分参数如`--disable-web-security`会降低安全性,生产环境慎用 2. 不同Chromium版本可能需要调整参数组合,建议使用v89+版本 3. 定期更新浏览器指纹修改逻辑以应对检测算法升级[^3]
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值