爬虫简单实例-爬取拼多多商品信息

最新推荐文章于 2024-08-20 02:29:23 发布
最新推荐文章于 2024-08-20 02:29:23 发布
阅读量3.5w 收藏 165
点赞数 11
CC 4.0 BY-SA版权
分类专栏： 爬虫 实例 python 文章标签： 爬虫 python 实例
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Man_ge/article/details/102956196

接口

  • https://youhui.pinduoduo.com/goods/goods-detail?goodsId=商品信息ID

思路

通过遍历商品信息ID来获取商品的信息， 1 ~ 99999999999
然后使用多线程或多进程进行抓取

  • 优点 ： 无反爬，实现简单
  • 缺点 ： 效率慢，资源损耗大，时间长

效果

在这里插入图片描述
在这里插入图片描述

实现

#!/usr/bin/env python
# -*- coding=utf-8 -*-
__author__ = 'Man Li' 

import os
import re
import sys
import time
import json
import random
import requests
from requests.exceptions import ReadTimeout, ConnectionError, RequestException
import csv

from lxml import etree


from multiprocessing import Process



defaultencoding = 'utf-8'
if sys.getdefaultencoding() != defaultencoding:
    reload(sys)
    sys.setdefaultencoding(defaultencoding)


#USER_AGENTS 随机头信息
USER_AGENTS = [
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
    "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
    "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
    "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
    "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
    "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
    "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 LBBROWSER",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; 360SE)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
    "Mozilla/5.0 (iPad; U; CPU OS 4_2_1 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8C148 Safari/6533.18.5",
    "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:2.0b13pre) Gecko/20110307 Firefox/4.0b13pre",
    "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:16.0) Gecko/20100101 Firefox/16.0",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11",
    "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10"
]

#构造请求头
HEADER = {
    'User-Agent': random.choice(USER_AGENTS),
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'en-US,en;q=0.5',
    'Connection': 'keep-alive',
    'Accept-Encoding': 'gzip, deflate',
}

#Get网页，返回内容
def get_html( url_path, payload = '', cookies = '',proxies = ''):
	try:
		s = requests.Session()
		r = s.get(
				url_path,#路径
				headers=HEADER,#请求头
				params=payload,#传参 @payload 字典或者json
				cookies=cookies,#cookies
				verify=True,#SSL验证 @verify False忽略;True开启
				proxies=proxies,#代理
				timeout=30)#@timeout 超时单位 秒
		r.raise_for_status()
		#print r.headers#获取响应头
		#print r.cookies#获取cookies
		return r.text
	except ReadTimeout:
 		print('Timeout')
	except ConnectionError:
		print('Connection error')
	except RequestException:
		print('RequestException')

def get_codimg(html):
    datas = etree.HTML(html)
    #print(datas)
    #//*[@id="__next"]/div/div[2]
    info = datas.xpath('//*[@id="__next"]/div/div[2]//text()')
    #print(info)
    return info

def get_image(html):
    html = str(html)
    reg = r"src=\"(.*?)\""
    reger = re.compile(reg, re.S)
    data = re.findall(reger, html)
    return data

csv_data_file = 'D:/PDD_5_7.csv'

# 爬取商品信息ID在 50000000 ~ 100000000 的商品
n=50000000
while n<100000000:
    get_proxies = {
      "http": random.choice(http_ip),
      "https": random.choice(https_ip),
    }
    test1url = "https://youhui.pinduoduo.com/goods/goods-detail?goodsId="+str(n)
    print("链接： "+test1url)
    print("ID ： "+str(n))
    #print(get_proxies)
    html_info = get_html(test1url)
    if "An unexpected error has occurred" in str(html_info) or "NaN" in str(html_info):
        #print("未找到商品信息")
        #print("***************************")
        pass
    else:

        cod_link = test1url
        print("商品链接： "+cod_link)
        #print(get_image(html_info))
        imgs = get_image(html_info)
        
        if imgs == []:
            continue

        cod_imglink = imgs[1]
        print("商品图片： "+cod_imglink)
        '''
        for src_img in imgs:
            print(src_img)
        '''
        cod_info = get_codimg(html_info)
        cod_name = cod_info[0]
        print("商品名称： "+cod_name)
        cod_pjiege = cod_info[4]
        print("商品价格： "+cod_pjiege)
        cod_xiaoliang = cod_info[6]
        print("商品销量： "+cod_xiaoliang)
        cod_shop = cod_info[9]
        print("店铺名称： "+cod_shop)
        #cod_shop = cod_info[10]
        print(cod_info[10]+":"+cod_info[11])
        print(cod_info[12]+":"+cod_info[13])
        print(cod_info[14]+":"+cod_info[15])
        '''
        for cod_data in cod_info:
            print(cod_data)
        '''
        time_data = str(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())))
        input_datas = ["拼多多",cod_name.replace("\'",""),cod_link,cod_imglink,cod_pjiege,cod_xiaoliang,cod_shop.replace("\'",""),cod_info[10],
                        cod_info[11],cod_info[12],cod_info[13],cod_info[14],cod_info[15],time_data]
        #print('D:/py_test/yibiao_Auto/report/xyzg_data/tb_test1.csv')

        #input_datas = [cod_name1,cod_name2]
        with open(csv_data_file, 'a', newline='', encoding='utf-8') as f:
            try:
                csv_write = csv.writer(f,dialect='excel')
                csv_write.writerow(input_datas)
            except:
                print("获取内容编码不标准存在问题")
    print("\n")
    n+=1
使用Python爬取拼多多团购数据的实战全攻略
2201_76125261的博客
05-09 363
本文详细介绍了如何使用Python从拼多多网页中自动化抓取团购商品数据。通过Playwright规避反爬机制，借助异步与数据库技术实现了数据采集、持久化与可视化的完整流程。这不仅是一个爬虫工程实践，也为后续的商品价格趋势分析、市场调研等应用奠定了基础。
Python 爬虫实战之爬拼多多商品做数据分析
最新发布
2403_87487018的博客
10-24 3162
通过使用 Python 爬虫技术爬取拼多多商品数据，并进行数据分析，可以为电商企业提供有价值的市场信息和决策支持。在实施过程中，需要掌握 Python 基础知识和爬虫相关库的使用方法，遵循合法性和频率限制原则，确保数据的准确性和可靠性。同时，可以结合数据可视化技术，将分析结果以直观的图表形式展示出来，使结果更加易于理解和应用。通过爬取拼多多商品数据并进行分析，可以了解市场趋势、消费者需求以及竞争对手情况，为企业决策和产品优化提供有力支持。Python 基础知识。发送 HTTP 请求。
Python 爬虫实战之爬拼多多商品并做数据分析
WBKJ_Noah的博客
10-17 8792
在上面的代码中，我们使用pandas库创建DataFrame存储商品数据，并计算平均价格和平均销量。在上面的代码中，我们使用requests库发送GET请求获取拼多多商品页面内容，然后使用BeautifulSoup库解析HTML页面，并从中提取商品信息。Python爬虫可以用来抓取拼多多商品数据，并对这些数据进行数据分析。当我们获取了足够的商品数据后，可以使用Python的pandas库对这些数据进行数据分析。需要注意的是，爬取拼多多商品数据需要遵守拼多多的使用协议和规定，避免过度请求和滥用数据。
爬虫-uiautomator2获取拼多多APP端商品数据
Orangeyezzer的博客
06-01 4549
接下来我们该对商品进行点击，进入到特定的商品详情页后。这里我们采用定位¥这个符号，因此该符号每一个页面都有，并且为了预防会出现重复点击的事件发生，我们讲元素定位到价格，采用定位¥元素的兄弟节点，并且记录兄弟节点的方式，以此达到不会重复点击的目的。这里我们先观察pdd界面，观察它搜索框的位置，可以看到它的定位有text,resourceld的方式，但由于text情况并不稳定，因此我们采用resourceId的定位方式，点击搜索框元素。但点击进入页面之后，为了表现出循环的方式，因此还添加点击返回的操作。
拼多多商品评论爬虫
02-26
拼多多商品网络爬虫 抓包分析
利用Python封装爬虫完美采集拼多多商品详情数据 + 商品列表数据 + 商品优惠券数据（支持全网）
weixin_19970108018的博客
04-28 6331
拼多多如今已经成为继淘宝、京东之后的第三大电商平台，最近两年也是火的不行，很多的客户需求会提到拼多多这个电商平台，首先要知道拼多多大部分商品都是在 app 端的，PC 电脑端展示的商品数据很少，我们采集整个站的实时商品详情数据。2. 点击鼠标右键可以查看源代码拿到的详情页面的数据参数，包括标题，图片，商品价格，商品优惠券，优惠信息，已拼数量，商品详情页面数据等参数。4. 请求代码示例，支持高并发请求（CURL、PHP 、PHPsdk 、Java 、C# 、Python...）
爬虫剑谱第七页（输入关键词爬取拼多多商品信息并进行保存）
weixin_53328988的博客
10-25 4766
开始实战！ 获取药监局网页企业信息 首先导入所需要的库 import requests import json requests库将会用于网络请求 json库将会用于 import requests import json url = "http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList" headers = { "User-Agent": "Mozilla/5.0 (W..
.NET爬虫获取拼多多商品价格
10-17
首先 定义一个获取html页面的方法 然后把我们要获取的页面传进去  编写正则表达式匹配 同理 可以编写对应的正则去获取商品的标题，图片等其他信息 两行代码 获取价格 居家旅行必备
python爬拼多多商品评论_爬虫简单实例-爬取拼多多商品信息
weixin_28559803的博客
01-13 5265
#!/usr/bin/env python# -*- coding=utf-8 -*-__author__ = 'Man Li'import osimport reimport sysimport timeimport jsonimport randomimport requestsfrom requests.exceptions import ReadTimeout, ConnectionErr...
爬虫剑谱第十页（关于拼多多商品信息的爬取＜修改版＞）
weixin_53328988的博客
12-03 2432
关于此前发布了一篇关于爬取拼多多商品信息的博客：爬虫剑谱第七页（输入关键词爬取拼多多商品信息并进行保存）_独一无二的李狗蛋儿的博客-优快云博客出现了问题，运行结束后无法返回数据，up主在这里重新进行了修正，但让然无法进入商品详情页，只能爬取首页的商品图片等信息，如果有解决方法的朋友可以私信或进行评论。 修正后代码： 需要用到selenium库 from selenium import webdriver from lxml import etree import time #实例化一个浏览器对象（
使用Puppeteer库的爬虫程序来爬取拼多多网站的视频
w15189597283的博客
01-11 1138
在这个函数中，我们首先创建了一个新的浏览器实例，并告诉它使用代理服务器。然后，我们创建了一个新的页面实例，并访问了拼多多网站。接着，我们查找了所有的视频元素，并遍历了这些元素。对于每一个视频元素，我们获取了它的URL，并打印出来。请注意，这段代码只是一个基本的示例，实际的爬虫程序可能需要处理更多的细节，比如错误处理、页面加载时间等。此外，由于拼多多网站的视频可能被加密或隐藏，这段代码可能无法获取到所有的视频URL。代码必须使用以下代码：代理主机：www.duoip.cn，代理端口：8000。
拼多多爬虫，爬取所有商品、评论等信息.zip
08-24
本资源中的源码都是经过本地编译过可运行的，下载后按照文档配置好环境就可以运行。资源项目源码系统完整，内容都是经过专业老师审定过的，基本能够满足学习、使用参考需求，如果有需要的话可以放心下载使用。
拼多多爬虫，抓取拼多多热销商品信息和评论.zip
03-01
爬虫（Web Crawler）是一种自动化程序，用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的HTML内容。这通常通过HTTP请求库实现，如Python中的Requests库。 解析内容： 爬虫对获取的HTML进行解析，提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据，如文本、图片、链接等。 数据存储： 爬虫将提取的数据存储到数据库、文件或其他存储介质中，以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则： 为避免对网站造成过大负担或触发反爬虫机制，爬虫需要遵守网站的robots.txt协议，限制访问频率和深度，并模拟人类访问行为，如设置User-Agent。 反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而，使用爬虫需要遵守法律和伦理规范，尊重网站的使用政策，并确保对被访问网站的服务器负责。
C#爬虫研究，拼多多商家自动发货系统
05-07
基于 苏飞的CsharpHttpHelper万能框架 写的一个拼多多商家自动发货系统，想研究爬虫技术的新手可以下载看一下，系统分为两部分，一部分是后台管理，一部分是自动发货客户端
淘宝、京东、拼多多商品店铺基础信息爬虫 Selenium+Python技术栈.zip
11-05
在本项目中，“淘宝、京东、拼多多商品店铺基础信息爬虫 Selenium+Python技术栈.zip”是一个包含使用Selenium和Python进行网络爬虫开发的资源包。Selenium是一个强大的自动化测试工具，常用于模拟用户交互，而Python...
Python无框架分布式爬虫，爬取范例：拼多多商品详情数据，拼多多商品列表数据
weixin_19970108018的博客
04-21 3302
该平台上有海量的商品，对于商家和消费者来说都具有非常大的价值，因此，拼多多商品数据的采集技术非常重要。（2）定义爬虫的起始链接：在拼多多平台上搜索自己想要的商品，并将链接进行复制。（3）处理网页：使用beautiful soup等库，对网页中的商品数据进行解析，提取自己所需要的数据。商品的ID：商品的唯一标识符，用于区分不同的商品，具有唯一性。商品的描述：商品的详细描述信息，包括商品的特性，规格，功能等。商品的付款信息：商品的付款方式，包括支付宝，微信等等。商品的标题：商品的名称，主要描述商品的基本属性。
网络爬虫-拼多多
热门推荐
qq2276031的博客
06-22 1万+
失踪人口回归深夜第二弹 拼夕夕的anti_content参数逆向分析(0ao开头) 直接上链接 --> 拼多多 首先进行基操，随便搜索个关键词并抓包 可以发现第一次搜索的时候并没有什么加密，真正的anti_content参数是在我们拉动下拉框(等同于翻页)操作加载数据触发接口时才有的。实际上除了anti_content以外其他参数都是要么在第一次访问首页时返回了或者直接写成固定值就ok的。 简单分析完毕 直接进入正文 F12全局搜索anti_content...
Python爬虫实战 | 爬取拼多多商品的详情价格SKU数据
TinagirlAPI的博客
12-13 3206
Charles通过构建代理服务，让本地请求都通过Charles的代理之后访问公网，从而实现了网络封包的截取和分析。虽然Charles可以支持HTTPS抓包，在分析移动端应用网络请求时也是一个不可或缺的工具，但是随着移动安全技术的发展，很多移动App用到了SSL Pinning技术，即SSL双向验证，该技术可实现在客户端和服务器端的双向验证，移动端的壳加密技术也使移动端HTTPS抓包越来越困难，目前对抗SSL Pinning的技术，可行的方案是XPost框架，有兴趣的读者可以进一步了解相关知识。
拼多多数据的爬虫与处理全攻略
weixin_30212009的博客
08-20 2649
以下是关于拼多多数据的爬虫与处理的全攻略：一、爬虫部分1. 分析目标与确定需求明确你想要从拼多多获取的数据内容，例如商品信息（包括商品名称、价格、销量、描述、图片等）、店铺信息、用户评价等。同时，确定数据的获取范围，比如特定品类的商品、某个店铺的所有商品等。2. 选择爬虫工具或框架Python 的相关库：Requests：...
写一段拼多多爬虫python代码，爬取拼多多商品的信息
09-05
下面是一段简单的拼多多爬虫Python代码，用于爬取拼多多商品的信息。 ``` import requests import json def get_product_info(keyword): url = "https://api.pinduoduo.com/api/oak/product/queryByKeyword" ...
评论 14
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值