我用Python分析淘宝低价人群和匿名人群的连衣裙数据后,发现了这些秘密!

python 爬虫基础——淘宝评论 描述: 本文主要利用re模块简单的对淘宝爬虫进行介绍,简单的爬虫入门,便于理解,初学者可做参考,复杂的后续会不间断的更新。 目标: 1.学会使用re模块 2.对目标物品的评论进行抓取; 3.将抓取到的内容分析并保存到数据库。 过程: 1.首先设置返回的文本格式(非常重要) # coding:utf-8 2.导入爬虫过程所需的包(这里需用到requests 和 re 模块)  ... 阅读详情

1、我是一个低价人群用户

小伙伴们都在秀自己的淘宝连衣裙搜索价格,相较于小伙伴们搜索出的数百、数千的搜索“连衣裙”结果价格,很显然,我低价人群无疑了。以下是州的先生在淘宝上搜索“连衣裙”返回的商品价格:

虽然还是要高处于128元,但是也高不到哪里去,勉强算是低价偏上人群吧。既然已经是低价用户了,那么就再去淘宝抓取一遍登录后搜索“连衣裙”返回的数据。一共也是100页的搜索结果,合计4404条记录。

私信小编001  领取完整项目代码!

以下分析仅限于州的先生淘宝搜索“连衣裙”返回的商品数据和匿名状态下淘宝搜索“连衣裙”返回的商品数据这两个样本之间的对比,所产生的结果和结论亦限于两者之间的关系。

以下所称登陆用户,皆为代指州的先生淘宝账号。

 

2、登陆用户售价更集中

首先来看总体的商品售价对比。使用Pandas获取商品售价的总体描述,得到州的先生淘宝搜索“连衣裙”和匿名状态搜索“连衣裙”数据中商品售价的基础统计信息。在此对数据的总体数量、商品售价的均值、商品售价的最小值、商品售价的最大值、商品售价的25%分位价格、商品售价的售价中位数、商品售价的75分位价格和商品价格的标准差。结果如下表所示:

可以发现,登陆用户搜索的所有商品售价的标准差远远小于匿名用户搜索的所有商品售价的标准差。我们都知道,标准差越小,数据的趋中性越好,标准差越大,数据的趋中性越差。也就是说,登陆用户搜索商品的售价越集中越稳定于一个区间,而匿名用户搜索商品的售价越分散越不集中于一个区间内。

这个我们从两者的极值也可以发现,登陆用户的售价最小值为10,售价最大值为17199;而匿名用户的售价最小值为9.2,售价最大值为99999;

同时,因为州的先生淘宝账号本身所属的区间,所有商品售价的均值、25%分位值、中位值和75%分位值均高于匿名用户。

 

3、售价定价最多商品相似

进行完商品售价的基础统计之后,我们再来具体看看商品售价的情况。通过对商品售价进行分组聚合计算统计。我们得出登陆用户和匿名用户两者“连衣裙”搜索结果商品中最多的采用的售价的前十个价格。分别是:

  • 登陆用户:168元, 158元, 178元, 188元, 198元, 138元, 399元, 299元, 148元, 128元;

  • 匿名用户:158元, 168元, 178元, 188元, 138元, 198元, 148元, 128元, 139元, 159元;

登陆用户和匿名用户的搜索结果中最多商品采用的售价中,有8个是一样的,只有登陆用户中的399元和299元不同于匿名用户中的139元和159元。

 

看起来,登陆用户的搜索结果中,最多售价的商品价格略高于匿名用户的最多售价商品。这也侧面印证了基础统计数据中,登陆用户均值、20分位值、75分位值高于匿名用户相应数据。

 

4、价格分布区间相似

我们再来看一看登陆和匿名用户两者之间所产生搜索结果商品的售价区间。

我们以一百元为区间间隔单位,按照100元以下、100-199元、200-299元、300-399元、400-499元、500-599元、600-699元、700-799元、800-899元、900-999元、1000-1099元、1100-1199元、1200-1299元、1300-1399元、1400-1499元、1500-1599元、1600-1699元、1700-1799元、1800-1899元、1900-1999元、2000-2099元、2100元以上等区间价格,对州的先生登陆账号的搜索结果和匿名用户的搜索结果进行统计。

最后得到两者的区间价格分布柱状图,如下所示:

可以看到,登陆用户和匿名用户搜索得到的商品中,商品价格分布和价格区间段数量大致是一致的。因为淘宝对登陆用户拥有更多的消息判断,其返回的商品售价会有些许差异,但是两者还是会以“连衣裙”这一商品的本身属性和在淘宝上整体的销售态势紧密相关。

 

5、匿名用户店铺类型分布更均匀

看完了价格信息,我们再来看看店铺类型。大家都知道,淘系现在分为了淘宝C店和天猫店以及企业店铺三种店铺类型。绝大多数都是淘宝C店和天猫店。而天猫店作为进驻门槛更高(费用、资质等)的店铺类型,在淘宝的搜索中会有一定的资源倾斜。

下面我们来看看,这是否在“连衣裙”宝贝的搜索结果中有所体现。

天猫店铺和淘宝C店的区别除了可以从店铺地址来判断,还可以直接通过店铺名称来判断,天猫店铺一般都是以旗舰店、专营店等形式结尾,而淘宝C店则不允许使用这类字眼(从前部分淘宝C店会投机取巧使用XXX舰旗店)。

我们以此来对搜索结果商品中的店铺类型进行筛选。最后得到:

  • 登录用户中:天猫店铺占64.83%,淘宝C店占35.17%;

  • 匿名用户中:天猫店铺占57.2%,42.8%;

可以看到,在匿名用户的搜索结果中,店铺类型的占比会更加均匀,天猫店铺的占比只是稍稍有所偏高,而在登录用户中,淘宝则根据我的消费更多地为我返回了天猫店铺的搜索结果。(在旧版的生意参谋中,可以通过关键词搜索查看到关键词的宝贝在天猫商城中占比,但是改版之后,这一功能取消,现在也无从查询到这一数据。)

 

6、128元以下商品匿名用户数量更多

网上传言连衣裙客单价128元是划分低价人群的分界线,那么我们来看一看登陆用户和匿名用户返回的连衣裙商品中售价低于128元的商品数据。

经过统计,在登陆用户中低于128元的商品共有649件,占所有样本数据的14%;匿名用户中低于128元的商品共有815件,占所有样本数据的18%;

其中登陆用户的649件商品中,有158个商品售价,采用售价最多的是89元,共有44件商品采用这个售价;

匿名用户的815件商品中,有188个商品售价,采用售价最多的是99元,共有59件商品采用这个售价。

 

7、相同商品占比一半以上

通过对登陆用户和匿名用户的数据进行交集计算,我们得到两者搜索结果中有2544个商品是相同的,也就是说,同样搜索连衣裙,淘宝返回给登陆用户和匿名用户的数据中,有高达57%的商品是一样的。

可以看到,相同商品的商品售价区间和登陆用户以及匿名用户的商品售价区间的结构大体是一致的。州的先生认为,这构成了淘宝平台上“连衣裙”这一商品的基础价格属性:

  • 100-199元的“连衣裙”商品占绝大多数,或者说在淘宝上购买“连衣裙”这一商品的人群大多会选择这一价格区间。这一价格区间包含了128元这个网传的低价人群分界线上下的商品,是最容易上下跨越进行购买的价格区间。

  • 在100一下和200-299这个区间价格,都是100-199元价格区间的上下延伸,商品数量较之有较大的减少,但是占比仍然不算少。

  • 400元及以上售价的“连衣裙”商品,较之于前面的价格区间,商品的数量急剧下降。州的先生推测,购买400元以上连衣裙的淘宝用户,占整体的购买连衣裙淘宝用户的占比是偏低的。价格越往上走,受供求关系的影响,商品数量越少。 

8、最后

通过以上的不完全不标准的探索,我们可以知道:

  • 1、“连衣裙”这一商品本身有其固有的商品价值属性,搜索结果中商品的价格会提现商品的基础属性;

  • 2、但是根据不同用户的消费习惯,淘宝可能优先推荐符合其历史消费水平的商品给用户;

  • 3、同时,为了确保能够涵盖用户的需求或者说更好地判断用户当前或未来一段时间的消费水平,淘宝会返回低于或高于用户历史消费水平的商品供用户选择,这应该是推荐系统自我完善所必需的;

  • 4、以上结论,不一定正确。

利用Python爬虫获取淘宝商品评论:实战案例分析 在数字化时代,数据的价值日益凸显,尤其是对于电商平台而言,商品评论作为用户反馈的重要载体,蕴含着丰富的信息。本文将详细介绍如何利用Python爬虫技术获取淘宝商品评论,包括代码示例和关键步骤解析。 阅读详情

相关推荐

阿里巴巴《生意参谋(新版)》Python拦截爬取系列之内容数据

 所用到主要的库:mitmproxy + pandas+urllib 第一步:网页分析(Fiddler获取) 第二步:篡改Google本地浏览器——网页监控     第三步: mitmproxy拦截所需网页(根据第一步分析)     第四步:获取数据与清洗  图文:     结果:     短视频与直播数据清洗大同小异。 看完有收获点个赞吧!!!...

mydatascientis@gmail.com 7197

python行业中性_Python抓取分析淘宝连衣裙数据,128元真的是低价人群分界线吗?...

1、我是一个低价人群用户上周发表文章《一个匿名用户的淘宝“连衣裙”大观》后,交流群里面很热闹地讨论了起来,小伙伴们都在秀自己的淘宝连衣裙搜索价格,相较于小伙伴们搜索出的数百、数千的搜索“连衣裙”结果价格,很显然,我低价人群无疑了。以下是州的先生在淘宝上搜索“连衣裙”返回的商品价格:虽然还是要高处于128元,但是也高不到哪里去,勉强算是低价偏上人群吧。既然已经是低价用户了,那么就再去淘宝抓取一遍登录...

weixin_39670857的博客 432

用python爬取天猫商品评论并分析(2)

用python爬取天猫商品评论并分析(2)    之前介绍过天猫数据的爬取和数据初步处理,今天介绍下 将采集的评论进行文本分析!下面是总流程:0. 主要流程0. 数据采集这一步参考网址:https://www.jianshu.com/p/2b015d289083或者http://blog.youkuaiyun.com/weixin_41716128/article/details/793069230. 目标网...

weixin_41716128的博客 1万+

记一些女装数据分析

服装维度 尺码:XS、S、M、L、XL 一级分类:上半身、下半身、全身 季节:春、夏、秋、冬 价格类型:正价、特价、折扣价、降价、优惠券… 价格段:廉、贵 年龄段:婴儿、儿童、少年、青年、中年 面料:棉布、麻布、丝绸、、呢绒、皮革、化纤、混纺、莫代尔 厚度:厚、薄 长度:长、中、短、超短 是否展陈(通常,贵价连衣裙 会 用衣架挂起展示,甚至穿假人身上,而 便宜T恤 则 折叠堆放) 季节状态:季前、当季、过季 服装的重要特性:试穿 因此,先上渠道 和 线下渠道 各有优势

ArYe 1615

生意参谋对手数据连接生成

填写好链接,读取对手数据,进行分析。工具很专业。可以研究商品趋势,流量渠道,解析成交关键词,以及关键词流量数据等等

生意参谋采集过程中的链接测试工具Sycm Request Test(2019.4.23)

方便开发写了一个简单的测试工具,可以直接输入transit-id,也可不输入自动生成。会将下载出来的数据解密展示。

python 折线图_用python处理淘宝/天猫的生意参谋数据(表格-折线图)

我负责一家淘宝超大型卖家店铺的运营工作,大快消七层第一(懂得都懂),比较麻烦的就是每周的数据复盘,设计大量的数据折线图对比,所以本着“懒惰为第一生产力”的原则,用python搞个脚本处理一下。ps:我不是搞编程的,我是搞电商的,我只能算是一个代码搬运工+组装工+测试工。我特么连封装都不会,pycharm裸跑,至于为啥用pycharm,知乎上说这个东西最牛逼(狗头)。成果展示数据源:生意参谋取数(本...

weixin_39530838的博客 3076

淘宝生意参谋指数计算

2018年9月生意参谋市场行情升级市场洞察后,本表格支持将市场洞察的转化指数还原真实转化率。

爬虫--淘宝登录及生意参谋transit-id和data破解

生意参谋是淘宝商家分析市场行情最常见的工具之一.淘宝为了防爬虫可谓下了不少功夫. 本次为了写一款抓取生意参谋数据的爬虫,真是费了不少很大的劲才破解里面的数据加密. 1. 登录 首先爬虫肯定是自动化抓取,所以登录自然是要自动登录,但是生意参谋的登录跟淘宝的是一模一样的,当你用selenium打开登录的时候就会被淘宝后端验证出来是个机器人。所以登录的话可以采用编译后的chromedriver来驱动ch...

weixin_35762183的博客 1万+

两路半桥LLC谐振变换器软开关Simulink仿真(模拟谐振参数不同、分裂电容)

内容概要:本文介绍了“两路半桥LLC谐振变换器软开关Simulink仿真”资源包,重点在于基于Simulink平台对两路半桥LLC谐振变换器进行高精度建模与动态仿真,特别考虑了谐振参数不一致及分裂电容等非理想工况对系统性能的影响。该仿真模型不仅涵盖了主电路拓扑、软开关实现机制与谐振网络设计,还深入分析了不同参数配置下系统的启动特性、稳态效率、动态响应及软开关条件的满足情况。通过参数扫描与对比仿真,帮助用户掌握LLC变换器的关键设计要素与优化方法,具备较强的工程指导价值和科研教学意义。; 适合人群:电力电子、电气工程及其自动化等相关专业的高校师生,以及从事高频开关电源、新能源变换器、车载充电机等领域的研发工程师和技术人员。; 使用场景及目标:① 掌握两路并联半桥LLC谐振变换器的建模与仿真方法;② 理解软开关技术在提升变换器效率与降低EMI方面的关键作用;③ 分析谐振参数偏差与分裂电容结构对系统均流特性、增益曲线及软开关范围的影响;④ 支持科研项目中的拓扑验证、控制策略开发与故障工况分析; 阅读建议:建议结合Simulink仿真模型与配套说明文档进行学习,重点关注谐振腔参数设置、驱动时序设计及软开关波形观测;可通过调整谐振电感、电容值或引入参数失配,观察系统行为变化,深入理解LLC变换器的稳定边界与优化设计原则。

activiti(六):activiti7的数据表和字段的解释

介绍activiti7的数据表和各表字段的含义,对于学习activiti7工作流引擎的运行过程很有帮助!

no problem的博客 1万+

python+selenium+phantomjs 模拟淘宝登陆

一段时间前,微信群里有小伙伴在问如何模拟登陆淘宝。对于这样的需求我很乐意折腾,我也在网上看了一些大神写的,不用第三方组件,“纯模拟“实现的难度太大了,各种参数,可见淘宝安全机制且高。学艺不精的我,思想太简单我就用简单的方式实现了,目前还有2个问题没解决,一个是登录时候滑动解锁这块,这块也能办到,还有淘宝的安全验证机制这块,可能需要发送验证码至手机,这块需要模拟触发,然后手机收到验证码再和自己的程序交

夜深的猫 1万+

ESP32-S3双屏AI吊坠:微型边缘智能终端设计实践

边缘智能终端是指在设备端完成数据感知、处理与响应的嵌入式系统,其核心在于低延迟、高隐私与弱网适应性。基于ESP32-S3等轻量级主控,通过语音唤醒、本地AI推理与双屏异步渲染等关键技术,可构建资源受限场景下的实用化人机交互节点。这类设计显著降低对云端依赖,提升实时性与数据安全性,广泛应用于智能穿戴、IoT交互面板及便携式语音设备。本文以‘璀璨·AI吊坠’为实例,深入解析双面圆形屏驱动、ES8311音频链路优化、VAD+Porcupine本地语音流水线,以及亚微安级低功耗状态机实现,为微型AI终端的软硬协同开

weixin_42348783的博客 635

HTTP利用API接口,解密生意参谋

请求头transit-id: http://app.miiow.com.cn:8181/ajaxApi.ashx/@/dontlogin/sycm/transit-id?userId=00000000&showType=sample http://app.miiow.com.cn:8181/ajaxApi.ashx/@/dontlogin/sycm/transit-id?userId=00...

weixin_44435602的博客 7918

2026年ERP选型实战:按规模分档,避开成本与实施陷阱

企业资源计划(ERP)是现代企业数字化转型的核心系统,它将财务、供应链、制造、人力等业务整合到统一平台。随着云计算和人工智能技术的发展,ERP已从传统本地部署的记录工具演变为SaaS订阅制、具备AI辅助决策能力的智能运营平台。不同规模企业在选型时的关注点差异巨大:小微企业追求轻量化和快速出报表,中型企业需要在流程标准化与业务灵活性间取得平衡,大型集团则注重多法人管控和数据治理。此外,制造、电商、工程等行业对ERP的模块要求也各有侧重,成本核算数据跑不通更是普遍痛点。如何结合企业规模与行业特征,制定合理的选型

weixin_34320724的博客 380

嵌入式GUI显示驱动配置实战:从emWin硬件接口到SPI屏驱动优化

在嵌入式系统开发中,显示驱动是连接GUI库与物理屏幕的核心底层模块,其本质是CPU与显示控制器之间的数据“翻译”与“传输”系统。其工作原理是通过实现特定的硬件抽象层接口,将GUI生成的图形数据转换为屏幕能识别的时序和协议。这项技术的核心价值在于,它允许开发者在资源受限的MCU上,通过适配不同的硬件接口,以最小的硬件开销实现稳定的图形输出。其典型应用场景包括智能家居面板、工业HMI、可穿戴设备等嵌入式图形界面开发。本文将深入解析emWin GUI库的驱动框架,重点探讨如何针对SPI、I2C等串行接口进行高效的

weixin_29159711的博客 343

生意参谋transit-id生成和data解密python版

生意参谋数据抓取逻辑 selenium模拟登陆生意参谋获取cookie 生成transit-id加入到header 根据抓取板块发送不同的数据请求 获取data进行解密 保存到MongoDB 难点在于第二步和第四步,现已完全破解,有需要的朋友加我QQ: 3330541721 ...

u011078488的博客 3068

uniapp - 强力解决 swiper 轮播图内嵌套视频导致滑动不流畅卡顿问题,轮播滑块视图容器里既有图片也有视频video组件共同存在出现滑动切换特别卡,轮播组件包裹视频播放器加载慢及层级过高解决

uni-app,h5移动端网页,微信小程序,支付宝小程序,Android安卓,苹果ios,app,nvue,swiper,轮播图,轮播图嵌套视频,卡顿,加载慢,左右滑动不流畅,很卡,滑动过快就会卡住,uniapp使用swiper组件里嵌套视频与图片如何解决卡顿问题,详细解决教程,swiper里有视频video,播放器,视频+图片轮播,层级过高及卡顿问题,没等看完视频就自动切换了,报错,无法加载播放,uniapp的App安卓苹果端,video老是加载,APP端video组件播放视频卡顿,抖音,快手,上下滑动视

🏆 前端领域优质创作者 1万+

生意参谋 data 16进制数据解析还原

生意参谋 data 16进制数据解析还原攻略 前言:小弟,入手JavaScript并不太久,也是第一次看*宝后台这代码写法,头疼的厉害(我并不是大佬,只是奋战在前线的搬码工,嚯嚯嚯~);此次发这个帖子,正好是应朋友的需求,也是为了能让自己增涨下Exp。留下此帖子,也是为了后面能温故而知新,也愿这能帮助到需要的Friend。 1...

joi_la的博客 8606

科技与伦理的平衡点:人类计算的伦理

科技与伦理的平衡点:人类计算的伦理 关键词 科技与伦理 人类计算 隐私问题 道德决策自动化 公平性与偏见 法律与社会责任 摘要 本

AI天才研究院 1164

基于Vision Transformer的鸟类图像分类(200个类别)完整代码+数据

基于Vision Transformer的鸟类图像分类(200个类别)完整代码+数据

1728

生意参谋数据data,拼多多加密系列参数(anti-content,crawlerInfo),唯品会加密参数compassS破解

1.生意参谋数据data解密 在我们请求访问生意参谋的时候,我们可以看见有一些数据返回的结果已经是加密之后的数据了,变成了一些我们不认识的文本数据,类似于下图: ![在这里插入图片描述](https://img-blog.csdnimg.cn/20191023145541989.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,s...

qq_31795679的博客 6762

PCL 三维重建 泊松曲面重建算法

本文介绍了基于泊松曲面重建算法的三维重建过程。泊松重建是一种利用点云数据生成三维表面的算法,它基于点云的法线估计和泊松方程的求解,能够生成光滑且连续的曲面模型。该方法适用于复杂形状和细节的表面重建。

纵马踏花向自由 1090

python实现AES的加密解密

了解AES AES(Advanced Encryption Standard)是一种对称加密算法,相较于DES和3DES算法而言,AES算法有着更高的速度和资源使用效率,安全级别也较之更高.加密和解密使用的是同一个密钥. 公式: C = E(K,P):明文P,密钥K,AES加密函数组成E,密文C。 主要要了解以下几点: AES密钥的长度使用的是128bite、192bite或256bite(位)...

weixin_35762183的博客 2388

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

python抓取淘宝商品评论最新版

python抓取淘宝商品评论最新思路 import json import re from lxml import etree import pandas as pd import time import xlrd import csv import xlwt import jsonpath def loads_jsonp(jsonp): """ 解析json...

weixin_44015396的博客 2295

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

【数据产品案例】阿里生意参谋-用户分析

案例地址:https://sycm.bbs.taobao.com/detail.html?spm=a21ag.8365346.slider.d7286.2930410cX1PmiX&postId=8162781;https://sycm.bbs.taobao.com/detail.html?spm=a210m.8146702.0.0.276a410cCm8GoU&postId=68...

数据产品笔记 8844

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

上一篇: 国家统计局人口数据采集Python脚本数据汇总!怪不得这么多人单身
下一篇: Python自动抢红包,超详细教程,再也不会错过微信红包了!
PythonJavaPHP
博客等级 码龄7年 116粉丝 76原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值