拒绝被坑!如何用Python和数据分析鉴别刷单!

怎么做恶意刷单检测——数据分析面试刷题1 怎么做恶意刷单检测?前言:01 自己思路02 别人参考03 个人总结意外收获写在最后:插话: 前言: 近日刷一波数据分析师面试题,学习别人的建议,总结和提升自己的思维。 01 自己思路 1.恶意刷单什么意思?是竞争对手恶意购买产品进行差评? 2.刷单:就是找人购买、评价、好评、晒图、差评; 3.选择因素:销量、好评、差评、地区; 4.把一整年的单量找出来,从每个月、每个星期开始,根据销量、好评、... 阅读详情

且看小Q如何吃一堑,长两智

发际线堪忧的小Q,为了守住头发最后的尊严,深入分析了几十款防脱洗发水的评价,最后综合选了一款他认为最完美的防脱洗发水。

一星期后,他没察觉到任何变化。

一个月后,他用卷尺量了量,发际线竟然后退了0.5cm!难道防脱要经历一个物极必反的过程,先脱再长?小Q不甘心,决定继续坚持。

两个月后,小Q心如死灰,忍不住和小Z抱怨。

!!!!!!

这句话,平地一惊雷,炸出了小Q惨痛的网购回忆。

他,屡屡冲着卖家秀而去,却屡屡化身买家秀而归。

说好的椰子!?

我想买两个杯子来着,怎么变成了一个!?

小Q曾经因为网购吃亏太多,而为自己的颜值和智商担忧。但经过小Z的点拨,他认定了一件事:活成卖家秀,并不是自身的问题,而是万恶的假评价误导了自己的消费决策。

为了自己,为了让更多的朋友免受误导,他和小Z一拍即合,决定用数据思维来鉴定刷单。

经过一番翻云覆雨,终于总结出了用数据鉴定刷单的两板斧。

第一板斧:评销比

购买——使用——评价是一个完整的购后链路。消费者在购买了产品之后,一定会使用,但评价则需要一定场景来触发。

比如这个产品超出预期,我要感谢卖家!或者这个产品在侮辱我的智商,我要骂街!

当然,还存在一部分为了刷积分而评价的人,不过正常情况下,主动评论的人占总人数的比重是维持在稳定水平的。

如果有通过大规模红包返现或其他人为手段刷的好评,在同样购买人数的前提下,参与评价的人大概率是高于正常的。

怎么衡量这个比例是否合理呢?这里,我们引入一个叫做评销比的指标。

评销比 = 单款产品总评论数 / 单款产品总销量 * 100,以此来衡量平均每卖出100单位的产品,对应着多少条评价。

接下来,我们导入爬取的脱敏真实数据(为了去重广告嫌疑脱的敏)来实践一下:

增加一列计算评销比:

看看评销比分布形态,数据在20左右分散开来,略微偏右:

从评销比分布图,可以看出在40处有二次下跌,我们暂且把40(一般也可以尝试平均值)设置为一个筛选阈值,高于阈值的判定为有刷单嫌疑。

第一版斧挥过,12%疑似刷单的产品应声倒下,小Z露出了欣慰的微笑。

小Q却眉头紧锁:“这个鉴定逻辑是有一定道理,但是,我买的那款洗发水竟然逃过了筛选!”

不要慌,我们还有第二板斧保驾护航。

第二板斧:内容重复度

第二板斧整个判别逻辑极其简单粗暴:对于一款产品,如果存在不同的用户,在不同的时间,评论了相同的内容,那妥妥的是刷啊!

直接上案例数据,我们爬取了小Q购买的那款防脱洗发水评价,共计1706条:

为了让鉴别更加科学,先换位思考:除极端情绪外,我们自己在评论时总会用“还行”、“一般般”、“刚收到,还没用”等短评来敷衍。这些短评非常容易重复,但也不能说是刷的评价。

so,我们在用重复度鉴别时,可以先预设一个评论长度作为筛选标准,比如只对超过15个字的评论进行重复度匹配:

长度筛选之后,正好还剩下1200条评价,下面开始正式匹配。大家如果想更精细,可以考虑用文本挖掘等高阶方法,在这里我们用最最最简单粗暴的文本排序:

前6条评价,有3个不同的客户,分别在19年的10月16日、24日和21日发表了相同的内容,他们都受高考压力影响,脱发严重,每天房间、床铺、地上掉满他们的头发。

幸好!!!他们在秃顶前遇到了这款洗发水!用了几次不仅比之前掉的少,还新长出来了一些小碎发!

177个字,洋洋洒洒,令人动容!

但这到底是偶然的巧合还是有组织刷的评价呢?我们不能这么简单下定论。

继续看一看,这些长篇大论一字不差的重复评论有多少条:

注:A,B,C三条内容完全一样,则统计为3条重复评价

1200条超过15个字的评价,有378条是虚伪的,占比高达31.5%。

他们文风多变,除了“高考压力”,还有“为父分忧而买”、也有“被微博广告安利”、甚至有“担心被骗,用第二套才敢评价的”。

可谓情真而意切,感人而至深!

小Z看过评价,深深不能自拔,瞬间理解了小Q为什么被忽悠。

“你跺你也麻啊!”

幸好,以后有了这两板斧保驾护航,再也不用担心这些虚评假意了。

注:文章所涉及所有源数据和代码,已上传至github

https://github.com/seizeeveryday/DA-cases/tree/master/Comments

更多有趣有用文章

懒人专用的奇淫技巧,用Python实现炫酷的语音操作电脑

Python里三个最高逼格的调试神器

九大神招,让Python里数据分析神器Jupyter,完美升华

推荐一款Python编辑器,集Pycharm和Sublime优点于一身的王者

当心啊!仅仅50行Python,就可以在手机端看小姐姐的电脑桌面!

自动编写Python程序的神器,Python 之父都发声力挺!

用python爬取天猫商品评论并分析(2) 用python爬取天猫商品评论并分析(2)    之前介绍过天猫数据的爬取和数据初步处理,今天介绍下 将采集的评论进行文本分析!下面是总流程:0. 主要流程0. 数据采集这一步参考网址:https://www.jianshu.com/p/2b015d289083或者http://blog.youkuaiyun.com/weixin_41716128/article/details/793069230. 目标网... 阅读详情

相关推荐

基于显著性检验分析两个样本分布相似度及Python实现—— t检验、拟合优度检验、KS检验、Wilcoxon符号秩检验、H检验、Mann-Whitney秩检验、P值的意义、API汇总

在统计学中,差异显著性检验是“统计假设检验”(Statistical hypothesis testing)的一种,用于检测科学实验中实验组与对照组之间是否有差异以及差异是否显著的办法。 在实验进行过程中,尽管尽量排除随机误差的影响,以突出实验的处理效果,但由于个体间无法避免的差异,以及诸多无法控制的因素,使得实验结果最后表现的观察值处理处理效应之外,还包括实验误差的效应。 因此对两个样本进行比较...

GladYouCame 1万+

拒绝被坑!如何用Python和数据分析鉴别刷单!?

且看小Q如何吃一堑,长两智发际线堪忧的小Q,为了守住头发最后的尊严,深入分析了几十款防脱洗发水的评价,最后综合选了一款他认为最完美的防脱洗发水。一星期后,他没察觉到任何变化。一个月后,他...

SeizeeveryDay的博客 1万+

python刷投票的脚本实现代码

原理就是用代理IP去访问投票地址。用到了多线程,速度飞快。 昨晚两个小时就刷了1000多票了,主要是代理IP不好找。 2.7环境下运行 #!/usr/bin/env python #-*- coding: utf-8 -*- import urllib2 from threading import Thread from time import time class Vote(Thread): def __init__(self, proxy): Thread.__init__(self) self.proxy = proxy se

Python异常值检测——黄牛刷单行为特征分析

将账号的订单数和ip地主数量两个变量进行异常值检测,分析出黄牛恶意下单的行为特征 import pandas as pd catering_sale = 'C:\python\异常检测.csv' #数据 data = pd.read_csv(catering_sale, index_col = 'ip_cnt') #读取数据,指定“日期”列为索引列 data import matplotlib....

weixin_42695959的博客 2304

用python实现刷点击率的示例代码

今天小编就为大家分享一篇用python实现刷点击率的示例代码,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

Python完成毫秒级抢淘宝大单功能

在本篇文章里小编给大家分享了关于Python完成毫秒级抢淘宝大单功能以及实例代码,需要的朋友们参考下。

python虚假评论识别程序_还在刷虚假评论?小心了,可以检测虚假评论的第三方工具来了...

逛亚马逊,经常能看到些不可思议的好评,那这些评论有可能都是真的吗?雨果网从外媒近日的报道中了解到,产品评论是消费者网购是一个重要参考指标。比如亚马逊的产品范围这么广,借助评论消费者就能进一步了解产品。当然零售商也知道评论的重要性,所以就催生了虚假评论,目的在于让自己的产品看上去比其他卖家优秀。所以买东西时要注意了,比如这个65英寸的4K超清电视是不是真的如评论说的一样好?这架无人机真的能飞很长时...

weixin_28760959的博客 873

利用Matlab实现矩形波导电磁场分布图的绘制

1.利用Matlab实现矩形波导电磁场分布图的绘制;2.学会使用 Matlab 进行数值计算,并绘出相应的图形;通过Matlab 计算并绘出任意时刻金属矩形波导的主模 TE10 模的电磁场分布图。波导尺寸、工作频率及时刻均由外部给定。(1)矩形波导中传输的主模为TE10模。设金属波导尺寸为a*b,TE10模的截止波长为2*a。其电磁场分量可推导表示如下:.......1-1上式中各参量如下:......1-2。

qq_26335381的博客 3058

拒绝恐慌,鉴别谣言!用数据分析思维识别不靠谱流言

最近大家都积极响应号召,宅在家里。终于能以如此舒服的姿势为社会做贡献,想想还蛮带感的。 然而,总有些人在朋友圈、微博里为大家添乱,发布一些言论,让人看得心里发慌、心里难受、心里添堵。加了陈老师微信的同学们,已经看到我连续发了好几条,揭这些人的老底。今天集中解释一次,帮大家舒心顺气,咱愉快过年。微博情况不清楚,咱不乱说。作为一名创作者,公众号圈子咱小有了解,今天就集中聊这个。 01 谁在搞事 按我...

weixin_45534843的博客 755

LLM之RAG实战(五十四)| 复杂文档处理RAG框架:Ragflow

RAGFlow 是一种结合了检索增强(Retrieval-Augmented Generation,RAG)与流程控制(Flow)的人工智能技术架构。它通过检索外部知识库中的信息,结合自然语言生成技术,为用户提供更准确、更丰富的回答。同时,它还引入了流程控制机制,能够根据任务需求动态调整信息检索和生成的流程,从而更好地完成复杂的任务。RAGFlow 的核心优势在于将检索和生成相结合,打破了传统生成模型仅依赖内部参数进行文本生成的局限。

wshzd的博客 1067

Truncated SVD for faster dection

Truncated SVD方法最先被提出在《Fast R-CNN》论文中,用于降低全连接层的运算量,提升模型的速度。在卷积神经网络的分类任务中,FC层的运算速度远远大于CONV层,而在Fast R-CNN的目标检测任务中,大多数的运算时间发生在FC 的运算中,是因为针对每张输入图片,只进行一次卷积操作,而要对生成的Region Proposal,大致两千个,进行全连接操作进行分类与Bounding...

weixin_35747666的博客 1535

强烈推荐一位有趣又干货的Python数据分析朋友!

写公众号有一段时间了,之前会跟大家分享一些我的学习历程,今天想给大家推荐一个我的朋友小z,他有三年+数据分析实战经验,专注于Python数据分析、专业数...

pdcfighting的博客 467

构建高效的LLM应用测试框架

《构建高效的LLM应用测试框架》 关键词:LLM,测试框架,应用测试,效率优化,测试原理 摘要:本文将深入探讨构建高效LLM应用测试框架的必要性、方法与步骤,旨在为开发者提供一套系统化、可操作的测试解决方案,从而提升LLM

AI天才研究院 1048

常用数据分析方法:方差分析及实现!

↑↑↑关注后"星标"Datawhale每日干货 &每月组队学习,不错过Datawhale干货作者:吴忠强,Datawhale优秀学习者,东北大学一个复杂的事...

Datawhale 5971

三菱FX系列PLC模拟量输入AD模块的使用方法和相关编程设置详解

三菱FX系列PLC模拟量输入AD模块的使用方法和相关编程设置详解

Robot_PLC_HMI_Automation 1万+

第五节_PySide6基本窗口控件_主窗口和标签

本文介绍了PySide6中主窗口和标签控件的使用。主要内容包括: 窗口控件分类: QWidget是基础窗口部件,可作为独立窗口或子部件 QMainWindow提供标准应用程序框架,包含菜单栏、工具栏等 QDialog用于对话框,支持模态交互 主窗口创建: 演示了如何创建QMainWindow子类 实现了窗口居中、设置图标、状态栏等功能 提供了窗口几何信息的获取方法 QLabel标签控件: 继承自QFrame类 用于显示文本或图像 文章通过代码示例详细说明了主窗口的创建和使用方法,包括位置控制、图标设置等常见

su桥木的博客 1022

昨天熬夜整了一波,值了!

我是小z如果推文正常发出的话,现在我正在高铁返程的路上(多请了两天假还是舒服啊)昨晚收拾行李,有一件帅气的外套不知道顺手丢哪儿了,翻箱倒柜足足找了半个小时...我过于跳跃的思维突然联想到公...

SeizeeveryDay的博客 715

YOLO项目从零开始:超详细运行教程(图文保姆级教学)

至此,我们已经完整跑通了YOLO项目的安装与启动流程,无论你是零基础小白还是刚入门的AI新兵,只要按部就班操作,也能轻松实现目标检测项目的落地。

一键难忘的博客 4800

python分析数据差异的方法_用Python的两种方法进行方差分析

在进行数据分析时,我们往往会遇到要对某个变量的影响因素进行分析的情况,而影响一事物的因素往往是很多的。比如在化工生产中,有温度、压力、剂量、反应时间等因素。每一因素的改变都有可能影响产品的数量和质量。我们往往要找出对产品质量有显著影响的那些因素。而方差分析就是根据试验的结果进行分析,鉴别各个有关因素对试验结果影响的有效方法,本文主要讲述如何用python中的两种方法来进行方差分析。首先,还是先简介...

weixin_39549110的博客 1773

Claude Code 100个真实案例 - 用AI做数据可视化大屏(ECharts+实时数据)

数据报表看着枯燥?领导汇报缺少视觉冲击力?是时候做一个酷炫的数据可视化大屏了!本案例将用 Claude Code 从零搭建一个实时数据可视化大屏,使用 ECharts 实现折线图、柱状图、饼图、地图、仪表盘等多种图表,配合 WebSocket 实现秒级数据刷新,深色主题科技感拉满!

yueyeguzhuo的专栏 197

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

python 方差_机器学习数学基础:方差分析及实现

↑↑↑关注后"星标"Datawhale每日干货 &每月组队学习,不错过Datawhale干货作者:吴忠强,Datawhale优秀学习者,东北大学一个复杂的事物,其中往往有许多因素互相制约又互相依存。方差分析是一种常用的数据分析方法,其目的是通过数据分析找出对该事物有显著影响的因素、各因素之间的交互作用及显著影响因素的最佳水平等。本文介绍了方差分析的基础概念,详细讲解了单因素...

weixin_39676348的博客 575

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

python方差分析误差棒_用 Python 的两种方法进行方差分析

在进行数据分析时,我们往往会遇到要对某个变量的影响因素进行分析的情况,而影响一事物的因素往往是很多的。比如在化工生产中,有温度、压力、剂量、反应时间等因素。每一因素的改变都有可能影响产品的数量和质量。我们往往要找出对产品质量有显著影响的那些因素。而方差分析就是根据试验的结果进行分析,鉴别各个有关因素对试验结果影响的有效方法,本文主要讲述如何用python中的两种方法来进行方差分析。首先,还是先简介...

weixin_30903865的博客 1386

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

上一篇: 神探Python程序员,带你千里捉小三!
下一篇: “看到同事2万块的笔记本,我认输了”:会说话,才是码农该有的自我修养
菜鸟学Python
博客等级 码龄9年 8063粉丝 571原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值