用户画像初探-Sogou用户画像比赛

Sogou用户画像赛初体验
最新推荐文章于 2022-07-28 13:56:59 发布
原创 最新推荐文章于 2022-07-28 13:56:59 发布 · 2.3k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据挖掘 #LDA主题模型 #决策树 #用户画像

本文记录了作者首次参与Sogou用户画像数据挖掘比赛的经历，详细介绍了使用LDA主题模型进行文本预处理及分词的过程，并探讨了如何通过决策树进行结果预测的方法。

起源是师兄叫着参加Sogou的用户画像比赛。过程中师兄比较忙，所以就自己试着摸索了一下。这也是第一次参加数据挖掘的比赛。所以记录一下，勉励自己更加努力才行。

LDA主题模型+决策树

1、LDA主题模型

  1. 文本预处理（编码问题烦死了）
  2. 结巴分词（去停用词）
  3. 大文本处理（内存8G直接跑到内存溢出，让我哭一会儿）
  4. gensim中关于主题模型函数讲解

2、决策树

  1. 决策树生成
  2. 对于连续数的处理
  3. 返回结果的问题
  4. 如何实现一棵方便的决策树API

3、小记

基于Spark的大数据精准营销中搜狗搜索引擎的用户画像挖掘
12-19 2万+
转载请注明：转载 from http://blog.youkuaiyun.com/u011239443/article/details/53735609 from CCF举办的“大数据精准营销中搜狗用户画像挖掘”竞赛 1. 选题背景与意义 1.1 用户画像与精准营销 “用户画像”是近几年诞生的名词。很多营销项目或很多广告主，在打算投放广告前，都要求媒体提供其用户画像。在以前，大多媒体会...
DataFound 2019用户画像竞赛分析
ZSCDumin的博客
03-07 5416
DataFound 2019用户画像竞赛分析 1. 数据解释 列的含义 ['用户编码', '用户实名制是否通过核实', '用户年龄', '是否大学生客户', '是否黑名单客户', '是否4G不健康客户','用户网龄（月）', '用户最近一次缴费距今时长（月）', '缴费用户最近一次缴费金额（元）', '用户近6个月平均消费值（元）','用户账单当月总费用（元）', '用户当月账户余额（元）',...
搜狗用户画像挖掘2016CCF_BDCI_Sougou_coderSkyChen.tar.gz
10-20
2016CCF大数据与计算智能大赛：精准营销中搜狗用户画像挖掘
搜狗用户画像
qq_26595557的博客
12-01 765
文本数据: 展开、过滤和分块 https://github.com/apachecn/feature-engineering-for-ml-zh/blob/master/docs/3.%E6%96%87%E6%9C%AC%E6%95%B0%E6%8D%AE.md word2vec 炼数成金 http://www.dataguru.cn/article-13488-1.html ...
Competition08-竞赛实战案例-用户画像类
Qiang的博客
04-08 412
竞赛实战案例-用户画像类 一、数据探索 仔细查看每个数据的基本含义，打印出数据，看看是什么样子的 校验数据的正确性，缺失情 查看数据的分布的时候，除了看训练集和测试集的分布是否相似，还要看target的分布情况（describe） 查看数据的时候 需要看看是否有重复数据 nunique() 针对属性信息的字段的离散和连续性，分开后统一分析。注意不是是数值的就是连续的，要看实际情况。 1)离散型（还分为数值型和非数值型） **针对object类，**离散性变量一般要么是两个，要么是含有
企业级360度用户画像系统-标签体系.xlsx
05-29
企业级360度全方位用户标签体系，全方位分析用户行为标签。
人工智能-项目实践-用户画像-csdn用户画像的源码.zip
12-26
用户画像，又称用户行为画像，是通过收集、整合和分析用户的行为数据，为每个用户创建一个全面且个性化的虚拟代表，以帮助理解用户的需求、兴趣和行为模式。在大数据时代，用户画像已成为精准营销、产品优化和用户...
某电商企业级360度用户画像系统-标签体系.xlsx
04-29
项目中形成的某商城用户标签体系和画像设计
人工智能-项目实践-用户画像-百货商场用户画像与会员价值分析.zip
最新发布
12-26
在本项目实践中，我们聚焦于“人工智能”在“百货商场”的应用，具体是通过构建“用户画像”来实现“会员价值分析”。用户画像是一种数据驱动的用户行为模型，旨在更深入地理解消费者，从而为商场的运营决策提供有力...
2016CCF大数据与计算智能大赛——搜狗用户画像比赛总结
login_sonata的博客
05-01 6285
一，赛题介绍赛题提供10万个用户在一个月内的搜索引擎查询词，与该用户的属性标签（包括性别、年龄、学历）做为训练数据，用机器学习和数据挖掘的方法构建模型，去对新增用户的未知属性进行预测（已知信息即用户的搜索词），其中性别是二分类问题，年龄和学历都是六分类问题。 赛事官网为www.datafountain.cn，比赛自16年10月开始，历时两个月。 我们队伍最终排名为30/894，B榜准确率为
Python-2016CCF大数据精准营销中搜狗用户画像挖掘
08-11
2016CCF 大数据精准营销中搜狗用户画像挖掘
基于用户画像的商品推荐挑战赛赛题解析
Cybenko
04-10 3945
这个赛题涉及的是用户画像建模领域，特征比较多，但是都很简单，并且初步观察可以分为两类特征，用户基本信息特征和用户行为序列信息,所以我在后期做的时候是分别对待的，对于用户基本信息，由于特征间的关联度不是很大，直接用传统机器学习一套特征转换(归一化，标签化)转换即可，对于行为序列信息，由于数据都经过平台脱敏处理，可以构建一个时序预测模型，最后通过模型调参，融合得到预测结果 模型训练 LGB+XGB+MLP 值得注意的是，这个比赛的训练集有30万条，还算比较多的，LGB和XGB的模型的综合能力很强，尤其是LG.
python用户画像_1st Place Solution for【2016CCF大数据竞赛 客户画像赛题（用户画像）】...
weixin_39897687的博客
11-24 603
1st Place Solution for 2016CCF StateGrid UserProfile任务介绍在复赛中，参赛者需要以电力用户的95598工单数据、电量电费营销数据等为基础，综合分析电费敏感客户特征，建立客户电费敏感度模型，对电费敏感用户的敏感程度进行量化评判，帮助供电企业快速、准确的识别电费敏感客户，从而对应的提供有针对性的电费、电量提醒等精细化用电服务。解决方案详细解决方案pd...
2016CCF 大数据与计算智能大赛——搜狗用户画像（NLP）
qiusuoxiaozi的博客
12-29 7857
2016 CCF搜狗用户画像队名：nice 排名: 66(复赛) 这个比赛本质上是一个自然语言处理(NLP)问题，或者更具体地就是文本分类(TC)问题。我们组的主要想法来自于自动化所宗成庆老师他们的一篇文章[Xia et al., 2012]以及网上一些博客的启发。 Brief introduction of our method Conclusion Brief introduction of o
【竞赛经验】中国移动人群画像赛TOP1
Pysamlam的博客
07-04 1227
朋友咨询我作为一名没有竞赛经验的新手如何在竞赛中一步步成长并且最终取得优异成绩。希望能够通过这篇文章让一些数据竞赛入门者及爱好者从中学习到相关的比赛经验和思考历程。在本文...
推荐系统 --- 数据工程 --- 用户画像 --- 概述
micklongen的专栏
01-04 1239
概述 概念：勾画用户（用户背景、特征、性格标签、行为场景等）和联系用户需求与产品设计的，旨在通过从海量用户行为数据中炼银挖金，尽可能全面细致地抽出一个用户的信息全貌 目标：将定性和定量方法结合在一起 定性化的方法：通过对用户的生活情境、使用场景、用户心智进行分析来对用户的性质和特征做出抽象与概括 定量化：对特征做精细的统计分析与计算，获得对于用户较为精准的认识，便于在数值排序的基础上实现核心用户的发掘与突出 ⽤户画像的关键因素 第⼀个是维度 第⼆个是量化 用户画像数据来源 用户注册等基本属性
千人千面、用户画像的设计、技术选型与架构实现
.
06-06 6888
目前，越来越多的企业，在大数据应用上，都会选择用户画像这一主题，为什么呢？因为用户画像相对于做推荐以及机器学习等简单容易的多，做画像，更多是就是对用户数据的整合，然后做一些用户聚类、用推荐算法，比如基于用户的推荐和基于商品的推荐，获取用户或者进行商品营销应用。 我们的画像的维度和设计原则都是紧紧跟着业务需求去推动。换句话说，对于数据的应用就是基于业务来做的，业务和数据双向驱动。 审核通过的画像...
做策略分析，怎么能不懂用户画像、用户分群、用户分层？
未来金科学院
07-28 1492
1、决策树，是一种分类算法和回归算法，一个类似于流程图的树形结构，树内部的每一个节点代表的是对一个特征的测试，树的分支代表该特征的每一个测试结果，而树的每一个叶子节点代表一个类别。很多做策略分析的同学在做用户分析时，会被用户标签、用户画像、用户分群、用户分层这几个概念绕晕。把用户划分为8个群体，从高消费频次、高消费额、最近消费过的重要价值用户，到低消费频次、低消费额、很久未消费的一般挽留用户。随着互联网金融的发展需要，对于信贷产品、用户的精细化运营是未来的主要方向，而开展精细化运营的基础是对用户的理解。..
用户画像常用算法
justlpf的专栏
06-17 4203
决策树 1、决策树，是一种分类算法和回归算法（这里只介绍分类算法） 2、决策树算法的构建分为3个部分：特征的选择，决策树的生成，决策树的剪枝；（主要参考李航的《统计学习方法》第五章） a、特征的选择—-选择使信息增益最大的特征；即选择一个分类特征必须是分类确定性更高，此特征才是更好的； b、决策树的生成—ID3，C4.5算法，此时用迭代的方式构建决策树；注意此时的决策树，因为每次选的都是局部最优解，所以是过拟合的； c、决策树的剪枝—决策树剪枝是为了防止过拟合，根据全局c...
电商用户画像设计与Hadoop-Hive应用实战
电商平台下用户画像的设计与实现是一篇针对大数据背景下电商行业的深入研究论文。随着大数据的崛起，海量的半结构化或非结构化数据不断产生，传统的数据管理方式已无法满足高效处理和分析的需求。论文主要探讨了如何...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值