用户画像初探-Sogou用户画像比赛

Python-2016CCF大数据精准营销中搜狗用户画像挖掘 2016CCF 大数据精准营销中搜狗用户画像挖掘 立即下载

起源是师兄叫着参加Sogou的用户画像比赛。过程中师兄比较忙,所以就自己试着摸索了一下。这也是第一次参加数据挖掘的比赛。所以记录一下,勉励自己更加努力才行。

LDA主题模型+决策树

1、LDA主题模型

  1. 文本预处理(编码问题烦死了)
  2. 结巴分词(去停用词)
  3. 大文本处理(内存8G直接跑到内存溢出,让我哭一会儿)
  4. gensim中关于主题模型函数讲解

2、决策树

  1. 决策树生成
  2. 对于连续数的处理
  3. 返回结果的问题
  4. 如何实现一棵方便的决策树API

3、小记

搜狗用户画像挖掘2016CCF_BDCI_Sougou_coderSkyChen.tar.gz 2016CCF大数据与计算智能大赛:精准营销中搜狗用户画像挖掘 立即下载

相关推荐

大数据用户画像算法分析

大数据相关的用户画像分析,很有知道意义,用户画像、大数据

千人千面、用户画像的设计、技术选型与架构实现

目前,越来越多的企业,在大数据应用上,都会选择用户画像这一主题,为什么呢?因为用户画像相对于做推荐以及机器学习等简单容易的多,做画像,更多是就是对用户数据的整合,然后做一些用户聚类、用推荐算法,比如基于用户的推荐和基于商品的推荐,获取用户或者进行商品营销应用。 我们的画像的维度和设计原则都是紧紧跟着业务需求去推动。换句话说,对于数据的应用就是基于业务来做的,业务和数据双向驱动。 审核通过的画像...

. 7211

COMSOL模拟CO2驱替CH4:多物理场耦合建模与工程应用详解

在非常规天然气开发与碳封存工程中,多孔介质内的渗流、吸附与岩石变形相互耦合,使得CO2驱替CH4的产能预测和CO2封存评估无法仅靠经验公式完成。以达西定律描述裂隙流动、以扩展Langmuir方程刻画竞争吸附、用应力-吸附-渗透率关系关联煤岩变形,是多物理场耦合数值模拟的核心路径。COMSOL Multiphysics凭借内置渗流、固体力学与组分传递接口,能够将这些机制整合为可参数化扫描的仿真模型,为注气压力、井距、渗透率演化等方案设计提供量化依据。围绕CO2驱替CH4模拟的建模流程、参数取法与结果判读,可形

weixin_29574585的博客 163

做策略分析,怎么能不懂用户画像、用户分群、用户分层?

1、决策树,是一种分类算法和回归算法,一个类似于流程图的树形结构,树内部的每一个节点代表的是对一个特征的测试,树的分支代表该特征的每一个测试结果,而树的每一个叶子节点代表一个类别。很多做策略分析的同学在做用户分析时,会被用户标签、用户画像、用户分群、用户分层这几个概念绕晕。把用户划分为8个群体,从高消费频次、高消费额、最近消费过的重要价值用户,到低消费频次、低消费额、很久未消费的一般挽留用户。随着互联网金融的发展需要,对于信贷产品、用户的精细化运营是未来的主要方向,而开展精细化运营的基础是对用户的理解。..

未来金科学院 1607

视觉SLAM的前段后端最详细的梳理(硕士入门知识框架更新)

文章目录视觉SLAM的组成结构视觉里程计(VO)-特征点法 -构建稀疏点云地图-直接法 -构建稠密或半稠密的地图 --需要使用 RGB-D 传感器视觉里程计--总结:SLAM 后端研究滤波器法非线性优化后端方式的差异(有五种优化方式):单目视觉里程计的初始化:运动估计:半直接法运动估计的优化方案:关于解决累计误差的一些方法:关键帧的建图及后端优化:特征的深度估计:图优化的后端研究:视觉与IMU融合的分类:视觉与IMU的融合的优势:存在的问题:优秀的开源: 视觉SLAM的组成结构 视觉里程计(VO) -特

DC 6812

citespace基本操作

聚类分析 时间线图 这些结果都是高被引文献的相关呈现结果,代表该领域的文献基础 下面可以看看该project的前沿领域 选择keywords 和term go! 调整显示方式 生成凸线图:表示 在某个研究领域或者时间段内 ,大家对某个领域或者某个词的关注度突然增高,凸显前沿方向的转变 以此来发现热点 ...

生信小博士的博客 1万+

基于用户画像的商品推荐挑战赛赛题解析

这个赛题涉及的是用户画像建模领域,特征比较多,但是都很简单,并且初步观察可以分为两类特征,用户基本信息特征和用户行为序列信息,所以我在后期做的时候是分别对待的,对于用户基本信息,由于特征间的关联度不是很大,直接用传统机器学习一套特征转换(归一化,标签化)转换即可,对于行为序列信息,由于数据都经过平台脱敏处理,可以构建一个时序预测模型,最后通过模型调参,融合得到预测结果 模型训练 LGB+XGB+MLP 值得注意的是,这个比赛的训练集有30万条,还算比较多的,LGB和XGB的模型的综合能力很强,尤其是LG.

Cybenko 3999

Chrome红页误报?手把手教你通过Search Console快速解除安全警告

本文详细解析了Chrome红页误报的常见原因及解决方案,重点介绍如何通过Google Search Console快速解除安全警告。内容涵盖误报诊断、技术修复、申诉技巧及长效预防措施,帮助网站管理员有效应对Google Safe Browsing的误判问题,确保网站安全状态快速恢复。

a1b2c的博客 1001

用户画像常用算法

决策树 1、决策树,是一种分类算法和回归算法(这里只介绍分类算法) 2、决策树算法的构建分为3个部分:特征的选择,决策树的生成,决策树的剪枝;(主要参考李航的《统计学习方法》第五章) a、特征的选择—-选择使信息增益最大的特征;即选择一个分类特征必须是分类确定性更高,此特征才是更好的; b、决策树的生成—ID3,C4.5算法,此时用迭代的方式构建决策树;注意此时的决策树,因为每次选的都是局部最优解,所以是过拟合的; c、决策树的剪枝—决策树剪枝是为了防止过拟合,根据全局c...

justlpf的专栏 4380

深入解析Dataloader中shuffle机制与随机种子对模型训练的影响

本文深入探讨了Dataloader中shuffle机制与随机种子对机器学习模型训练的影响。通过实际案例分析,详细解释了数据打乱顺序的必要性、随机种子的正确设置方法以及两者协同工作的原理,帮助开发者避免常见陷阱并提升模型训练效果。

weixin_29166013的博客 142

NSIS教程(6): 使用第三方插件

NSIS内置了很多指令,这些指令可以满足我们基本需求,但难免会遇到NSIS没有内置的功能,如进程操作,后台运行(即多线程),7z压缩等等,这个时候我们就需要借助第三方插件来满足我们所需要的功能了。 一、插件获取 NSIS官方收录插件的网址是:http://nsis.sourceforge.net/Category:Plugins,我们可以在这个网站上查找和下载我们需要的插件,该网站上针对每

while(1) { smile(); } 9万+

Competition08-竞赛实战案例-用户画像类

竞赛实战案例-用户画像类 一、数据探索 仔细查看每个数据的基本含义,打印出数据,看看是什么样子的 校验数据的正确性,缺失情 查看数据的分布的时候,除了看训练集和测试集的分布是否相似,还要看target的分布情况(describe) 查看数据的时候 需要看看是否有重复数据 nunique() 针对属性信息的字段的离散和连续性,分开后统一分析。注意不是是数值的就是连续的,要看实际情况。 1)离散型(还分为数值型和非数值型) **针对object类,**离散性变量一般要么是两个,要么是含有

Qiang的博客 457

微信H5网页支付JSAPI部分用户报错:system:access_denied 的解决方案

JSAPI 支付仅支持微信内置浏览器调用。

代码简单说 Vue、JAVA、PHP、Node.js 熟练运用,接口、架构、性能全搞定。 1687

2016CCF大数据与计算智能大赛——搜狗用户画像比赛总结

一,赛题介绍赛题提供10万个用户在一个月内的搜索引擎查询词,与该用户的属性标签(包括性别、年龄、学历)做为训练数据,用机器学习和数据挖掘的方法构建模型,去对新增用户的未知属性进行预测(已知信息即用户的搜索词),其中性别是二分类问题,年龄和学历都是六分类问题。 赛事官网为www.datafountain.cn,比赛自16年10月开始,历时两个月。 我们队伍最终排名为30/894,B榜准确率为

login_sonata的博客 6338

Xilinx平台SRIO介绍(一)RapidIO协议介绍

菜鸟到老鸟:会用工具; 老鸟到大佬:深入理解原理。 ——FPGA大叔·沃自己硕得

数字IC/FPGA杂货铺,找一找,或许有你想要的~ 1万+

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

spark 用户画像挖掘分析_CCF 搜狗用户画像挖掘 Top5方案分享

比赛名称:大数据精准营销中搜狗用户画像挖掘比赛链接:https://www.datafountain.cn/competitions/239赛题简述 业务背景:用户画像,即:用户的属性及偏好。在广告的精准投放中,根据用户的历史行为来反推用户的属性是一项基础技术。本次赛题即为根据搜狗用户在一段时间内的搜索词来预测用户的性别、年龄和教育水平复赛训练数据:10w个用户在某段时间内的搜索词以及相...

weixin_28966407的博客 525

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

用户画像算法分享和干货推荐

在做用户画像时,首先要认识用户画像,用户画像是根据网络中海量的用户信息抽象出的一个标签化的用户模型。 从互联网各大平台中,通过主动(爬虫)或者被动(公司留下的客户历史足迹)地收集用户信息,再经过分析和加工,就能形成一系列的用户个性化标签。就是下图这个样子的: 关于用户画像的构建csdn上有很多,但大多是在结构上和业务上做了介绍,有一些有价值的博客做了用户画像模型构建方法的深度讲解。不同的是,...

Supergirl12138的博客 4642

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

2016CCF 大数据与计算智能大赛——搜狗用户画像(NLP)

2016 CCF搜狗用户画像队名:nice 排名: 66(复赛) 这个比赛本质上是一个自然语言处理(NLP)问题,或者更具体地就是文本分类(TC)问题。我们组的主要想法来自于自动化所宗成庆老师他们的一篇文章[Xia et al., 2012]以及网上一些博客的启发。 Brief introduction of our method Conclusion Brief introduction of o

qiusuoxiaozi的博客 7937

<转>基于Spark的大数据精准营销中搜狗搜索引擎的用户画像挖掘

转载请注明:转载 from http://blog.youkuaiyun.com/u011239443/article/details/53735609  近期参加了CCF举办的“大数据精准营销中搜狗用户画像挖掘”竞赛,就那它来写了。本博文会在这几周不断的完善更新ing 1. 选题背景与意义 1.1 用户画像与精准营销   “用户画像”是近几年诞生的名词。很多营销项目或很多广告主,在打算

yongjian_luo的专栏 2087

大数据精准营销中搜狗用户画像挖掘比赛——1st算法分享

作者:李恒超,李裕礞,王安然,钱凌飞,任璐,林鸿飞 ——大大黑楼战队 目录 1. 数据预处理 1.1. 停用词处理 1.2. 分词 2. 特征表示 2.1. Bag of Words 2.2. Word Embedding 2.3. Topical Word Embedding 2.4. Doc2Vec...

狮子座明仔知识集散场 7889

从情感分析到用户画像,CCF大数据与计算智能大赛 作品源码资料整理

向AI转型的程序员都关注了这个号???大概的调研情况如下:比赛官网 http://www.datafountain.cn/#/home比赛主要涉及大数据与人工智能领域,这是比较新的领域,这个比赛的先进性以及后期的发展潜力是毋庸置疑的。其次,比赛的出题企业也是非常优质的。去年的主办方邀请了国家电网、蚂蚁金服、搜狗这种重量级的企业,可以体会到比赛坚强的后盾和企业对于这个比赛的巨大期望。最后,在比赛的规

大数据挖掘DT数据分析 3982

2016 CCF大数据与计算智能大赛的开源资料整理

2016 CCF 大数据与计算智能大赛已经落下帷幕,11个赛题由众多大神包揽奖项,其中不少大神还在赛后开源/公开了比赛资料。现将目前已知的开源资料整理如下,供各位同学一起参考学习。若有意公开自己的比赛资料或者发现整理的列表中有遗漏的,可以联系我(金陵书生, netivs@qq.com )补充修订。有问题也可在群里讨论。部分比赛PPT已经放到大数据比赛交流群,请在群文件里查看。 1)O2O 赛题 w...

slamer的专栏 2121

关于大数据精准营销中搜狗用户画像挖掘比赛的一些感悟(看第一名代码有感)

1.用NLTK、jieba等对query做一些分词,词形还原,再用doc2vec 得到dbow ,dm的一些特征 2.用tf_idf NB LR NN 等一些方法 再结合stack 融合得到一些新的特征 3. 最后用xgboost 或者LGB 做一些分类。 以上大概可以得到一个baseline,具体怎么做特征工程 怎么调参 还是一个技术活    ...

PythonstartL的博客 974

(转载)2016 CCF大数据与计算智能大赛 开源资料整理

本文转载自:http://blog.sina.com.cn/s/blog_5399b8660102wxks.html 2016 CCF 大数据与计算智能大赛已经落下帷幕,11个赛题由众多大神包揽奖项,其中有些还在赛后开源了比赛资料,现将目前已知的资料整理如下,供各位同学一起参考学习。若有意公开自己的比赛资料或者发现整理的列表中有遗漏的,可以联系我(金陵书生, netivs@qq.com ...

a567676的博客 325

2019数据科学/人工智能比赛作品解决方案合集

目录 1. Structured Data/ Time Series 2019 CCF 乘用车细分市场销量预测 2019 CCF 离散制造过程中典型工件的质量符合率预测 2018 科大讯飞 AI 营销算法大赛 2018 IJCAI 阿里妈妈搜索广告转化预测 2018 腾讯广告算法大赛 2017 腾讯广告算法大赛 2018 高校大数据挑战赛-快手活跃用户预测 2018JDATA 用...

プロノCodeSteel 3990
上一篇: Python中正则表达式的使用
下一篇: 在Ubuntu上安装OpenCV3.0+和Python2.7+环境(转)
我就想叫这个
博客等级 码龄11年 52粉丝 39原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值