MLwodejia的博客

ClickHouse和ES在人群圈选上的对比ES标签存储的痛点ClickHouse替代ES标签存储ES人群圈选ClickHouse人群圈选ClickHouse标签存储和人群圈选的优势ClickHouse集成Bitmap什么是BitmapBitmap位运算Bitmap缺点ES标签存储的痛点标签导入到ES的时间过长，需要等待各种数据准备就绪，才能关联查询Mapping在建好之后不能更改字段类型新增或修改标签，不能够实时进行ES的DSL语法对用户不太友好ClickHouse替代ES标签存储相同

之前的工作完成了以下几项任务TF-IDF + SVM评论情感提取 标签：是否喜欢这个商品朴素贝叶斯预测性别标签：男或女RFM模型划分用户价值标签：用户的价值等级K-Means用户消费分群标签：用户的消费等级订单数据挖掘标签：用户的消费习惯用户行为标签 + 标签权重标签：用户的购物偏好在完成以上任务后，需要将生成的标签聚合、同步到Hbase、ES、ClickHouse中方便查询。将选出来的人群具体应用于业务逻辑。...

基于K-Means算法的用户消费分群与Spark实现K-Means什么是K-MeansK-Means算法步骤合理选择K值手肘法代码实现K-Means什么是K-Means簇中的点到该簇的均值点的距离都较到其他簇的均值点更近原始数据划分为K类，Means是均值点K-Means的核心是聚集为K个簇，每个簇都有一个中心点（均值点）K-Means算法步骤随机选K个值作为初始聚类中心把其余所有点划分到距离最近的聚类中心所在的聚类中将每个聚类中所有点的均值作为新的聚类中心重复2、3步骤，直到聚类

RFM模型与Spark实现RMF模型什么是RMF模型给R、F、M按价值打分基于RFM模型的用户价值划分代码实现RMF模型什么是RMF模型R最近一次消费时间：R越小，客户价值越高F消费频率：F值会受到品类的影响，不适合做跨类目比较M消费金额：最有价值的指标利用以上三个指标将用户分为以下几类给R、F、M按价值打分R打分：最近一次消费距离当前日期越近，分值越高F：消费频率越高，得分越高M：消费金额越高，得分越高得分过后需要给R、F、M一定权重，权重根据业务进行选取基于RFM模型的用

用户画像中的特征工程特征工程的4个步骤特征理解（识别并提取不同等级的数据）数值型特征处理类别型特征处理特征增强（清洗数据）特征构建（生成新特征）特征选择（选取性能最佳特征）文本型数据的特征提取文本型数据的特征值化onehot编码词袋模型TF-IDF特征交叉为什么需要FM算法特征工程的4个步骤特征理解（识别并提取不同等级的数据）数值型特征处理使得尺度不同的数据能够相互比较特征的缩放（归一化/标准化）特征的转换（正则化）类别型特征处理序号编码独热编码二进制编码特征增强（清洗数据）

用户画像基础什么是用户画像如何正确理解用户画像用户画像如何生成用户画像的标签维度（分类）标签类型 -- 从标签主题的角度标签类型 -- 从标签生成的角度标签类型 -- 从数据提取的角度标签类型 -- 从数据时效的角度人群的标签组合如何构建高质量的用户画像标签的用户画像的核心，只有真正有效的用户画像标签，才能提升运营效果什么是用户画像通过数据建立描绘用户的标签个性化推荐、广告系统、活动营销、都是基于用户画像的研究如何正确理解用户画像不能把典型用户当做用户画像：典型用户是虚构的，每个真实用户都

Linux三种模式常用操作一般模式编辑模式指令模式三个模式直接的关系VIM 编辑器是从 VI 发展出来的一个性能更强大的文本编辑器。可以主动的以字体颜色辨别语法的正确性，方便程序设计。VIM 与 VI 编辑器完全兼容一般模式语法功能描述yy复制光标当前一行y 数字 y复制一段（从第几行到第几行）p箭头移动到目的行粘贴u撤销上一步dd删除光标当前行d 数字 d删除光标（含）后多少行x剪切一个字母，相当于 delX剪切一个字母，