<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[MLwodejia的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/MLwodejia</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; MLwodejia]]></copyright><item><title><![CDATA[记录自己第一个Kaggle银牌]]></title><link>https://blog.youkuaiyun.com/MLwodejia/article/details/125435294</link><guid>https://blog.youkuaiyun.com/MLwodejia/article/details/125435294</guid><author>MLwodejia</author><pubDate>Tue, 05 Jul 2022 22:32:54 +0800</pubDate><description><![CDATA[从六月以来，一直在华为实习，没抽出时间写一写文章，最近很开心的是刚结束的Kaggle比赛U.S. Patent Phrase to Phrase Matching中取得了银牌，很感谢队友给予的大力帮助，在这里简述一下具体的做法，以作回顾。...]]></description><category></category></item><item><title><![CDATA[Python一些面试题总结]]></title><link>https://blog.youkuaiyun.com/MLwodejia/article/details/125211660</link><guid>https://blog.youkuaiyun.com/MLwodejia/article/details/125211660</guid><author>MLwodejia</author><pubDate>Fri, 10 Jun 2022 09:34:59 +0800</pubDate><description><![CDATA[python面试的一些常问问题，做一些整理，帮助后期回顾]]></description><category></category></item><item><title><![CDATA[ClickHouse和ES在人群圈选上的对比]]></title><link>https://blog.youkuaiyun.com/MLwodejia/article/details/124907480</link><guid>https://blog.youkuaiyun.com/MLwodejia/article/details/124907480</guid><author>MLwodejia</author><pubDate>Sun, 22 May 2022 16:31:52 +0800</pubDate><description><![CDATA[ClickHouse和ES在人群圈选上的对比ES标签存储的痛点ClickHouse替代ES标签存储ES人群圈选ClickHouse人群圈选ClickHouse标签存储和人群圈选的优势ClickHouse集成Bitmap什么是BitmapBitmap位运算Bitmap缺点
ES标签存储的痛点

标签导入到ES的时间过长，需要等待各种数据准备就绪，才能关联查询
Mapping在建好之后不能更改字段类型
新增或修改标签，不能够实时进行
ES的DSL语法对用户不太友好

ClickHouse替代ES标签存储

相同]]></description><category></category></item><item><title><![CDATA[通过不同算法给用户打上标签后的业务应用]]></title><link>https://blog.youkuaiyun.com/MLwodejia/article/details/124895677</link><guid>https://blog.youkuaiyun.com/MLwodejia/article/details/124895677</guid><author>MLwodejia</author><pubDate>Sat, 21 May 2022 11:05:55 +0800</pubDate><description><![CDATA[之前的工作完成了以下几项任务

TF-IDF + SVM评论情感提取  标签：是否喜欢这个商品

朴素贝叶斯预测性别标签：男或女

RFM模型划分用户价值标签：用户的价值等级

K-Means用户消费分群标签：用户的消费等级

订单数据挖掘标签：用户的消费习惯

用户行为标签 + 标签权重标签：用户的购物偏好

在完成以上任务后，需要将生成的标签聚合、同步到Hbase、ES、ClickHouse中方便查询。



将选出来的人群具体应用于业务逻辑。




...]]></description><category></category></item><item><title><![CDATA[基于K-Means算法的用户消费分群与Spark实现]]></title><link>https://blog.youkuaiyun.com/MLwodejia/article/details/124894352</link><guid>https://blog.youkuaiyun.com/MLwodejia/article/details/124894352</guid><author>MLwodejia</author><pubDate>Sat, 21 May 2022 09:51:24 +0800</pubDate><description><![CDATA[基于K-Means算法的用户消费分群与Spark实现K-Means什么是K-MeansK-Means算法步骤合理选择K值手肘法代码实现
K-Means
什么是K-Means
簇中的点到该簇的均值点的距离都较到其他簇的均值点更近

原始数据划分为K类，Means是均值点
K-Means的核心是聚集为K个簇，每个簇都有一个中心点（均值点）

K-Means算法步骤

随机选K个值作为初始聚类中心
把其余所有点划分到距离最近的聚类中心所在的聚类中
将每个聚类中所有点的均值作为新的聚类中心
重复2、3步骤，直到聚类]]></description><category></category></item><item><title><![CDATA[RFM模型与Spark实现]]></title><link>https://blog.youkuaiyun.com/MLwodejia/article/details/124890386</link><guid>https://blog.youkuaiyun.com/MLwodejia/article/details/124890386</guid><author>MLwodejia</author><pubDate>Fri, 20 May 2022 21:46:30 +0800</pubDate><description><![CDATA[RFM模型与Spark实现RMF模型什么是RMF模型给R、F、M按价值打分基于RFM模型的用户价值划分代码实现
RMF模型
什么是RMF模型

R最近一次消费时间：R越小，客户价值越高
F消费频率：F值会受到品类的影响，不适合做跨类目比较
M消费金额：最有价值的指标

利用以上三个指标将用户分为以下几类
给R、F、M按价值打分

R打分：最近一次消费距离当前日期越近，分值越高
F：消费频率越高，得分越高
M：消费金额越高，得分越高

得分过后需要给R、F、M一定权重，权重根据业务进行选取
基于RFM模型的用]]></description><category></category></item><item><title><![CDATA[搭建用户画像的特征工程 --实际搭建流程]]></title><link>https://blog.youkuaiyun.com/MLwodejia/article/details/124855957</link><guid>https://blog.youkuaiyun.com/MLwodejia/article/details/124855957</guid><author>MLwodejia</author><pubDate>Thu, 19 May 2022 11:14:23 +0800</pubDate><description><![CDATA[用户画像中的特征工程特征工程的4个步骤特征理解（识别并提取不同等级的数据）数值型特征处理类别型特征处理特征增强（清洗数据）特征构建（生成新特征）特征选择（选取性能最佳特征）文本型数据的特征提取文本型数据的特征值化onehot编码词袋模型TF-IDF特征交叉为什么需要FM算法
特征工程的4个步骤
特征理解（识别并提取不同等级的数据）

数值型特征处理
使得尺度不同的数据能够相互比较

特征的缩放（归一化/标准化）
特征的转换（正则化）

类别型特征处理

序号编码
独热编码
二进制编码

特征增强（清洗数据）]]></description><category></category></item><item><title><![CDATA[用户画像相关理论基础 -- 看这一篇就够啦（总结篇）]]></title><link>https://blog.youkuaiyun.com/MLwodejia/article/details/124850022</link><guid>https://blog.youkuaiyun.com/MLwodejia/article/details/124850022</guid><author>MLwodejia</author><pubDate>Wed, 18 May 2022 21:29:41 +0800</pubDate><description><![CDATA[用户画像基础什么是用户画像如何正确理解用户画像用户画像如何生成用户画像的标签维度（分类）标签类型 -- 从标签主题的角度标签类型 -- 从标签生成的角度标签类型 -- 从数据提取的角度标签类型 -- 从数据时效的角度人群的标签组合如何构建高质量的用户画像
标签的用户画像的核心，只有真正有效的用户画像标签，才能提升运营效果
什么是用户画像

通过数据建立描绘用户的标签
个性化推荐、广告系统、活动营销、都是基于用户画像的研究

如何正确理解用户画像

不能把典型用户当做用户画像：典型用户是虚构的，每个真实用户都]]></description><category></category></item><item><title><![CDATA[初始DMP项目 -- 用户画像]]></title><link>https://blog.youkuaiyun.com/MLwodejia/article/details/124674736</link><guid>https://blog.youkuaiyun.com/MLwodejia/article/details/124674736</guid><author>MLwodejia</author><pubDate>Mon, 16 May 2022 21:59:29 +0800</pubDate><description><![CDATA[DMP项目DMP什么是DMPDMP行业图谱DMP达到什么样的效果DMP具备的能力
DMP
什么是DMP

DMP(Data Management Platform)数据管理平台
可以把DMP看成一个数据池子接受来自各方的数据，然后融合、处理、优化，最后使用这些数据
DMP = 数据 + 管理 + 平台
集数据采集，存储，处理，分析，输出于一体


DMP行业图谱

DMP达到什么样的效果

用户分析与广告定向投放：广告精准投放、提供丰富标签服务
广告效果分析：各渠道的获客数量、各渠道的转化率、订单成本分析、]]></description><category></category></item><item><title><![CDATA[Linux三种模式常用操作]]></title><link>https://blog.youkuaiyun.com/MLwodejia/article/details/124611496</link><guid>https://blog.youkuaiyun.com/MLwodejia/article/details/124611496</guid><author>MLwodejia</author><pubDate>Fri, 06 May 2022 15:48:38 +0800</pubDate><description><![CDATA[Linux三种模式常用操作一般模式编辑模式指令模式三个模式直接的关系
VIM 编辑器是从 VI 发展出来的一个性能更强大的文本编辑器。可以主动的以字体颜色辨别语法的正确性，方便程序设计。VIM 与 VI 编辑器完全兼容
一般模式




语法
功能描述




yy
复制光标当前一行


y 数字 y
复制一段（从第几行到第几行）


p
箭头移动到目的行粘贴


u
撤销上一步


dd
删除光标当前行


d 数字 d
删除光标（含）后多少行


x
剪切一个字母，相当于 del


X
剪切一个字母，]]></description><category></category></item><item><title><![CDATA[通过这篇文章带您了解处理不均衡数据的思想与实践]]></title><link>https://blog.youkuaiyun.com/MLwodejia/article/details/124235160</link><guid>https://blog.youkuaiyun.com/MLwodejia/article/details/124235160</guid><author>MLwodejia</author><pubDate>Sun, 17 Apr 2022 21:05:35 +0800</pubDate><description><![CDATA[处理不均衡数据主要思想数据方面算法方面实践
主要思想
在处理不平衡数据主要从两方面入手：数据集方面、算法本身方面
数据方面
对数据进行重采样，使原本不均衡的样本变得均衡。最简单的处理不均衡样本集的方法是随机采样。

随机过采样：从少数类样本集中随机重复抽取样本（有放回）以得到更多样本
随机欠采样：从多数类样本中随机选取较少的样本（有放回或无放回）以得到更多样本

上述方法只是简单的重复的复制样本，采取一些方法生成新的样本
对于过采样：

SMOTE：对少数类样本集SminS_{min}Smin​中的每个样本]]></description><category></category></item><item><title><![CDATA[Featuretools快速使用指南--看这一篇就够了]]></title><link>https://blog.youkuaiyun.com/MLwodejia/article/details/123434061</link><guid>https://blog.youkuaiyun.com/MLwodejia/article/details/123434061</guid><author>MLwodejia</author><pubDate>Fri, 11 Mar 2022 21:48:02 +0800</pubDate><description><![CDATA[Featuretools简单攻略Featuretools介绍Featuretools快速开始
Featuretools介绍
人工特性工程是一项冗长乏味的任务，并且受到人类想象力的限制——我们可以思考创建的特性只有这么多，而且随着时间的推移，创建新特性需要大量的时间。理想情况下，应该有一个客观的方法来创建一系列不同的候选新特性，然后我们可以将这些特性用于机器学习任务。这个过程的目的不是替换数据科学家，而是使他的工作更容易，并允许他使用自动工作流补充领域知识。

Featuretools快速开始
以官方文档为例]]></description><category></category></item><item><title><![CDATA[机器学习之特征工程理解与总结]]></title><link>https://blog.youkuaiyun.com/MLwodejia/article/details/123363406</link><guid>https://blog.youkuaiyun.com/MLwodejia/article/details/123363406</guid><author>MLwodejia</author><pubDate>Wed, 09 Mar 2022 09:40:37 +0800</pubDate><description><![CDATA[机器学习 -- 特征工程什么是特征工程数据预处理无量纲化标准化区间缩放标准化与归一化的区别对定量特征二值化对定性特征哑编码缺失值计算数据变换回顾特征选择Filter方差选择法相关系数法卡方检验互信息法Wrapper递归特征消除法Embedded基于惩罚项的特征选择法基于树模型的特征选择法回顾降维主成分分析法（PCA）线性判别分析法（LDA）回顾
什么是特征工程
有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢？顾名思义，其本质是一项工程活动]]></description><category></category></item><item><title><![CDATA[机器学习之关联规则理解]]></title><link>https://blog.youkuaiyun.com/MLwodejia/article/details/123325869</link><guid>https://blog.youkuaiyun.com/MLwodejia/article/details/123325869</guid><author>MLwodejia</author><pubDate>Mon, 07 Mar 2022 15:56:45 +0800</pubDate><description><![CDATA[机器学习 -- 关联规则关联规则概述应用场景举例3个最重要的概念（支持度、置信度、提升度）支持度置信度提升度频繁项集Python算法实现
关联规则概述
1993年，Agrawal等人在首先提出关联规则概念，迄今已经差不多30年了，现今在各种新算法层出不穷，这算得上是老古董了，比很多人的年纪还大，往往是数据挖掘的入门算法，但深入研究的不多，尤其在风控领域，有着极其重要的应用潜力。
比如你女朋友，低头玩手指+沉默，那大概率生气了，那这就是你总结出来的规则。啤酒与尿布的例子相信很多人都听说过吧，故事是这样的：在一]]></description><category></category></item><item><title><![CDATA[Flink -- 状态一致性理解]]></title><link>https://blog.youkuaiyun.com/MLwodejia/article/details/123317734</link><guid>https://blog.youkuaiyun.com/MLwodejia/article/details/123317734</guid><author>MLwodejia</author><pubDate>Sun, 06 Mar 2022 21:39:33 +0800</pubDate><description><![CDATA[Flink 的状态一致性状态一致性一致性检查点（checkpoint）端到端（end-to-end）状态一致性端到端的精确一次（exactly-once）保证幂等写入事务写入预写日志（Write-Ahead-Log，WAL）两阶段提交（Two-Phase-Commit，2PC）Flink+Kafka 端到端状态一致性的保证Exactly-once 两阶段提交Exactly-once 两阶段提交步骤
状态一致性


有状态的流处理，内部每个算子任务都可以有自己的状态
对于流处理器内部来说，所谓的状态一致性，其]]></description><category></category></item><item><title><![CDATA[Flink -- 容错机制理解]]></title><link>https://blog.youkuaiyun.com/MLwodejia/article/details/123317265</link><guid>https://blog.youkuaiyun.com/MLwodejia/article/details/123317265</guid><author>MLwodejia</author><pubDate>Sun, 06 Mar 2022 21:11:25 +0800</pubDate><description><![CDATA[Flink 的容错机制一致性检查点从检查点恢复状态Flink检查点算法保存点（save points）
一致性检查点


Flink 故障恢复机制的核心，就是应用状态的一致性检查点
有状态流应用的一致检查点，其实就是所有任务的状态，在某个时间点的一份拷贝（一份快照）；这个时间点，应该是所有任务都恰好处理完一个相同的输入数据的时候

从检查点恢复状态


在执行流应用程序期间，Flink 会定期保存状态的一致检查点
如果发生故障， Flink 将会使用最近的检查点来一致恢复应用程序的状态，并重新启动处理流程
]]></description><category></category></item><item><title><![CDATA[Flink--Watermark（水位线）与时间语义]]></title><link>https://blog.youkuaiyun.com/MLwodejia/article/details/123121886</link><guid>https://blog.youkuaiyun.com/MLwodejia/article/details/123121886</guid><author>MLwodejia</author><pubDate>Fri, 25 Feb 2022 10:02:52 +0800</pubDate><description><![CDATA[Flink--Watermark（水位线）与时间语义时间语义设置Event TimeWatermark（水位线）Watermark 的传递、引入和设定watermark 的传递watermark 的引入TimestampAssignerwatermark 的设定
时间语义


Event Time：事件创建的时间
Ingestion Time：数据进入Flink的时间
Processing Time：执行操作算子的本地系统时间，与机器相关

问：哪种时间语义更重要？
答：不同时间语义有不同的应用场合，更关心]]></description><category></category></item><item><title><![CDATA[Flink--窗口函数（window function）]]></title><link>https://blog.youkuaiyun.com/MLwodejia/article/details/123057630</link><guid>https://blog.youkuaiyun.com/MLwodejia/article/details/123057630</guid><author>MLwodejia</author><pubDate>Mon, 21 Feb 2022 22:31:26 +0800</pubDate><description><![CDATA[窗口函数（window function）增量聚合函数（incremental aggregation functions全窗口函数（full window functions）其他APIwindow API 总览
window function定义了要对窗口中收集的数据做的计算操作
主要分为两类：
增量聚合函数（incremental aggregation functions

每条数据到来就进行计算，保持一个简单的状态
ReduceFunction, AggregateFunction

全窗口函数（]]></description><category></category></item><item><title><![CDATA[PCA主成分分析]]></title><link>https://blog.youkuaiyun.com/MLwodejia/article/details/123032112</link><guid>https://blog.youkuaiyun.com/MLwodejia/article/details/123032112</guid><author>MLwodejia</author><pubDate>Sun, 20 Feb 2022 17:58:35 +0800</pubDate><description><![CDATA[PCA主成分分析总述原理算法流程使用指南实际效果
总述
主成分分析（Principal Component Analysis，PCA）是一种多变量统计方法，它是最常用的降维方法之一，通过正交变换将一组可能存在相关性的变量数据转换为一组线性不相关的变量，转换后的变量被称为主成分。PCA主要用于发现数据中的基本结构，及数据中变量之间的关系，也用于其他机器学习的数据预处理。
主成分分析主要两种算法：协方差矩阵的特征值分解和数据矩阵的奇异值分解方法。
原理
首先将给定的数据进行规范化，使得数据每一个变量的平均值为0]]></description><category></category></item><item><title><![CDATA[Flink window API窗口相关知识]]></title><link>https://blog.youkuaiyun.com/MLwodejia/article/details/122590402</link><guid>https://blog.youkuaiyun.com/MLwodejia/article/details/122590402</guid><author>MLwodejia</author><pubDate>Wed, 19 Jan 2022 21:58:00 +0800</pubDate><description><![CDATA[Flink window APIwindow概念window类型滚动窗口（Tumbling Windows）滑动窗口会话窗口（Session Windows）window API窗口分配器（window assigner）创建不类型的窗口
window概念


一般真实的流都是无界的，怎样处理无界的数据
可以把无限的数据流进行切分，得到有限的数据集进行处理 ——也就是得到有界流
窗口（window）就是将无限流切割成有限流的一种方式，它会将流数据分发到有限大小的桶（bucket）中进行分析

window类]]></description><category></category></item></channel></rss>