<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[a_step_further的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/a_step_further</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; a_step_further]]></copyright><item><title><![CDATA[在Spark上基于Minhash计算jaccard相似度]]></title><link>https://blog.youkuaiyun.com/a_step_further/article/details/107643449</link><guid>https://blog.youkuaiyun.com/a_step_further/article/details/107643449</guid><author>a_step_further</author><pubDate>Tue, 28 Jul 2020 19:36:39 +0800</pubDate><description><![CDATA[问题引入

在风控领域常会面临一种场景：随着安全策略的打击，部分已经显露的账号/用户会被稽核、处置，要么被动地被封停，要么被坏人干脆舍弃掉。坏人会重新注册新的账号进行活跃。而这些新老账号之间很可能没有直接的交易关系，甚至连登陆设备也不同，就较难发现其关联性。但有一点是较难隐藏的：上下游的关系链。因此，可以尝试通过关系网络结构上的相似性来量化两个账号之间的关联度，从而对于风险用户关联分析起到一个补充作用。

可用下图来辅助说明，x的交易流入方集合为{a,b,c,d}， y的交易流入方集合为{b,c,d}，一个]]></description><category></category></item><item><title><![CDATA[专题练习-决策树]]></title><link>https://blog.youkuaiyun.com/a_step_further/article/details/105698690</link><guid>https://blog.youkuaiyun.com/a_step_further/article/details/105698690</guid><author>a_step_further</author><pubDate>Thu, 23 Apr 2020 07:47:17 +0800</pubDate><description><![CDATA[前言


本篇结合周志华老师的《机器学习》一书第4章习题，用python实践其中几个题目，为大家提供学习及实践中的参考。

题目



我们尝试将上述4道题结合起来，从简单到复杂来进行实践。这里提到的数据集表4.3，已经整理好，放到了本人github项目空间 https://github.com/aaronlou/DataScienceProject/blob/master/Data/waterm...]]></description><category></category></item><item><title><![CDATA[图上的机器学习系列-聊聊SDNE]]></title><link>https://blog.youkuaiyun.com/a_step_further/article/details/105551347</link><guid>https://blog.youkuaiyun.com/a_step_further/article/details/105551347</guid><author>a_step_further</author><pubDate>Thu, 16 Apr 2020 10:10:09 +0800</pubDate><description><![CDATA[前言


本篇继续我们的Graph Embedding之旅途。今天要聊的是SDNE(Structural Deep Network Embedding)。结合的论文为《Structural Deep Network Embedding》，这是2016年发表的一篇论文，与node2vec在同一年问世。总体上来，SDNE更像LINE，而不像Deepwalk。有了LINE的基础后，理解这篇文章会较快。
...]]></description><category></category></item><item><title><![CDATA[图上的机器学习系列-聊聊struc2vec]]></title><link>https://blog.youkuaiyun.com/a_step_further/article/details/105531699</link><guid>https://blog.youkuaiyun.com/a_step_further/article/details/105531699</guid><author>a_step_further</author><pubDate>Wed, 15 Apr 2020 11:54:32 +0800</pubDate><description><![CDATA[前言


本篇继续我们的Graph Embedding之旅。以往我们生成的节点向量保留的一个特征是节点之间的距离，基于随机游走的这一类方法生成的节点距离往往是图上空间位置上的相近。现实世界中，网络中的节点往往还有一个特征就是其在网络结构上的位置角色，类似于下图中u,v这两个节点，它们在结构上的作用很相似，但如果基于随机游走的方法来进行embedding表示，无法将其映射为相似的账号。对传统复杂网络...]]></description><category></category></item><item><title><![CDATA[图上的机器学习系列- 聊聊MetaPath2vec]]></title><link>https://blog.youkuaiyun.com/a_step_further/article/details/105506884</link><guid>https://blog.youkuaiyun.com/a_step_further/article/details/105506884</guid><author>a_step_further</author><pubDate>Tue, 14 Apr 2020 10:50:02 +0800</pubDate><description><![CDATA[前言


本篇继续Graph Embedding这个话题。我们以前已经聊过DeepWalk、Node2Vec、LINE、GraphSAGE（详见公众号历史文章），它们都是面对的同质图问题，而今天将讨论的MetaPath2Vec则是要回答**如何对于异质图也能进行低维的空间向量表示**。

结合的论文为《metapath2vec: Scalable Representation Learning f...]]></description><category></category></item><item><title><![CDATA[图上的机器学习系列-聊聊GraphSAGE]]></title><link>https://blog.youkuaiyun.com/a_step_further/article/details/105479419</link><guid>https://blog.youkuaiyun.com/a_step_further/article/details/105479419</guid><author>a_step_further</author><pubDate>Mon, 13 Apr 2020 00:04:55 +0800</pubDate><description><![CDATA[前言


本篇结合《Inductive Representation Learning on Large Graphs》来聊聊GraphSAGE。这是一种已经在工业界得到广泛采纳的图神经网络方法，具有较好的分布式实施特性，推荐大家关注。

方法定义


GraphSAGE是Graph SAmple and aggreGatE的简称，可以猜想该方法在抽样与聚合上一定有其独到之处。其更正式的定义如下（...]]></description><category></category></item><item><title><![CDATA[专题练习：K折交叉验证 VS 留一法]]></title><link>https://blog.youkuaiyun.com/a_step_further/article/details/105458951</link><guid>https://blog.youkuaiyun.com/a_step_further/article/details/105458951</guid><author>a_step_further</author><pubDate>Sat, 11 Apr 2020 20:35:17 +0800</pubDate><description><![CDATA[前言

欢迎关注本人公众号


本篇结合周志华老师《机器学习》第3章习题而讲。

做为入门项目，我们推荐使用Python来进行编码实践，有需求了解更多其它机器学习生态的同学，可以在公众号后面留言，也可以加入数据科学实战QQ交流群：250695418。


好了，来做习题吧


西瓜书《机器学习》p69页第3.4题：


选择两个UCI数据集，比较10折交叉验证和留一法所估计出的对率回归的错误率。...]]></description><category></category></item><item><title><![CDATA[专题练习：对率回归（逻辑回归）的编程实践]]></title><link>https://blog.youkuaiyun.com/a_step_further/article/details/105458754</link><guid>https://blog.youkuaiyun.com/a_step_further/article/details/105458754</guid><author>a_step_further</author><pubDate>Sat, 11 Apr 2020 20:28:52 +0800</pubDate><description><![CDATA[前言

欢迎关注本人公众号：




本篇结合周志华老师《机器学习》第3章习题而讲。

对率回归，其实就是logistic regression，也即业界常说的逻辑回归，但后者这个译法并不好，周老师将之译为了对率回归，没有屈服于现有的“劣币”译法，体现了教育者的独立精神，点赞！

关于logistic回归的知识，还可以参考本公众号历史文章《上手机器学习系列-第3篇-聊聊逻辑回归》，共分上、中、下三...]]></description><category></category></item><item><title><![CDATA[图上的机器学习系列-聊聊LINE]]></title><link>https://blog.youkuaiyun.com/a_step_further/article/details/105373478</link><guid>https://blog.youkuaiyun.com/a_step_further/article/details/105373478</guid><author>a_step_further</author><pubDate>Tue, 07 Apr 2020 21:05:02 +0800</pubDate><description><![CDATA[前言
本篇继续GraphEmbedding旅途，来聊聊LINE这个方法，对应的paper为《LINE: Large-scale Information Network Embedding》。

---广告时间，欢迎关注本人公众号：



LINE的核心方法
首先，还是先来脑补一下LINE方法的思考过程：

相似度&amp;距离
在上一篇中，我们已经知道DeepWalk是采用类似于Word2Vec的...]]></description><category></category></item><item><title><![CDATA[图上的机器学习系列-聊聊Node2vec]]></title><link>https://blog.youkuaiyun.com/a_step_further/article/details/105372961</link><guid>https://blog.youkuaiyun.com/a_step_further/article/details/105372961</guid><author>a_step_further</author><pubDate>Tue, 07 Apr 2020 20:40:04 +0800</pubDate><description><![CDATA[前言
继DeepWalk后，我们再来看一种基于随机游走策略的图嵌入方法——Node2Vec，有点像前者的升级版本，有了前者的基础，理解起来会快很多。

--广告时间，欢迎关注本人公众号：



核心方法
Node2Vec与DeepWalk最大的不同（甚至是唯一的不同）就是在于节点序列的生成机制。DeepWalk在每一步探索下一个节点时，是在其邻居节点中进行随机选择，然后基于深度优先策略生成一个固定...]]></description><category></category></item><item><title><![CDATA[图上的机器学习系列-聊聊DeepWalk]]></title><link>https://blog.youkuaiyun.com/a_step_further/article/details/105320888</link><guid>https://blog.youkuaiyun.com/a_step_further/article/details/105320888</guid><author>a_step_further</author><pubDate>Sun, 05 Apr 2020 00:30:03 +0800</pubDate><description><![CDATA[前言


本篇着重结合论文《DeepWalk: Online Learning of Social Representations》来聊，过程中尽量把一些概念和方法展开多讨论一下。

DeepWalk是干啥的

我们来想这样一件事：机器学习是咋工作的？需要输入一堆特征变量对吧？无论是离散型还是连续型，但都是欧式空间中的数学表达，总归是可以用很多数学工具来分析的。但一个社交网络的图结构呢？每一个点该...]]></description><category></category></item><item><title><![CDATA[图上的机器学习-第0篇-问题描述与学习建议]]></title><link>https://blog.youkuaiyun.com/a_step_further/article/details/105202982</link><guid>https://blog.youkuaiyun.com/a_step_further/article/details/105202982</guid><author>a_step_further</author><pubDate>Mon, 30 Mar 2020 16:53:27 +0800</pubDate><description><![CDATA[从本篇开始，我们将一起开启图上的机器学习篇章。
我们这里所说的“图”，是指图论这个领域的概念，而非图像。

为什么要开启本系列


随着当前GNN（图神经网络）在学术圈、工业界的同时爆发，未来3年左右，图上（或称复杂网络、关系数据）的机器学习、深度学习一定会呈现高度繁荣的局面，笔者建议对图论、图计算、机器学习这些领域感兴趣的朋友一定要密切关注该交叉领域的技术创新及应用发展。

现实中越来越多的数据...]]></description><category></category></item><item><title><![CDATA[聊聊数据从业者的职业规划]]></title><link>https://blog.youkuaiyun.com/a_step_further/article/details/105130198</link><guid>https://blog.youkuaiyun.com/a_step_further/article/details/105130198</guid><author>a_step_further</author><pubDate>Thu, 26 Mar 2020 22:35:12 +0800</pubDate><description><![CDATA[前言
一连多日都在聊机器学习算法相关的内容，今天让我们聊个轻松的话题：大数据行业的从业者究竟该如何规划自己的职业道路。笔者自己虽然经验也有限，但究竟是在行业里摸爬滚打了8年有余，在业务前台的商业分析、后台的风控分析都有几年的摸索，可以聊下自己的一些感想，以期给到年轻的读者一些有益的参考信息（或者说避坑指南）。
选择什么样的岗位
大数据领域可以选择的岗位空间还是比较多样的，例如数据开发工程师、商业分...]]></description><category></category></item><item><title><![CDATA[上手机器学习系列-第7篇（下）-CatBoost论文阅读笔记]]></title><link>https://blog.youkuaiyun.com/a_step_further/article/details/105077820</link><guid>https://blog.youkuaiyun.com/a_step_further/article/details/105077820</guid><author>a_step_further</author><pubDate>Tue, 24 Mar 2020 18:14:01 +0800</pubDate><description><![CDATA[前言


在第7篇（上），我们介绍了CatBoost的代码实践，本篇来一起读一下算法原创论文《CatBoost: unbiased boosting with categorical features》，以期加深对于CatBoost的理解。



论文中心思想


笔者提炼了一下论文的核心逻辑如下图所示：


所以最核心的是要理解论文提出的排序原则到底是咋回事。



内容导读


CatBo...]]></description><category></category></item><item><title><![CDATA[上手机器学习系列-第6篇（下）-LightGBM原理篇]]></title><link>https://blog.youkuaiyun.com/a_step_further/article/details/104990500</link><guid>https://blog.youkuaiyun.com/a_step_further/article/details/104990500</guid><author>a_step_further</author><pubDate>Fri, 20 Mar 2020 15:08:59 +0800</pubDate><description><![CDATA[前言
前面的文章分享过了LightGBM的实践编码，本篇让我们一起来读一下算法论文《LightGBM: A Highly Efficient Gradient Boosting Decision Tree》，从原理层面上去深入一层。
推荐大家在读论文的同时，参考LightGBM官网材料（[https://lightgbm.readthedocs.io/en/latest/Features.html...]]></description><category></category></item><item><title><![CDATA[上手机器学习系列-第5篇（下）-XGBoost原理]]></title><link>https://blog.youkuaiyun.com/a_step_further/article/details/104961181</link><guid>https://blog.youkuaiyun.com/a_step_further/article/details/104961181</guid><author>a_step_further</author><pubDate>Thu, 19 Mar 2020 10:17:57 +0800</pubDate><description><![CDATA[本篇中我们结合XGBoost的论文《XGBoost: A Scalable Tree Boosting System》来理解一下该算法的原理。
这是一篇写自2016年的论文，当时已经有大量的竞赛、工作实践开始采用XGBoost。作者在论文中将XGBoost称为Scalable，正是基于它的高性能特点，据论文讲，根据当时的评估，在单机上的运行速度对比中，XGBoost较业内其它算法快了至少10倍以上...]]></description><category></category></item><item><title><![CDATA[上手机器学习系列-第7篇（上）-CatBoost编码]]></title><link>https://blog.youkuaiyun.com/a_step_further/article/details/104884753</link><guid>https://blog.youkuaiyun.com/a_step_further/article/details/104884753</guid><author>a_step_further</author><pubDate>Sun, 15 Mar 2020 20:03:27 +0800</pubDate><description><![CDATA[前言
本篇继续我们的集成算法学习之旅。这次带来的是一家俄罗斯搜索引擎公司推出的集成学习算法：Catboost（官网[https://catboost.ai/]）。名字中的cat代表着categorical，就是说它可以直接处理类别型的特征变量，而无须进行one-hot-encoding处理，这还真是相比于其它算法包的一个优点。此外，官方宣传的卖点还包括：简化的调参（默认的参数即可实现高质量的预测）...]]></description><category></category></item><item><title><![CDATA[上手机器学习系列-第6篇（上）-LightGBM编码]]></title><link>https://blog.youkuaiyun.com/a_step_further/article/details/104867771</link><guid>https://blog.youkuaiyun.com/a_step_further/article/details/104867771</guid><author>a_step_further</author><pubDate>Sat, 14 Mar 2020 20:57:29 +0800</pubDate><description><![CDATA[LightGBM
相比于XGBoost，LightGBM官网的文档、Github写得都不敢让人恭维（缺少细节、案例语焉不详）。因此本篇从实际使用角度来介绍用法，就显得更有意义了。
安装
LightGBM号称的速度快不是没有成本的，它底层依赖了一些并行处理的库文件，因此在安装的时候会遇到各种问题。笔者已经单独写了一篇短文分享，详见本人优快云博客《Mac环境下安装LightGBM的苦难记》。
假设你...]]></description><category></category></item><item><title><![CDATA[Mac环境下安装LightGBM的苦难记]]></title><link>https://blog.youkuaiyun.com/a_step_further/article/details/104854317</link><guid>https://blog.youkuaiyun.com/a_step_further/article/details/104854317</guid><author>a_step_further</author><pubDate>Sat, 14 Mar 2020 08:20:07 +0800</pubDate><description><![CDATA[正常情况下，我们安装一个python的package，只要执行
pip install  &lt;package_name&gt;

即可，但在安装该软件的过程中，即使成功执行了上面的pip命令，在import 的时候，很可能会遇到这样的报错（在MAC的环境下，windows下不知道是否会出现同样问题）：
Library not loaded: /usr/local/opt/libomp/lib/...]]></description><category></category></item><item><title><![CDATA[上手机器学习系列-第5篇（中）-XGBoost+Scala/Spark]]></title><link>https://blog.youkuaiyun.com/a_step_further/article/details/104834469</link><guid>https://blog.youkuaiyun.com/a_step_further/article/details/104834469</guid><author>a_step_further</author><pubDate>Fri, 13 Mar 2020 09:54:08 +0800</pubDate><description><![CDATA[书接上回
在上篇中，我们介绍了XGBoost的原生接口使用方法，以及sklearn版本的接口。本篇我们再结合Scala/Spark来聊聊，以体现XGBoost在工程上的易用性。

Spark是基于Scala原生语言开发的一个分布式迭代计算平台，其中MLLib模块包括了很多机器学习算法包（但比起Sklearn来肯定还是少的）。


Scala 是一门面向对象+函数式JVM语言，需要编译后才能执行，但...]]></description><category></category></item></channel></rss>