<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[DF_XIAO的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/DF_XIAO</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; DF_XIAO]]></copyright><item><title><![CDATA[大数据风控系统概述]]></title><link>https://blog.youkuaiyun.com/DF_XIAO/article/details/104037145</link><guid>https://blog.youkuaiyun.com/DF_XIAO/article/details/104037145</guid><author>DF_XIAO</author><pubDate>Sun, 19 Jan 2020 10:14:06 +0800</pubDate><description><![CDATA[为什么要做风控系统
不做的话，会有以下风险：

各种小号、垃圾账号泛滥
撞库攻击、盗号、毁号、拖库等
拉新 10w 留存率不到 5%
百万营销费用，却增加不了用户粘性
投票票数差距非常悬殊
各种榜单被垃圾账号占领
实物奖励被机器人领走
红包被秒抢
下单不付款占库存
虚拟占座
刷单炒信
……



风控场景


营销活动反作弊



防御现金红包奖励、优惠劵促销、电商秒杀等营销活动场景下薅羊毛、黄牛...]]></description><category></category></item><item><title><![CDATA[Spark Streaming任务延迟监控及告警]]></title><link>https://blog.youkuaiyun.com/DF_XIAO/article/details/102857245</link><guid>https://blog.youkuaiyun.com/DF_XIAO/article/details/102857245</guid><author>DF_XIAO</author><pubDate>Fri, 01 Nov 2019 14:42:07 +0800</pubDate><description><![CDATA[概述
StreamingListener 是针对spark streaming的各个阶段的事件监听机制。
StreamingListener接口
//需要监听spark streaming中各个阶段的事件只需实现这个特质中对应的事件函数即可
//本身既有注释说明
trait StreamingListener {

  /** Called when the streaming has been ...]]></description><category></category></item><item><title><![CDATA[数据存储检索之B 树和LSM-Tree]]></title><link>https://blog.youkuaiyun.com/DF_XIAO/article/details/102640074</link><guid>https://blog.youkuaiyun.com/DF_XIAO/article/details/102640074</guid><author>DF_XIAO</author><pubDate>Sat, 19 Oct 2019 16:33:22 +0800</pubDate><description><![CDATA[作为一名应用系统开发人员，为什么要关注数据内部的存储和检索呢？首先，你不太可能从头开始实现一套自己的存储引擎，往往需要从众多现有的存储引擎中选择一个适合自己应用的存储引擎。因此，为了针对你特定的工作负载而对数据库调优时，最好对存储引擎的底层机制有一个大概的了解。
今天我们就先来了解下关系型数据库MySQL和NoSQL存储引擎HBase的底层存储机制。对于一个数据库的性能来说，其数据的组织方式至关重...]]></description><category></category></item><item><title><![CDATA[Kylin构建Cube过程详解]]></title><link>https://blog.youkuaiyun.com/DF_XIAO/article/details/102583902</link><guid>https://blog.youkuaiyun.com/DF_XIAO/article/details/102583902</guid><author>DF_XIAO</author><pubDate>Wed, 16 Oct 2019 13:36:18 +0800</pubDate><description><![CDATA[1 前言
在使用Kylin的时候，最重要的一步就是创建cube的模型定义，即指定度量和维度以及一些附加信息，然后对cube进行build，当然我们也可以根据原始表中的某一个string字段（这个字段的格式必须是日期格式，表示日期的含义）设定分区字段，这样一个cube就可以进行多次build，每一次的build会生成一个segment，每一个segment对应着一个时间区间的cube，这些segme...]]></description><category></category></item><item><title><![CDATA[Apache Kylin 概述]]></title><link>https://blog.youkuaiyun.com/DF_XIAO/article/details/102546322</link><guid>https://blog.youkuaiyun.com/DF_XIAO/article/details/102546322</guid><author>DF_XIAO</author><pubDate>Mon, 14 Oct 2019 13:47:59 +0800</pubDate><description><![CDATA[1    Kylin是什么
今天，随着移动互联网、物联网、AI等技术的快速兴起，数据成为了所有这些技术背后最重要，也是最有价值的“资产”。如何从数据中获得有价值的信息？这个问题驱动了相关技术的发展，从最初的基于文件的检索、分析程序，到数据仓库理念的诞生，再到基于数据库的商业智能分析。而现在，这一问题已经变成了如何从海量的超大规模数据中快速获 取有价值的信息，新的时代、新的挑战、新的技术必然应运而生...]]></description><category></category></item><item><title><![CDATA[苏宁 OLAP 引擎发展之路]]></title><link>https://blog.youkuaiyun.com/DF_XIAO/article/details/102498780</link><guid>https://blog.youkuaiyun.com/DF_XIAO/article/details/102498780</guid><author>DF_XIAO</author><pubDate>Fri, 11 Oct 2019 12:04:37 +0800</pubDate><description><![CDATA[在 QCon 北京 2019 大会上，赵云讲师做了《苏宁 OLAP 引擎发展之路》主题演讲，主要内容如下。
演讲简介：
对于海量大数据进行即时的多维分析，没有任何银弹。为解决苏宁复杂业务场景下的通用指标分析查询场景，我们结合各项大数据技术建立苏宁 OLAP 引擎。支持单模型百亿条 TB 级别数据的实时汇总分析和明细查询，在建设过程中，也遇到了各种各样的挑战。
如何将复杂业务场景抽象化，提供平台级能...]]></description><category></category></item><item><title><![CDATA[基于Spark Grahpx Neo4j 实现用户社群发现]]></title><link>https://blog.youkuaiyun.com/DF_XIAO/article/details/102496132</link><guid>https://blog.youkuaiyun.com/DF_XIAO/article/details/102496132</guid><author>DF_XIAO</author><pubDate>Fri, 11 Oct 2019 10:17:58 +0800</pubDate><description><![CDATA[上一篇文章《知识图谱在大数据中的应用》我们介绍了知识图谱的一些概念和应用场景，今天我们就来看一个具体的应用案例了解下知识图谱的应用。用户增长对于一个APP的生存起到了至关重要的作用，没有持续的用户增长，再好的APP也不会走的长远，为了获得更多的用户，APP运营商往往会鼓励老用户拉新并给与奖励，比如趣头条的收徒模式，用户每收一个徒弟就会得到几块到十几块的现金返现，但是这种模式同时也会引起广大黑产团伙...]]></description><category></category></item><item><title><![CDATA[知识图谱在大数据中的应用]]></title><link>https://blog.youkuaiyun.com/DF_XIAO/article/details/102480115</link><guid>https://blog.youkuaiyun.com/DF_XIAO/article/details/102480115</guid><author>DF_XIAO</author><pubDate>Thu, 10 Oct 2019 13:33:58 +0800</pubDate><description><![CDATA[随着移动互联网的发展，万物互联成为了可能，这种互联所产生的数据也在爆发式地增长，而这些数据恰好可以作为分析关系的有效原料。如果说以往的智能分析专注在每一个个体上，在移动互联网时代则除了个体，这种个体之间的关系也必然成为我们需要深入分析的很重要一部分。在一项任务中，只要有关系分析的需求，知识图谱就“有可能”派的上用场。
说到关系的重要性，我们先来看一个有意思的理论，六度分隔理论（英语：Six Deg...]]></description><category></category></item><item><title><![CDATA[分布式配置中心选型]]></title><link>https://blog.youkuaiyun.com/DF_XIAO/article/details/102466892</link><guid>https://blog.youkuaiyun.com/DF_XIAO/article/details/102466892</guid><author>DF_XIAO</author><pubDate>Wed, 09 Oct 2019 17:49:48 +0800</pubDate><description><![CDATA[随着业务的发展、微服务架构的升级，服务的数量、程序的配置日益增多（各种微服务、各种服务器地址、各种参数），传统的配置文件方式和数据库的方式已无法满足开发人员对配置管理的要求：

安全性：配置跟随源代码保存在代码库中，容易造成配置泄漏。
时效性：修改配置，需要重启服务才能生效。
局限性：无法支持动态调整：例如日志开关、功能开关。



因此，分布式配置中心应运而生！
开源项目
关于分布式配置中心，网...]]></description><category></category></item><item><title><![CDATA[知名大厂如何搭建大数据平台&架构]]></title><link>https://blog.youkuaiyun.com/DF_XIAO/article/details/101761634</link><guid>https://blog.youkuaiyun.com/DF_XIAO/article/details/101761634</guid><author>DF_XIAO</author><pubDate>Mon, 30 Sep 2019 11:51:54 +0800</pubDate><description><![CDATA[今天我们来看一下淘宝、美团和滴滴的大数据平台，一方面进一步学习大厂大数据平台的架构，另一方面也学习大厂的工程师如何画架构图。通过大厂的这些架构图，你就会发现，不但这些知名大厂的大数据平台设计方案大同小异，架构图的画法也有套路可以寻觅。
淘宝大数据平台
淘宝可能是中国互联网业界较早搭建了自己大数据平台的公司，下图是淘宝早期的 Hadoop 大数据平台，比较典型。
淘宝的大数据平台基本也是分成三个部分...]]></description><category></category></item><item><title><![CDATA[深度好文 | 资深技术Leader曹乐：如何成为技术大牛]]></title><link>https://blog.youkuaiyun.com/DF_XIAO/article/details/101756257</link><guid>https://blog.youkuaiyun.com/DF_XIAO/article/details/101756257</guid><author>DF_XIAO</author><pubDate>Mon, 30 Sep 2019 10:31:50 +0800</pubDate><description><![CDATA[双生说：曹乐是典型学霸，清华本硕，多年互联网大厂研发经验，所以“资深”。我刚到新部门的时候，约各位合作部门的Leader请教，也算帮我做新岗位入职的“平稳降落”。印象最深的，就是作为技术Leader的曹乐，一点都不像技术——他和我谈对业务的理解，各个维度的见解与想法，让人印象深刻。然后，他很热情的帮我安排了他团队几个同学的1-1，帮助我了解了更多从技术视角对业务与技术团队协同、共创的思考。后来，开...]]></description><category></category></item><item><title><![CDATA[RedisCluster如何实现Pipeline批量模式？]]></title><link>https://blog.youkuaiyun.com/DF_XIAO/article/details/91414383</link><guid>https://blog.youkuaiyun.com/DF_XIAO/article/details/91414383</guid><author>DF_XIAO</author><pubDate>Tue, 11 Jun 2019 10:32:03 +0800</pubDate><description><![CDATA[上一篇文章《redis pipeline批量处理提高性能》中我们讲到redis pipeline模式在批量数据处理上带来了很大的性能提升，我们先来回顾一下pipeline的原理，redis client与server之间采用的是请求应答的模式，如下所示：
Client: command1 
Server: response1 
Client: command2 
Server: response2...]]></description><category></category></item><item><title><![CDATA[RedisCluster如何实现Pipeline批量模式？]]></title><link>https://blog.youkuaiyun.com/DF_XIAO/article/details/91414191</link><guid>https://blog.youkuaiyun.com/DF_XIAO/article/details/91414191</guid><author>DF_XIAO</author><pubDate>Tue, 11 Jun 2019 10:29:24 +0800</pubDate><description><![CDATA[上一篇文章《[redis pipeline批量处理提高性能](https://www.cnblogs.com/xiaodf/p/10919463.html)》中我们讲到redis pipeline模式在批量数据处理上带来了很大的性能提升，我们先来回顾一下pipeline的原理，redis client与server之间采用的是请求应答的模式，如下所示：
```shell
Client: comma...]]></description><category></category></item><item><title><![CDATA[CDH权限测试示例]]></title><link>https://blog.youkuaiyun.com/DF_XIAO/article/details/52838773</link><guid>https://blog.youkuaiyun.com/DF_XIAO/article/details/52838773</guid><author>DF_XIAO</author><pubDate>Mon, 17 Oct 2016 14:54:45 +0800</pubDate><description><![CDATA[1.  准备测试数据

cat/tmp/events.csv   
10.1.2.3,US,android,createNote
10.200.88.99,FR,windows,updateNote
10.1.2.3,US,android,updateNote
10.200.88.77,FR,ios,createNote
10.1.4.5,US,windows,updateTag
]]></description><category></category></item><item><title><![CDATA[CDH5.7配置kerberos身份认证+sentry权限管理]]></title><link>https://blog.youkuaiyun.com/DF_XIAO/article/details/52838648</link><guid>https://blog.youkuaiyun.com/DF_XIAO/article/details/52838648</guid><author>DF_XIAO</author><pubDate>Mon, 17 Oct 2016 14:45:47 +0800</pubDate><description><![CDATA[更多大数据技术干货，欢迎关注“大数据技术进阶”微信公众号。

4. 为CDH 5集群添加Kerberos身份验证
4.1 安装sentry
　　1、点击“操作”，“添加服务”；
　　2、选择sentry，并“继续”；





























3、选择一组依赖关系

























...]]></description><category></category></item><item><title><![CDATA[调用JAVA API 对 HDFS 进行文件的读取、写入、上传、下载、删除等操作]]></title><link>https://blog.youkuaiyun.com/DF_XIAO/article/details/50601727</link><guid>https://blog.youkuaiyun.com/DF_XIAO/article/details/50601727</guid><author>DF_XIAO</author><pubDate>Thu, 28 Jan 2016 16:50:47 +0800</pubDate><description><![CDATA[更多大数据技术干货，欢迎关注“大数据技术进阶”微信公众号。

Hadoop文件系统基本的文件系统命令操作, 通过hadoop fs -help可以获取所有的命令的详细帮助文件。Java抽象类org.apache.hadoop.fs.FileSystem定义了hadoop的一个文件系统接口。该类是一个抽象类，通过以下两种静态工厂方法可以过去FileSystem实例：public static ...]]></description><category></category></item><item><title><![CDATA[Spark Sql性能测试及调优]]></title><link>https://blog.youkuaiyun.com/DF_XIAO/article/details/50600395</link><guid>https://blog.youkuaiyun.com/DF_XIAO/article/details/50600395</guid><author>DF_XIAO</author><pubDate>Thu, 28 Jan 2016 14:30:25 +0800</pubDate><description><![CDATA[1      问题描述
内存不足时group by操作失败。
正常应该速度变慢，而不是失败，因为还有磁盘可用
 
错误日志：
Task：
java.io.IOException: Filesystem closed
       atorg.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:765)
       atorg]]></description><category></category></item><item><title><![CDATA[Spark Streaming性能调优详解]]></title><link>https://blog.youkuaiyun.com/DF_XIAO/article/details/50600338</link><guid>https://blog.youkuaiyun.com/DF_XIAO/article/details/50600338</guid><author>DF_XIAO</author><pubDate>Thu, 28 Jan 2016 14:16:38 +0800</pubDate><description><![CDATA[Spark Streaming提供了高效便捷的流式处理模式，但是在有些场景下，使用默认的配置达不到最优，甚至无法实时处理来自外部的数据，这时候我们就需要对默认的配置进行相关的修改。由于现实中场景和数据量不一样，所以我们无法设置一些通用的配置（要不然Spark Streaming开发者就不会弄那么多参数，直接写死不得了），我们需要根据数据量，场景的不同设置不一样的配置，这里只是给出建议，这些调优不一]]></description><category></category></item><item><title><![CDATA[kafka基准测试]]></title><link>https://blog.youkuaiyun.com/DF_XIAO/article/details/50600265</link><guid>https://blog.youkuaiyun.com/DF_XIAO/article/details/50600265</guid><author>DF_XIAO</author><pubDate>Thu, 28 Jan 2016 14:12:44 +0800</pubDate><description><![CDATA[1、测试环境
该benchmark用到了六台机器，机器配置如下
l  IntelXeon 2.5 GHz processor with six cores
l  Six7200 RPM SATA drives
l  32GB ofRAM
l  1GbEthernet
这6台机器其中3台用来搭建Kafka broker集群，另外3台用来安装Zookeeper及生成测试数据。6个drive]]></description><category></category></item><item><title><![CDATA[hadoop配置文件参数详解]]></title><link>https://blog.youkuaiyun.com/DF_XIAO/article/details/50587303</link><guid>https://blog.youkuaiyun.com/DF_XIAO/article/details/50587303</guid><author>DF_XIAO</author><pubDate>Tue, 26 Jan 2016 14:57:40 +0800</pubDate><description><![CDATA[一般来说，hadoop主要有三个默认参数文件，分别为core-default.xml，hdfs-default.xml，mapred-default.xml。
其它需要用户配置的参数文件为core-site.xml，hdfs-site.xml，mapred-site.xml，下面分别介绍下相关参数的含义

1 core-site.xml
[node1 conf]$ cat core-sit]]></description><category></category></item></channel></rss>