<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[b078109的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/b078109</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; b078109]]></copyright><item><title><![CDATA[spark安装]]></title><link>https://blog.youkuaiyun.com/b078109/article/details/101774189</link><guid>https://blog.youkuaiyun.com/b078109/article/details/101774189</guid><author>b078109</author><pubDate>Thu, 05 Sep 2019 11:44:00 +0800</pubDate><description><![CDATA[1、下载地址 http://spark.apache.org/downloads.html
2、解压

tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz -C /opt/module/


3、本地模式运行第一个程

bin/spark-submit --class org.apache.spark.examples.SparkPi --e...]]></description><category></category></item><item><title><![CDATA[hadoop 自定义OutputFormat]]></title><link>https://blog.youkuaiyun.com/b078109/article/details/101774187</link><guid>https://blog.youkuaiyun.com/b078109/article/details/101774187</guid><author>b078109</author><pubDate>Sat, 31 Aug 2019 22:50:00 +0800</pubDate><description><![CDATA[1、继承FileOutputFormat，复写getRecordWriter方法

/**
 * @Description:自定义outputFormat，输出数据到不同的文件
 */
public class FilterOutputFormat extends FileOutputFormat&lt;Text, NullWritable&gt; {
    @Overri...]]></description><category></category></item><item><title><![CDATA[hadoop mapreduce求解有序TopN]]></title><link>https://blog.youkuaiyun.com/b078109/article/details/101774184</link><guid>https://blog.youkuaiyun.com/b078109/article/details/101774184</guid><author>b078109</author><pubDate>Sat, 31 Aug 2019 15:08:00 +0800</pubDate><description><![CDATA[利用hadoop的map和reduce排序特性实现对数据排序取TopN条数据。
代码参考：https://github.com/asker124143222/wordcount
1、样本数据，假设是订单数据，求解按订单id排序且每个订单里价格最高前三，从高到低排序。

订单ID  商品ID   单价
0000001	Pdt_01	222.8
0000002	Pdt_05	72...]]></description><category></category></item><item><title><![CDATA[linux 编译源码报错，找不到libXrender.so.1]]></title><link>https://blog.youkuaiyun.com/b078109/article/details/101774183</link><guid>https://blog.youkuaiyun.com/b078109/article/details/101774183</guid><author>b078109</author><pubDate>Fri, 16 Aug 2019 11:27:00 +0800</pubDate><description><![CDATA[1、通过xshell连接到服务器编译hadoop源码得时候遇到问题，
2、使用Xshell的时候登陆后的环境变量中会比SecureCRT登陆后的环境变量多出一条 DISPLAY=localhost:10.0，根源就是这里，原因是Xshell支持SSH协议下的X11界面。把Xshell属性中的此设置去掉即可解决。
3、解决：





转载于:https://www.cn...]]></description><category></category></item><item><title><![CDATA[linux rsync]]></title><link>https://blog.youkuaiyun.com/b078109/article/details/101774181</link><guid>https://blog.youkuaiyun.com/b078109/article/details/101774181</guid><author>b078109</author><pubDate>Wed, 14 Aug 2019 14:38:00 +0800</pubDate><description><![CDATA[1、安装

sudo yum install rsync.x86_64 -y

2、语法，参数

rsync [OPTION]... SRC DEST
rsync [OPTION]... SRC [USER@]host:DEST
rsync [OPTION]... [USER@]HOST:SRC DEST
rsync [OPTION]... [USER@]HOST::S...]]></description><category></category></item><item><title><![CDATA[flink on yarn模式下两种提交job方式]]></title><link>https://blog.youkuaiyun.com/b078109/article/details/101774180</link><guid>https://blog.youkuaiyun.com/b078109/article/details/101774180</guid><author>b078109</author><pubDate>Fri, 09 Aug 2019 15:33:00 +0800</pubDate><description><![CDATA[yarn集群搭建，参见hadoop 完全分布式集群搭建

通过yarn进行资源管理，flink的任务直接提交到hadoop集群
1、hadoop集群启动，yarn需要运行起来。确保配置HADOOP_HOME环境变量。
2、flink on yarn的交互图解




3、flink运行在yarn模式下，有两种任务提交模式，资源消耗各不相同。


第一种y...]]></description><category></category></item><item><title><![CDATA[hadoop 完全分布式集群搭建]]></title><link>https://blog.youkuaiyun.com/b078109/article/details/101774177</link><guid>https://blog.youkuaiyun.com/b078109/article/details/101774177</guid><author>b078109</author><pubDate>Thu, 08 Aug 2019 16:52:00 +0800</pubDate><description><![CDATA[1、在伪分布式基础上搭建，伪分布式搭建参见VM上Hadoop3.1伪分布式模式搭建
2、虚拟机准备，本次集群采用2.8.3版本与3.X版本差别不大，端口号所有差别

192.168.44.10 vmhome10.com
192.168.44.11 vmhome11.com
192.168.44.12 vmhome12.com

3、关闭防火墙，因为需要打开的端口太多，测试的...]]></description><category></category></item><item><title><![CDATA[linux 修改文件打开数量限制]]></title><link>https://blog.youkuaiyun.com/b078109/article/details/101774178</link><guid>https://blog.youkuaiyun.com/b078109/article/details/101774178</guid><author>b078109</author><pubDate>Thu, 08 Aug 2019 12:35:00 +0800</pubDate><description><![CDATA[1、查看打开文件数量限制

ulimit -a
ulimit -n

2、临时修改

ulimit -n 2048

3、永久修改

vi /etc/security/limits.conf
追加
* soft nofile 65535
* hard nofile 65535

注意前面的星号(*)要保留




转载于:https://www....]]></description><category></category></item><item><title><![CDATA[flink Periodic Watermarks 自定义周期性水印]]></title><link>https://blog.youkuaiyun.com/b078109/article/details/101774174</link><guid>https://blog.youkuaiyun.com/b078109/article/details/101774174</guid><author>b078109</author><pubDate>Wed, 07 Aug 2019 22:29:00 +0800</pubDate><description><![CDATA[1、BoundedOutOfOrdernessGenerator 

/**
 * This generator generates watermarks assuming that elements arrive out of order,
 * but only to a certain degree. The latest elements for a certain ti...]]></description><category></category></item><item><title><![CDATA[linux ssh免密]]></title><link>https://blog.youkuaiyun.com/b078109/article/details/101774175</link><guid>https://blog.youkuaiyun.com/b078109/article/details/101774175</guid><author>b078109</author><pubDate>Tue, 06 Aug 2019 11:38:00 +0800</pubDate><description><![CDATA[1、ssh-keygen -t rsa 生产密钥
2、ssh-copy-id 192.168.44.10 发布密钥


转载于:https://www.cnblogs.com/asker009/p/11307966.html]]></description><category></category></item><item><title><![CDATA[flink  WaterMark之TumblingEventWindow]]></title><link>https://blog.youkuaiyun.com/b078109/article/details/101774170</link><guid>https://blog.youkuaiyun.com/b078109/article/details/101774170</guid><author>b078109</author><pubDate>Sun, 04 Aug 2019 21:27:00 +0800</pubDate><description><![CDATA[1、WaterMark，翻译成水印或水位线，水印翻译更抽象，水位线翻译接地气。

watermark是用于处理乱序事件的，通常用watermark机制结合window来实现。

流处理从事件产生，到流经source，再到operator，中间是有一个过程和时间的。虽然大部分情况下，流到operator的数据都是按照事件产生的时间顺序来的，但是也不排除由于网络、背压等原因，导致乱序...]]></description><category></category></item><item><title><![CDATA[flink 并行计数器实现]]></title><link>https://blog.youkuaiyun.com/b078109/article/details/101774171</link><guid>https://blog.youkuaiyun.com/b078109/article/details/101774171</guid><author>b078109</author><pubDate>Sun, 21 Jul 2019 13:00:00 +0800</pubDate><description><![CDATA[1、flink实现计数器的灵感来源于Hadoop的MapReduce计算框架里的理念。
flink通过实现Accumulator接口实现并行计数。并行管理是由flink实现的。

public interface Accumulator&lt;V, R extends Serializable&gt; extends Serializable, Cloneable 

计数的结...]]></description><category></category></item><item><title><![CDATA[flink 批量梯度下降算法线性回归参数求解（Linear Regression with BGD(batch gradient descent) ）...]]></title><link>https://blog.youkuaiyun.com/b078109/article/details/101774168</link><guid>https://blog.youkuaiyun.com/b078109/article/details/101774168</guid><author>b078109</author><pubDate>Wed, 17 Jul 2019 17:34:00 +0800</pubDate><description><![CDATA[1、线性回归
假设线性函数如下：

假设我们有10个样本x1,y1）,(x2,y2).....(x10,y10)，求解目标就是根据多个样本求解theta0和theta1的最优值。


什么样的θ最好的呢？最能反映这些样本数据之间的规律呢？


为了解决这个问题，我们需要引入误差分析预测值与真实值之间的误差为最小。

2、梯度下降算法
梯度下降的场景：

...]]></description><category></category></item><item><title><![CDATA[flink KMeans算法实现]]></title><link>https://blog.youkuaiyun.com/b078109/article/details/101774169</link><guid>https://blog.youkuaiyun.com/b078109/article/details/101774169</guid><author>b078109</author><pubDate>Tue, 09 Jul 2019 21:36:00 +0800</pubDate><description><![CDATA[更正：之前发的有两个错误。
1、K均值聚类算法

百度解释：k均值聚类算法（k-means clustering algorithm）是一种迭代求解的聚类分析算法，其步骤是随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。每分配一个样本，聚类的聚类中心会根据聚类中现有的...]]></description><category></category></item><item><title><![CDATA[flink 实现三角枚举EnumTriangles算法详解]]></title><link>https://blog.youkuaiyun.com/b078109/article/details/101774166</link><guid>https://blog.youkuaiyun.com/b078109/article/details/101774166</guid><author>b078109</author><pubDate>Sat, 06 Jul 2019 17:39:00 +0800</pubDate><description><![CDATA[1、三角枚举，从所有无向边对中找到相互连接的三角形

/**
 * @Author: xu.dm
 * @Date: 2019/7/4 21:31
 * @Description: 三角枚举算法
 * 三角枚举是在图（数据结构）中找到紧密连接的部分的预处理步骤。三角形由三条边连接，三条边相互连接。
 *
 * 该算法的工作原理如下：它将所有共享一个共同顶点的边(edge)...]]></description><category></category></item><item><title><![CDATA[flink Transitive Closure算法，实现寻找新的可达路径]]></title><link>https://blog.youkuaiyun.com/b078109/article/details/101774165</link><guid>https://blog.youkuaiyun.com/b078109/article/details/101774165</guid><author>b078109</author><pubDate>Thu, 04 Jul 2019 10:52:00 +0800</pubDate><description><![CDATA[flink 使用Transitive Closure算法实现可达路径查找。
1、Transitive Closure是翻译闭包传递？我觉得直译不准确，意译应该是传递特性直至特性关闭，也符合本例中传递路径，寻找路径可达，直到可达路径不存在（即关闭）。
2、代码很简单，里面有些概念直指核心原理，详细看注释。

/**
 * @Author: xu.dm
 * @Date: 20...]]></description><category></category></item><item><title><![CDATA[flink Iterate迭代基本概念]]></title><link>https://blog.youkuaiyun.com/b078109/article/details/101774163</link><guid>https://blog.youkuaiyun.com/b078109/article/details/101774163</guid><author>b078109</author><pubDate>Tue, 02 Jul 2019 19:25:00 +0800</pubDate><description><![CDATA[基本概念：在流中创建“反馈（feedback）”循环，通过将一个算子的输出重定向到某个先前的算子。这对于定义不断更新模型的算法特别有用。
迭代的数据流向：DataStream → IterativeStream → DataStream
以下代码以流开始并连续应用迭代体。大于0的元素将被发送回反馈（feedback）通道，继续迭代，其余元素将向下游转发，离开迭代。

Iterat...]]></description><category></category></item><item><title><![CDATA[用jTessBoxEditorFX训练字库]]></title><link>https://blog.youkuaiyun.com/b078109/article/details/101774008</link><guid>https://blog.youkuaiyun.com/b078109/article/details/101774008</guid><author>b078109</author><pubDate>Tue, 02 Jul 2019 10:31:00 +0800</pubDate><description><![CDATA[软件下载：https://sourceforge.net/projects/vietocr/files/jTessBoxEditor/
官方字库下载：https://github.com/tesseract-ocr/tesseract/wiki/Data-Files#format-of-traineddata-files
建议：普通版本和FX版本都下载，用普通版本调整坐标，用FX版本...]]></description><category></category></item><item><title><![CDATA[flink Reduce、GroupReduce、GroupCombine笔记]]></title><link>https://blog.youkuaiyun.com/b078109/article/details/101774013</link><guid>https://blog.youkuaiyun.com/b078109/article/details/101774013</guid><author>b078109</author><pubDate>Sun, 30 Jun 2019 22:29:00 +0800</pubDate><description><![CDATA[1、reduce操作，在分组的dataset上使用，也可以在不分组的dataset上使用

应用于分组DataSet的Reduce转换使用用户定义的reduce函数将每个组减少为单个元素。对于每组输入元素，reduce函数连续地将元素对组合成一个元素，直到每个组只剩下一个元素。

注意，对于ReduceFunction，返回对象的key字段应与输入值匹配。这是因为reduce是可...]]></description><category></category></item><item><title><![CDATA[flink 实现ConnectedComponents 连通分量，增量迭代算法（Delta Iteration）实现详解]]></title><link>https://blog.youkuaiyun.com/b078109/article/details/101774164</link><guid>https://blog.youkuaiyun.com/b078109/article/details/101774164</guid><author>b078109</author><pubDate>Fri, 28 Jun 2019 17:29:00 +0800</pubDate><description><![CDATA[1、连通分量是什么？
首先需要了解什么是连通图、无向连通图、极大连通子图等概念，这些概念都来自数据结构-图，这里简单介绍一下。
下图是连通图和非连通图，都是无向的，这里不扩展有向图：






连通分量（connected component）：无向图中的极大连通子图（maximal connected subgraph）称为原图的连通分量。

极大连通子图...]]></description><category></category></item></channel></rss>