<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[learn_tech的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/learn_tech</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; learn_tech]]></copyright><item><title><![CDATA[spark checkpoint详解]]></title><link>https://blog.youkuaiyun.com/learn_tech/article/details/86511000</link><guid>https://blog.youkuaiyun.com/learn_tech/article/details/86511000</guid><author>learn_tech</author><pubDate>Wed, 16 Jan 2019 17:06:19 +0800</pubDate><description><![CDATA[转载地址：https://www.cnblogs.com/superhedantou/p/9004820.html

checkpoint在spark中主要有两块应用：一块是在spark core中对RDD做checkpoint，可以切断做checkpoint RDD的依赖关系，将RDD数据保存到可靠存储（如HDFS）以便数据恢复；另外一块是应用在spark streaming中，使用checkp...]]></description><category></category></item><item><title><![CDATA[Spark Streaming-Checkpoint机制]]></title><link>https://blog.youkuaiyun.com/learn_tech/article/details/86510912</link><guid>https://blog.youkuaiyun.com/learn_tech/article/details/86510912</guid><author>learn_tech</author><pubDate>Wed, 16 Jan 2019 17:03:47 +0800</pubDate><description><![CDATA[转载地址：https://blog.youkuaiyun.com/anbang713/article/details/82047980

一 概述

每一个Spark Streaming应用，正常来说都是要7 * 24小时运转的，这就是实时计算程序的特点。因为要持续不断的对数据进行计算。因此对实时计算应用的要求，应该是必须要能够对与应用程序逻辑无关的失败，进行容错。

如果要实现这个目标，Spark Stre...]]></description><category></category></item><item><title><![CDATA[Java中PriorityQueue详解]]></title><link>https://blog.youkuaiyun.com/learn_tech/article/details/86510599</link><guid>https://blog.youkuaiyun.com/learn_tech/article/details/86510599</guid><author>learn_tech</author><pubDate>Wed, 16 Jan 2019 16:52:50 +0800</pubDate><description><![CDATA[转载地址：https://www.cnblogs.com/Elliott-Su-Faith-change-our-life/p/7472265.html

Java API 地址：https://docs.oracle.com/javase/8/docs/api/

Java中PriorityQueue通过二叉小顶堆实现，可以用一棵完全二叉树表示。本文从Queue接口函数出发，结合生动的图解，深入...]]></description><category></category></item><item><title><![CDATA[java.lang.Error: Properties init: Could not determine current working directory]]></title><link>https://blog.youkuaiyun.com/learn_tech/article/details/85229812</link><guid>https://blog.youkuaiyun.com/learn_tech/article/details/85229812</guid><author>learn_tech</author><pubDate>Mon, 24 Dec 2018 10:37:13 +0800</pubDate><description><![CDATA[报错：Java.lang.Error: Properties init: Could not determine current working directory.


[root@localhost current]# hadoop fs -ls /
shell-init: 获取当前目录时出错: getcwd: 无法访问父目录: 没有那个文件或目录
chdir: 获取当前目录时出错: getc...]]></description><category></category></item><item><title><![CDATA[Hadoop启动的时候，发现Datanode启动不了，解决办法]]></title><link>https://blog.youkuaiyun.com/learn_tech/article/details/85099956</link><guid>https://blog.youkuaiyun.com/learn_tech/article/details/85099956</guid><author>learn_tech</author><pubDate>Wed, 19 Dec 2018 16:26:53 +0800</pubDate><description><![CDATA[转载地址：https://blog.youkuaiyun.com/cc1949/article/details/78467673

                   https://www.cnblogs.com/kxdblog/p/4034255.html

解决方法：

（1）现象：


# jps

看不到DataNode
（2）可能原因：

datanode的clusterID 和 namenod...]]></description><category></category></item><item><title><![CDATA[Spark 序列化问题全解]]></title><link>https://blog.youkuaiyun.com/learn_tech/article/details/85099497</link><guid>https://blog.youkuaiyun.com/learn_tech/article/details/85099497</guid><author>learn_tech</author><pubDate>Wed, 19 Dec 2018 16:19:25 +0800</pubDate><description><![CDATA[转载地址：https://blog.youkuaiyun.com/JIESA/article/details/79996053

                  https://blog.youkuaiyun.com/weixin_42653621/article/details/82534820

在Spark应用开发中，很容易出现如下报错：


org.apache.spark.SparkException: T...]]></description><category></category></item><item><title><![CDATA[Spark 使用sortByKey进行二次排序]]></title><link>https://blog.youkuaiyun.com/learn_tech/article/details/84846785</link><guid>https://blog.youkuaiyun.com/learn_tech/article/details/84846785</guid><author>learn_tech</author><pubDate>Thu, 06 Dec 2018 09:28:32 +0800</pubDate><description><![CDATA[转载地址：https://blog.youkuaiyun.com/dwb1015/article/details/52207945

Spark的sortByKey API允许自定义排序规则，这样就可以进行自定义的二次排序、三次排序等等。 
先来看一下sortByKey的源码实现：


def sortByKey(): JavaPairRDD[K, V] = sortByKey(true)

def sort...]]></description><category></category></item><item><title><![CDATA[kafka生产者与消费者相关命令行]]></title><link>https://blog.youkuaiyun.com/learn_tech/article/details/84670795</link><guid>https://blog.youkuaiyun.com/learn_tech/article/details/84670795</guid><author>learn_tech</author><pubDate>Sat, 01 Dec 2018 09:34:49 +0800</pubDate><description><![CDATA[原文：https://blog.youkuaiyun.com/wf3612581/article/details/81842574

1、开启zookeeper集群


startzk.sh

2、开启kafka集群


start-kafka.sh


3、开启kafka可视化界面 kafka-manager


start-kafka-manager.sh

 4、生产者操作：


kafka-conso...]]></description><category></category></item><item><title><![CDATA[Hadoop namenode重新格式化需注意问题]]></title><link>https://blog.youkuaiyun.com/learn_tech/article/details/84670784</link><guid>https://blog.youkuaiyun.com/learn_tech/article/details/84670784</guid><author>learn_tech</author><pubDate>Sat, 01 Dec 2018 09:30:37 +0800</pubDate><description><![CDATA[原文：https://blog.youkuaiyun.com/gis_101/article/details/52821946

1、重新格式化意味着集群的数据会被全部删除，格式化前需考虑数据备份或转移问题；
2、先删除主节点（即namenode节点），Hadoop的临时存储目录tmp、namenode存储永久性元数据目录dfs/name、Hadoop系统日志文件目录log 中的内容 （注意是删除目录下的内容...]]></description><category></category></item><item><title><![CDATA[如何优雅的关闭基于yarn的SparkStreaming程序]]></title><link>https://blog.youkuaiyun.com/learn_tech/article/details/84615945</link><guid>https://blog.youkuaiyun.com/learn_tech/article/details/84615945</guid><author>learn_tech</author><pubDate>Thu, 29 Nov 2018 10:06:39 +0800</pubDate><description><![CDATA[转载地址：https://blog.youkuaiyun.com/c880420/article/details/80886699


yarn application --list

yarn application -kill application_1518954379926_0063

 ]]></description><category></category></item><item><title><![CDATA[Storm的流分组策略]]></title><link>https://blog.youkuaiyun.com/learn_tech/article/details/83861157</link><guid>https://blog.youkuaiyun.com/learn_tech/article/details/83861157</guid><author>learn_tech</author><pubDate>Thu, 08 Nov 2018 14:52:37 +0800</pubDate><description><![CDATA[原文地址：https://www.cnblogs.com/cutd/p/6740179.html

首先我要强调的是，Storm的分组策略对结果有着直接的影响，不同的分组的结果一定是不一样的。其次，不同的分组策略对资源的利用也是有着非常大的不同，本文主要讲一讲localOrShuffle这个分组对资源利用的重大改善。最后，不同的分组对项目的逻辑也起着至关重要的决定，比如在写数据的时候不同的分组策略...]]></description><category></category></item><item><title><![CDATA[Spark之本地模式与集群模式]]></title><link>https://blog.youkuaiyun.com/learn_tech/article/details/83654290</link><guid>https://blog.youkuaiyun.com/learn_tech/article/details/83654290</guid><author>learn_tech</author><pubDate>Fri, 02 Nov 2018 14:16:19 +0800</pubDate><description><![CDATA[原文：https://blog.youkuaiyun.com/qq_33689414/article/details/80232605

1.spark-shell的本地模式和集群模式

1.1 local本地模式

直接启动spark-shell命令窗口

脚本启动后，会生成一个SparkContext的上下文对象sc。并且启动的是本地模式(local)。如图：



1.1.1 加载本地数据


sc.t...]]></description><category></category></item><item><title><![CDATA[Linux下安装Scala]]></title><link>https://blog.youkuaiyun.com/learn_tech/article/details/83374837</link><guid>https://blog.youkuaiyun.com/learn_tech/article/details/83374837</guid><author>learn_tech</author><pubDate>Thu, 25 Oct 2018 09:46:51 +0800</pubDate><description><![CDATA[Linux下安装Scala和Windows下安装类似，步骤如下：

　　首先访问下载链接：http://www.scala-lang.org/download/默认这里下载的是Windows版本，这时点击上面的All downloads进入所有的版本下载页面：

　　

　　然后选择最新版本，Scala 2.11.8进入

　　

　　进入后拉到页面下方，选择Mac OSX，Unix版本的二进制包...]]></description><category></category></item><item><title><![CDATA[关于storm中某一段时间内topN的计算入门]]></title><link>https://blog.youkuaiyun.com/learn_tech/article/details/82909825</link><guid>https://blog.youkuaiyun.com/learn_tech/article/details/82909825</guid><author>learn_tech</author><pubDate>Sun, 30 Sep 2018 15:24:00 +0800</pubDate><description><![CDATA[转载地址：https://www.cnblogs.com/zguood/p/4528195.html

刚刚接触storm 对于滑动窗口的topN复杂模型有一些不理解，通过阅读其他的博客发现有两篇关于topN的非滑动窗口的介绍。然后转载过来。

下面是第一种：

Storm的另一种常见模式是对流式数据进行所谓“streaming top N”的计算，它的特点是持续的在内存中按照某个统计指标（如出现...]]></description><category></category></item><item><title><![CDATA[Hadoop API 使用介绍]]></title><link>https://blog.youkuaiyun.com/learn_tech/article/details/82702969</link><guid>https://blog.youkuaiyun.com/learn_tech/article/details/82702969</guid><author>learn_tech</author><pubDate>Sun, 30 Sep 2018 11:34:28 +0800</pubDate><description><![CDATA[转载地址：https://blog.youkuaiyun.com/wt346326775/article/details/53301117

Hadoop API被分成（divide into）如下几种主要的包（package）


org.apache.hadoop.conf     定义了系统参数的配置文件处理API。
org.apache.hadoop.fs          定义了抽象的文件系统API...]]></description><category></category></item><item><title><![CDATA[深入理解Java并发之synchronized实现原理]]></title><link>https://blog.youkuaiyun.com/learn_tech/article/details/82881837</link><guid>https://blog.youkuaiyun.com/learn_tech/article/details/82881837</guid><author>learn_tech</author><pubDate>Sun, 30 Sep 2018 11:34:11 +0800</pubDate><description><![CDATA[转载地址：https://blog.youkuaiyun.com/javazejian/article/details/72828483

关联文章：

深入理解Java类型信息(Class对象)与反射机制

深入理解Java枚举类型(enum)

深入理解Java注解类型(@Annotation)

深入理解Java类加载器(ClassLoader)

深入理解Java并发之synchronized实现原理...]]></description><category></category></item><item><title><![CDATA[利用storm个性化存储hdfs（更改storm-hdfs插件源码）]]></title><link>https://blog.youkuaiyun.com/learn_tech/article/details/82878830</link><guid>https://blog.youkuaiyun.com/learn_tech/article/details/82878830</guid><author>learn_tech</author><pubDate>Fri, 28 Sep 2018 11:46:31 +0800</pubDate><description><![CDATA[转载地址：https://blog.youkuaiyun.com/weixin_40209426/article/details/81220313

在项目过程中，有这样一个需求，需要用storm消费实时流日志，存储hdfs，如果伙伴们要是抱着自己开发存储的心态去做，可能会耗费一定的开发周期,比较不划算，因为官方做了一个storm-hdfs的开发包供storm使用者轻松开发storm程序存储hdfs，但是这个...]]></description><category></category></item><item><title><![CDATA[简单易接入的Zookeeper]]></title><link>https://blog.youkuaiyun.com/learn_tech/article/details/82702560</link><guid>https://blog.youkuaiyun.com/learn_tech/article/details/82702560</guid><author>learn_tech</author><pubDate>Fri, 14 Sep 2018 14:38:43 +0800</pubDate><description><![CDATA[  转载地址：https://blog.youkuaiyun.com/xiangxizhishi/article/details/76563728

  众所周知，分布式的系统协作服务很难有让人满意的产品。这些协作服务产品很容易陷入一些诸如竞争选择条件或者死锁的陷阱中。那Zookeeper又是怎么解决这个问题的呢？

  Zookeeper提供了一些简单的操作，使得分布式应用可以基于这些接口实现诸如同步、配置...]]></description><category></category></item><item><title><![CDATA[分布式服务管理框架-Zookeeper客户端zkCli.sh使用详解]]></title><link>https://blog.youkuaiyun.com/learn_tech/article/details/82663689</link><guid>https://blog.youkuaiyun.com/learn_tech/article/details/82663689</guid><author>learn_tech</author><pubDate>Wed, 12 Sep 2018 16:31:12 +0800</pubDate><description><![CDATA[原文链接：http://blog.youkuaiyun.com/xyang81/article/details/53053642

                 https://blog.youkuaiyun.com/dandandeshangni/article/details/80558383

在学习zookeeper（下面简称zk）客户端之前，有必要先了解一下zk的数据模型。zk维护着一个逻辑上的树形层次结构...]]></description><category></category></item><item><title><![CDATA[kafka与storm集成测试问题小结]]></title><link>https://blog.youkuaiyun.com/learn_tech/article/details/82663179</link><guid>https://blog.youkuaiyun.com/learn_tech/article/details/82663179</guid><author>learn_tech</author><pubDate>Wed, 12 Sep 2018 16:04:52 +0800</pubDate><description><![CDATA[转载地址：https://blog.youkuaiyun.com/shj1119/article/details/48826619

1 拷贝kafka依赖jar包到storm lib
[root@hdmaster libs]# cp kafka_2.10-0.8.2.1.jar /opt/apache-storm-0.9.5/lib/
[root@hdmaster libs]# cp scala-libra...]]></description><category></category></item></channel></rss>