<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Amber_amber的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Amber_amber</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Amber_amber]]></copyright><item><title><![CDATA[Spark 处理中文乱码问题（UTF-8编码）]]></title><link>https://blog.youkuaiyun.com/Amber_amber/article/details/50036779</link><guid>https://blog.youkuaiyun.com/Amber_amber/article/details/50036779</guid><author>Amber_amber</author><pubDate>Thu, 03 Dec 2015 16:14:24 +0800</pubDate><description><![CDATA[问题场景
要用spark处理一大堆微信日志数据，日志存放在HDFS上，是xml格式，里面有大量的中文。用scala + java实现了xml的处理逻辑，其中有一步是要获取xml中的一个title字段，中文。不管怎么抓取，最终得到的中文都会变成一堆“？？？？？”，乱码了。从xml中获取非中文字段，没有任何问题。也就是说，代码的逻辑是没什么问题的。]]></description><category></category></item><item><title><![CDATA[Eclipse下Java+Scala混合编程的Maven项目]]></title><link>https://blog.youkuaiyun.com/Amber_amber/article/details/49427857</link><guid>https://blog.youkuaiyun.com/Amber_amber/article/details/49427857</guid><author>Amber_amber</author><pubDate>Mon, 26 Oct 2015 18:15:48 +0800</pubDate><description><![CDATA[用spark + java混合实现spark项目，我想肯定有我一样坚持要用eclipse + maven来配置开发环境，而不愿意换Intelij + sbt的同学吧。
照着文章中的步骤配置，完全ok。好文共享，原文挺好懂的，就不翻译了~


============================== 我是正文分隔线 ==============================


]]></description><category></category></item><item><title><![CDATA[spark1.4.1中sparkR的编译使用全过程]]></title><link>https://blog.youkuaiyun.com/Amber_amber/article/details/48245637</link><guid>https://blog.youkuaiyun.com/Amber_amber/article/details/48245637</guid><author>Amber_amber</author><pubDate>Sun, 06 Sep 2015 17:33:33 +0800</pubDate><description><![CDATA[**本文针对那些和我一样，对spark还挺熟悉但对R知之甚少甚至之前没听过的同学，在spark引入了sparkR后才开始零基础地开始学习使用。如果你本身对R和sparkR已经很熟悉了，就不用看了。


本文主要包含的内容：


 spark1.4.1编译 sparkR使用环境配置 sparkR的第一个例子


spark1.4.1编译

首先从spark官网下载spark1.]]></description><category></category></item><item><title><![CDATA[【MapReduce开发】计算PI]]></title><link>https://blog.youkuaiyun.com/Amber_amber/article/details/47610125</link><guid>https://blog.youkuaiyun.com/Amber_amber/article/details/47610125</guid><author>Amber_amber</author><pubDate>Thu, 13 Aug 2015 15:49:07 +0800</pubDate><description><![CDATA[MapReduce无法进行递归和迭代式的计算，所以目前基于MapReduce计算PI的算法只有一种，就是Stanford在一篇论文里提到过的一种掷飞镖计算方法。原文我在网上没有找到，所以就把网友的文章截图附一下吧：]]></description><category></category></item><item><title><![CDATA[Halton Sequence 原理和代码实现]]></title><link>https://blog.youkuaiyun.com/Amber_amber/article/details/47421053</link><guid>https://blog.youkuaiyun.com/Amber_amber/article/details/47421053</guid><author>Amber_amber</author><pubDate>Tue, 11 Aug 2015 16:24:13 +0800</pubDate><description><![CDATA[Halton Sequence是一种随机序列，被用来生成均匀分布的随机数。最常被应用的地方就是Monte Carlo算法。因为最近在学习MapReduce算法，在看对PI的计算实现时了解到Halton Sequence，但惊讶地发现Google竟然搜不到多少介绍，不知道是已经没什么人用了，还是比较冷门呢。Anyway，hadoop计算PI用到了，所以我也就了解下啦。
Halton Sequenc]]></description><category></category></item><item><title><![CDATA[Hadoop2.x eclipse下编程环境配置]]></title><link>https://blog.youkuaiyun.com/Amber_amber/article/details/47396419</link><guid>https://blog.youkuaiyun.com/Amber_amber/article/details/47396419</guid><author>Amber_amber</author><pubDate>Mon, 10 Aug 2015 11:54:33 +0800</pubDate><description><![CDATA[这个过程，是针对如何在eclipse中编写hadoop2.x对应的MapReduce程序，然后打包并上传到hadoop集群执行的过程。




1. 下载hadoop2.x的tar包，解压到某个目录下（注： 不是源码包，是安装包）



2. 将hadoop2x-eclipse插件导入eclipse：
（1） 编译插件。插件源码地址 https://github.com/win]]></description><category></category></item><item><title><![CDATA[C4.5算法（一）代码实现]]></title><link>https://blog.youkuaiyun.com/Amber_amber/article/details/47317173</link><guid>https://blog.youkuaiyun.com/Amber_amber/article/details/47317173</guid><author>Amber_amber</author><pubDate>Thu, 06 Aug 2015 15:37:31 +0800</pubDate><description><![CDATA[入门学习机器学习的十大算法，第一站就是C4.5算法。C4.5是一种决策树算法，属于监督学习。先给一个样本集，从而建立一棵决策树，然后根据这个决策树来对后续的数据做决策。]]></description><category></category></item><item><title><![CDATA[hadoop2.x HDFS快照介绍]]></title><link>https://blog.youkuaiyun.com/Amber_amber/article/details/47021841</link><guid>https://blog.youkuaiyun.com/Amber_amber/article/details/47021841</guid><author>Amber_amber</author><pubDate>Thu, 23 Jul 2015 14:44:50 +0800</pubDate><description><![CDATA[翻译自Apache官方文档，Hadoop2.x版本的snapshot快照功能介绍。]]></description><category></category></item><item><title><![CDATA[Hadoop2.0 HA的checkpoint过程]]></title><link>https://blog.youkuaiyun.com/Amber_amber/article/details/47003589</link><guid>https://blog.youkuaiyun.com/Amber_amber/article/details/47003589</guid><author>Amber_amber</author><pubDate>Wed, 22 Jul 2015 15:00:38 +0800</pubDate><description><![CDATA[hdfs将文件系统的元数据信息存放在fsimage和一系列的edits文件中。在启动HDFS集群时，系统会先加载fsimage，然后逐个执行所有Edits文件中的每一条操作，来获取完整的文件系统元数据。


Edits & fsimage文件
HDFS的存储元数据是由fsimage和edits文件组成。fsimage存放上次checkpoint生成的文件系统元数据，Edits存放文件系统操]]></description><category></category></item><item><title><![CDATA[hadoop2.0报错“There appears to be a gap in the edit log”]]></title><link>https://blog.youkuaiyun.com/Amber_amber/article/details/46896719</link><guid>https://blog.youkuaiyun.com/Amber_amber/article/details/46896719</guid><author>Amber_amber</author><pubDate>Wed, 15 Jul 2015 17:56:29 +0800</pubDate><description><![CDATA[今天升级集群的时候遇到了这个问题。解决问题的过程中，借机也巩固了下对namenode启动过程的理解。这个问题网上几乎没查到好的解决办法，Google出来的办法说让Recovery，对已经有很大数据量的线上集群来说，风险太大，不可取。所以只能自己读着源码一步一步分析，最终还是完美地解决了，哈哈。]]></description><category></category></item><item><title><![CDATA[Spark Streaming+kafka+eclipse编程]]></title><link>https://blog.youkuaiyun.com/Amber_amber/article/details/46049455</link><guid>https://blog.youkuaiyun.com/Amber_amber/article/details/46049455</guid><author>Amber_amber</author><pubDate>Wed, 27 May 2015 17:15:20 +0800</pubDate><description><![CDATA[eclipse本身对Scala的支持不是很友好，但还是有一部分同学（比如我）习惯用eclipse来做开发。所以这里提供结合spark
 streaming+kafka编程在eclipse上实现的过程。###安装配置单机版kafka
 **如果已经有kafka，这一步跳过。参考官网介绍步骤进行。**（1） 下载kafka包并解压
 > tar -xzf kafka_2.10-0.8.2.0.t]]></description><category></category></item><item><title><![CDATA[Hadoop2.0：Jvisualvm监控MapReduce和spark作业]]></title><link>https://blog.youkuaiyun.com/Amber_amber/article/details/45742693</link><guid>https://blog.youkuaiyun.com/Amber_amber/article/details/45742693</guid><author>Amber_amber</author><pubDate>Fri, 15 May 2015 11:43:12 +0800</pubDate><description><![CDATA[注意： 这个监控适用于执行时间长的作业，比如数据量较大的mapreduce和spark，以及spark streaming等。对几秒到几分钟的作业，恐怕你还没配置好jvisualvm监控，作业就结束了。
昨天看了一篇介绍如何用jvisualvm监控spark作业的方法，因为我的MapReduce作业和spark作业都是跑在hadoop2.0的yarn上的，所以自己探索者把mapreduce和sp]]></description><category></category></item><item><title><![CDATA[highcharts图表史上最全的参数配置(属性+事件)]]></title><link>https://blog.youkuaiyun.com/Amber_amber/article/details/45581553</link><guid>https://blog.youkuaiyun.com/Amber_amber/article/details/45581553</guid><author>Amber_amber</author><pubDate>Fri, 08 May 2015 16:09:00 +0800</pubDate><description><![CDATA[【转自： http://www.cnblogs.com/LiviaLiu742X/p/3205450.html  】

今天这里将给大家全全展现相关的参数配置：


chart.events.addSeries：添加数列到图表中。

chart.events.click：整个图表的绘图区上所发生的点击事件。

chart.events.load：图表加载事件。

chart.]]></description><category></category></item><item><title><![CDATA[hadoop ganglia安装配置详解]]></title><link>https://blog.youkuaiyun.com/Amber_amber/article/details/44309799</link><guid>https://blog.youkuaiyun.com/Amber_amber/article/details/44309799</guid><author>Amber_amber</author><pubDate>Mon, 16 Mar 2015 18:31:12 +0800</pubDate><description><![CDATA[下面是包括ganglia的安装，和ganglia监控hadoop的配置的完整过程。以及在安装过程中遇到的各种问题和解决方法的记录。ganglia版本为3.6，hadoop版本为cdh5.


准备工作
准备工作中的各项安装，在每个节点，包括gmetad和gmond上都需要。

1. 安装依赖


yum -y install apr-devel apr-util check-de]]></description><category></category></item><item><title><![CDATA[spark 1.1.0 编译使用 & 爬坑记录]]></title><link>https://blog.youkuaiyun.com/Amber_amber/article/details/44019725</link><guid>https://blog.youkuaiyun.com/Amber_amber/article/details/44019725</guid><author>Amber_amber</author><pubDate>Mon, 02 Mar 2015 16:14:31 +0800</pubDate><description><![CDATA[虽然1.2.1版本也已经出来了，估计还是有很多人在用1.1.0或者1.0.0 版本。所以把编译和使用1.1.0版本时遇到的一些问题和解决思路写在这里，供参考。
因为我们对cdh版本的hadoop做了一些生产环境相关的修改，所以每次升级spark都需要基于源码自己进行编译。编译方法很简单，而且我在这篇文章 http://blog.youkuaiyun.com/amber_amber/article/detai]]></description><category></category></item><item><title><![CDATA[安装OpenCV：OpenCV 3.0、OpenCV 2.4.8、OpenCV 2.4.9 +VS 开发环境配置]]></title><link>https://blog.youkuaiyun.com/Amber_amber/article/details/42102187</link><guid>https://blog.youkuaiyun.com/Amber_amber/article/details/42102187</guid><author>Amber_amber</author><pubDate>Tue, 23 Dec 2014 14:15:35 +0800</pubDate><description><![CDATA[Amber有话说：
如何安装配置 VIsual Studio2010 + openCV2.4.10。上次偶然看到了Julia集和Mandelbrot集，就想自己实现下。所以开始学习使用openCV。第一步就是搭建环境。按照这篇文章一步一步安装成功，博主讲的很细致也很准确，适合零基础的童鞋，转载留作记录~
原文地址： http://blog.youkuaiyun.com/poem_qianmo/articl]]></description><category></category></item><item><title><![CDATA[spark on yarn作业运行的jar包缓存优化]]></title><link>https://blog.youkuaiyun.com/Amber_amber/article/details/42081045</link><guid>https://blog.youkuaiyun.com/Amber_amber/article/details/42081045</guid><author>Amber_amber</author><pubDate>Mon, 22 Dec 2014 15:56:45 +0800</pubDate><description><![CDATA[这几天一直在追查spark on yarn的作业运行中的jar包分发，以及执行后的jar包删除的问题。从一开始的毫无头绪，到后来逐渐清晰，到后来通过hadoop的两个很简单的参数配置解决了问题。不得不说，虽然问题不大，对某些大牛们来说也真是小case，但是追查问题，定位问题到最终解决问题的过程，对我来说真是很不错的体验和学习过程。下面详细描述一下遇到的问题，以及解决的过程，给后面的同学一点参考。]]></description><category></category></item><item><title><![CDATA[修改hadoop源码后，hadoop和spark的编译过程]]></title><link>https://blog.youkuaiyun.com/Amber_amber/article/details/41041787</link><guid>https://blog.youkuaiyun.com/Amber_amber/article/details/41041787</guid><author>Amber_amber</author><pubDate>Wed, 12 Nov 2014 12:24:11 +0800</pubDate><description><![CDATA[近期对hadoop2.0源码做了一些修改，根据业务需要，添加了一点小小的功能。而且我们的hadoop2.0环境上同时运行着MapReduce和spark计算框架，所以hadoop源码的修改同时涉及到了hadoop的重新编译，以及spark的重新编译。下面是对编译过程的一点记录。编译的主要难点和关键在对spark的编译。下面会详细介绍。
版本：
hadoop： cdh5.1.0-hadoop2.]]></description><category></category></item><item><title><![CDATA[hadoop1.0到2.0的升级（非跨版本）]]></title><link>https://blog.youkuaiyun.com/Amber_amber/article/details/39666513</link><guid>https://blog.youkuaiyun.com/Amber_amber/article/details/39666513</guid><author>Amber_amber</author><pubDate>Mon, 29 Sep 2014 10:30:00 +0800</pubDate><description><![CDATA[注： 升级步骤不涉及HA和federation。如何在Hadoop2.0上部署HA和federation，可以查看另外两篇文章。
这是1.0升级2.0的简单升级配置步骤。实践了一下，挺顺利的，HDFS1.0平稳升级2.0，不存在任何不兼容的问题，而且数据没有任何丢失。MR升级中的兼容性问题，下面有简单的概括，具体还要使用了才能更明确。


HDFS升级
1) 首先，停止正在运行的hado]]></description><category></category></item><item><title><![CDATA[RDD，弹性分布式数据集]]></title><link>https://blog.youkuaiyun.com/Amber_amber/article/details/38820385</link><guid>https://blog.youkuaiyun.com/Amber_amber/article/details/38820385</guid><author>Amber_amber</author><pubDate>Mon, 25 Aug 2014 14:43:46 +0800</pubDate><description><![CDATA[本文参考了


RDD的概述
         RDD是spark计算系统的核心和精华，所以下面针对RDD进行简单的探讨。
 
         先用一个小例子来具象描述一下RDD的主要工作过程：首先你从HDFS中以K-V格式读入一个文件file1，得到r1；r1是我们的第一个RDD，它被载入到内存中。然后对r1操作，找出所有包含“error”的记录，得到r2；r2是我们的第二个RDD]]></description><category></category></item></channel></rss>