<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[wangzfox的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/wangzfox</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; wangzfox]]></copyright><item><title><![CDATA[Azkaban Quick Start]]></title><link>https://blog.youkuaiyun.com/wangzfox/article/details/50226033</link><guid>https://blog.youkuaiyun.com/wangzfox/article/details/50226033</guid><author>wangzfox</author><pubDate>Tue, 08 Dec 2015 23:19:53 +0800</pubDate><description><![CDATA[在开始之前
这里使用 Web server + Executor 的模式，不使用Solo server
下载地址

环境搭建

配置数据库

注：目前Azkaban2仅支持MySQL作为数据存储仓库。


安装MySQL
可参考： 
MySQL Documentation Site。

配置数据库
为Azkaban创建一个数据库，如：

mysq]]></description><category></category></item><item><title><![CDATA[Hive数据迁移]]></title><link>https://blog.youkuaiyun.com/wangzfox/article/details/50226015</link><guid>https://blog.youkuaiyun.com/wangzfox/article/details/50226015</guid><author>wangzfox</author><pubDate>Tue, 08 Dec 2015 23:18:30 +0800</pubDate><description><![CDATA[﻿﻿










简介
基于全表导出和全表导入。流程为Source Hive -> Source HDFS Cluster -> Destination HDFS Cluster -> Destination Hive

（Source端）群集操作

1. 创建导出临时目录
这里定为hdfs://tmp/hive-export/
假设这里导出的数据库名为]]></description><category></category></item><item><title><![CDATA[Flume日志采集系统的安装和部署]]></title><link>https://blog.youkuaiyun.com/wangzfox/article/details/50225649</link><guid>https://blog.youkuaiyun.com/wangzfox/article/details/50225649</guid><author>wangzfox</author><pubDate>Tue, 08 Dec 2015 23:15:51 +0800</pubDate><description><![CDATA[由Cloudera 公司开发，然后贡献给了apache现已经成为apache下面的一级开源项目。
基本介绍：按照flume的官方文档，flume是一种分布式的，可靠的，有效收集，聚集和移动大量的日志数据的可用服务。它的架构基于数据流的简单且灵活，具有很好的鲁棒性和容错可调的可靠性机制和多故障转移和恢复机制。它使用了一个简单的可扩展的数据模型，允许在线分析应用。
适用范围：业界主要用flume来]]></description><category></category></item><item><title><![CDATA[GoogleVis包生成的网页没有图像的解决办法]]></title><link>https://blog.youkuaiyun.com/wangzfox/article/details/46764843</link><guid>https://blog.youkuaiyun.com/wangzfox/article/details/46764843</guid><author>wangzfox</author><pubDate>Sun, 05 Jul 2015 19:14:32 +0800</pubDate><description><![CDATA[在参照这个网址：
﻿﻿
http://bbs.pinggu.org/thread-2882927-1-1.html 制作googleVis的地图的时候，发现plot打开的网页没有任何图像，无奈网上都没说怎么解决，只好翻墙到googlecode找答案，解决办法如下：
这是因为FLASH导致的，进入http://www.macromedia.com/support/documentation/e]]></description><category></category></item><item><title><![CDATA[Hive1.1安装配置，基于最小安装的CentOS7、hadoop2.6、MySQL]]></title><link>https://blog.youkuaiyun.com/wangzfox/article/details/45935579</link><guid>https://blog.youkuaiyun.com/wangzfox/article/details/45935579</guid><author>wangzfox</author><pubDate>Sat, 23 May 2015 16:51:27 +0800</pubDate><description><![CDATA[hive搭建]]></description><category></category></item><item><title><![CDATA[R语言学习之dplyr包]]></title><link>https://blog.youkuaiyun.com/wangzfox/article/details/45850569</link><guid>https://blog.youkuaiyun.com/wangzfox/article/details/45850569</guid><author>wangzfox</author><pubDate>Tue, 19 May 2015 21:51:00 +0800</pubDate><description><![CDATA[dplyr包被称为是十大R语言必学包之一，下面简单介绍包内的常用函数，参考来自dplyr包文档：
1.filter(df, condition1, condition2,..., .dots)
过滤函数，df为目标数据框，下面我都用df指代目标数据框，就不再赘述，后面跟的都是过滤条件，最后面那个.dots是一个类似于传递柯里化函数的东西，可以单独讲一篇了。。这里就不展开了，后面的每一个函数都可]]></description><category></category></item><item><title><![CDATA[R语言文本挖掘1——词云制作，基于Rwordseg包]]></title><link>https://blog.youkuaiyun.com/wangzfox/article/details/45803863</link><guid>https://blog.youkuaiyun.com/wangzfox/article/details/45803863</guid><author>wangzfox</author><pubDate>Mon, 18 May 2015 00:20:39 +0800</pubDate><description><![CDATA[基于Rwordseg包的词云分析]]></description><category></category></item><item><title><![CDATA[Spark的MLLib中，SVM官方示例所用的load方法源码解读]]></title><link>https://blog.youkuaiyun.com/wangzfox/article/details/45787725</link><guid>https://blog.youkuaiyun.com/wangzfox/article/details/45787725</guid><author>wangzfox</author><pubDate>Sun, 17 May 2015 11:38:59 +0800</pubDate><description><![CDATA[Spark中MLLib中SVM官方算法的load方法的阅读]]></description><category></category></item><item><title><![CDATA[LCS（最大公共序列） scala版本]]></title><link>https://blog.youkuaiyun.com/wangzfox/article/details/45787385</link><guid>https://blog.youkuaiyun.com/wangzfox/article/details/45787385</guid><author>wangzfox</author><pubDate>Sun, 17 May 2015 11:01:10 +0800</pubDate><description><![CDATA[这个算法也是学习自七月算法，也请教了醉清风网友，非常感谢他的指点。通过构建矩阵的方式匹配。具体如下，整体与Java或C++版本在写法上没有本质区别，主要是熟悉了二元数组以及循环等。这个写法还有可以改进的地方，不过由于暂时没时间改了，等往后闲下来再修改（比如跟之前贴的算法一样，写成隐式转换，比如while循环写入def，还可以尝试用其他方式构造矩阵，比如列表数组、数组向量等）
object LCS]]></description><category></category></item><item><title><![CDATA[SVM算法的理解]]></title><link>https://blog.youkuaiyun.com/wangzfox/article/details/45774783</link><guid>https://blog.youkuaiyun.com/wangzfox/article/details/45774783</guid><author>wangzfox</author><pubDate>Sun, 17 May 2015 00:04:11 +0800</pubDate><description><![CDATA[距离上次看SVM算法已经快过了半个月了，今天再次看到，温故知新后决定把自己的理解写出来。不过由于本人文笔不佳，所以想到什么写什么，等有空了再整理。看到觉得混乱的还请见谅。
 
刚刚看SVM的时候，只能明白支持向量机之所以叫支持向量机是因为支持向量，后面懂得了w的内容是什么、几何距离的意义、低维映射到高维的作用、核函数、SMO、随机梯度下降。SVM算法相对其他机器学习算法，内容涉及要广的多，很多]]></description><category></category></item><item><title><![CDATA[和最大的非空子数组（scala版本）]]></title><link>https://blog.youkuaiyun.com/wangzfox/article/details/45642623</link><guid>https://blog.youkuaiyun.com/wangzfox/article/details/45642623</guid><author>wangzfox</author><pubDate>Mon, 11 May 2015 12:13:09 +0800</pubDate><description><![CDATA[给定一个整数数组，求它的子数组（连续）里面最大的和是多少
算法思路来自于：http://www.julyedu.com/video/play/id/19 中思路四，代码相对迭代算法简单很多，思路也容易理解，我谨将C++算法转换成scala算法，其他思路请到七月算法中查看，如有错误请指正。
object test{
  val a = Array(1,-2,3,-20,-5,4,5,4,5)

]]></description><category></category></item><item><title><![CDATA[用scala实现wordcount]]></title><link>https://blog.youkuaiyun.com/wangzfox/article/details/45642237</link><guid>https://blog.youkuaiyun.com/wangzfox/article/details/45642237</guid><author>wangzfox</author><pubDate>Mon, 11 May 2015 11:32:34 +0800</pubDate><description><![CDATA[这个算法来源于QQ群里一位叫醉清风的网友，对于怎么读取文件生成votes这个序列这里就不写了，主要是介绍count思路，使用groupBy函数聚集，然后使用两个map获得需要的统计量。
object wordCountByScala extends App {

  val votes = Seq(("scala", 1), ("java", 4), ("scala", 10), ("scala]]></description><category></category></item><item><title><![CDATA[查找数组中唯一的一个数字，scala版本]]></title><link>https://blog.youkuaiyun.com/wangzfox/article/details/45629209</link><guid>https://blog.youkuaiyun.com/wangzfox/article/details/45629209</guid><author>wangzfox</author><pubDate>Sun, 10 May 2015 23:41:32 +0800</pubDate><description><![CDATA[/*Given an array of integers, every element appears twice except for one. Find that single one.

Note:
 Your algorithm should have a linear runtime complexity. Could you implement it without using ext]]></description><category></category></item><item><title><![CDATA[面试题：给定a、b字符串，判断b是否为a的变位词（scala版本）]]></title><link>https://blog.youkuaiyun.com/wangzfox/article/details/45627241</link><guid>https://blog.youkuaiyun.com/wangzfox/article/details/45627241</guid><author>wangzfox</author><pubDate>Sun, 10 May 2015 22:33:58 +0800</pubDate><description><![CDATA[面试题：给定a、b字符串，判断b是否为a的变位词（scala版本）]]></description><category></category></item><item><title><![CDATA[交换*号到第一位的partition算法和不改变数字位置的算法 scala版本]]></title><link>https://blog.youkuaiyun.com/wangzfox/article/details/45624033</link><guid>https://blog.youkuaiyun.com/wangzfox/article/details/45624033</guid><author>wangzfox</author><pubDate>Sun, 10 May 2015 19:42:50 +0800</pubDate><description><![CDATA[下面算法想法来自七月算法上的视频：http://www.julyedu.com/video/play/id/28
交换*号到第一位的partition算法：
case class SortNum[T](str: String) {
	//因为字符串在scala里面是常量，一旦改变会生成一个新的字符串而不是在原本上更新，所以需要构建一个映射的数组
	var strArray = str.toBu]]></description><category></category></item><item><title><![CDATA[已学习内容]]></title><link>https://blog.youkuaiyun.com/wangzfox/article/details/45619447</link><guid>https://blog.youkuaiyun.com/wangzfox/article/details/45619447</guid><author>wangzfox</author><pubDate>Sun, 10 May 2015 11:31:46 +0800</pubDate><description><![CDATA[已学内容，用于回顾和勉励自己]]></description><category></category></item><item><title><![CDATA[谷歌高管遇难后他妹妹写的通告]]></title><link>https://blog.youkuaiyun.com/wangzfox/article/details/45507137</link><guid>https://blog.youkuaiyun.com/wangzfox/article/details/45507137</guid><author>wangzfox</author><pubDate>Tue, 05 May 2015 20:02:33 +0800</pubDate><description><![CDATA[谷歌高管，Dan Fredinburg在尼泊尔地震引发的喜马拉雅山雪崩中不幸遇难后，他的妹妹在他的Twitter上告知所有喜欢Dan的人这一不幸的消息。Dan的生活非常精彩，曾到世界各个地方探险，雪崩事故停止了这位勇敢、阳光、不断发掘生命真谛的冒险家。下面附上他最后一条Twitter，来自他妹妹，写的非常好，这也是我把它摆到博客中的原因之一：
 
This is Dans little sis]]></description><category></category></item><item><title><![CDATA[scala xml]]></title><link>https://blog.youkuaiyun.com/wangzfox/article/details/45503631</link><guid>https://blog.youkuaiyun.com/wangzfox/article/details/45503631</guid><author>wangzfox</author><pubDate>Tue, 05 May 2015 15:53:51 +0800</pubDate><description><![CDATA[scala xml]]></description><category></category></item><item><title><![CDATA[Spark 1.3与hadoop2.6在64位最小安装的CentOS 7中的部署]]></title><link>https://blog.youkuaiyun.com/wangzfox/article/details/45439535</link><guid>https://blog.youkuaiyun.com/wangzfox/article/details/45439535</guid><author>wangzfox</author><pubDate>Sat, 02 May 2015 13:47:18 +0800</pubDate><description><![CDATA[Spark 1.3与hadoop2.6部署在CentOS 7的操作]]></description><category></category></item><item><title><![CDATA[SCALA中this关键字]]></title><link>https://blog.youkuaiyun.com/wangzfox/article/details/45438961</link><guid>https://blog.youkuaiyun.com/wangzfox/article/details/45438961</guid><author>wangzfox</author><pubDate>Sat, 02 May 2015 12:04:44 +0800</pubDate><description><![CDATA[this关键字]]></description><category></category></item></channel></rss>