<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[lzz360的专栏]]></title><description><![CDATA[如果你现在不搞电子商务，那么五年后你会后悔的]]></description><link>https://blog.youkuaiyun.com/lzz360</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; lzz360]]></copyright><item><title><![CDATA[Azkaban－开源任务调度程序（安装篇）]]></title><link>https://blog.youkuaiyun.com/lzz360/article/details/52387974</link><guid>https://blog.youkuaiyun.com/lzz360/article/details/52387974</guid><author>lzz360</author><pubDate>Wed, 31 Aug 2016 19:20:04 +0800</pubDate><description><![CDATA[Azkaban－开源任务调度程序（安装篇）
字数1166 
阅读2318 评论2 喜欢13

最近项目迁移到新集群，试试同事推荐的开源任务调度程序－azkaban（阿兹卡班），没看错，就是哈利波特里的阿兹卡班，azikaban主要用来解决hadoop依赖任务的执行，但是它本身支持linux和java程序，因此适合做小项目的任务调度管理程序。
Azkaban官网
它有三个重要组件：
]]></description><category></category></item><item><title><![CDATA[Flume环境部署和配置详解及案例大全]]></title><link>https://blog.youkuaiyun.com/lzz360/article/details/52220333</link><guid>https://blog.youkuaiyun.com/lzz360/article/details/52220333</guid><author>lzz360</author><pubDate>Tue, 16 Aug 2016 14:05:35 +0800</pubDate><description><![CDATA[Flume环境部署和配置详解及案例大全
投稿：hebedich 字体：[增加 减小] 类型：转载 时间：2014-08-11 我要评论


flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。


　　一、什么]]></description><category></category></item><item><title><![CDATA[spark 调试方法总结]]></title><link>https://blog.youkuaiyun.com/lzz360/article/details/52205280</link><guid>https://blog.youkuaiyun.com/lzz360/article/details/52205280</guid><author>lzz360</author><pubDate>Sun, 14 Aug 2016 17:28:09 +0800</pubDate><description><![CDATA[1 日志调试
配置 log4j.properties (只显示警告信息)
# log4j.rootCategory=INFO, console
log4j.rootCategory=WARN, console 



程序中使用logger
import org.apache.log4j.Logger

object TestSpark extends App{

val]]></description><category></category></item><item><title><![CDATA[spark-submit 提交作业到集群]]></title><link>https://blog.youkuaiyun.com/lzz360/article/details/52204435</link><guid>https://blog.youkuaiyun.com/lzz360/article/details/52204435</guid><author>lzz360</author><pubDate>Sun, 14 Aug 2016 14:56:40 +0800</pubDate><description><![CDATA[1 IDEA 打包
示例代码参考AMPCamp2015之SparkSQL，开发环境使用idea。首先需要将程序打包成jar




选择project structure --》artifacts ，由于集群已经有了运行依赖的jar包，打包时可以将这些jar包排除出去，以减小打包后的jar包的大小。




点击ok，然后选择build --》build artifacts，]]></description><category></category></item><item><title><![CDATA[hdfs 文件权限设计]]></title><link>https://blog.youkuaiyun.com/lzz360/article/details/52203501</link><guid>https://blog.youkuaiyun.com/lzz360/article/details/52203501</guid><author>lzz360</author><pubDate>Sun, 14 Aug 2016 11:09:34 +0800</pubDate><description><![CDATA[描述：有三个部门 （app开发小组，web开发小组，数据分析小组）
其中app开发小组的数据和web开发小组的数据是相互独立了，数据分析小组有权限分析来自app web两个部门的数据


步骤
1 创建组
groupadd apps
groupadd webs
groupadd dw(数据分析小组)


2 创建成员
useradd  -g apps  app //创建ap]]></description><category></category></item><item><title><![CDATA[ubunut 挂载远程目录]]></title><link>https://blog.youkuaiyun.com/lzz360/article/details/52201848</link><guid>https://blog.youkuaiyun.com/lzz360/article/details/52201848</guid><author>lzz360</author><pubDate>Sat, 13 Aug 2016 21:43:51 +0800</pubDate><description><![CDATA[1 安装sshfs
sudo apt-get install sshfs fuse
2 挂载
sshfs -o idmap=user username@ip.address:/remote/file/system/
~/remote]]></description><category></category></item><item><title><![CDATA[sparkStreaming+flume]]></title><link>https://blog.youkuaiyun.com/lzz360/article/details/52184997</link><guid>https://blog.youkuaiyun.com/lzz360/article/details/52184997</guid><author>lzz360</author><pubDate>Thu, 11 Aug 2016 17:46:38 +0800</pubDate><description><![CDATA[spark ***********************
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.SparkConf
import org.apache.spark.storage.StorageLevel
import org.apache.spark.s]]></description><category></category></item><item><title><![CDATA[ubuntu 环境下编译 hadoop 2.6.0的简单方法]]></title><link>https://blog.youkuaiyun.com/lzz360/article/details/52180516</link><guid>https://blog.youkuaiyun.com/lzz360/article/details/52180516</guid><author>lzz360</author><pubDate>Thu, 11 Aug 2016 10:48:21 +0800</pubDate><description><![CDATA[ubuntu 环境下编译 hadoop 2.6.0的简单方法





 
 




由于服务器一般都64位系统，hadoop网站的release版本32位native库不能运行，所以需要自己在编译一下。以下是我采用的一个编译的过程，比较简单，不用下载各种版本及环境配置，通过命令就能自动完成了。系统环境为ubuntuserver 64位版。
1、安装JDK，我这里使用的]]></description><category></category></item><item><title><![CDATA[Git的常用命令的使用方法和解释]]></title><link>https://blog.youkuaiyun.com/lzz360/article/details/52161568</link><guid>https://blog.youkuaiyun.com/lzz360/article/details/52161568</guid><author>lzz360</author><pubDate>Tue, 09 Aug 2016 12:07:13 +0800</pubDate><description><![CDATA[常用的git命令：

  add        Add file contents to the index（将文件添加到暂存区）

用法：
保存某个文件到暂缓区： git add 文件名 
保存当前路径的所有文件到暂缓区： git add . （注意，最后是一个点 . ） 

2.   bisectFind by binary search the change that int]]></description><category></category></item><item><title><![CDATA[ubuntu sun-pingying]]></title><link>https://blog.youkuaiyun.com/lzz360/article/details/52149905</link><guid>https://blog.youkuaiyun.com/lzz360/article/details/52149905</guid><author>lzz360</author><pubDate>Mon, 08 Aug 2016 10:51:59 +0800</pubDate><description><![CDATA[Ubuntu中文输入法IBUS的安装

第一：安装IBus框架，
sudo apt-get install ibus ibus-clutter ibus-gtk ibus-gtk3 ibus-qt4
启动IBus框架，在终端输入：
im-switch -s ibus
安装完IBus框架后注销系统，保证更改立即生效。
第三步：安装拼音引擎
 
有下面几种常用选择：
IBus拼音：]]></description><category></category></item><item><title><![CDATA[jupyter (ptyhon|R)]]></title><link>https://blog.youkuaiyun.com/lzz360/article/details/52140091</link><guid>https://blog.youkuaiyun.com/lzz360/article/details/52140091</guid><author>lzz360</author><pubDate>Sun, 07 Aug 2016 00:18:43 +0800</pubDate><description><![CDATA[安装jupyter

1 pip install jupyter (python3+ use pip3)
2 启动  jupyter notebook

安装irkernel 支持R

http://irkernel.github.io/installation/#source-panelsudo apt-get install python-sklearn
1 sudo apt-get install libzmq3-dev
2 R 安装gith]]></description><category></category></item><item><title><![CDATA[ipython+notebook]]></title><link>https://blog.youkuaiyun.com/lzz360/article/details/52133410</link><guid>https://blog.youkuaiyun.com/lzz360/article/details/52133410</guid><author>lzz360</author><pubDate>Fri, 05 Aug 2016 23:23:11 +0800</pubDate><description><![CDATA[1. 环境
操作系统：ubuntu 14.04 



2. 操作步骤

a)  安装pip工具
终端输入以下命令：
sudo apt-get install python-pip

b) 安装ipython
终端输入以下命令：
sudo apt-get install ipython

c) 安装ipython[notebook]
终端输入以下命令：
sudo ]]></description><category></category></item><item><title><![CDATA[docker 使用]]></title><link>https://blog.youkuaiyun.com/lzz360/article/details/51793741</link><guid>https://blog.youkuaiyun.com/lzz360/article/details/51793741</guid><author>lzz360</author><pubDate>Thu, 30 Jun 2016 21:55:47 +0800</pubDate><description><![CDATA[这篇文章介绍的很好 http://kb.cnblogs.com/page/536115/

# 安装docker
sudo apt-get install docker.io
# 查看帮助文档
docker
# 查看我们的docker信息
docker info

# 启动docker服务
sudo service  docker start （/etc/init.d/dock]]></description><category></category></item><item><title><![CDATA[spark 读取hbase中的数据]]></title><link>https://blog.youkuaiyun.com/lzz360/article/details/51753251</link><guid>https://blog.youkuaiyun.com/lzz360/article/details/51753251</guid><author>lzz360</author><pubDate>Fri, 24 Jun 2016 15:38:59 +0800</pubDate><description><![CDATA[import org.apache.hadoop.hbase.HBaseConfiguration
import org.apache.hadoop.hbase.client.Scan
import org.apache.hadoop.hbase.mapreduce.TableInputFormat
import org.apache.hadoop.hbase.protobuf.Protob]]></description><category></category></item><item><title><![CDATA[R语言源码安装插件包]]></title><link>https://blog.youkuaiyun.com/lzz360/article/details/51657707</link><guid>https://blog.youkuaiyun.com/lzz360/article/details/51657707</guid><author>lzz360</author><pubDate>Mon, 13 Jun 2016 14:57:08 +0800</pubDate><description><![CDATA[下载http://mirrors.ustc.edu.cn/CRAN/src/contrib/ 对应的包
然后 sudo R CMD INSTALL package.tar.gz



解压压缩包后可以找到对应函数的实现方式比如
arules_1.4-1.tar.gz

cd arules 
R目录下就有apriori算法的具体实现方式了（ apriori.R）
如果要使用软件包]]></description><category></category></item><item><title><![CDATA[ubuntu  docker 安装及简单应用]]></title><link>https://blog.youkuaiyun.com/lzz360/article/details/51656149</link><guid>https://blog.youkuaiyun.com/lzz360/article/details/51656149</guid><author>lzz360</author><pubDate>Mon, 13 Jun 2016 10:57:49 +0800</pubDate><description><![CDATA[1 安装docker
sudo apt-get install docker.io
2 查看帮助文档
docker
3 查看我们的docker信息
docker info
4 运行容器
* 安装容器
docker pull ubuntu:14.04
* 运行
docker run -it ubuntu:14.04
* 更新软件源
apt-get update
sudo a]]></description><category></category></item><item><title><![CDATA[php总结二]]></title><link>https://blog.youkuaiyun.com/lzz360/article/details/51656122</link><guid>https://blog.youkuaiyun.com/lzz360/article/details/51656122</guid><author>lzz360</author><pubDate>Mon, 13 Jun 2016 10:55:05 +0800</pubDate><description><![CDATA[php 基础总结]]></description><category></category></item><item><title><![CDATA[r语言处理mysql数据]]></title><link>https://blog.youkuaiyun.com/lzz360/article/details/51656098</link><guid>https://blog.youkuaiyun.com/lzz360/article/details/51656098</guid><author>lzz360</author><pubDate>Mon, 13 Jun 2016 10:53:22 +0800</pubDate><description><![CDATA[r语言操作mysql数据]]></description><category></category></item><item><title><![CDATA[Rstudio 的安装]]></title><link>https://blog.youkuaiyun.com/lzz360/article/details/51656066</link><guid>https://blog.youkuaiyun.com/lzz360/article/details/51656066</guid><author>lzz360</author><pubDate>Mon, 13 Jun 2016 10:49:52 +0800</pubDate><description><![CDATA[rstudio 安装和报错处理]]></description><category></category></item><item><title><![CDATA[spark rdd 操作]]></title><link>https://blog.youkuaiyun.com/lzz360/article/details/51655979</link><guid>https://blog.youkuaiyun.com/lzz360/article/details/51655979</guid><author>lzz360</author><pubDate>Mon, 13 Jun 2016 10:46:00 +0800</pubDate><description><![CDATA[spark rdd 操作]]></description><category></category></item></channel></rss>