<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[cuilanbo的专栏]]></title><description><![CDATA[邮箱：158646832@qq.com 有问题可以互相讨论]]></description><link>https://blog.youkuaiyun.com/cuilanbo</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; cuilanbo]]></copyright><item><title><![CDATA[storm ui显示supervisor个数与实际不符的解决]]></title><link>https://blog.youkuaiyun.com/cuilanbo/article/details/43984121</link><guid>https://blog.youkuaiyun.com/cuilanbo/article/details/43984121</guid><author>cuilanbo</author><pubDate>Sat, 28 Feb 2015 12:04:15 +0800</pubDate><description><![CDATA[蛮奇怪的问题，具体现象就是启动了多个supervisor，单在ui上只显示一个（也有可能是多个supervisor中的某几个看上去被“合并”了），当我kill掉其中一个时，另一个就出现了。




 

重启集群也没有用，想到可能是zookeeper中有冲突，删除了/storm中的所有，一启动，发现还是这样。检查了配置，也没有不对的地方。接着检查日志，发现两个supervisor用的]]></description><category></category></item><item><title><![CDATA[maven 把本地的jar打入到发布包中]]></title><link>https://blog.youkuaiyun.com/cuilanbo/article/details/43816395</link><guid>https://blog.youkuaiyun.com/cuilanbo/article/details/43816395</guid><author>cuilanbo</author><pubDate>Sat, 14 Feb 2015 11:08:40 +0800</pubDate><description><![CDATA[很多人用mvn来管理发布包，但是有些jar包并没有发布到公网上，也就是平时我们说的本地的jar包，这下可愁坏了我们了。该怎么办呢？
其实很简单，把这个jar包添加到自己本地的maven库里，
举个例子，我们本地有个jar包叫，hadoop-lzo-0.4.2.0-SNAPSHOT.jar , 想把这个jar打入到自己的发布包中。
可以先执行如下语句
mvn install:install-]]></description><category></category></item><item><title><![CDATA[storm-hdfs  RotationActions 接口用法]]></title><link>https://blog.youkuaiyun.com/cuilanbo/article/details/43816317</link><guid>https://blog.youkuaiyun.com/cuilanbo/article/details/43816317</guid><author>cuilanbo</author><pubDate>Sat, 14 Feb 2015 10:51:20 +0800</pubDate><description><![CDATA[storm-hdfs 这个插件支持  Rotation Actions 这个功能，官方文档解释是这样的，
   ### File Rotation Actions
  Both the HDFS bolt and Trident State implementation allow you to register any number of `RotationAction`s.
  What]]></description><category></category></item><item><title><![CDATA[hbase 快照和集群备份的NB方法]]></title><link>https://blog.youkuaiyun.com/cuilanbo/article/details/43273529</link><guid>https://blog.youkuaiyun.com/cuilanbo/article/details/43273529</guid><author>cuilanbo</author><pubDate>Thu, 29 Jan 2015 17:05:17 +0800</pubDate><description><![CDATA[HBase Snapshots允许你对一个表进行快照（即可用副本），它不会对Region Servers产生很大的影响，它进行复制和 恢复操作的时候不包括数据拷贝。导出快照到另外的集群也不会对Region Servers产生影响。 下面告诉你如何使用Snapshots功能

1.开启快照支持功能，在0.95+之后的版本都是默认开启的，在0.94.6+是默认关闭  

property>
 ]]></description><category></category></item><item><title><![CDATA[HDFS 上传文件不均衡和Balancer太慢的问题]]></title><link>https://blog.youkuaiyun.com/cuilanbo/article/details/41724207</link><guid>https://blog.youkuaiyun.com/cuilanbo/article/details/41724207</guid><author>cuilanbo</author><pubDate>Thu, 04 Dec 2014 14:46:26 +0800</pubDate><description><![CDATA[向HDFS上传文件，如果是从某个datanode开始上传文件，会导致上传的数据优先写满当前datanode的磁盘，这对于运行分布式程序是非常不利的。

解决的办法：


1、从其他非datanode节点上传

可以将hadoop的安装目录复制一份到一个不在集群中的节点（直接从非datanode的namenode上传也可以，但是这样不太好，会增加namenode的负担，并且时间长了会让]]></description><category></category></item><item><title><![CDATA[Linux shell脚本的字符串截取]]></title><link>https://blog.youkuaiyun.com/cuilanbo/article/details/41042647</link><guid>https://blog.youkuaiyun.com/cuilanbo/article/details/41042647</guid><author>cuilanbo</author><pubDate>Wed, 12 Nov 2014 13:57:13 +0800</pubDate><description><![CDATA[假设有变量 var=http://www.hao.com/123.htm


 

一 # 号截取，删除左边字符，保留右边字符。

 

 

 

echo ${var#*//}

其中 var 是变量名，# 号是运算符，*// 表示从左边开始删除第一个 // 号及左边的所有字符

即删除 http://

结果是 ：www.hao.com/123.htm]]></description><category></category></item><item><title><![CDATA[R语言与机器学习中的回归方法学习笔记]]></title><link>https://blog.youkuaiyun.com/cuilanbo/article/details/40511321</link><guid>https://blog.youkuaiyun.com/cuilanbo/article/details/40511321</guid><author>cuilanbo</author><pubDate>Mon, 27 Oct 2014 17:47:49 +0800</pubDate><description><![CDATA[机器学习中的一些方法如决策树，随机森林，SVM，神经网络由于对数据没有分布的假定等普通线性回归模型的一些约束，预测效果也比较不错，交叉验证结果也能被接受。下面以R中lars包包含数据集diabetes为例说明机器学习中的回归方法。

一、数据集及交叉验证办法描述

          Diabetes数据集包含在R的lars包中，数据分为x,y,x2三个部分，因变量为y,数据是关于糖尿病的]]></description><category></category></item><item><title><![CDATA[Bagging算法的R语言实现]]></title><link>https://blog.youkuaiyun.com/cuilanbo/article/details/40510205</link><guid>https://blog.youkuaiyun.com/cuilanbo/article/details/40510205</guid><author>cuilanbo</author><pubDate>Mon, 27 Oct 2014 17:07:51 +0800</pubDate><description><![CDATA[bagging 是bootstrap aggregating的缩写，是第一批用于多分类集成算法。
bagging算法如下： 

循环K次，每次都从样本集D中有放回地抽取样本集Di，这样总共得到k个样本集，用这K个样本集进行决策树生成，获得K个决策树模型，再将要检测的数据用这K个决策树模型进行多数表决，获得票数多的结论。

这种思想跟现代民主投票制度如出一辙，一个人再厉害，判断力也是有限的]]></description><category></category></item><item><title><![CDATA[用户画像数据建模方法]]></title><link>https://blog.youkuaiyun.com/cuilanbo/article/details/39553189</link><guid>https://blog.youkuaiyun.com/cuilanbo/article/details/39553189</guid><author>cuilanbo</author><pubDate>Thu, 25 Sep 2014 16:10:32 +0800</pubDate><description><![CDATA[从1991年Tim Berners-Lee发明了万维网（World Wide Web）开始，到20年后2011年，互联网真正走向了一个新的里程碑，进入了“大数据时代”。经历了12、13两年热炒之后，人们逐渐冷静下来，更加聚焦于如何利用大数据挖掘潜在的商业价值，如何在企业中实实在在的应用大数据技术。伴随着大数据应用的讨论、创新，个性化技术成为了一个重要落地点。相比传统的线下会员管理、问卷调查、购物篮]]></description><category></category></item><item><title><![CDATA[linux将程序放到后台执行]]></title><link>https://blog.youkuaiyun.com/cuilanbo/article/details/39339789</link><guid>https://blog.youkuaiyun.com/cuilanbo/article/details/39339789</guid><author>cuilanbo</author><pubDate>Wed, 17 Sep 2014 11:10:31 +0800</pubDate><description><![CDATA[测试脚本test.sh：

 

i=1

while :

do

    echo $i

    sleep 1

    ((i++))

done一、当在前台运行某个作业时，终端会被该作业占据，从而需要再开一个终端来进行其他的操作，为了避免这种不方便我们可以将作业放到后台执行，主要有两种方式

 

1、&命令

 

sh test.sh]]></description><category></category></item><item><title><![CDATA[linux 文件去重]]></title><link>https://blog.youkuaiyun.com/cuilanbo/article/details/38978437</link><guid>https://blog.youkuaiyun.com/cuilanbo/article/details/38978437</guid><author>cuilanbo</author><pubDate>Mon, 01 Sep 2014 11:54:36 +0800</pubDate><description><![CDATA[两个文件的交集，并集
前提条件：每个文件中不得有重复行
1. 取出两个文件的并集(重复的行只保留一份)
cat file1 file2 | sort | uniq > file3
2. 取出两个文件的交集(只留下同时存在于两个文件中的文件)
cat file1 file2 | sort | uniq -d > file3
3. 删除交集，留下其他的行
cat file1 file2 ]]></description><category></category></item><item><title><![CDATA[awk日常用脚本]]></title><link>https://blog.youkuaiyun.com/cuilanbo/article/details/38894717</link><guid>https://blog.youkuaiyun.com/cuilanbo/article/details/38894717</guid><author>cuilanbo</author><pubDate>Thu, 28 Aug 2014 10:45:00 +0800</pubDate><description><![CDATA[1 求 在file1里 但是不在file2里
awk 'NR==FNR{u[$0]=1}NR>FNR{if(!($0 in u))print}' file2 file1]]></description><category></category></item><item><title><![CDATA[Mahout构建图书推荐系统]]></title><link>https://blog.youkuaiyun.com/cuilanbo/article/details/38315107</link><guid>https://blog.youkuaiyun.com/cuilanbo/article/details/38315107</guid><author>cuilanbo</author><pubDate>Thu, 31 Jul 2014 12:08:32 +0800</pubDate><description><![CDATA[Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop,
 Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。

从2]]></description><category></category></item><item><title><![CDATA[从源代码剖析Mahout推荐引擎]]></title><link>https://blog.youkuaiyun.com/cuilanbo/article/details/38315071</link><guid>https://blog.youkuaiyun.com/cuilanbo/article/details/38315071</guid><author>cuilanbo</author><pubDate>Thu, 31 Jul 2014 12:05:09 +0800</pubDate><description><![CDATA[从源代码剖析Mahout推荐引擎

Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop,
 Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop,]]></description><category></category></item><item><title><![CDATA[hadoop1.0.4 map数设置]]></title><link>https://blog.youkuaiyun.com/cuilanbo/article/details/37812949</link><guid>https://blog.youkuaiyun.com/cuilanbo/article/details/37812949</guid><author>cuilanbo</author><pubDate>Tue, 15 Jul 2014 12:22:31 +0800</pubDate><description><![CDATA[/**
 * Licensed to the Apache Software Foundation (ASF) under one
 * or more contributor license agreements.  See the NOTICE file
 * distributed with this work for additional information
 * regard]]></description><category></category></item><item><title><![CDATA[hadoop的MR当用MultipleInputs时要获取文件路径方法]]></title><link>https://blog.youkuaiyun.com/cuilanbo/article/details/25722489</link><guid>https://blog.youkuaiyun.com/cuilanbo/article/details/25722489</guid><author>cuilanbo</author><pubDate>Tue, 13 May 2014 16:44:30 +0800</pubDate><description><![CDATA[hadoop的MR当用MultipleInputs时，要获取文件路径的话比较麻烦，需要如下代码]]></description><category></category></item><item><title><![CDATA[Hadoop＿Map中获取当前spilt文件名]]></title><link>https://blog.youkuaiyun.com/cuilanbo/article/details/19984569</link><guid>https://blog.youkuaiyun.com/cuilanbo/article/details/19984569</guid><author>cuilanbo</author><pubDate>Wed, 26 Feb 2014 16:10:23 +0800</pubDate><description><![CDATA[有时候需要在Map类中的map函数中获取当前split所读取的文件名。
在旧版mapred下面实现方法如下：
// 获得输入文件的路径名
String path=((FileSplit)reporter.getInputSplit()).getPath().toString();
//使用Reporter reporter对象来获取，在新版mapreduce中，
Reporter rep]]></description><category></category></item><item><title><![CDATA[myeclipse安装插件]]></title><link>https://blog.youkuaiyun.com/cuilanbo/article/details/8641301</link><guid>https://blog.youkuaiyun.com/cuilanbo/article/details/8641301</guid><author>cuilanbo</author><pubDate>Wed, 06 Mar 2013 11:18:45 +0800</pubDate><description><![CDATA[myeclipse安装pydev插件




1、下载pydev插件，网址是http://jaist.dl.sourceforge.net/project/pydev/pydev/Pydev
 1.6.3/org.python.pydev.feature-1.6.3.2010100513.zip
2、在C:\Program Files\Genuitec\MyEclipse 8.x L]]></description><category></category></item><item><title><![CDATA[Google三篇论文----GFS]]></title><link>https://blog.youkuaiyun.com/cuilanbo/article/details/8564934</link><guid>https://blog.youkuaiyun.com/cuilanbo/article/details/8564934</guid><author>cuilanbo</author><pubDate>Sat, 02 Feb 2013 11:49:30 +0800</pubDate><description><![CDATA[Google文件系统 
GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。

1、设计概览 
（1）设计想定 
GFS与过去的分布式文件系统有很多相同的目标，但GFS的设计受到了当前及预期的应用方面的工作量及技术环境的驱动，这反映了它与早期的文件系统明显不同的设想。这]]></description><category></category></item><item><title><![CDATA[Google 三篇论文---MapReduce]]></title><link>https://blog.youkuaiyun.com/cuilanbo/article/details/8564930</link><guid>https://blog.youkuaiyun.com/cuilanbo/article/details/8564930</guid><author>cuilanbo</author><pubDate>Sat, 02 Feb 2013 11:47:32 +0800</pubDate><description><![CDATA[MapReduce:超大机群上的简单数据处理

摘要
MapReduce是一个编程模型,和处理,产生大数据集的相关实现.用户指定一个map函数处理一个key/value对,从而产生中间的key/value对集.然后再指定一个reduce函数合并所有的具有相同中间key的中间value.下面将列举许多可以用这个模型来表示的现实世界的工作.
以这种方式写的程序能自动的在大规模的普通机器上实现并]]></description><category></category></item></channel></rss>