yinbucheng的博客

Zookeeper的API接口String create(String path, byte[] data, List acl, CreateMode createMode) Stat exists(String path, boolean watch) void delete(String path, int version) List getChildren(Str

FileSplit split =(FileSplit) context.getInputSplit(); String fileName = split.getPath().getName();正确的导报是import org.apache.hadoop.mapreduce.lib.input.FileSplit;（再将工程重写编译下clean）Error: java

事实上，在多台服务器之间操作，免不了scp之类的命令，每次都输入密码很繁琐，而且有些安全系统高的机器，密码相当难记。。后来配置了ssh的免密码登录，类似的教程网上一堆，如http://chenlb.iteye.com/blog/211809只不过一直没明白它的原理，每次用到都要再google一下，今天认真想了想，原理应该是这样的。假设S为服务器端，C为客户端，C有S的访问密码，

1.准备Linux环境1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -> apply -> ok回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 ->

1.ZooKeeper是什么？ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户2.ZooKeeper提供了什么？1)文件系统2)通知机制3.Zookeeper文

1、搭建环境  新建JAVA项目，添加的包有:   有关Hadoop的hadoop-core-0.20.204.0.jar   有关Hbase的hbase-0.90.4.jar、hbase-0.90.4-tests.jar以及Hbase资源包中lib目录下的所有jar包 2、主要程序 Java代码  package com.wujintao.hbas

Zookeeper的核心是原子广播，这个机制保证了各个server之间的同步。实现这个机制的协议叫做Zab协议。Zab协议有两种模式，它们分别是恢复模式和广播模式。当服务启动或者在领导者崩溃后，Zab就进入了恢复模式，当领导者被选举出来，且大多数server的完成了和leader的状态同步以后，恢复模式就结束了。状态同步保证了leader和server具有相同的系统状态。一旦leader已经和

set hive.cli.print.header=true;CREATE TABLE page_view(viewTime INT, userid BIGINT,     page_url STRING, referrer_url STRING,     ip STRING COMMENT 'IP Address of the User') COMMENT 'This i

进入hbase命令行./hbase shell显示hbase中的表list创建user表，包含info、data两个列族create 'user', 'info1', 'data1'create 'user', {NAME => 'info', VERSIONS => '3'}向user表中插入信息，row key为rk0001，列族info中添

public class HbaseDao {          @Test//创建表    public void createTable throws Exception {Configuration conf =  HBaseConfiguration.create();conf.set("hbase.zookeeper.quorum", "weekend05:2

public class HdfsUtil {FileSystem fs = null;@Beforepublic void init() throws Exception{//读取classpath下的xxx-site.xml 配置文件，并解析其内容，封装到conf对象中Configuration conf = new Configuration();

@Testpublic void listFiles() throws Exception {// listFiles列出的是文件信息，而且提供递归遍历RemoteIterator files = fs.listFiles(new Path("hdfs://hadoop0:9000/flow"), true);while (files.hasNext()) {L

mv 文件  文件夹/ （../文件夹） 移动文件mv 文件  文件  重命名文件rm  -rf 文件 删除文件echo 3 > myid在当前目录下创建一个文件叫myid内容为3scp -r 文件夹名称/  weekend03:/home/hadoop/app/ 将当前目录下（文件夹）东西复制到 hostName为 weeken

使用hadoop进行排序时报如下错误：Error: java.lang.ClassCastException: class cn.itcast.mytest.FlowBean        at java.lang.Class.asSubclass(Class.java:3165)        at org.apache.hadoop.mapred.JobConf.getOu

Zookeeper Api(java)入门与应用(转)如何使用Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储，但是 Zookeeper 并不是用来专门存储数据的，它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理，后面将会详细

ZooKeeper Watcher注意事项zookeeper watch的定义如下：watch事件是一次性触发器，当watch监视的数据发生变化时，通知设置了该watch的client，即watcher。需要注意三点：1.一次性触发器client在一个节点上设置watch，随后节点内容改变，client将获取事件。当节点内容再次改变，client不会获取

create table table1 (a array, b array) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' COLLECTION ITEMS TERMINATED BY ',';load data local inpath "/files/arraytest.txt"  overwrite into table tab

原因是：zoo.cfg中的dataDir配置有问题，当在巧命令./zkServer.sh start没有报错就是启动后马上闪退。如果出现这样的情况先看下自己的配置是否正确。是否有data目录中又myid1

在hadoop目录下有个logs目录里面会记录你的操作日志。比如我是root用户在进行 journalnode失败我查看的日志是less hadoop-root-journalnode-hadoop5.log

几个相关类与HBase数据模型之间的对应关系java类HBase数据模型HBaseAdmin数据库（DataBase)HBaseConfigurationHTable表（Table)HTableDescriptor列族（Column Family)Put列修饰

1.准备Linux环境1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -> apply -> ok回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 ->

具体程序如下：服务端：需要至少2个类1个接口public LoginService{  public static final long  versionID = 1L;  public String login(String name);}实现类public  LoginServiceImpl implements LoginService{    pub

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries在已经搭建好的集群环境Centos6.6+Hadoop2.7+Hbase0.98+Spark1.3.1下，在Win7系统Intellij开发工具中调试Spark读取Hbase。运行直接报

public class MyRPC {private static ExecutorService threadTool = Executors.newFixedThreadPool(5);// 客户端public static Object getProxy(Class clazz, String ip, int port)throws Exception {//

class com.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider$Text标签： eclipsehadoopmapreducejar2014-02-26 14:43 3208人阅读 评论(2) 收藏 举报 分类：hadoop（35） 版权声明：本文为博主原创文章，未经博

hadoop fs -mkdir /wc  创建目录hadoop fs -mkdir /wc/srcdata   创建多目录hadoop fs -put 文件 /wc/srcdata  将文件上传到hadoop服务器指定的目录下hadoop fs -ls /wc/output    列出hadoop指定目录下的文件们hadoop fs -cat /wc/output/文件   编辑

/** * 主要实现进程间的锁利用zookeeper的 *  * @author yc *  */public class MyLock {private CountDownLatch runFlag = new CountDownLatch(1);private ZooKeeper zk = null;private String path = "/zk-lo