
Hadoop
taoyuanforrest
这个作者很懒,什么都没留下…
展开
-
Hbase在eclipse中的编译(window环境)
1> 首先安装Cygwin,并把安装的bin目录添加到path环境变量,例如E:\Cygwin\bin2> eclipse已经安装好了m2eclipse插件3> check out source code: 从http://svn.apache.org/repos/asf/hbase/tags/0.94.0/, 所有的文件放在E:\hbase里4> 打开eclipse, 选择原创 2012-11-01 21:41:32 · 2341 阅读 · 0 评论 -
Flume Interceptors
原文:http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.2.0/ds_Flume/FlumeUserGuide.htmlFlume的拦截器可以修改消息内容,Flume提供了集中现成的拦截器,也可以自定义拦截器。拦截器可以组合在一起进行链式拦截。现成的有:1)Timestamp InterceptorThis inte转载 2015-08-18 10:49:33 · 979 阅读 · 0 评论 -
Hadoop2.6单机伪分布式搭建
环境:虚拟机:VirtualBox操作系统:Ubuntu 12.04.5 LTS1. 下载hadoop-2.6.0.tar.gzhttp://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.0/2. linux下创建用户hadoop,后续所有相关的工作都以hadoop用户来做。然后给hadoop用户加权限:原创 2015-04-12 21:44:52 · 702 阅读 · 0 评论 -
Hive top统计
需求: 用户访问web的top统计,比如用户1访问的top 3 web: web1, web2, web31) 准备测试数据/home/hadoop/hive-1.1.0/test/web.txt:user1,web1user1,web2user1,web2user1,web3user1,web3user1,web3user1,web4user1,we原创 2015-04-17 09:11:32 · 3809 阅读 · 0 评论 -
Hbase单机搭建
前提条件:Hadoop已经搭建完毕并已启动,可参考http://blog.youkuaiyun.com/just_lion/article/details/450130791)从http://mirrors.cnnic.cn/apache/hbase/stable/下载hbase-1.0.0-bin.tar.gz2)解压后配置conf/hbase-env.sh设置export JA原创 2015-04-20 14:29:46 · 637 阅读 · 0 评论 -
Hive安装
准备工作:Hadoop 2.6已安装完毕,具体可参考http://blog.youkuaiyun.com/just_lion/article/details/450130791) 下载apache-hive-1.1.0-bin.tar.gzhttp://apache.fayea.com/hive/hive-1.1.0/启动Hive报错:Terminal initia原创 2015-04-13 10:37:33 · 801 阅读 · 0 评论 -
hive metadata mysql存储
1>首先在mysql上创建一个账户供hive用:grant all on hive.* to hive@'%' identified by 'hive' with grant option;2>修改hive-site.xml,增加: javax.jdo.option.ConnectionURL jdbc:mysql://MYSQLIP:3306/hive?cre原创 2013-01-18 12:55:20 · 1485 阅读 · 0 评论 -
hbase-0.94.0与hive-0.9.0的整合
环境: Hadoop1.0.4, Hbase0.94.0, Zookeeper 3.4.3, 这三个组件已经在3台机器master, s1, s2上以集群方式安装并运行。1> 下载hive-0.9.0.tar.gz 并解压到/opt/hadoop/hive-0.9.02> cd /opt/hadoop/hive-0.9.0/lib, 删除已有的hbase-0.92.0.jar 以及h原创 2012-11-06 21:54:17 · 1806 阅读 · 0 评论 -
Hortonworks搭建
一:安装前准备1)查看系统兼容性http://docs.hortonworks.com/HDPDocuments/Ambari-2.2.0.0/bk_Installing_HDP_AMB/content/_determine_stack_compatibility.html2)查看系统需求http://docs.hortonworks.com/HDPDocuments/Ambari...翻译 2018-10-10 18:44:31 · 616 阅读 · 0 评论