
hadoop
huangyunbin90
这个作者很懒,什么都没留下…
展开
-
我对kerberos的理解
[img]http://dl2.iteye.com/upload/attachment/0084/8885/616bd8af-9d43-36b8-a58b-c90ff2860c90.png[/img][size=medium]我的理解是这样的,这里涉及到3个加密的东西:1 用户的密码 2 session key, 3 要访问的服务器和认证服务器的密钥。步骤1,2 client...2013-05-23 10:38:04 · 92 阅读 · 0 评论 -
kerberos不能导出证书的解决
[size=medium]执行命令 ktadd -k /etc/hadoop/conf/hdfs.keytab hdfs2/admin 报错:[/size][code="java"]kadmin: Operation requires ``change-password'' privilege while changing hdfs2/admin's key[/code][...2013-07-06 15:40:34 · 317 阅读 · 0 评论 -
安装使用flume
[size=medium]1 首先去官网下载 http://flume.apache.org/download.html。这里选择bin的形式。2 解压 就可以了3 修改配置文件 在根目录创建个example.conf,内容是:[/size][code="java"]# Name the components on this agenta1.sources = r1a1...2013-07-18 12:20:19 · 70 阅读 · 0 评论 -
hive用正则表达式的方式使用多字节切割符号
[size=medium]hive默认是不支持多字节切割符号的.我采用了正则表达式的方式来实现.数据类似:[/size][code="java"]111PC COOKIE9910242013/07/283911PC手机9727282013/07/28[/code][size=medium]我的建表语句[/size][code="java"]CREATE ...2013-08-02 14:57:22 · 135 阅读 · 0 评论 -
hive的Recover partitions是个好东西
[size=medium]之前从hadoop复制数据到hive之后,每次都要add partition.不然hive的meta date没这个分区的信息,是查不到数据的.感觉好苦逼.后来发现可以这样[/size][code="java"]MSCK REPAIR TABLE table_name;[/code][size=medium]这个命令会把没添加进partit...2013-08-08 10:11:09 · 176 阅读 · 0 评论 -
hadoop hive中metastore报错的解决
[size=medium]报的错:[/size][code="java"]Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient[/code][size=medium]解决办法: 把metastore的相关配置设置为空就ok了.我修改后的配置:[/size][code="j...2013-08-10 16:42:47 · 191 阅读 · 0 评论 -
hive的muti group by
使用muti group by之前:[code="java"]echo "订购 下载 试听 搜索 pv uv :============================================= " hive -e "use platform; select ${group},sum(buy),sum(down),sum(listen),sum(search),s...2013-08-26 15:32:15 · 86 阅读 · 0 评论 -
hive警告解决 WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated.
--修改参数vi hive-log4j.properties找到 参数项 log4j.appender.EventCounter将这一项的值修改为: org.apache.hadoop.log.metrics.EventCounter2013-08-28 10:17:23 · 184 阅读 · 0 评论 -
hive报错Too many counters的解决
[size=medium]解决办法 在执行hql的机器上修改mapred-site.xml 的mapreduce.job.counters.max.这个值默认是120.我们可以修改成更大的值[/size][code="java"]mapreduce.job.counters.max180[/code][size=medium]注意 在hql中直接set ma...2013-09-09 16:18:26 · 648 阅读 · 0 评论 -
kerberos不能续约一个证书
[size=medium]kinit -R 的时候,报错:[/size][code="java"]kinit: Ticket expired while renewing credentials[/code][size=medium]而且发现klist的时候Valid starting 的时间和renew until的时间是一样的,也就是永远也不恩呢该续约了。[/size]...2013-07-02 11:59:06 · 203 阅读 · 0 评论 -
安装kerberos的坑
[size=medium]执行kinit的时候老是报错:[/size][code="java"]kinit: Client 'root/root@ATHENA.MIT.EDU' not found in Kerberos database while getting initial credentials[/code][size=medium]这个用户我明明通过kadmin.l...2013-06-27 17:57:35 · 862 阅读 · 0 评论 -
安装cdh4遇到的问题 dns的问题
[size=medium]在安装过程中遇到了这个问题:[/size][img]http://dl2.iteye.com/upload/attachment/0085/2800/2da156a8-2296-3a04-90cf-80b56c81fd96.jpg[/img]出错的日志是这样的:Loaded plugins: fastestmirror, refresh-packa...2013-05-31 17:33:49 · 149 阅读 · 0 评论 -
adh4通过maven生成eclipse项目报错和解决
[size=medium]报的错: BUILD FAILED Execute failed: java.io.IOException: Cannot run program "sh": CreateProcess error=2,??????解决办法:注释掉pom文件的这个: [/size...2013-06-03 14:40:36 · 80 阅读 · 0 评论 -
cdh4用到ServiceLoader的地方
1 FileSystem [code="java"] private static void loadFileSystems() { synchronized (FileSystem.class) { if (!FILE_SYSTEMS_LOADED) { ServiceLoader serviceLoader = ServiceLoader.loa...2013-06-06 12:07:40 · 90 阅读 · 0 评论 -
cdh4编译nativa报错
报错中明显的说明了Cannot run program "cmake" ,yum install cmake即可。报错信息:[code="java"][ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (make) on project hadoop-common...2013-06-18 17:31:37 · 84 阅读 · 0 评论 -
hadoop权限设置
(1) 在core-site.xmll中配置以下属性: hadoop.security.authorization true(2) 配置hadoop-policy.xml security.client.protocol.acl *2013-06-19 18:12:48 · 88 阅读 · 0 评论 -
hadoop的stream
[size=medium]如统计一个文件有多少行(/user/hive/warehouse/platform.db/test/1) 结果保存到/user/jk/tmp2hadoop jar /opt/cloudera/parcels/CDH-4.2.1-1.cdh4.2.1.p0.5/lib/hadoop-mapreduce/hadoop-streaming.jar \ -...2013-09-13 19:30:58 · 79 阅读 · 0 评论