hadoop
关注
分享
扫一扫
文章平均质量分 77
beat_it
IT，搞java 的
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Linux启动提示Kernel panic - not syncing: Attempted to kill init解决办法
系统：RHEL6.5 系统启动的时候，按下‘e’键进入grub编辑界面，编辑grub菜单，选择“kernel /vmlinuz-XXXXro root=/dev/vogroup00/logvol00 rhgb quiet” 一栏，按‘e’键进入编辑，在末尾增加enforcing=0，即： kernel /vmlinuz-XXXXro root=/dev/vogroup00/logvol00 rhgb quiet enforcing=0（其中enforcing=0是需要加上去的，其他不动） 按‘...转载 2020-05-24 21:17:23 · 1682 阅读 · 0 评论 -
hadoop eclipse plugin 集成报错
把hadoop-eclipse-plugin-2.2.0.jar放到Eclipse的plugin目录，重启Eclipse后，运行WordCount报错： Java代码如下： package com.lyq.study.example; import java.io.IOException;import java.util.StringTokenizer; import org.apach...2014-08-17 09:59:04 · 159 阅读 · 0 评论 -
Eclipse向hadoop提交作业时权限问题
通过Eclipse向hadoop 提交作业时权限问题报错： Permission denied: user=LiuYQ, access=WRITE, inode="/test":hadoop:supergroup 解决方法： 在master集群上使用超级用户hadoop执行以下命令： hadoop fs -chmod 777 /test hadoop fs -chmod 777 ...原创 2014-08-17 10:58:08 · 300 阅读 · 0 评论 -
hdfs读取文件插入到hbase简单实例
今天搞了个通过hdfs mapper读取文件插入到hbase表的简单实例，在这里记录一下，如下： java代码(File2HBase1.java)： package com.lyq.study.example; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import o...2014-08-18 23:32:23 · 724 阅读 · 0 评论 -
Java操作FileSystem的简单应用
看着书写了下通过java操作filesystem api对hdfs操作的简单操作，贴下代码： package com.lyq.study.api; import java.io.IOException; import org.apache.hadoop.fs.BlockLocation; import org.apache.hadoop.fs.FSDataOutputStre...2014-08-20 21:46:54 · 2605 阅读 · 0 评论 -
java调用HBase api创建表，插入数据
今天看说学习了下通过java 调用HBase api 实习表的创建和数据插入的操作，贴下代码： package com.lyq.study.api; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Config...2014-08-24 21:06:01 · 1891 阅读 · 2 评论 -
hadoop mr file2hfile2hbase
写了个简单的mr 操作file到hfile,在把hfile倒入hbase的例子，在此记录一下： File2HFile2HBase.java代码： package com.lyq.study.example; import java.io.IOException; import java.security.PrivilegedAction; import java.util.Arr...2014-08-27 00:25:57 · 368 阅读 · 0 评论 -
软件下载地址记录
软件下载地址记录： hadoop2.2： http://mirror.bit.edu.cn/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz hbase0.96.2： http://mirror.bit.edu.cn/apache/hbase/hbase-0.96.2/hbase-0.96.2-hadoop2-bin.tar.gz ...原创 2015-04-11 21:44:50 · 397 阅读 · 0 评论 -
eclipse提交mr(操作hbase)出错
通过eclipse 远程提交mr(处理文件到hbase)到hadoop集群报错： 错误信息如下： 2015-04-19 11:31:46,800 WARN org.apache.hadoop.util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-jav...2015-04-19 12:40:10 · 274 阅读 · 0 评论 -
在集群上执行mr(操作hbase)任务报错
通过eclipse 插件远程提交mr(有操作hbase)任务到集群执行没有问题， 打成jar包在集群上执行报错，错误如下： 15/04/19 00:20:40 WARN client.HConnectionManager$HConnectionImplementation: Encountered problems when prefetch hbase:meta table: org.ap...2015-04-19 15:30:35 · 388 阅读 · 0 评论 -
eclipse提交mr到hadoop集群后任务卡住不执行
用eclipse远程提交mr到hadoop集群后，mr卡住后一直不执行，在控制台查日志发现错误如下： org.apache.hadoop.ipc.Client: Retrying connect to server:127.0.0.1:8030. Already tried 0time(s).org.apache.hadoop.ipc.Client: Retrying connect to s...2015-04-20 23:18:54 · 448 阅读 · 0 评论 -
hive进行count(*)查询报错
使用Hive进行count(*)查询时报错，错误信息如下： chmod: changing permissions of 'hdfs://master138:9000/tmp/hive/anonymous/e013b757-aeee-4017-b0a8-d274d2fafee9/hive_2015-11-20_18-41-46_506_1447956695788790313-3/-mr-100...2015-11-21 10:52:16 · 5105 阅读 · 0 评论 -
hive解析lzo文件失败,No LZO codec found, cannot run
Hive创建外部表，指向lzo格式文件时，无法解析出数据，报错如下： java.io.IOException: No LZO codec found, cannot run. hiveserver2日志报错如下： Diagnostic Messages for this Task:Error: java.io.IOException: java.lang.reflect.Invocatio...2015-11-21 11:03:03 · 2117 阅读 · 5 评论 -
hadoop nanenode -format错误
新搭建的集群进行hdfs格式化时报错，错误信息如下： hdfs namenode -format Error: Could not find or load main class org.apache.hadoop.hdfs.server.namenode.NameNode 原因一： 查看hadoop-xxx所属用户组是否正确，可使用 chown -R x:x hadoop-xx...2016-01-12 16:44:56 · 369 阅读 · 0 评论