
大数据
xuhui32
从事互联网行业,智慧城市建设行业
展开
-
解决Hbase0.98.2-log日志文件中Class path contains multiple SLF4J bindings.
问题是在Master上启动hbase后,在日志文件中出现SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/home/xuhui/hadoop-2.2.0/hbase-0.98.2-hadoop2/lib/slf4j-log4j12-1.7.5.jar!/org/slf原创 2014-06-09 21:07:23 · 17501 阅读 · 2 评论 -
在eclipse上运行MapReduce程序
之前几次运行Hadoop程序,都是将Hadoop程序原创 2014-07-21 11:51:31 · 2472 阅读 · 0 评论 -
集群中配置多台计算机之间ssh无密码登录的一种简便方法
当我们在配置多台计算,使之可以相互使用无密码登录-ssh,之前都是一台一台的配置,现在一台A上添加B,然后在另一台B上再次添加A,这样使得authorized_keys中的内容相同,但时并不是完全相同,比如添加顺序。如果超过2台,这种配置就相当复杂了,而且容易出错。后来,在网上看到了一种简单的配置,所有机器只需配置一遍即可。1.安装ssh. sudo apt-get install ssh.原创 2014-07-02 14:03:15 · 12947 阅读 · 2 评论 -
基于hadoop2.2的namenode与SecondaryNameNode分开配置在不同的计算机
前段时间由于配置hadoop做实验,再往山原创 2014-07-04 11:57:57 · 16808 阅读 · 1 评论 -
564 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: IOException in offerService java.io.IOExce
出现这个问题多数是由于 多次format后的原创 2014-07-05 17:22:59 · 6710 阅读 · 4 评论 -
hadoop常见错误及解决办法!
1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer:程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。修改办法:修改2个文件。 /etc/security/limits.转载 2014-08-22 16:08:42 · 4803 阅读 · 0 评论 -
hdfs中修改文件块大小方法
在hdfs-site.xml中ti na dfs.block.size 51200 dfs.namenode.fs-limits.min-block-size51200dfs.namenode.fs-limits.max-blocks-per-file51200原创 2014-08-23 21:09:37 · 4114 阅读 · 0 评论 -
成为一个成功的软件工程师
打好扎实的计算机科学基础对于成为一个成功的软件工程师是非常重要的。本指南主要关于如何提升自己的技术能力,非常适合学生用于制定教学课程,当然这里提供的网络资源,并不意味着就可以完全取代现有的课程,正式的课程安排还是要学的(除非你不想拿到毕业证书)。学术学习的推荐CS课程入门计算机科学课程导论,介绍编码的基本知识。在线资源:Udacity – intro to转载 2015-05-21 15:19:38 · 702 阅读 · 0 评论