大数据
关注
分享
扫一扫
AthenaHe
一步一个脚印
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
大数据基准测试平台BigDataBench5.0安装配置及使用
bigDataBench5.0（2019.6月发布）前提：安装hadoop、jdk、g++、gcc、gsl1. 首先就是下载BigDataBench安装包http://125.39.136.212:8090/BigDataBench/BigDataBench_V5.0_BigData_MicroBenchmarkhttp://125.39.136.212:8090/BigDataBench...原创 2019-11-11 20:04:03 · 2328 阅读 · 2 评论 -
Hadoop配置出现的问题
Hadoop namenode –format 出现问题Hadoop namenode –format后,出现错误:未知的名称或服务解决办法:sudo vi /etc/hosts修改 为 127.0.0.1 localhost 你的主机名我的主机名是hh,就在127.0.0.1的那行后面再加一个hh...原创 2019-02-03 23:57:18 · 2803 阅读 · 0 评论 -
一步步教学Hadoop完全分布式部署
在Mac电脑下利用parallel desktop 创建4台虚拟机master、data1、data2、data3进行hadoop完全分布式的安装以及环境配置我的主机系统是macOS,虚拟机的系统是CentOS.(可以先配置伪分布式Hadoop试一试,然后再在这个基础上部署完全分布式Hadoop)一、把single Node cluster 复制到data11,克隆主机data1右击主机...原创 2019-02-28 13:40:33 · 634 阅读 · 0 评论 -
zookeeper完全分布式部署
zookeeper完全分布式部署1. 首先，下载zookeeper压缩包。http://mirrors.shu.edu.cn/apache/zookeeper/官方建议下载stable版本的，就下载stable里的比较稳定。我目前下的是3.4.13的。安装前准备环境：安装jdk2. 将zookeeper-3.4.13.tar.gz拷贝到linux下并解压。将zookeeper安装路径...原创 2019-03-24 09:06:03 · 462 阅读 · 0 评论 -
hive操作错误总结
Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. org.apache.hadoop.hive.ql.metadata.HiveException: Unable to move source file:解决：退出hive，关闭namenode和datanode，删除namenode的...原创 2019-03-31 18:30:54 · 1237 阅读 · 0 评论 -
设置Spark运行程序时不显示log信息
在IDEA中设置不要显示spark的log信息需要导入的包：import org.apache.log4j.Loggerimport org.apache.log4j.Level第一种方式：在main函数中设置def main(args:Array[String]):Unit={Logger.getLogger("org").setLevel(Level.OFF)System....原创 2019-09-01 17:53:45 · 2041 阅读 · 0 评论