
hadoop
fengqing5578
这个作者很懒,什么都没留下…
展开
-
hdfs snapshot hdfs快照操作
允许对/first文件夹使用快照功能hdfs dfsadmin -allowSnapshot /first对/first文件夹创建快照,快照名为snapshot0hdfs dfs -createSnapshot /first snapshot0查看快照,快照存放在被快照的文件夹的.snapshot文件夹里hadoop fs -ls /first/.snapshot递归查看快照hadoop fs -...原创 2018-03-30 17:08:24 · 1739 阅读 · 0 评论 -
去掉hadoop警告信息
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable解决办法:在log4j日志中去除告警信息。在$HADOOP_HOME/etc/hadoop/log4j.properties文件中添加log4...原创 2018-04-10 16:47:24 · 1128 阅读 · 1 评论 -
hadoop mapreduce的WordCount案例
1.引入依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <hadoop.version>2.6.0</hadoop.version> </properties> ...原创 2018-04-11 15:20:14 · 289 阅读 · 0 评论 -
hadoop安装及配置
先安装jdk,配置java的环境变量 再安装ssh yum install ssh linux 查看是否安装了ssh ps -ef | grep ssh 启动ssh: service sshd start 机器参数设置: 1>配置主机名 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=feng...原创 2018-08-30 16:22:59 · 306 阅读 · 0 评论 -
Caused by: java.net.ConnectException: Connection refused: no further information
解决办法 vim /root/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop/core-site.xml原创 2018-08-31 18:13:02 · 4836 阅读 · 0 评论 -
java API操作HDFS
pom.xml配置仓库 <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url> </repo...原创 2018-08-31 18:16:59 · 712 阅读 · 0 评论 -
制作日志的程序
pom.xml <dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <version>1.2.17</version> </dependency>原创 2018-09-02 16:04:31 · 397 阅读 · 0 评论 -
讲项目中产生的日志自动上传到HDFS上
说明: 项目产生日志存放的路径==> /root/luheng/ HDFS上保存日志的路径==> /fengqing/logs/ 在/root/luheng目录下新建一个upload.sh文件,其内容如下 #!/bin/bash src_dir=/root/luheng/ dst_dir=/fengqing/logs/ ls $src_dir | while read fi...原创 2018-09-02 16:17:00 · 764 阅读 · 0 评论