hadoop
关注
分享
扫一扫
Zonson9999
但行好事，莫问前程
展开
-
hdfs oiv 转换备忘
hdfs -oiv -i xxx -o xxx -p XML如果转换成XML文件，一定要加上 -p XML且 XML需要大写。（ hdfs oev不需要）原创 2021-10-13 09:28:30 · 225 阅读 · 0 评论 -
hdfs fsimage和edit log 合并周期修改
为了观察fsimage和edit log的合并，希望强制让这两者合并，但是没有找到相应的命令，尝试缩短checkpoint的时间，经测试验证，修改可以修改 hadoop/etc/hdfs-site.xml ，在该配置文件中增加以下配置：<property><name>dfs.namenode.checkpoint.period</name><value>60</value></property>fsimage和e..原创 2021-10-06 16:20:42 · 667 阅读 · 0 评论 -
hadoop-2.7.1 下载及 windows 环境使用
夜里下载的速度只有几十KB每秒。放弃了。今天早上居然有1M+的速度。截图为证。下载地址为 ：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz这个windows下运行的工具只维护到了2.7.1https://github.com/sardetushar/hadooponwindows另有一个工具 winutils 支持到了 3.0版本https://github...原创 2021-09-26 07:45:46 · 5430 阅读 · 1 评论 -
xshell 7 免费版安装
https://www.netsarang.com/zh/xshell-download/点这里：然后填写相关信息后，会发一个下载地址到邮箱。下载后直接安装，安装后凡是个人免费版。原创 2021-08-18 19:07:31 · 694 阅读 · 0 评论 -
【hadoop 学习笔记-4】基于 hbase 的mapreduce
说明hbase数据说明member表result表，用于存储 mapreduce结果mapreduce程序功能统计 member表中 address.city的值出现的次数比如上面截图中的数据，beijing出现了2次ningde出现了2次Mapperpackage com.test;import org.apache.hadoop.hbase.client.Result;import org.apache.hadoop.hbase...原创 2021-07-27 20:16:00 · 519 阅读 · 0 评论 -
【hadoop 学习笔记-3】wordcount 统计小说天龙八部中汉字出现的频率
说明天龙八部小说，3MB+ 中文 140W字以上。用wordcount统计一下每个不同的汉字出现的次数。Mapperpackage com.test;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import...原创 2021-07-27 14:03:07 · 484 阅读 · 1 评论 -
hadoop mapreduce 时报错 OutOfMemoryError
java.lang.OutOfMemoryError: Java heap space解决方法：修改配置 hadoop-env.sh将 HADOOP_CLIENT_OPTS 改大到 2048M后问题解决（默认值为512M ）我的代码很简单，从一个160MB的文件里，逐行的读出数据进行简单的处理，不理解为何会OOM...原创 2021-07-27 13:18:51 · 310 阅读 · 0 评论 -
【hadoop 学习笔记-2】wordcount 完整实例
开发工具IDEA创建Maven项目New Project-> Maven ，取名为 WordCountDemo ，然后点Finish即可。POM.XML中添加项目依赖 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-c...原创 2021-07-26 10:26:29 · 2244 阅读 · 1 评论 -
【hadoop 学习笔记-1】wordcount 遇到的问题记录
问题一：FileInputFormat.setInputPaths(xx,xx)FileOuputFormat.setOutputPath(xx, xx)这两行报错，参数不匹配。解决：导入的类不对，IDEA默认导入的FileInputFormat和FileOuputFormat不对，修改为import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapred...原创 2021-07-25 21:29:32 · 393 阅读 · 0 评论 -
hadoop failed on socket timeout exception: java.net.NoRouteToHostException: No route to host
hadoop copyFromLocal 的时候报错，hadoop failed on socket timeout exception: java.net.NoRouteToHostException: No route to host我的 core-site.xml 的配置如下：将IP地址改为 localhost 后问题解决。配置还不太熟悉，后续补充。...原创 2021-03-07 20:42:36 · 1246 阅读 · 0 评论 -
hadoop java api 连接失败 connection refused
package com.example.demo;import java.io.FileInputStream;import java.io.FileOutputStream;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoo.原创 2021-03-06 22:20:24 · 753 阅读 · 0 评论 -
Ubuntu 18.04 Hadoop 2.7.3 版本安装备忘
ubuntu源替换为 aliyun 的源略安装jdksudo apt install openjdk-8-jdkjava -version 验证安装成功Hbase 安装包下载并解压官网上找不到，直接百度，可以查到下载链接http://archive.apache.org/dist/hbase/1.2.6/下载速度很慢，最后在csdn上找到资源进行的下载tar zxvf hbase.tar.gzHadoop 安装包下载http://archive.apache.原创 2021-02-19 18:53:38 · 187 阅读 · 0 评论