Hadoop
关注
分享
扫一扫
文章平均质量分 82
Hadoop学习记录
WHYBIGDATA
｜＆∧
展开
-
关于Hadoop重新格式化之后集群的崩溃问题
关于Hadoop重新格式化之后集群的崩溃问题原创 2024-09-09 23:19:59 · 1067 阅读 · 0 评论 -
HDFS之Java客户端操作
HDFS之Java客户端操作原创 2023-06-27 09:00:00 · 2322 阅读 · 0 评论 -
HDFS常见的Shell操作
HDFS常见的Shell操作原创 2023-06-26 08:15:00 · 1357 阅读 · 0 评论 -
HDFS初认识
HDFS初认识原创 2023-06-18 07:15:00 · 1441 阅读 · 0 评论 -
Hadoop完全分布式运行环境的搭建
Hadoop完全分布式运行环境的搭建原创 2023-06-17 07:30:00 · 1524 阅读 · 0 评论 -
Hadoop之分布式技术
Hadoop之分布式技术原创 2023-03-12 07:15:00 · 6972 阅读 · 0 评论 -
Hadoop入门学习——简介篇
Hadoop学习——简介篇原创 2023-03-11 07:30:00 · 7874 阅读 · 0 评论 -
HDFS 自定义实现函数将文件追加到末尾的问题
HDFS 自定义实现函数将文件追加到末尾的问题：一、实验环境：Ubuntu16.04Hadoop2.7.1 伪分布式（只有一个DN）Eclipse二、解决方案Java代码：import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import java.io.*;public class HDFSApi { /** * 判断路径是否存在 */ pub原创 2022-05-06 22:00:00 · 1388 阅读 · 0 评论 -
CentOS7.5配置伪分布式环境
文章目录1.提前安装JDK和Hadoop并配置好环境变量2.修改配置文件3.格式化NameNode4.启动Hadoop5.Web端查看HDFS信息1.提前安装JDK和Hadoop并配置好环境变量vim /etc/profile.d/my_env.sh# JDK_HOMEexport JAVA_HOME=/opt/module/jdk1.8.0_212export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/export PATH=$PATH:$JAVA_HOME原创 2022-05-11 23:38:56 · 543 阅读 · 0 评论 -
关于Hadoop集群物理及虚拟内存的检测的设置说明
关于Hadoop集群物理及虚拟内存的检测的设置说明原创 2022-10-07 05:30:00 · 2101 阅读 · 0 评论 -
flume----HDFS sink 启动时产生大量小文件处理办法
flume----HDFS sink 启动时产生大量小文件处理办法转载 2022-09-25 21:16:11 · 349 阅读 · 1 评论 -
MapReduce报错：「MKDirs failed to create file」
MapReduce报错：「MKDirs failed to create file」原创 2022-09-22 05:30:00 · 2103 阅读 · 0 评论 -
执行MapReduce报错：无法分配内存 (errno=12)
执行MapReduce报错：无法分配内存 (errno=12)原创 2022-09-18 05:30:00 · 1236 阅读 · 0 评论 -
使用Maven构建Hadoop工程并实现词频统计案例(详细篇)
文章目录一、实验环境：二、使用Maven构建Hadoop工程1.解压Maven到自己的安装目录2.配置Maven环境变量3.查看maven版本信息4.使用IDEA创建一个空项目(提前在IDEA中配置Maven)5.Maven安装目录和仓库地址的设置三、词频统计案例四、报错解决1.Hadoop：找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster2.INFO ipc.Client: Retrying connect to server: 0.0.0.原创 2022-05-12 05:30:00 · 1118 阅读 · 0 评论 -
启动hdfs报错：hadoop100 Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)
文章目录一、实验环境说明二、解决方法1.报错信息：2.解决方案：3.配置ssh免密登录:一、实验环境说明1.Hadoop3.1.32.CentOS7.53.伪分布式二、解决方法1.报错信息：2.解决方案：hadoop100 Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).原因是：hadoop100这台机器没有配置ssh免密登录3.配置ssh免密登录:先进入到~/.ssh/路径cd ~/原创 2022-05-10 19:36:40 · 4181 阅读 · 2 评论