hadoop
文章平均质量分 66
栗子呀!
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
开启Hadoop/Yarn的日志监控功能,配置Spark历史服务,解决web端查看日志时的Java.lang.Exception:Unknown container问题
解放方法 下来查询官方文档后,才了解到yarn的日志监控功能默认是处于关闭状态的,需要我们进行开启,开启步骤如下: Ps:下面配置的文件的位置在hadoop根目录 etc/haddop文件夹下,比较老版本的Hadoop是在hadoop根目录下的conf文件夹中 本文hadoop配置环境目录: /usr/local/src/hadoop-2.6.5/etc/hadoop 一、在yarn-site.xml文件中添加日志监控支持 <property> <name>yarn.log原创 2021-01-05 21:49:19 · 691 阅读 · 0 评论 -
完解决MySQL57版登录报ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost‘ (using password: YES)的问题
使用mysql -uroot -p,然后输入密码登录mysql时,出现了如下错误: ERROR 1045 (28000): Access denied for user ‘root’@‘localhost’ (using password: YES) 解决办法:使用root用户,重置密码 1.重置密码的第一步就是跳过MySQL的密码认证过程,方法如下: 进入/etc/my.cnf 在[mysqld]后面任意一行添加“skip-grant-tables”用来跳过密码验证的过程,如下图所示: 重启mysql:原创 2020-12-14 14:51:07 · 843 阅读 · 0 评论 -
HDFS2.0原理
HDFS 2.0 新特性 (1)NameNode HA (2)NameNode Federation (3)HDFS 快照 (4)HDFS 缓存 (5)HDFS ACL hdfs2.0 1、2.0中NameNode HA主要解决单点故障问题(使用两个namenode,一个active NameNode 一个是standby NameNode) 2、因为有两个NameNode 所以数据一致性如何保证? (1)共享网络文件系统(类似文件名->block数据块之间的映射关系(mapping关系)) (2)D原创 2020-12-08 16:35:53 · 383 阅读 · 0 评论 -
HDFS Shell API(常用)
HDFS常用命令 1、查看帮助文档 [root@master Desktop]# hadoop fs 2、查看所有目录及其文件 #查看hdfs根目录下所有文件 [root@master ~]# hadoop fs -ls / Found 2 items drwxr-xr-x - root supergroup 0 2020-12-05 23:05 /test drwxr-xr-x - root supergroup 0 2020-12-07 03:46 /t原创 2020-12-07 20:38:14 · 242 阅读 · 0 评论 -
初始HDFS1.0
hdfs:存储海量数据 mapreduce:针对海量数据进行处理 hdfs1.0 1、hdfs本身是一个master slave 架构 2、hdfs是一个分布式存储的系统架构,是一个集群(多个节点/服务器) 3、namenode 主 datanode 从 4、namenode是个进程,存在于某个节点上(主节点)上,本身也维护这一块内存。 内存中存储着两份重要的数据: (1)文件名->block数据块之间的映射关系(mapping) 针对数据块简单理解为就是一个标识。 (2)block->da原创 2020-12-07 19:33:40 · 264 阅读 · 1 评论 -
Hbase对应的Hadoop兼容版本
查看各个对应稳定版本 2. hbase官方下载地址:: http://archive.apache.org/dist/hbase/.原创 2020-10-11 19:50:48 · 507 阅读 · 0 评论
分享