
hadoop
zengxianglei
曾经 年少 爱追梦, 一心 只想 往前飞 。。。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hadoop退出安全模式失败解决方案
hadoop退出安全模式失败当hdfs 开启安全模式时 我们可以有以下俩种方法关闭安全模式:1.修改dfs.safemode.threshold.pct为一个比较小的值,缺省是0.999。2.进入hadoop的bin目录 bin /hadoop fs dfsadmin -leave还是不行就执行 hdfs dfsadmin -safemode leave虽然 显示 safemode ...原创 2020-01-21 17:17:38 · 2544 阅读 · 0 评论 -
hadoop集群搭建
hadoop集群搭建hadoop简介hadoop 搭建前准备hadoop简介Hadoop 是apache旗下的一个用Java语言实现的开源的软件框架。允许在简单的编程模型在大量的计算机集群上对大型数据集进行分布式处理。Hadoop 的几个核心组件:Hdfs : (分布式文件系统) 结局海量数据的存储。Yarn:(作业调度和集群资源管理的框架): 解决资源任务调度。Mapreduc...原创 2019-03-20 12:20:07 · 262 阅读 · 0 评论 -
hadoop 核心注意事项 小总:maptask并行机制 reduce并行机制 task并行 数据倾斜 shuffle mapreduce 参数优化 自定义计时器counter
标题hadoop 核心注意事项 小总1.maptask的并行机制(逻辑切片)时间:是在mr客户端提交程序到yarn之前。地点:mr程序客户端(main方法)参与者:输入目录 FileInputFormat.getSplit();规则是:对待处理的文件卓个遍历 一切片大小(blocksize)对文件进行逻辑切片split size=blocksize=128m;默认 :1342177...原创 2019-05-20 13:35:08 · 788 阅读 · 0 评论 -
hadoop总结
hadoop总结Hadoop第一天1.Vmwarey有三种模式:桥接模式 ,nat模式,host-only模式 一般情况下 用nat2./etc是配置文件的目录/var是储存各种变化的文件。3.修改主机名:vi/etc/sysconfig/network 修改原 hostname 为 newname4.修改ip:/etc/sysconfig/network-scripts/ifcfg...原创 2019-07-10 16:19:49 · 1144 阅读 · 0 评论 -
zk是如何实现hadoop集群的HA (高可用)
zk是如何实现hadoop集群的HA (高可用)待会总结 先看学习网址学习网址:https://blog.youkuaiyun.com/qq_42711214/article/details/84109404原创 2019-06-30 20:43:24 · 1024 阅读 · 0 评论 -
hadoop管理命令——dfsadmin 之./hadoop dfsadmin -safemode leave
hadoop管理命令——dfsadmin 之./hadoop dfsadmin -safemode leavedfsadmin是一个多任务的工具,我们可以使用它来获取HDFS的状态信息,以及在HDFS上执行的一系列管理操作。调用方式例如:hadoop dfsadmin -reportdfsadmin命令详解-report:查看文件系统的基本信息和统计信息。-safeadmin ent...原创 2019-08-23 17:28:13 · 1926 阅读 · 0 评论