Hadoop 运维记录

最新推荐文章于 2025-08-12 23:04:04 发布
原创 最新推荐文章于 2025-08-12 23:04:04 发布 · 451 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

Hive

hive在和spark 2.*集成的时候，把加载spark包的代码注释一下

112 # if [[ -n “$SPARK_HOME” ]]
113 # then
114 # sparkAssemblyPath=ls ${SPARK_HOME}/lib/spark-assembly-*.jar
115 # CLASSPATH=”CLASSPATH:CLASSPATH:{sparkAssemblyPath}”
116 # fi

大数据与Hadoop运维三大核心组件的搭建
LINUX(云计算)
06-27 3223
Hadoop是什么: – Hadoop是一种分析和处理海量数据的软件平台; – Hadoop是一款开源软件,使用JAVA开发; – Hadoop可以提供一个分布式基础架构; Hadoop特点: – 高可靠性、高扩展性、高效性、高容错性、低成本 Hadoop常用组件:(下面三个组件是针对于运维,其他的不在此论述) • HDFS: Hadoop分布式文件系统(核心组件) • MapReduce: ...
Hadoop-006-集群运维常见报错及解决方案
加贝的博客
11-01 498
Hadoop集群常见问题总结, 后续在实际应用中有相关场景会不断持续更新该篇文档
Hadoop运维记录系列(二十二)
weixin_34358092的博客
03-29 122
今天下午写了一会代码，然后帮同事解决了一个hbase相关的故障分析，定位了问题根源，觉得比较有代表性，记录一下。先说一下问题的发生与背景。这个故障其实是分为两个故障的，第一个比较简单，第二个相对复杂一些。 同事写了一个HBase相关的测试代码，使用Hbase原生Java API，编译打包后分别放在两台测试服务器测试，一台可以，另一台不可以。 第一个故障是发生在两台测试服务器的：A服务器是正常连通的...
Hadoop运维记录系列（二十五）
weixin_34292924的博客
09-07 157
耗时很长时间解决了一个spark in docker的问题，记录一下。这是个非常奇怪的问题，找遍谷歌都找不到答案，与其说是分析出来倒不如说是偶然发现。先介绍一下架构和环境。Z机器是docker的宿主机，在每个docker里面都跑了一个Zeppelin用作数据分析，之所以这样弄，是客户要求每个人的环境都必须是独立的。Zdocker假设是Z上面跑着zeppelin的运行的一个docker镜像。Zdoc...
Hadoop运维记录系列(七)
weixin_33709364的博客
07-05 105
这段时间一直在搞Hadoop集群迁移，最近Hadoop也没出什么大问题，就没更新运维系列。这次的运维系列也跟Hadoop自己的故障无关，主要是自动化运维。不过我确实犯了一个严重的错误，在迁移新集群的时候，为了安装部署方便，我把hbase打成了rpm包的方式进行部署。在编写spec文件的时候，一个变量少写了一对花括号，结果把操作系统的文件给删掉了。而我恰恰是在新集群的生产环境下...
Hadoop运维记录
快乐程序员的专栏
09-21 1183
记录一些Hive的优化点，和能够提升的效率差异。 Hive是目前应用最多最广的SQL on Hadoop工具，近期很多专业的大数据公司推出了很多新的，基于列式或者内存热数据的SQL工具，像Impala，Tez，Spark等等，但是Hive仍然是目前使用率最高和普及面最广的SQL on Hadoop的工具。在以前淘宝罗李的报告中，淘宝90%的业务跑在Hive上面。暴风影音的比例更高一些，大概9
Hadoop运维记录系列（一）
remotesupport的专栏
07-08 668
这两天参加了51CTO举办的云计算架构师峰会，办的非常好，很多干货。确实比一些名不副实的所谓大数据实际都是厂商推销产品的会议要强得多。但是其实这事跟Hadoop运维没关系，但是这两天集群发生的故障影响了我听报告。 说起来很奇幻，集群里面有三台服务器需要升级CPU，这本无可厚非。但是不多不少，恰恰是三台，符合Hadoop集群配置的replication数量。之间运维人员没有提前跟我
Hadoop运维记录系列(二)
caodaoxi的专栏
05-23 125
摘要: 下周准备去某地做Hadoop相关的技术培训，主要负责讲解Hadoop的安装部署和运维部分，赶制了一份PPT，将平时工作中遇到的问题也提取了一下，希望能对Hadoop运维相关人员有所帮助，算是个补上的运维记录吧，错误数据均来 ... 下周准备去某地做Hadoop相关的技术培训，主要负责讲解Hadoop的安装部署和运维部分，赶制了一份PPT，将平时工作中遇到的问题也提取了...
Hadoop运维记录汇总
GP的空间
09-28 3506
好的文章在这里汇总下，便于后续学习和查找： Hadoop运维记录系列（一） Hadoop运维记录系列(二)  Hadoop运维记录系列(三)  Hadoop运维记录系列(四)  Hadoop运维记录系列(五)  Hadoop运维记录系列(六) Hadoop运维记录系列(七)  Hadoop运维记录系列(八)  Hadoop运维记录系列(九) Hadoop运维记录系列
Hadoop运维记录系列(十七)
weixin_33830216的博客
11-13 94
上个月通过email，帮朋友的朋友解决了一个Cloudera的Spark-SQL无法访问HBase做数据分析的问题，记录一下。首先，对方已经做好了Hive访问HBase，所以spark-sql原则上可以通过调用Hive的元数据来访问Hbase。但是执行极慢，而且日志无报错。中间都是邮件沟通，先问了几个问题，是否启用了Kerberos，是否Hive访问Hbase正常，HBase shell访问数据是...
大数据Hadoop运维实战指南（八）：Hadoop数据备份恢复实战
最新发布
weixin_42787985的博客
08-12 657
在前面的系列文章中，我们深入探讨了Hadoop的架构演进、HDFS存储机制、YARN资源管理和MapReduce计算引擎。作为一名负责任的Hadoop运维工程师，数据备份恢复是我们最重要的职责之一。数据一旦丢失，对企业的影响往往是灾难性的。本篇文章将从运维实战的角度，系统性地介绍Hadoop数据备份恢复策略、跨集群同步技术以及灾难恢复演练方案。分层防护原则L0层：HDFS内置副本机制（基础防护）L1层：快照和增量备份（快速恢复）L2层：跨集群同步（地理冗余）L3层：长期归档（合规要求）备份策略要点。
《Hadoop运维全记录》.pdf
03-25
《Hadoop运维全记录》.pdf
大数据专家Hadoop运维实战经验分享
资源摘要信息:"《Hadoop运维全记录》是大数据开源软件专家向磊的Hadoop运维经验分享，系列文章涉及了Hadoop集群运维的多个方面，内容涵盖了从集群架构到故障处理的实际案例。本文以Hadoop运维过程中的一个故障处理...
hadoop运维记录之二：tasktracker启动后”假死“
竹叶青 的专栏
05-30 3961
由于hadoop集群中某台服务器磁盘损坏，导致该服务器tasktracker 任务失败率大增（失败原因：分配到该服务器的任务的临时目录选择了损坏的磁盘，导致job初始化是失败），所以决定将坏的磁盘从tasktracker中的mapred本地目录中删除，然后重启tasktracker。         操作步骤如下：        1）修改完mapred-site.xml配置文件；
ORC文件存储格式和数据写入过程
半日闲的博客
05-16 8741
文章目录ORC 文件格式，配置参数及相关概念ORC 文件格式UML类图OrcFile writer 创建OrcFile Writer 配置参数相关概念动态数组 DynamicIntArray 和 DynamicByteArray初始化chunk 扩容OrcFile writer的 write()方法 写数据WriterImpl addRow程序入口StringTreeWriter : void w...
HDFS CheckSum
半日闲的博客
09-24 4149
程序入口 Hadoop Branch ： Hadoop-2.6.0 使用样例 ： hadoop dfs -checksum /tmp/README.txt 结果 /tmp/README.txt MD5-of-0MD5-of-512CRC32C 00000200000000000000000017970719be16d1071635fa381b95f957 算法说明： “MD5-of-” ...
hadoop任务运行日志
半日闲的博客
08-26 3777
Hadoop任务运行目录
kerberos 与Hadoop集成
半日闲的博客
08-23 3110
kerberos 安装通过yum安装即可，组成KDC
数据库Join实现
半日闲的博客
10-11 2725
测试sql ： select * from a join b where a.id= b.id;a 0 hash map table b 1 scan table alias ：　１MapJoinOperator 核心代码// MapJoinOperator.java 在cleanUpInputFileChangedOp() 方法中load hash tablegenerateMap
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值