错误笔记整理
文章平均质量分 83
记录自身遇到的错误
程序消消乐
本人热爱大数据开发,并会不定期分享和更新学习心得。相比于网上零散的技术博客内容,我更倾向于以专栏的形式进行系统化整理,力求让知识更清晰、更完整。如果这些内容对你有所帮助,欢迎关注!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hive 分区+分桶写入的 Bug 分析与解决
Hive分区+分桶写入时易出现动态分区写入Bug,表现为Reduce阶段NullPointerException。这是由于Hive同时管理多分区多桶writer时存在逻辑缺陷。解决方案包括:1)改用静态分区+分桶;2)仅保留分区表;3)CTAS+分桶二次建表。建议优先使用分区表,避免分桶带来的复杂性,除非业务必须分桶优化。实践中,分区裁剪配合列存格式通常已能满足性能需求。原创 2025-09-02 14:12:49 · 414 阅读 · 0 评论 -
Hadoop集群故障排查实录:从DataNode丢失到主机名显示不对
摘要:在部署三节点Hadoop集群时,出现DataNode丢失、YARN服务异常等问题。排查发现各节点主机名启动环境有错误(部分节点显示为"ubuntu"),导致服务间通信失败。解决方案包括:统一设置标准主机名、同步/etc/hosts文件、校验Hadoop配置并重启集群。该案例表明,分布式系统中主机名一致性对服务稳定运行至关重要,配置不当会引发连锁故障。原创 2025-08-31 20:49:03 · 814 阅读 · 0 评论 -
HIVE 和Hadoop 配置环境报错:NoSuchMethodError 和 Invalid UTF-8
大数据平台部署问题解析:Guava冲突与文件编码异常 摘要:本文记录了在Hadoop 3.1.3环境部署Hive 3.1.3时遇到的典型问题。首先解决Guava版本冲突导致的NoSuchMethodError,通过统一依赖版本(Hadoop的Guava 27.0替换Hive的19.0);其次处理Invalid UTF-8编码错误,重建纯净的hive-site.xml配置文件。两个案例分别展示了大数据环境中依赖管理和配置文件处理的要点:严格检查核心依赖版本对齐,确保配置文件采用标准UTF-8编码。解决方案采用原创 2025-08-29 20:17:39 · 785 阅读 · 0 评论 -
hadoop3.3.6版本yarn配置错误:解决 MapReduce 作业 ClassNotFoundException: MRAppMaster 错误
这是最关键的第一步,路径绝对不能错。登录到你的 Hadoop 服务器,进入 Hadoop 的安装目录,然后执行。Hadoop 不允许输出目录已存在。在重新运行作业前,需要先删除上一次失败时在 HDFS 上创建的输出目录。执行完以上步骤后,你的 MapReduce 作业应该就能在 YARN 上成功运行了。由于修改了 YARN 运行环境的配置,必须重启 YARN 服务才能使配置生效。示例)时,作业提交后很快就失败。在 YARN 上运行 MapReduce 作业(如。,以便它能正确设置环境变量。原创 2025-08-10 19:39:58 · 397 阅读 · 0 评论 -
错误处理[Message from syslogd@bigdata00 at Aug 10 10:31:57 ... kernel:[ 1388.982700] watchdog: BUG: so]
内核的显卡驱动程序试图对显示器进行操作。结果 GPU 卡死了,从未回复。正在等待的那个 CPU 核心因此被卡住,最终导致了“软死锁”错误。这个参数会强制系统使用一个简单、通用的帧缓冲(framebuffer)驱动,这个驱动要稳定得多。因为博主的虚拟机是一台服务器(Ubuntu 22.04 server),我不需要为命令行提供图形加速功能。这在服务器上非常常见,尤其是在“无头”服务器(没有连接显示器)上。重启之后,内核将不会再尝试加载完整的 KMS 驱动,那些。错误以及随之而来的软死锁问题应该会彻底消失。原创 2025-08-10 18:47:45 · 872 阅读 · 0 评论
分享