- 博客(3)
- 收藏
- 关注
RSS订阅原创 Hadoop安装步骤分享
本文介绍了Hadoop集群的环境准备与安装配置流程。主要包括：1) 环境检查（主机名配置、防火墙关闭、SSH免密登录、时间同步）；2) Hadoop安装与配置文件修改（hadoop-env.sh、core-site.xml等核心配置）；3) 集群同步与启动步骤（文件分发、环境变量配置、格式化NameNode及启动命令）。最后提供了Hadoop集群Web UI访问地址。文章详细记录了从环境准备到集群启动的全过程配置要点，为Hadoop集群部署提供了完整参考。
2025-06-02 23:29:43
235
原创 Hadoop执行MapReduce任务的jar包【内有3组数据样例代码】
MapReduce作业执行简明指南本文针对刚接触大数据的学生，详细介绍了MapReduce作业的执行流程。主要步骤包括：启动Hadoop集群（使用start-all.sh或分步启动dfs和yarn）、准备并上传数据到HDFS、创建Maven项目配置Hadoop依赖、编写MapReduce代码、打包生成JAR文件，以及最终执行作业并查看结果。文中提供了具体的命令行操作示例（如hdfs dfs命令）和IDEA开发环境配置说明，特别强调版本一致性和国内镜像源设置的重要性。最后通过一个文件合并的示例代码，展示了完
2025-06-02 15:56:09
1132
原创 记一次虚拟机安装时网络不通，ping百度失败
摘要： 在VMware部署CentOS7虚拟机时遇到网络问题：虚拟机节点间可互通，主机也能访问虚拟机，但虚拟机无法ping通外网（如百度）。排查发现VMware虚拟网络配置与虚拟机IP（192.168.101.*）网段一致，但问题仍存在。最终发现Windows本地网络连接中的VMware Network Adapter VMnet8的IP配置与虚拟机网段不一致，将其修改为同一网段（如192.168.101.1）后解决。关键步骤包括：检查虚拟机IP（ifconfig）、调整VMware虚拟网络编辑器子网IP，
2025-06-01 13:12:32
923
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人