- 博客(4)
- 收藏
- 关注
RSS订阅原创 学习记录：第三章HDFS分布式文件系统
为了模拟生产环境，在日志存放目录/export/data/logs/log/中，手动创建日志文件，access.log表示正在源源不断的产生日志的文件，access.1、access.log.2等表示已经滚动完毕的日志文件，即为待上传日志文件。首先在项目src文件夹下创建 com.itcast.hdfsdemo包，并在该包下创建HDFS_CRUD.java文件，编写Java测试类，构建Configuration和FileSystem对象，初始化一个客户端实例进行相应的操作。添加相应代码如下所示。
2025-03-20 10:10:12
707
原创 学习记录：第二章hadoop集群配置、安装hive、sqoop
hadoop集群正常启动后，它默认开放了50070端口（用于监控HDFS集群）和8088端口（用于监控YARN集群），只需要在本地操作系统的浏览器输入集群服务的IP和对应的端口号即可访问。3、修改hive-env.sh配置文件：进入hive的conf文件夹，将hive-env.sh.template文件进行复制，然后重命名为hive-env.sh。（4）修改mapres-site.xml文件（将文件mapres-site.xml.template拷贝为mapres-site.xml）
2025-03-16 17:32:38
1111
原创 学习记录：第一章centos8下的hadoop的安装与配置
1、创建一台虚拟机名为hadoop01（方便后续管理），登录root用户，到主目录执行以下命令。2、将hadoop01克隆出两台虚拟机（hadoop02、hadoop03）9、上传hadoop到software目录下。查看ip地址范围，配置ip映射（每台主机）8、将jdk上传到software目录下。3、配置虚拟网卡8和物理机的虚拟网卡8。4、为每台虚拟机配置主机名和ip映射。7、配置三台主机之间ssh免密登录。设置成静态ip保证在同一网段下。5、修改mac地址（每台主机）6、检查是否安装了ssh。
2025-03-16 17:27:23
186
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人