- 博客(8)
- 收藏
- 关注
RSS订阅原创 HDFS调用API
HDFS调用API：用一台机器管理所有集群shell 脚本 是在集群里面操作 HDFSIDEA 是在另一台机器PC上操作整个集群。
2025-04-26 23:47:24
1205
原创 Hadoop配置文件，参数的优先级
参数优先级排序：（1）客户端代码中设置的值 （2）ClassPath下的用户自定义的配置文件(project下的配置文件） （3）服务器的自定义配置文件（xxx-site.xml路径为：/root/IdeaProject/hdfsCllent/src/main/resouurce/hdfs-site.xml)) (4)服务器的默认配置（xxx-default.xml路径为：/usr/local/hadoop/etc/hadoop)
2025-04-22 11:53:54
364
原创 Hadoop的shell操作
1.用户类型：(1)u:所有者 user (2)g:所属组别 group (3)o:其他用户:others (4)a:所有用户 all。1.权限对应数字：(1)r=4 (2)w=2 (3)x=1 (4)-【无权限】：0。2.操作符：(1)+:添加权限 (2)-:移除权限 (3)=:直接设置权限。第二位：组权限 r-x=5 r--=4。第三位:其他用户权限 r-- =4 r-- =4。3.权限：(1)r:读 (2)w:写 （3）x:执行。2-cat:显示文件内容。
2025-04-07 11:58:41
393
原创 HDFS相关知识
HDFS(hadoop distribute file system)是一个文件系统，用于存储文件，通过目标书来定位文件；其次，他是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析。
2025-03-31 11:59:07
1568
原创 Hadoop 安装部署续
一.配置集群环境1.修改workers文件（1）先切换到/usr/local/hadoop/etc/hadoop 目录下：cd/usr/local/hadoop/etc/hadoop(2)在进入worker 终端：vim workers(3)添加3个节点slave1slave2slave(4) cat workers 命令检验配置是否成功2.修改core-site.xml文件(1)进入core-site.xml终端:vim core-site.xmldd:删除此行u：恢复。
2025-03-12 12:04:52
388
原创 Hadoop安装部署
/cg/images/hadoop_node.tar.gz是将 hadoop_node.tar.gz文件的内容作为输入传递给docker load命令。1.输入docker load < /cg/images/hadoop_node.tar.gz，加载该镜像。cp:复制，从/cgrsrc中将JDK安装包复制到/user/local/java目录。rood@master/usr/local/java/：原本被复制的文件。root@slave1/user/local/java:粘贴的地方。
2025-03-11 22:28:24
1434
原创 分布式计算课程笔记
Bigtable 是Google公司的分布式书存储系统，是用来处理海量数据的一种非关系型数据库。2003年，Google公司发表论文The Google File System，介绍分布式文件系统，主要讲解海量数据的可靠存储方法。b，GFS的存储的文件都被分割成固定大小的块，每个块都会复制到多个块服务区上（可靠性）。名字空间，访问控制信息，文件和快的映射信息，以及当前快的位置信息。管理节点：数据元文件（文件名，文件快，文件所在数据节点 ）2.variety：来源多，数据块保持：可靠性和可用性。
2025-02-25 12:04:43
201
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人