大数据
介绍大数据相关知识
Gratitute_林腾
努力学习的程序员,菜就多练!!!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
大数据-HDFS客户端_NFS挂载到windows本地
这取决于我们之前配置虚拟机时所配置的网络地址:当我们把子网ip设置为192.168.88.0,网关ip设置为192.168.88.2时,就会自动把虚拟网卡VMnet8的ip设置为192.168.88.1。原创 2025-02-09 17:13:04 · 786 阅读 · 0 评论 -
大数据-HDFS客户端_Big Data Tools插件
提示无法创建符号链接,是因为打包的时候,里面有一些Linux的软链接,对于windows系统来说,并不支持Linux系统的软链接,因此会有这种提示,我们不需要管它,忽略即可。原创 2024-12-10 21:49:42 · 337 阅读 · 0 评论 -
大数据-HDFS权限
目录前言HDFS超级用户修改权限总结原创 2024-12-10 14:48:19 · 191 阅读 · 0 评论 -
大数据-使用命令操作HDFS文件系统
指的是从Linux上传到HDFS第一个路径是Linux文件系统的路径,第二个路径是HDFS文件系统的路径,Hadoop可以自动识别,所以可以不用写协议头。第一个路径是HDFS文件系统的路径,第二个路径是Linux文件系统的路径第一个路径和第二个路径都是HDFS文件系统的路径。第一个路径是被复制的文件路径,第二个路径是要复制到的文件路径。即:复制第一个路径到第二个路径。整个HDFS文件系统只能进行删除和追加,不能修改里面的某一行或某一个字符。第一个路径是Linux文件系统的路径,第二个路径是HDFS文件系统的原创 2024-11-28 10:50:13 · 860 阅读 · 0 评论 -
大数据-HDFS集群启停命令
目录一键启停脚本单进程启停总结原创 2024-11-27 15:21:01 · 256 阅读 · 0 评论 -
大数据-VMware虚拟机部署HDFS集群
配置hadoop-env.sh文件的内容如下在编辑workers文件时,里面默认的内容是localhost,将locahost删掉,再填入node1、node2、node3可以将部署好的node1,node2,node3打上快照,这样之后如果碰到问题,可以直接使用快照恢复,在打上快照之前,需要先关掉hdfs集群(在node1中执行然后关掉虚拟机(因为关掉虚拟机后,打快照的速度很快),之后就可以去打快照了具体如何打快照,可参考Linux-虚拟机快照-优快云博客。原创 2024-11-26 09:14:00 · 768 阅读 · 0 评论 -
大数据-HDFS的基础架构
HDFS可以帮助我们完成海量数据的存储工作HDFS是一个典型的主从模式架构原创 2024-11-25 16:11:15 · 218 阅读 · 0 评论 -
大数据-分布式的基础架构分析
目录分布式基础架构编辑去中心化模式中心化模式总结原创 2024-11-25 16:01:28 · 185 阅读 · 0 评论 -
大数据-为什么需要分布式存储
比如现在有一个100TB的文件和一台服务器。但是可以将文件划分为多个部分然后将每一个部分存储到对应的服务器上原创 2024-11-25 15:53:50 · 290 阅读 · 0 评论 -
大数据-Hadoop概述
目录什么是Hadoop为什么要学习HadoopHadoop的功能Hadoop的发展Hadoop的发行版本总结原创 2024-11-18 15:43:21 · 225 阅读 · 0 评论 -
大数据-大数据软件生态
目录概述数据存储数据计算数据传输大数据软件生态总结原创 2024-11-18 15:21:34 · 242 阅读 · 0 评论 -
大数据-大数据概述
这五大特征总结成一句话就是:从海量的高增长、多类别、低信息密度的数据中挖掘出高质量的结果原创 2024-11-18 15:10:17 · 227 阅读 · 0 评论 -
大数据-大数据的诞生
目录大数据的诞生Apache Hadoop对大数据体系的意义总结原创 2024-11-18 14:55:58 · 212 阅读 · 0 评论 -
大数据-数据导论
目录什么是数据?数据的价值大数据时代总结原创 2024-11-18 14:40:30 · 197 阅读 · 0 评论 -
大数据-虚拟机设置步骤
目录修改主机名配置固定IP地址配置主机名映射在windows中配置主机名映射在Linux中配置主机名映射配置SSH免密登录创建hadoop用户并配置免密登录JDK环境部署下载jdk上传jdk配置JDK环境关闭防火墙和SELinux修改时区并配置自动时间同步设置快照总结使用root权限,输入下面的指令三个主机名分别是node1,node2,node3参考文章:Linux-配置Linux固定IP地址_linux确定ip地址-优快云博客,配置跟这篇文章里的基本一致,只是ip地址分别是node1为192.1原创 2024-11-14 15:38:21 · 1415 阅读 · 0 评论
分享