
大数据技术
Boogie_97
这个作者很懒,什么都没留下…
展开
-
Hadoop--CentOS的安装与常用linux命令
数据量进制:1bit=1位 1byte=8bit 1kb=1024b 1m=1024kb 1g=1024m 1t=1024g 1p=1024t 1e=1024p 1z=1024e 1y=1024z 大量数据存储方式:1.分割方式 --分布式文件存储系统(DFS:distributed file system Hadoop是基于DFS的HDFS) 2.运算原创 2018-04-10 17:44:49 · 461 阅读 · 0 评论 -
Hadoop--伪分布式环境搭建
1.准备Linux环境 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.8.0 子网掩码:255.255.255.0 -> apply -> ok 回到windows --> 打开网络和共享中心 -> 更改适配器...原创 2018-04-11 14:50:23 · 255 阅读 · 0 评论 -
初识DFS与HDFS
有需求就有技术支持。 数据量越来越多。在一个操作系统管辖的范围存在不了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此就迫切需要一种系统来管理多态机器上的文件,这就是分布式文件管理系统。 是一种允许文件通过网络在多台主机上分享的文件系统,可以让多台机器上的多用户分享文件和存储空间。 通透性。让司机上是通过网络来访问文件的动作,由程序与用户来看,就是像访问本地磁盘原创 2018-04-19 19:41:39 · 6347 阅读 · 0 评论 -
Hadoop初识:HDFS
Hadoop基本组成部分: HDFS:分布式存储系统HDFS(Hadoop Distributed File System)分布式存储层 YARN:资源管理系统YARN(Yet Another Resource Negotiator)集群资源管理层 MapReduce:分布式计算框架MapReduce分布式计算层 Hadoop模式分类: 单机模式(Standalone) ...原创 2018-06-13 18:40:58 · 421 阅读 · 0 评论