Zitor_-优快云博客

原创 ping : unknow host www.baidu.com 解决办法

1.点击此处编辑 2.选择虚拟网络编辑器 3.点击更改设置 4.选择v8 并将使用本地DHCP选项勾选掉(注：此处为nat模式) 5、手动输入子网IP，子网掩码默认 6、点击nat设置 7.手动输入网关地址(此处网关必须与外部windows下V8相同) 8.保存应用退出 9.打开以太网，点击右方更改适配器选项，右击V8属性选择 10.点击Internet 协议版本4，然后点击属性 11...

2019-10-15 20:10:31 2332 1

原创 Impala 介绍与安装步骤

impala的安装部署 1、软件包的上传解压安装包大于4G，所以需要另行上传。每个节点需要优先安装nc yum install -y nc 安装impala的节点至少需要有12G的剩余空间（5.1G 安装包，5.1G解压后的包） 2、制作网络源将安装包解压后，配置成yum源 3、安装impala 在主节点(node03)安装 yum install -y impala impala-serv...

2019-12-10 20:20:09 557

原创两个Agent级联不正常顺序启动错误

错误展示：解决办法启动顺序：应该是先开启发送，写入数据的那一端先开启，然后采取，获得数据的那一端后开启获取数据的一端 a1.conf 写出数据的那一端 a2.conf ...

2019-12-05 16:56:31 222

原创 HIVE 提示namendoe内存不足需要在本地运行，解决办法

错误：失败原因解决办法在 HIVE 端输入以下代码： set hive.exec.mode.local.auto=true; 就可以解决。

2019-11-21 10:42:49 622

原创 Map Reduce的计算步骤

第1步：InputFormat InputFormat 到hdfs上读取数据将数据传给Split 第2步：Split //设置读取数据的路径 TextInputFormat.addInputPath(job,new Path(“C:\bbb.txt”)); 3、设置Map job.setMapperClass(WordCountMap.class); //设置map输出的类型 job.setMa...

2019-11-14 22:06:15 343

原创什么是HDFS（一）

HDFS 是 Hadoop 的重要组成部分 HDFS 是 Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。分布式文件系统解决的问题就是大数据存储。 HDFS集群管理者：NameNode 作用：负责管理，管理集群内各个节点。负责管理整个文件系统的元数据（指的是数据的存放...

2019-11-05 15:04:37 1381

原创 HDFS数据的写入与读取的流程

HDFS数据写入流程 1、 client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传； 2、 client请求第一个block该传输到哪些DataNode服务器上； 3、 NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配，返回可用的DataNode的地址如：A，B，C； 4、 client...

2019-11-05 14:31:54 1043