- 博客(15)
- 收藏
- 关注
RSS订阅原创 Hive的安装部署
1 安装 1.1 derby版hive直接使用 1、解压hive cd /export/softwares tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C …/servers/ 2、 直接启动 bin/hive cd …/servers/ cd hive-1.1.0-cdh5.14.0/ bin/hive hive> create database...
2019-11-21 20:33:33
1364
原创 Hive基本概念
1.1 Hive简介 什么是Hive 是一个基于hadoop的数据仓库工具，可以将结构化数据映射成一张数据表，并提供类SQL的查询功能。 Hive的意义是什么 背景：hadoop是个好东西，但是学习难度大，成本高，坡度陡。 意义（目的）：降低程序员使用hadoop的难度。降低学习成本。 Hive可以对数据进行存储与计算 存储使用HDFS存储 计算使用MapReduce进行计算。 Hive的特性 1...
2019-11-20 21:55:34
1411
原创 MapReduce初体验
MapReduce计算框架 并行计算框架 一个大的任务拆分成多个小任务，将多个小任务分发到多个节点上。每个节点同时执行计算。 MapReduce核心思想 分而治之，先分后和：将一个大的、复杂的工作或任务，拆分成多个小的任务，并行处理，最终进行合并。 MapReduce由Map和Reduce组成 Map: 将数据进行拆分 Reduce:对数据进行汇总 WordCount计算 统计单词出现...
2019-11-13 20:58:08
1306
原创 HDFS文件读写流程
文件写入过程 1、 client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传； 2、 client请求第一个block该传输到哪些DataNode服务器上； 3、 NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配，返回可用的DataNode的地址如：A，B，C； 4、 client请求3台...
2019-11-05 08:37:16
1393
原创 Linux笔记(11)--hadoop集群搭建
第一步：上传压缩包并解压 cd /export/softwares/ mv hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz hadoop-2.6.0-cdh5.14.0.tar.gz tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C …/servers/ 第二步：查看Hadoop支持的压缩方式以及本地库 第一台机器执行以...
2019-11-04 09:41:04
1264
原创 Linux笔记(10)--局域网yum源
安装httpd服务 yum list | grep httpd ##查找 yum -y install httpd.x86_64 ##安装http服务 关闭防火墙 service iptables stop 测试 service httpd start #开启httpd服务 准备软件包 将软件包放入http服务的根目录 /var/www/html 创建一个挂载点 mkdir /mn...
2019-10-25 15:52:44
1226
原创 Linux笔记(9)--集群相关配置
集群 1. 新增linux系统 第一步: 克隆虚拟机 第二步: 更改新增系统的mac地址 vim /etc/udev/rules.d/70-persistent-net.rules 第三步: 更改网卡信息 vim /etc/sysconfig/network-scripts/ifcfg-eth0 第四步: 重启系统生效 reboot 2. 三台机器 关闭防火墙 # 查看防火墙的...
2019-10-23 11:20:34
1150
原创 Linux笔记(8)--jdk、tomcat、mysql安装
1. 安装jdk 上传解压 JDK安装包 mkdir -p /export/soft mkdir -p /export/install 创建java的配置文件 在/etc/profile.d目录内创建java.sh文件，编辑一下内容 export JAVA_HOME=/export/install/jdk1.8.0_144 （java 解压后的路径） e...
2019-10-21 20:10:45
1098
原创 Linux笔记(7)--yum
yum 1. 常用命令 命令 含义 yum list | grep 需要的软件名 查询服务器是否有需要安装的软件 yum -y install 需要的软件包 下载安装 yum -y remove 需要卸载的软件包 卸载 yum repolist 列出设定yum源信息 yum clean all 清除yum缓存信息 2. 制作本地yum源 # 切换到保存yum信息...
2019-10-18 09:17:08
1059
原创 Linux笔记(6)--rpm
rpm 软件包管理器 1. rpm包 的 查询命令 选项 英文 含义 -q query 查询 -a all 所有 -i info 信息 -l list 显示所有相关文件 -f file 文件, 显示文件对应 rpm 包 - 查询已安装的rpm列表 rpm -qa | grep XXX rpm -qa | less - 查询软件包信息 rpm -qi 软件全包...
2019-10-18 08:31:05
1028
原创 Linux笔记(5)--挂载新的硬盘
1 挂载新的硬盘 1.1 步骤 第一步: 了解linux系统分区的原理 第二步: 查看系统分区情况 第三步: 虚拟机 增加 硬盘 第四步: 分区 第五步: 格式化 第六步: 挂载 第七步: 设置重启后 挂载不失效 1.2 实现 第一步: 了解linux系统分区的原理 一个硬盘可以分成多个分区 用户不能直接操作硬件, 需要 让硬件和系统的目录 建立映射关系(挂载) 才可以操作, 称为 挂载 ...
2019-10-16 20:46:59
1198
原创 Linux笔记(4)--shell
Shell 编程 1 编写脚本 新建 /hello.sh 文件 #!/bin/bash echo 'hello world' #!是一个约定的标记，它告诉系统这个脚本需要什么解释器来执行，即使用哪一种 Shell。 echo 命令用于向窗口输出文本。 2 执行shell脚本 [root@node01 shells]# sh 01.sh hello world [root@node01 she...
2019-10-15 21:18:30
970
原创 Linux笔记(3)--管道命令
管道命令 cut sort wc uniq tee tr split awk sed 1 cut cut 根据条件 从命令结果中提取对应内容 命令 含义 cut 动作 文件 从指定文件 截取内容 参数 参数 英文 含义 -c characters 按字符选取内容 -d 分隔符 delimiter 指定分隔符 -f n1,n2 fi...
2019-10-15 20:27:29
1042
原创 Linux笔记(2)--解压缩命令--用户权限命令--系统信息相关命令
1.解压缩命令 jar : java rar java项目的压缩包 war : web rar web项目的压缩包 1.1 第一步: 打包 和 解包 1.1.1打包 将 一系列文件 打包成 一个大文件 tar -cvf 打包名.tar 被打包的目录 tar -cvf 打包名.tar 被打包的文件1 被打包的文件2 被打包的文件3 1.1.2解包 将一个打包后...
2019-10-14 21:22:03
1173
原创 Linux笔记(1)--VI编辑器命令
VI编辑器 vi简介 打开和新建文件 三种工作模式 常用命令查询 1 简介 1.1 学习vi的目的 在工作中, 要对 服务器上的 文件进行 简单 的修改, 可以使用 ssh 登录到远程服务器上, 并且使用 vi编辑器进行简单的编辑即可 需要修改的文件包括 - 源代码 - 配置文件 例如: tomcat服务器的配置文件 例如: 网卡信息的配置文件 在没有图形界面的环境下, 要编辑文件,...
2019-10-14 20:30:52
2045
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人