- 博客(15)
- 收藏
- 关注
RSS订阅原创 Hadoop HA架构原理
在大数据各组件中,大部分的都是主从架构,当主节点挂了后(主节点只有一个),整个大数据生产线无法完整的跑下去,而其中最重要的就是存储节点 HDFS中SecondaryNameNode（SNN）缺点：每小时做一次checkpoint的操作，如果NameNode(NN)挂了，SNN只能恢复上一次的checkpoint的状态，而不能实时切换到NN挂的状态，这就是SNN的瓶颈。 HA目的：做两个主节点,一个...
2019-08-22 00:50:48
330
原创 Hive常用
创建表: 创建内部表 create table dept ( deptno int, dname string, loc int ) row format delimated fields terminated by ',' ; --分隔符按照自己文件数据来设置 create table dept2 like dept; --拷贝表结构,不拷贝数据 create ...
2019-08-04 17:04:49
236
原创 Hive-1.1.0-cdh5.15.1安装
Hive官网:hive.apache.org Hive的诞生:解决用MR来开发业务逻辑太过繁琐的问题 Hive的特点: 用于解决海量的结构化日志的统计问题,刚开始是作为Hadoop的一个子项目,后面才单独成为一个项目 Hive是构建在Hadoop之上的数据仓库,适合离线处理 Hive是一个客户端,非集群,执行时将SQL提交到Hadoop集群上执行 Hive是一个类SQL的框架,提供HQL语句 H...
2019-08-02 01:02:01
1529
2
原创 MySQL练习题
—dept部门表 deptno部门编号 dname部门名称 loc地点 create table dept ( deptno numeric(2), dname varchar(14), loc varchar(13) ); insert into dept values (10, 'ACCOUNTING', 'NEW YORK'); insert into dept ...
2019-08-01 22:44:54
1223
原创 记录一次hadoop进程起不来
在测试机中换了一个版本的hadoop,发现进程都起不来,查了一下log,发现是端口被占用 java.net.BindException: Port in use: 0.0.0.0:50070 at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:963) at org.apache.hadoop.http.Ht...
2019-07-25 23:12:15
226
原创 HDFS读写流程
HDFS读数据流程 客户端调用FileSystem 实例的open 方法，获得这个文件对应的输入流InputStream。 通过RPC 远程调用NameNode ，获得NameNode 中此文件对应的数据块保存位置，包括这个文件的副本的保存位置( 主要是各DataNode的地址) 。 获得输入流之后，客户端调用read 方法读取数据。选择最近的DataNode 建立连接并读取数据。 如果客户端...
2019-07-23 23:29:49
127
原创 Hadoop基础
人们常说的Hadoop狭义上说的是Hadoop架构，广义上是指以Hadoop为核心的生态圈 官网：hadoop.apache.org 版本： apache版,Apache公司开源,需要编译 cdh版,cloudera公司开源,兼容性会好一点 hadoop架构主要由三个节点组成: HDFS:分布式文件存储 YARN:分布式资源分配 MapReduce:分布式计算 模式 Local (Stand...
2019-07-23 23:14:47
177
原创 MySQL常用
数据语言 DDL:数据定义语言,如create,drop,alter DML:数据操作语言,如insert,update,delete,select DCL:数据控制语言,如grant 常用的数据类型 int:整数(位长11,可以保存11位以下的整数)- long:长整数 float:单精度小数(小数为1,七个有效位) double:双精度小数(小数为2,十五个有效位) decimal:数字...
2019-07-16 23:22:29
112
原创 Hadoop-2.6.0-cdh5.7.0安装
下载hadoop包 http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/ 安装前需要提前安装好JDK 创建专门的维护用户 hadoop,并赋权限 [root@hadoop001 ~]# useradd hadoop [root@hadoop001 ~]# chown -R hadoop:hadoop /opt/softwar...
2019-07-10 00:37:27
762
1
原创 MySQL5.6安装部署
下载MySQL的jar包 上传到Linux服务器: rz命令上传mysql-5.6.23-linux-glibc2.5-x86_64.tar.gz
2019-07-03 21:23:00
553
原创 Linux常用命令(三)
进程和端口号 查看当前所有正在运行的进程 ps -ef 2.查看所有正在运行的tail进程 ps -ef | grep tail root 16923 16885 0 19:12 pts/1 00:00:00 tail -F shell.log root 16929 15916 0 19:12 pts/0 00:00:00 grep --color=auto t...
2019-07-02 23:35:22
142
原创 Linux常用命令（二）
别名:一些常用命令并且比较长的话我们可以用别名代替 [hadoop001@JD ~]$ alias alias egrep='egrep --color=auto' alias fgrep='fgrep --color=auto' alias grep='grep --color=auto' alias l.='ls -d .* --color=auto' alias ll='ls -l --co...
2019-07-01 23:49:38
104
原创 Linux常用命令(一)
用户 系统用户：root，目录是在/root 普通用户：自己创建的用户，目录是在/home/xxx 绝对路径：从根目录开始一级一级往下。 如：/home/hadoop001/ 相对路径：是指从当前所在路径进入上一级或下一级 查看 pwd：显示当前所在路径 ls：查看当前路径下所有的文件的名称或文件夹的名称（不包括隐藏文件） ls -a：查看当前路径下所有文件名称或文件夹的名称（包括隐藏文件） l...
2019-06-18 23:01:56
184
原创 Linux安装
首先下载VMware https://www.vmware.com/cn.html 我这里用的是VNware14,系统是centos6.5 下载后一直下一步安装即可 打开后点击"文件" -->“新建虚拟机” 磁盘大小看自己需要 设置内存大小和镜像文件,内存建议最小2G 设置完开机 下面没有鼠标,用键盘的上下左右,过几步就有了,但是只能在VMware中,按住ctrl+alt切换到...
2019-06-16 17:20:45
107
转载 CDH集群调优：内存、Vcores和DRF
吐槽 最近“闲”来无事，通过CM把vcores使用情况调出来看了一眼，发现不论集群中有多少个任务在跑，已分配的VCores始终不会超过120。而集群的可用Vcores是360（15台机器×24虚拟核）。这就相当于CPU资源只用到了1/3，作为一个半强迫症患者绝对不能容忍这样的事情发生。 分析的过程不表，其实很简单就是几个参数的问题。本以为CM能智能的将这些东西配好，现在看来好像不行。以下记录结...
2019-02-15 16:31:10
353
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人