限量版爱你128-优快云博客

原创 Hadoop完全分布式运行模式

1）安装JDK 卸载现有JDK （1）查询是否安装Java软件： [zz@hadoop101 opt]$ rpm -qa | grep java （2）如果安装的版本低于1.7，卸载该JDK： [zz@hadoop101 opt]$ sudo rpm -e 软件包（3）查看JDK安装路径： [zz@hadoop101 ~]$ which java 用SecureCRT工具将JDK导入到opt目录下面的software文件夹下面在Linux系统下的opt目录中查看软件包是否导入成功 ..

2021-11-16 11:03:16 1820

原创 postgres创建只读用户

postgres 创建只读用户以及后续为单独一张表添加操作权限

2024-01-08 16:54:47 1485

原创 CDH详细安装教程

点击完成后选择自定义安装点击hdfs 继续进入安装教程还需要安装其他程序可在安装完成之后继续安装就ok了开启Cloudera Management Service服务之后会显示对应的图表

2022-02-24 17:36:19 369

原创 Cloudera Manager详细安装教程

1.1内存分配将3台虚拟机分配好内存一号机尽量多分配点资源 1.2 JDK安装在/opt目录下创建文件夹（1）在/opt目录下创建module、software文件夹 [zz@hadoop102opt]$ sudo mkdir module [zz@hadoop102opt]$ sudo mkdir software （2）修改module、software文件夹的所有者cd [zz@hadoop102opt]$ sudo chown zz:zz module/ ...

2022-02-24 16:54:47 4061 5

原创 INNODB和MYISAM的区别

innodb myisam 事务支持事务不支持事务索引聚集索引，使用 B+ 树作为索引结构，数据文件和索引绑在一起，必须要有主键。主键索引一次查询；辅助索引两次查询，先查询主键，再查询数据。非聚集索引，使用 B+ 树作为索引结构，索引和数据文件是分离的。主键索引和辅助索引是独立的。锁支持行锁、表锁。行锁...

2022-02-08 20:48:06 710

原创 Hadoop-常用端口

1.HDFS 8020/9000 NameNode 内部常用端口 50070 NameNode 用户页面查询端口 50470 NameNode https服务的端口 50010 DataNode DataNode初始化时向NAMENODE提出注册和应答请求 50075 DataNode http服务端口 50470 DataNode https服务端口 50020 DataNode ipc服务端口 8485 Journalnode RPC服务端口 8480 Jour

2022-01-31 16:54:26 2154

原创 Linux——组管理和权限管理

1.1Linux组基本介绍在linux中的每个用户必须属于一个组，不能独立于组外。在linux中每个文件有所有者、所在组、其它组的概念。 1) 所有者 2) 所在组 3) 其它组 4) 改变用户所在的组 1.2文件/目录所有者一般为文件的创建者,谁创建了该文件，就自然的成为该文件的所有者。 (1)查看文件的所有者指令： ls –ahl (2)修改文件所有者指令： chown 用户名文件名 1.3组的创建基本指令 groupadd 组名 1.4...

2022-01-26 23:40:54 193

原创 Linux——用户管理

1. 基本介绍 Linux系统是一个多用户多任务的操作系统，任何一个要使用系统资源的用户，都必须首先向系统管理员申请一个账号，然后以这个账号的身份进入系统。 2. 添加用户基本语法 useradd 用户名案例:添加一个用户 xiaoming 细节说明当创建用户成功后，会自动的创建和用户同名的家目录【/home/xiaoming】也可以通过 useradd -d /home/skyorder2 新的用户名jack2，给新创建的用户指定家目录 3. 指定/修改密码 ...

2022-01-26 23:17:05 114

原创 Linux的目录结构

一，基本介绍： linux的文件系统是采用级层式的树状目录结构，在此结构中的最上层是根目录“/”，然后在此目录下再创建其他的目录。在Linux世界里，一切皆文件。二，Linux目录结构：三，具体的目录结构: 1. bin (/usr/bin 、 /usr/local/bin) 是Binary的缩写, 这个目录存放着最经常使用的命令。 2. sbin (/usr/sbin 、 /usr/local/sbin) s就是Super User的意思，这里存放的是系统管理员使用的系统管.

2022-01-26 00:09:55 145

原创 String 类的常用方法都有那些？

indexOf()：返回指定字符的索引。 charAt()：返回指定索引处的字符。 replace()：字符串替换。 trim()：去除字符串两端空白。 split()：分割字符串，返回一个分割后的字符串数组。 getBytes()：返回字符串的 byte 类型数组。 length()： ...

2021-12-14 19:29:20 340

原创 MapReduce

1. MapReduce定义 2. MapReduce优点 3. MapReduce缺点 4. MapReduce编程规范 5. 流程示意图 6. Shuffle机制 7. Shuffle过程详解 1.MapTask收集我们的map()方法输出的kv对，放到内存缓冲区中 2.从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件 3.多个溢出文件会被合并成大的溢出文件 4.在溢出过程及合并的过程中，都要调用Partitioner进行分区和针对ke...

2021-12-09 12:16:23 128

原创 Hadoop序列化

序列化概述

2021-12-09 11:56:46 697

原创 Hadoop资源调度器

目前，Hadoop作业调度器主要有三种：FIFO、Capacity Scheduler和Fair Scheduler。Hadoop2.7.2默认的资源调度器是Capacity Scheduler。具体设置详见：yarn-default.xml文件 1．先进先出调度器（FIFO） 2．容量调度器（Capacity Scheduler） 3．公平调度器（Fair Scheduler） ...

2021-12-09 11:51:52 1126

原创 Yarn资源调度器

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。 Yarn基本架构 Yarn工作机制工作机制详解（1）MR程序提交到客户端所在的节点。（2）YarnRunner向ResourceManager申请一...

2021-12-09 11:47:01 174

原创 Hadoop企业优化

MapReduce优化方法 MapReduce优化方法主要从六个方面考虑：数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。 1. 数据输入 2. Map阶段 3. Reduce阶段 4. I/O传输 5. 数据倾斜问题 6.常用的调优参数 1．资源相关参数（1）以下参数是在用户自己的MR应用程序中配置就可以生效（mapred-default.xml）（2）应该在YARN启动之前就配置在服务器的配置文件中才能生效（...

2021-12-09 11:35:48 134

原创 2003 can‘t connect to mysql server on 10038

好长时间不用MySQL，再次使用出现这个问题！解决办法：管理员身份进去cmd 进入到MySQL的bin目录下输入： mysqld -install 显示： Service successfully installed 反手一波重启再次尝试链接，如果还是链接不是管理员身份cd进入mysql的bin目录下： cd C:\Program Files\MySQL\MySQL Server 5.5\bin 输...

2021-11-25 11:34:38 621

原创 HBaseAPI

1. 环境准备新建项目后在pom.xml中添加依赖： <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>1.3.1</version> </dependency> <dependency> <groupId...

2021-11-22 10:53:39 1092

原创 HBase安装

1. Zookeeper正常部署首先保证Zookeeper集群的正常部署，并启动之： [zz@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start [zz@hadoop103 zookeeper-3.4.10]$ bin/zkServer.sh start [zz@hadoop104 zookeeper-3.4.10]$ bin/zkServer.sh start 2. Hadoop正常部署 Had...

2021-11-22 10:26:42 132

原创 HBase优化

1. 高可用在HBase中Hmaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果Hmaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。 1．关闭HBase集群（如果没有开启则跳过此步） [zz@hadoop102 hbase]$ bin/stop-hbase.sh 2．在conf目录下创建backup-masters文件 ...

2021-11-22 10:13:41 291

原创 HBase原理

1. 读流程 1. Client先访问zookeeper，从meta表读取region的位置，然后读取meta表中的数据。meta中又存储了用户表的region信息； 2. 根据namespace、表名和rowkey在meta表中找到对应的region信息； 3. 找到这个region对应的regionserver； 4. 查找对应的region； 5. 先从MemStore找数据，如果没有，再到BlockCach...

2021-11-22 09:59:24 137

原创 HBase命名空间

1.Table：表，所有的表都是命名空间的成员，即表必属于某个命名空间，如果没有指定，则在default默认的命名空间中。 2.RegionServergroup：一个命名空间包含了默认的RegionServerGroup。 3.Permission：权限，命名空间能够让我们来定义访问控制列表ACL（Access Control List）。例如，创建表，读取表，删除，更新等等操作。 4.Quota：限额，可以强制一个命名空间可包含的region的数量。 ...

2021-11-22 09:49:47 1878

原创 HBase数据结构

1. RowKey 与nosql数据库们一样,RowKey是用来检索记录的主键。访问HBASE table中的行，只有三种方式： 1.通过单个RowKey访问 2.通过RowKey的range（正则） 3.全表扫描 RowKey行键 (RowKey)可以是任意字符串(最大长度是64KB，实际应用中长度一般为 10-100bytes)，在HBASE内部，RowKey保存为字节数组。存储时，数据按照RowKey的字典序(byte order)排序存储。设...

2021-11-22 09:47:37 339

原创 HBase 简介

1 什么是HBase HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。官方网站：http://hbase.apache.org 2006年Google发表BigTable白皮书 2006年开始开发HBase 2008年北京成功开奥运会，程序员默默地将HBase弄成了Hadoop的子项目 2010年HBas...

2021-11-19 19:55:42 208

原创克隆虚拟机

1. 克隆虚拟机启动虚拟机 2. 修改克隆虚拟机的静态IP [root@hadoop101 /]#vim /etc/sysconfig/network-scripts/ifcfg-eth0 需要修改的内容有5项： IPADDR=192.168.1.101 GATEWAY=192.168.1.2 ONBOOT=yes BOOTPROTO=static DNS1=192.168.1.2 修改前修改后：wq 保存退出 3）执行service ne...

2021-11-16 10:13:52 1513

原创 Flume到kafka

# Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = exec a1.sources.r1.command = tail -F -n +0 /opt/module/flume-1.7.0/data.csv a1.sources.r1.shell = /bin/bash -c # Desc.

2021-11-16 10:00:08 632

m0_63449353的博客