- 博客(111)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【Ambari】hadoop-yarn 组件YARN Registry DNS启动报错
启动YARN Registry DNS报错信息如下：resource_management.core.exceptions.ExecutionFailed: Execution of 'ambari-sudo.sh -H -E /usr/hdp/3.1.0.0-78/hadoop-yarn/bin/yarn --config /usr/hdp/3.1.0.0-78/hadoop/conf --daemon start registrydns' returned 1. ERROR: Cannot set p
2020-06-02 14:19:37
3304
原创 【Flume】Flume 自定义服务监控
Flume 自定义服务监控在此可以查看一下flume支持的监控指标https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#available-component-metrics支持四种监控报告方式：JMX ReportingGanglia ReportingJSON ReportingCustom Rep...
2020-03-29 16:13:17
846
原创 【Ambari】ambari metrics 启动报错hbase-xxx-master.pid doesn‘t exist
文章目录问题描述解决办法问题描述在ambari启动ambari-metrics总是报错：resource_management.core.exceptions.Fail: Pid file /var/run/ambari-metrics-collector//hbase-ocdp-master.pid doesn't exist after starting of the component....
2020-03-25 14:19:30
3812
1
原创 【HBase】关于rowkey排序实践案例(自定义数字生成rowkey问题)
从生成hfile问题发现rowkey排序机制假如，我们要手动生成hfile到hdfs中，然后再通过bulkload将hifle导入到hbase数据库中现在我要提前生成100个rowkey// 生成rowkey list private List<String> getRowKeyList(String rowsNum) { List<String> list ...
2020-03-13 11:58:05
696
原创 【ELK】RPM 方式安装 ELASTICSEARCH及碰到的问题
RPM 方式安装 ELASTICSEARCH开始安装官方安装链接我们都知道elasticsearch不允许用root用户启动，但是rpm方式安装在root下和非root下安装都是一样的,非root安装，需要sudo，并输入密码而已注意日志中一些提示就行了，比如：Created elasticsearch keystore in /etc/elasticsearch,配置文件也都在这个目...
2020-03-11 21:27:00
1015
原创 【Mac】Mac 下配置问题
Mac 下配置/etc/hosts永久生效问题在mac系统下，无论是直接vim /etc/hosts还是 sudo vim /etc/hosts ，添加的映射信息都会不时清空，找了好久都不知道为啥？今天才发现，不应该在VPN客户端运行时编辑/etc/hosts，因为当你关闭VPN客户端时，这些更改将被删除。要使更改永久，请在启动VPN客户端之前编辑/etc/hosts文件。...
2020-03-09 08:52:35
555
原创 【HBase】Hbase 高级应用
文章目录1. 建表高级属性1.1 BLOOMFILTER（布隆过滤器）1.2 VERSIONS（版本号）1.3 COMPRESSION（压缩）1.4 TTL（Time To Live）1.5 Alter（修改表）1.6 describe/desc（查看表详细信息）1.7 disable_all/enable_all1.8 drop_all1.9 HBase 预分区2. 表设计2.1 列...
2020-03-08 16:08:21
355
原创 【HBase】HBase 底层原理
文章目录1. 系统架构2. 物理存储2.1 整体物理结构2.2 Storefile 和 HFile 结构2.3 MemStore 和 StoreFile2.4 HLog(WAL) 预写日志3. 寻址机制3.1 老的region寻址方式3.2 新的region寻址方式4. 读写过程4.1 读请求过程4.2 写请求过程5. RegionServer 的工作机制6. Master 工作机制1. 系统架...
2020-03-07 17:42:35
417
原创 【Hbase】hbase 基础知识
文章目录1. hbase数据库介绍1.1 产生背景1.2 简介2. hbase 集群结构3. hbase和hive比较1. hbase数据库介绍1.1 产生背景自 1970 年以来，关系数据库用于数据存储和维护有关问题的解决方案。大数据的出现后， 好多公司实现处理大数据并从中受益，并开始选择像 Hadoop 的解决方案。Hadoop 使用分 布式文件系统，用于存储大数据，并使用 MapRed...
2020-03-07 14:50:47
205
原创 【HBase】HBase 高级编程
文章目录1. HBase 结合 mapreduce1.1 HBase—>HDFS1.2 HDFS—>HBase2. HBase 和 mysql 进行数据互导2.1 MySQL—>HBase2.2 HBase—>MySQL3. HBase 整合 hive3.1 原理3.2 准备HBase表和数据3.3 Hive端操作3.4 验证1. HBase 结合 mapreduce...
2020-03-07 11:15:40
402
原创 【Zookeeper】删除zookeeper中受acl保护的znode
环境描述在开启了kerberos的ambari集群中，想要删除/hbase-secure节点[zk: host-10-211-55-60(CONNECTED) 11] getAcl /hbase-secure'world,'anyone: r'sasl,'hbase: cdrwa[zk: host-10-211-55-60(CONNECTED) 11] rmr /hbase-secu...
2020-03-06 14:12:32
2410
原创 【Kerberos】mac下安装kerberos
目录brew install krb5brew install krb5$ brew install krb5 Updating Homebrew...==> Auto-updated Homebrew!Updated 1 tap (homebrew/services).No changes to formulae.==> Installing dependenc...
2020-03-05 08:07:36
6761
原创 【Kerberos】配置浏览器可访问开启了kerberos的ambari Web UI
开启了Kerberos后发现集群中好多webui界面都打不开了，需要认证按下面步骤配置即可：本机安装kerberos客户端 (mac默认就安装了)下载/etc/krb5.conf到本机对应位置下载/etc/security/keytabs/smokeuser.headless.keytab到本机在本机执行kinit -kt smokeuser.headless.keyta...
2020-03-04 18:22:27
2404
13
原创 【Kerberos】开启了kerberos的ambari中组件shell访问
Ambari 与 Kerberos在 Ambari 环境中，Kerberos 本身是作为 Ambari 的一个 Service 而存在。当用户通过 Ambari 的 Automated Kerberization 机制启用 Kerberos 认证的时候，Ambari 会为各个 Service 创建对应的 Principal 以及 Keytab 文件。在 Linux Redhat6（CentOS ...
2020-03-03 10:37:46
1015
原创 【Activiti】activiti 手动回退一个结束的流程
文章目录1. 引言2. 准备3. 回退3.1 先用sql试验回退activiti表3.2 代码实现回退activiti流程1. 引言最近有一个流程回退的任务，于是就上网搜，发现流程回退大都是针对没有结束的流程回退到上一步，而且给出的方法大都如吻末给出的相关链接中操作方式，试了试好像都不太好使。于是就参照着网上的方法，顺带看接口看源码，试了试感觉总是不够灵活，还容易出错。后来想了想，其实他流...
2020-03-02 20:55:50
7844
16
原创 【Ranger】如何卸载ranger
ProcedureTo uninstall Ranger plugin:On the command line, run the following to list the Ranger services that are installed:yum list installed | grep ranger*After getting the list of the services, r...
2020-03-02 20:33:12
1676
原创 【Kerberos】ambari启用kerberos 报错处理
文章目录一、 ambari中启用kerberos报错Invalid KDC administrator credentials. Please enter admin principal and password.二、Can not fetch master key (error: No such file or directory). while initializing kadmin.loca...
2020-03-02 19:15:29
6193
1
原创 【Kerberos】kerberos单节点安装及卸载
文章目录1. Kerberos主kdc安装1.1 安装kerberos服务1.2 配置kerberos服务1.2.1 配置krb5.con1.2.2 配置kdc.conf1.2.43 创建kadm5.acl1.3 创建kerberos数据库1.4 创建管理员(admin/admin@HONEY.COM)(*注：根据提示输入密码)1.5 在master KDC上启动Kerberos daemons2...
2020-03-02 19:11:41
5900
原创 【Kerberos】kerberos 工作流程图
刚开始熟悉Kerberos，看了一些文章太枯燥，看完了只记得大概步骤，每一步都干了啥还是不清楚，索性打开kerberos官方文档，看着介绍画了这个图，图中如有不对的地方，欢迎指出，不胜感谢。本文偏向于工作流程，关于原理的东西网上挺多的，就不多说了其它原理介绍相关参考链接：https://cloud.tencent.com/developer/article/1200367https://b...
2020-02-29 10:48:00
1252
原创 【Ranger】hortonworks ambari安装ranger错误解决
文章目录安装时依次解决的问题1 /usr/hdp/current/ranger-usersync/conf doesn't exist2. Access denied for user 'root'@'10.211.55.60' to database 'mysql' ErrorCode: 10443. cannot change directory to /home/ranger: Permi...
2020-02-27 09:56:04
3951
1
原创 Windows下利用jad批量反编译class文件
批量反编译步骤：1.下载jad.exe2.将下载好的jad.exe文件放到%JAVA_HOME%\bin目录下（或放置到其它配置了环境变量的目录下），如：我放到D:\Program Files\Java\jdk1.8.0_65\bin3.cmd 进入dos命令下，跳转到配置好的环境目录下（即上一步jad.exe的放置目录下），如：我要cd转到D:\Program Files\Java\
2020-02-23 10:04:42
7799
原创 【Ambari】Build and install Ambari 2.7.5
文章目录环境准备1. download and build1.1 download1.1.1 下载源码包(清华镜像)1.1.2 mvn versions:set -DnewVersion=2.7.5.0.01.1.3 pushd ambari-metrics1.1.4 mvn versions:set -DnewVersion=2.7.5.0.01.1.5 popd1.2 build1.3 bui...
2020-02-23 09:59:42
10167
7
原创 【Hadoop】hortonworks/hadoop-release-HDP-3.1.5.1-2-tag build log
文章目录源码包下载地址buid 命令buid 过程问题及解决办法添加 hdp repo清除本地maven repo中的lastUpdatedSSL peer shut down incorrectly源码包下载地址源码地址：https://github.com/hortonworks/hadoop-release/releases/tag/HDP-3.1.5.1-2-tagbuid 命令t...
2020-02-23 09:55:36
3452
5
原创 【Hbase】hbase过滤查询
文章目录引言hbase 过滤器的比较运算符hbase 过滤器的比较器（指定比较机制）hbase 过滤器分类比较过滤器专用过滤器引言过滤器的类型很多，但是可以分为两大类——比较过滤器，专用过滤器过滤器的作用： 是在服务端判断数据是否满足条件，然后只将满足条件的数据返回给客户端hbase 过滤器的比较运算符LESS <LESS_OR_EQUAL <=EQUAL =NOT_E...
2020-02-22 19:54:26
976
原创 【RPM】rpmrebuild 提取spec重新打包rpm示例
rpmrebuild 安装rpmrebuild-2.11-3.el7.noarch.rpm 详情页https://centos.pkgs.org/7/epel-x86_64/rpmrebuild-2.11-3.el7.noarch.rpm.html安装步骤：#1. Download latest epel-release rpm from http://download-ib01.fedo...
2020-02-22 11:00:04
6016
3
原创 【Maven】maven _remote.repositories 导致的local repository有依赖仍报找不到依赖问题
引言在build工程时，发现有依赖明明在local repository路径~/.m2/repository/org/apache/hadoop/hadoop-build-tools/3.1.1.3.1.0.0-78下已经有了，却仍然报找不到依赖开始看到这个错误思考：报的是https://repo.maven.apache.org/maven2找不到这个依赖，去该仓库确实没有，要添加第三...
2020-02-20 09:26:14
6671
原创 【工具使用】mac 安装 protobuf 2.5.0
由于brew install protobuf 默认安装最新版本而brew reinstall protobuf@2.5.0会报Error: No available formula with the name "protobuf@2.5.0"所以不用brewpip 安装也有问题下载https://github.com/protocolbuffers/protobuf/releases/...
2020-02-14 11:13:50
4420
1
原创 【Hbase】hbase java api 增删改查
几个主要 Hbase API 类和数据模型之间的对应关系：java类HBase 数据模型Admin数据库（DataBase)HBaseConfigurationTable表（Table)HTableDescriptor列簇（Column Family)HColumnDescriptorPut列修饰符（Column Qualifier）Get...
2020-02-12 18:41:43
255
原创 【Hbase】hbase高可用集群搭建
文章目录准备安装1. 解压2. 修改配置文件3. 分发修改后的安装包到其它节点4. 配置环境变量5. 别忘记时间同步6. 启动（顺序要注意）7. 检查是否启动成功8. 如果有节点相应的进程没有启动，那么可以手动启动准备安装hadoop集群安装zookeeper集群官网下载：http://hbase.apache.org/downloads.html我们这里选择下载链接：http://mi...
2020-02-06 17:28:09
460
1
原创 【Mysql】Linux RPM 方式安装 MySQL
文章目录Linux RPM 方式安装 MySQL1 检查以前是否有安装Mysql，卸载2 下载安装包3 开始安装4 重置数据库密码5 修改mysql密码过期问题(无则跳过)6 解决Your password does not satisfy the current policy requirements7 增加远程登陆权限Linux RPM 方式安装 MySQL（记得使用 root 账户进行操...
2020-01-20 16:25:49
373
原创 【Zookeeper】zookeeper 原理和应用
文章目录1. zookeeper原理解释1.1 集群角色描述1.2 Paxos 算法概述（ZAB协议）1.2.1 zookeeper 的全新集群选主1.2.2 zookeepr 的非全新集群选主1.3 数据同步1.4 zookeeper 工作流程1.4.1 leader 工作流程1.4.2 follower 工作流程1.4.3 observer 工作流程1.4.4 zookeeper 写数据流程2...
2020-01-20 15:47:51
545
原创 [Hadoop] hadoop 2.7完全分布式高可用部署
文章目录1. hadoop ha 原理描述2. 集群规划3. 集群服务器准备1. 配置IP和主机名称映射2. 关闭防火墙3. 关闭selinux4. 同步时间5. 配置sudo权限6. 安装jdk环境7. 切换用户配置ssh免密登录8. 安装zookeeper集群4. 集群安装1. 下载包hdoop-2.7.7.tar.gz2. 配置hadoop文件3. 配置环境变量4. 分发安装包到其它主机4....
2020-01-20 15:45:12
816
原创 【Zookeeper】zookeeper 基础知识
文章目录1. 引言2. ZooKeeper 是什么3. Zookeeper 核心概念3.1 文件系统3.2 监听机制3.3 监听机制原理4. Zookeeper 典型应用场景4.1 命名服务4.2 配置管理4.3 集群管理4.4 分布式锁4.5 队列管理5. Zookeeper 特点/设计目的5. Zookeeper 集群使用5.1 ZooKeeper 集群 cli 使用5.2 ZooKeeper...
2020-01-19 09:00:56
496
原创 【Zookeepr】分布式一致性相关理论
文章目录分布式一致性理论计算机的发展分布式一致性的问题分布式一致性级别事务CAP 理论BASE理论Quorum NRW分布式事务Paxos算法分布式一致性理论计算机的发展从集中式到分布式：最大的特点就是部署简单。集中式：底层都是采用性能卓越的大型主机，一个节点单独完整作业，不用考虑多个节点之间的协调问题分布式：概念分布式系统是一个硬件或软件组件分布在不同的网络计算机上，彼此之间仅仅...
2020-01-16 18:30:55
484
原创 【Zookeeper】zookeeper 3.4.10 安装
文章目录1. 解压2. 配置环境变量3. 修改zookeeper配置文件4. 拷贝已修改好配置文件的安装包到其它节点5. 启动zookeeper6. 启动集群时的选主过程1. 解压[hdp01@hdp01 apps]$ tar zxvf zookeeper-3.4.10.tar.gz软链接 防止替换包，还得改配置[hdp01@hdp01 apps]$ ln -s zookeeper-3.4...
2020-01-16 16:50:08
711
原创 【Hive】hive影评案例
文章目录数据描述数据要求题目1. 正确建表，导入数据（三张表，三份数据），并验证是否正确2. 求被评分次数最多的10部电影，并给出评分次数（电影名，评分次数）3. 分别求男性，女性当中评分最高的10部电影（性别，电影名，影评分）4. 求movieid = 2116这部电影各年龄段（因为年龄就只有7个，就按这个7个分就好了）的平均影评（年龄段，影评分）5. 求最喜欢看电影（影评次数最多）的那位女性评...
2020-01-15 16:52:43
3376
原创 【Hive】hive 微博案例
文章目录数据准备及描述数据描述数据样例字段描述数据存储准备开始功能需求1. 数据处理：针对数据问题，请给出对应的解决方案（15分）2. 组织数据（10分）3. 统计微博总量 和 独立用户数（7分）4. 统计用户所有微博被转发的次数之和，输出top5用户，并给出次数（7分）5. 统计带图片的微博数（7分）6. 统计使用iphone发微博的独立用户数（7分）7. 将微博的点赞人数和转发人数相加求和，并...
2020-01-11 22:09:07
1473
1
原创 【Hive】hive窗口函数/分析函数 over子句
文章目录over子句介绍1. 什么是over子句2. over子句的开窗范围3. window clause4. over子句默认值4.1 order by4.2 partition by4.3 partition by + order by几个常用开窗函数案例引出row_numberrankdense_rank案例答案over子句介绍over子句参考链接 https://blog.csdn....
2020-01-05 21:02:33
1255
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人