prefect_start的博客

所以在安全的Hadoop环境下，Kylin不需要做额外的配置，只需要具备一个Kerberos主体，进行常规的认证即可。若Presto对接的是Hive数据源，由于其需要访问Hive的元数据和HDFS上的数据文件，故也需要对Hive Connector进行Kerberos认证。启用Kerberos认证之后，关闭HBase时，需先进行Kerberos用户认证，认证的主体为hbase。但是Kylin所依赖的HBase需要进行额外的配置，才能在安全的Hadoop环境下正常工作。以下说明均基于普通用户。

整个kerberos认证的过程较为复杂，三次通信中都使用了密钥，且密钥的种类一直在变化，并且为了防止网络拦截密钥，这些密钥都是临时生成的Session Key，即他们只在一次Session会话中起作用，即使密钥被劫持，等到密钥被破解可能这次会话都早已结束，这为整个kerberos认证过程保证了较高的安全性。kerberos认证的整体流图kerberos认证的时序图本地登录（无需认证）远程登录（需进行主体认证，认证操作见下文）退出输入：exit2. 创建Kerberos主体。

RangerUsersync作为Ranger提供的一个管理模块，可以将Linux机器上的用户和组信息同步到RangerAdmin的数据库中进行管理。Ranger Hive-plugin是Ranger对hive进行权限管理的插件。需要注意的是，Ranger Hive-plugin只能对使用jdbc方式访问hive的请求进行权限管理，hive-cli并不受限制。

1、Hadoop HA 高可用1.1、HDFS-HA 核心问题1.1.1、 怎么保证三台 namenode 的数据一致Fsimage:让一台 nn 生成数据,让其他机器 nn 同步Edits:需要引进新的模块 JournalNode 来保证 edtis 的文件的数据一致性1.1.2、 怎么让同时只有一台 nn 是 active，其他所有是 standby 的手动分配.自动分配1.1.3、 2nn 在 ha 架构中并不存在，定期合并 fsimage 和 edtis 的活谁来干由 s

Zabbix是一款开源的网络监控、管理和预警系统，可以监控各种网络设备和应用程序，并提供了丰富的通知方式和可视化展示功能。它可以帮助企业实时监测IT基础设施的状态和性能，快速定位和解决潜在问题，使得企业的IT运维更加高效、可靠和安全。

flink的转换算子、聚合算子、输出算子以及案例实操

Flink独立资源、yarn提供资源模式中的会话模式部署、单作业模式部署、应用模式部署

Superset数据探索以及可视化

Flume集群安装部署、Kafka集群安装部署以及Maxwell安装部署实战

Hadoop集群中HDFS的API测试案例以及MapReduce的多种提交Job方式案例

HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。

DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。Oracle Database，又名 Oracle RDBMS，或简称 Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说 Oracle 数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。.

rabbitmq详解

1、RocketMQ安装下载地址：https://archive.apache.org/dist/rocketmq/4.3.2/rocketmq-all-4.3.2-bin-release.zip在这里安装的是4.3.2版本的1.1、非Docker安装1.1.1、上传安装包1.1.2、解压安装包unzip rocketmq-all-4.3.2-bin-release.zip1.1.3、启动nameserver 需要jdk环境（jdk安装）bin/mqnamesrv1.1.4、启动na

1、Hive 基本概念1.1、什么是 Hive1） Hive简介Hive：由 Facebook 开源用于解决海量结构化日志的数据统计工具。Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。2） Hive本质：将 HQL 转化成 MapReduce 程序（1）Hive 处理的数据存储在 HDFS（2）Hive 分析数据底层的实现是 MapReduce（3）执行程序运行在 Yarn 上1.2、Hive 的优缺点1.2.1、优

10、Paxos 算法Paxos算法：一种基于消息传递且具有高度容错特性的一致性算法。Paxos算法解决的问题：就是如何快速正确的在一个分布式系统中对某个数据值达成一致，并且保证不论发生任何异常（机器宕机、网络异常），都不会破坏整个系统的一致性。10.1、Paxos算法描述• 在一个Paxos系统中，首先将所有节点划分为Proposer（提议者），Acceptor（接受者），和Learner（学习者）。（注意：每个节点都可以身兼数职）。一个完整的Paxos算法分为三个阶段：Prepare准

1、载window版本 hadoop 解压到非中文路径D:\develop\hadoop\hadoop-3.1.01、配置 HADOOP_HOME 环境 变量原因是缺少window依赖，安装下载即可

1、时间同步如果服务器能连接外网，可以不采用集群时间同步，因为服务器会定期和公网时间进行校准；如果服务器不能连接外网，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步1.1、切换root用户1.2、检查ntp是否安装rpm -qa|grep ntp1.3、修改 hadoop102 的 ntp.conf 配置文件systemctl status ntpdsystemctl start ntpdsystemctl is-enabled ntpd1.

1、集群启动/停止方式总结1.1、整体启动/停止 HDFSstart-dfs.sh/stop-dfs.sh 1.2、整体启动/停止 YARNstart-yarn.sh/stop-yarn.sh 1.3、分别启动/停止 HDFS 组件hdfs --daemon start/stop namenode/datanode/secondarynamenode 1.4、启动/停止 YARNyarn --daemon start/stop resourcemanager/nodemanager

1、配置历史服务器配置 mapred-site.xml<!-- 历史服务器端地址 将历史服务器mapreduce.jobhistory.address配置在hadoop102:10020内部通讯端口 --> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop102:10020</value> </property>

1、正常启动的集群102、103、104在这里模拟某一个节点挂掉（以杀死进程的方式模拟namenode服务器挂掉）这个时候去查看之前上传的文件，依然能够查看，但是该节点已经不能够下载文件，能够查看文件是因为该文件在其他的服务器上有文件备份。点击下载发现下载失败namenode服务器挂了之后，第一反应是重新格式化hdfs,重启服务器，重启服务器，需要先停止之前的102服务103服务104服务所有的服务停止完毕后，再重新开启发现有些节点并没有起来，而且服务也不能访

1、集群部署规划提醒：NameNode 和 SecondaryNameNode 不要安装在同一台服务器 ，（它们两个都需要耗内存，分开减少集群的压力）ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode 配置在同一台机器上。2、配置文件说明Hadoop 配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。2.1、默认配置文件2.2、自定义配置文件core-sit

SSH免密登录主要解决不同服务间访问需要密码的问题给要访问的服务发送公钥在要访问的服务器中会出现一个认证文件再次访问不需要密码

1、scp（secure copy）安全拷贝1.1、定义scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）1.2、基本语法scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称1.3、案例实操在hadoop102上，将hadoop101中/opt/module目录下

1、上传文件2、解压文件tar -zxvf hadoop-3.1.3.tar.gz -C /opt/model/解压到制定路径2、配置环境变量启动时，会遍历/etc/profile.d下的所有.sh文件，然后来进行全局生效，所以我们可以在/etc/profile.d下定义.sh文件来进行环境配置。进入该目录#JAVA_HOMEexport JAVA_HOME=/opt/model/jdk1.8.0_212export PATH=$PATH:$JAVA_HOME/bin#HA

1.安装jdk环境1.1、查看自带的jdk环境rpm -qa |grep -i java1.2、卸载自带的jdk环境rpm -qa |grep -i java | xargs -n1 rpm -e --nodepsrpm -qa 查看安装的所有rpm软件包grep -i 忽略大小写xargs -n1 表示每次只传递一个参数rpm -e --nodeps 强制卸载软件1.3、上传、解压文件解压文件tar -zxvf jdk-8u212-linux-x64.tar.gz -C /

1、安装VMware-workstation-15VMware-workstation-15的下载地址1.1、双击安装文件1.2、更改路径到自己的安装目录1.3、安装完成输入许可证号2、VM上手动安装CentOS72.1、创建虚拟机选择虚拟机的存放路径配置CPU个数。根据电脑性能，配置给虚拟机的处理器（CPU）。物理CPU个数×每颗核数就等于逻辑CPU的个数。具体的配置根据自身电脑来进行选择。内存大小也是根据自己电脑进行配置。也是根据自己电脑进行

下载地址链接：https://pan.baidu.com/s/1qIAYq8qOaQ9xsyx4y9SIIg提取码：deim复制这段内容后打开百度网盘手机App，操作更方便哦

1、Sleuth（全链路追踪）1.1、概要Spring Cloud Sleuth提供了一套完整的服务跟踪的解决方案，并且支持集成了zipkin。1.2、术语1.2.1、Trace：它是由一组有相同Trace ID的Span串联形成一个树状结构。为了实现请求跟踪，当请求到分布式系统的入口端点时，只需要服务跟踪框架为该请求创建一个唯一的跟踪标识（即前文提到的Trace ID），同时在分布式系统内部流转的时候，框架始终保持该传递的唯一标识，直到返回请求为止，我们通过它将所有请求过程中的日志关联起来；1

1、秒杀活动1.1、定时任务/** * 定时任务 * 1、@EnableScheduling 开启定时任务 * 2、@Scheduled开启一个定时任务 * * 异步任务 * 1、@EnableAsync:开启异步任务 * 2、@Async：给希望异步执行的方法标注 */@Slf4j@Component@EnableAsync@EnableSchedulingpublic class HelloScheduled { /**

springboot本地事务失效的问题解决方案:分布式事务出现的原因分布式一致性动画演示：http://thesecretlivesofdata.com/raft/raft是一个实现分布式一致性的协议，主要有领导选举、日志复制两个机制维持数据的一致性每个节点都有三个状态：followercandidateleader以及两个时间：自旋时间：从follower到candidate的时间（150ms-300ms）心跳时间：leader向fol

接口的幂等性分析以及解决方案具体方案：以提交订单为例提交订单创建令牌，生成订单校验令牌实体订单提交的部分实体提交订单创建token，存放reidis生成订单校验token，从redis中获取数据、比较数据、删除数据需要保证原子性lua脚本String script= "if redis.call('get', KEYS[1]) == ARGV[1] then return redis.call('del', KEYS[1]) else return 0 end

Feign远程掉调用丢失请求头问题解决方案：package com.song.gulimall.order.config;import feign.RequestInterceptor;import feign.RequestTemplate;import org.springframework.context.annotation.Bean;import org.springframework.context.annotation.Configuration;import org.sp

Mq介绍RabbitMq介绍执行流程docker 安装命令行docker run -d --name rabbitmq -p 5671:5671 -p 5672:5672 -p 4369:4369 -p 25672:25672 -p 15671:15671 -p 15672:15672 rabbitmq:management开机自动启动命令docker update rabbitmq --restart=always测试连接地址Springboot整合Rab

1、springboot 单点登录单点登录英文全称Single Sign On，简称就是SSO。它的解释是：在多个应用系统中，只需要登录一次，就可以访问其他相互信任的应用系统2、流程图3、流程解析现在有认证服务器 ssoserver.com，客户端client1.com和客户端client2.com 两个不同域名的服务器，并且没有子域名关系（如果两个客户端有子域名关系，session进行统一存储，可以通过SpringSession手动去设置session的作用域，放大作用域，取父域名最为

Springboot集成社交登录功能

分布式锁原理与使用 public Map<Long, List<Catalog2Vo>> getCatalogJson() { String catalogJson = stringRedisTemplate.opsForValue().get("CatalogJson"); if (StringUtils.isEmpty(catalogJson)) { // redis 分布式锁 S

springboot集成阿里短信功能pom <dependency> <groupId>com.aliyun</groupId> <artifactId>dysmsapi20170525</artifactId> <version>2.0.1</version> </dependency> <dependency&

异步和线程池问题package com.song.gulimall.gulimallsearch.thread;import java.util.concurrent.Callable;import java.util.concurrent.ExecutionException;import java.util.concurrent.FutureTask;/* * * @program: gulimall * @description * @author: swq * @create

缓存-SpringCacheSpring Cache是Spring框架提供的对缓存使用的抽象类，支持多种缓存，比如Redis、EHCache等，集成很方便。同时提供了多种注解来简化缓存的使用，可对方法进行缓存SpringCache 中的@Cacheable注解pom <dependency> <groupId>org.springframework.boot</groupId> <artifactId&g