<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[qq_38650982的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/qq_38650982</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; qq_38650982]]></copyright><item><title><![CDATA[RocketMQ安装部署文档]]></title><link>https://blog.youkuaiyun.com/qq_38650982/article/details/115462011</link><guid>https://blog.youkuaiyun.com/qq_38650982/article/details/115462011</guid><author>qq_38650982</author><pubDate>Tue, 06 Apr 2021 15:28:04 +0800</pubDate><description><![CDATA[RocketMQ安装部署文档
1. 下载、安装
下载地址：http://rocketmq.apache.org/release_notes/release-notes-4.7.1/
！！！记住，下载二进制包，二进制包是编译好的，可以解压直接使用。
前期准备:安装好 java1.8+
下载完成以后上传到集群，然后进行解压
[tangzc@Tang-3 software]$ unzip rocketmq-all-4.7.1-bin-release.zip -d /opt/module

重命名
[tangzc@]]></description><category></category></item><item><title><![CDATA[Logi-KafkaManager操作文档]]></title><link>https://blog.youkuaiyun.com/qq_38650982/article/details/115225902</link><guid>https://blog.youkuaiyun.com/qq_38650982/article/details/115225902</guid><author>qq_38650982</author><pubDate>Fri, 26 Mar 2021 10:23:00 +0800</pubDate><description><![CDATA[Logi-KafkaManager操作文档
1.产品简介
​	滴滴Logi-KafkaManager是面向Kafka用户、Kafka运维人员打造的共享多租户Kafka云平台，专注于Kafka运维管控、监控告警、资源治理等核心场景，经历过大规模集群、海量大数据的考验。
1.1 架构图

2.使用说明
1.用户管理
1.申请用户角色
​	1.点击运维管控

​	2.点击添加用户

​	3.填写用户信息，选择角色，设置密码

用户申请成功
2.编辑用户角色
​	用户的角色和密码是可以更改的，点击编辑按钮，就可以对]]></description><category></category></item><item><title><![CDATA[Logi-KafkaManager安装]]></title><link>https://blog.youkuaiyun.com/qq_38650982/article/details/114268167</link><guid>https://blog.youkuaiyun.com/qq_38650982/article/details/114268167</guid><author>qq_38650982</author><pubDate>Mon, 01 Mar 2021 17:46:46 +0800</pubDate><description><![CDATA[Logi-KafkaManager安装
1.环境依赖
​	如果是以Release包进行安装的，则仅安装Java及MySQL即可。如果是要先进行源码包进行打包，然后再使用，则需要安装Maven及Node环境。

Java 8+(运行环境需要)
MySQL 5.7(数据存储)
Maven 3.5+(后端打包依赖)
Node 10+(前端打包依赖)

2. 获取安装包
1.Release直接下载
​	这里如果觉得麻烦，然后也不想进行二次开发，则可以直接下载Release包，下载地址：Github Release包]]></description><category></category></item><item><title><![CDATA[linux环境下的mysql离线安装]]></title><link>https://blog.youkuaiyun.com/qq_38650982/article/details/114265885</link><guid>https://blog.youkuaiyun.com/qq_38650982/article/details/114265885</guid><author>qq_38650982</author><pubDate>Mon, 01 Mar 2021 16:38:44 +0800</pubDate><description><![CDATA[linux环境下的mysql离线安装
1.上传mysql安装包到集群
2.检查当前系统是否安装过mysql
[root@apache03 apache-bigdata]# rpm -qa | grep mariadb
mariadb-libs-5.5.44-2.el7.centos.x86_64  //如果存在通过如下命令卸载
[root@apache03 apache-bigdata]# sudo rpm -e --nodeps  mariadb-libs  //用此命令卸载mariadb

3.解压my]]></description><category></category></item><item><title><![CDATA[Flume学习笔记]]></title><link>https://blog.youkuaiyun.com/qq_38650982/article/details/110433381</link><guid>https://blog.youkuaiyun.com/qq_38650982/article/details/110433381</guid><author>qq_38650982</author><pubDate>Tue, 01 Dec 2020 15:18:48 +0800</pubDate><description><![CDATA[Flume学习笔记
一 Flume概述
1. Flume定义
​	Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。

2. Flume架构
Flume组成架构如下图所示。

1. Agent
​	Agent是一个JVM进程，它以事件的形式将数据从源头送至目的。
​	Agent主要有3个部分组成，Source、Channel、Sink。
2. Source
​	Source是负责接收数据到Flume Agent的组件。Sour]]></description><category></category></item><item><title><![CDATA[Zookeeper学习笔记]]></title><link>https://blog.youkuaiyun.com/qq_38650982/article/details/110305744</link><guid>https://blog.youkuaiyun.com/qq_38650982/article/details/110305744</guid><author>qq_38650982</author><pubDate>Sun, 29 Nov 2020 10:08:26 +0800</pubDate><description><![CDATA[Zookeeper
一 Zookeeper入门
1. 概述
​	Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。
​	Zookeeper从设计模式角度来理解，是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生了变化，Zookeeper就负责通知已经在Zookeeper上注册的那些观察者做出相应的反应.
​	Zookeeper = 文件系统 + 通知机制

2. 特点

Zookeeper：一个领导者]]></description><category></category></item><item><title><![CDATA[Hive学习笔记]]></title><link>https://blog.youkuaiyun.com/qq_38650982/article/details/110257935</link><guid>https://blog.youkuaiyun.com/qq_38650982/article/details/110257935</guid><author>qq_38650982</author><pubDate>Sat, 28 Nov 2020 08:07:29 +0800</pubDate><description><![CDATA[一、Hive基本概念
1.1 hive是什么
hive是基于hadoop的一个数仓分析工具，hive可以将hdfs上存储的结构化的数据，映射成一张表，然后让用户写HQL(类SQL)来分析数据
   tel              up           down
1383838438         1345         1567
1383838439         5345         1567
1383838440         1241         16577
1383838441]]></description><category></category></item><item><title><![CDATA[电商数仓项目（二）]]></title><link>https://blog.youkuaiyun.com/qq_38650982/article/details/109217739</link><guid>https://blog.youkuaiyun.com/qq_38650982/article/details/109217739</guid><author>qq_38650982</author><pubDate>Thu, 22 Oct 2020 11:02:53 +0800</pubDate><description><![CDATA[电商数仓项目（二）
五. 数仓搭建-DWS层
1.业务术语
--1.用户
	用户以设备为判断标准，在移动统计中，每个独立设备认为是一个独立用户。Android系统根据IMEI号，IOS系统根据OpenUDID来标识一个独立用户，每部手机一个用户。
--2.新增用户
	首次联网使用应用的用户。如果一个用户首次打开某APP，那这个用户定义为新增用户；卸载再安装的设备，不会被算作一次新增。新增用户包括日新增用户、周新增用户、月新增用户。
--3.活跃用户
	打开应用的用户即为活跃用户，不考虑用户的使用情况。每天一]]></description><category></category></item><item><title><![CDATA[电商数仓项目（一）]]></title><link>https://blog.youkuaiyun.com/qq_38650982/article/details/109091515</link><guid>https://blog.youkuaiyun.com/qq_38650982/article/details/109091515</guid><author>qq_38650982</author><pubDate>Thu, 15 Oct 2020 10:11:05 +0800</pubDate><description><![CDATA[电商数仓项目(一)
一.数据仓库概念
1.业务数据
就是各行业在处理事务过程中产生的数据。

2.用户行为数据
用户在使用产品过程中，与客户端产品交互过程中产生的数据。

3.数据仓库
为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程，提高产品质量

二.数仓分层
1.数仓分层
ODS层：原始数据层。存放原始数据，直接加载原始日志、数据、数据保持原貌不做处理。
DWD层：明细数据层。对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据）、维度退化、脱敏等。
DWS层：服务数据层。以DWD为]]></description><category></category></item><item><title><![CDATA[SparkCore学习笔记]]></title><link>https://blog.youkuaiyun.com/qq_38650982/article/details/108759222</link><guid>https://blog.youkuaiyun.com/qq_38650982/article/details/108759222</guid><author>qq_38650982</author><pubDate>Wed, 23 Sep 2020 19:15:53 +0800</pubDate><description><![CDATA[SparkCore学习笔记
一. RDD概述
1.1 什么是RDD
	RDD 叫做弹性分布式数据集，是Spark中最基本的数据抽象。它代表的是一个弹性的、不可变、可分区、里面的元素可并行计算的集合。

1.1.1WordCount工作流程

	首先在yarn模式下将生成的WordCount的Jar包导入，然后启动bin/spark-submit --class WordCount --master yarn --deploy-mode cluster WordCount.jar /input /output]]></description><category></category></item><item><title><![CDATA[大数据之kafka]]></title><link>https://blog.youkuaiyun.com/qq_38650982/article/details/108381718</link><guid>https://blog.youkuaiyun.com/qq_38650982/article/details/108381718</guid><author>qq_38650982</author><pubDate>Thu, 03 Sep 2020 14:11:03 +0800</pubDate><description><![CDATA[大数据之kafka
一.kafka概述
1.定义
Kafka是一个分布式的基于发布和订阅模式的消息队列，主要用于大数据实时处理领域

2.消息队列
1.使用消息队列的好处
1)解耦
	允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。
2）可恢复性
	系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。
3）缓冲
	有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致]]></description><category></category></item><item><title><![CDATA[mapreduce学习笔记]]></title><link>https://blog.youkuaiyun.com/qq_38650982/article/details/108033432</link><guid>https://blog.youkuaiyun.com/qq_38650982/article/details/108033432</guid><author>qq_38650982</author><pubDate>Sun, 16 Aug 2020 10:54:46 +0800</pubDate><description><![CDATA[hdfs写数据流程
文字描述
1.客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。NameNode响应客户端是否可以上传。
2.当客户端接收到NameNode返回可以上传的指令以后，客户端向NameNode请求第一个Block上传到哪几个DataNode服务器上去。NameNode会返回可用的DataNode地址，例如A，Ｂ，C.
注：Hadoop 在设计时考虑到数据的安全与高效，数据文件默认在 HDFS 上存]]></description><category></category></item><item><title><![CDATA[hadoop压缩参数配置和调优参数]]></title><link>https://blog.youkuaiyun.com/qq_38650982/article/details/108013559</link><guid>https://blog.youkuaiyun.com/qq_38650982/article/details/108013559</guid><author>qq_38650982</author><pubDate>Fri, 14 Aug 2020 20:58:38 +0800</pubDate><description><![CDATA[压缩参数配置




参数
默认值
阶段
建议




io.compression.codes(在core.site.xml中配置)
无，这个需要在命令行输入hadoop checknative查看
输入压缩
Hadoop使用文件扩展名判断是否支持某种编解码器


mapreduce.map.output.compress（在mapred-site.xml中配置）
false
mapper输出
这个参数设为true启用压缩


mapreduce.map.output.compress.codec（在ma]]></description><category></category></item><item><title><![CDATA[IO流学习笔记]]></title><link>https://blog.youkuaiyun.com/qq_38650982/article/details/107893279</link><guid>https://blog.youkuaiyun.com/qq_38650982/article/details/107893279</guid><author>qq_38650982</author><pubDate>Sun, 09 Aug 2020 13:52:05 +0800</pubDate><description><![CDATA[知识点1：IO流
			字节流                            字符流
输入流		InputStream						   Reader
输出流		OutputStream                       Writer


文件流:FileInputStream,FileReader,FileOutputStream,FileWriter
缓冲流:BufferedInputStream,BufferedReader(String readLine()),BufferedOut]]></description><category></category></item><item><title><![CDATA[二叉树、链表、集合学习笔记]]></title><link>https://blog.youkuaiyun.com/qq_38650982/article/details/107870680</link><guid>https://blog.youkuaiyun.com/qq_38650982/article/details/107870680</guid><author>qq_38650982</author><pubDate>Fri, 07 Aug 2020 21:17:15 +0800</pubDate><description><![CDATA[二叉树、链表、集合学习笔记
知识点1：二叉树
一.二叉树的常用性质
1.常用性质
1.在二叉树的第i层最多有2^（i-1）个节点（i&gt;=1）
2.二叉树中如果深度为k(有k层),那么最多有2^k - 1个节点（k&gt;=1）
3.若二叉树按照从上到下从左到右依次编号，则若某节点编号为k,则其左右子树根节点编号分别为2k和2k+1;
4.二叉树分类：满二叉树、完全二叉树
满二叉树：高度为h,由2^h - 1个节点构成的二叉树称为满二叉树
完全二叉树：若设二叉树的高度为h,除第h层外，其它各层（1~h-]]></description><category></category></item><item><title><![CDATA[异常学习笔记]]></title><link>https://blog.youkuaiyun.com/qq_38650982/article/details/107859225</link><guid>https://blog.youkuaiyun.com/qq_38650982/article/details/107859225</guid><author>qq_38650982</author><pubDate>Fri, 07 Aug 2020 11:49:04 +0800</pubDate><description><![CDATA[异常学习笔记
知识点1：异常
1.异常的分类
1.按照程度来分
​	1.Error严重错误
​	2.Exception一般问题
2.按照处理方式来分
1) 受检异常(checked) 在程序中必须接受检查和处理的异常. 如果不处理编译错误,也称为编译时异常

​	Exception及其子类(RuntimeException及其子类除外)

2) 非受检异常(unchecked) 在程序中不是必须接受检查和处理的异常, 如果不处理不生编译错误, 但是运行时仍会出问题, 也称为运行时异常

​	Error及其子]]></description><category></category></item></channel></rss>