<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[GoodMorning_1992的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/GoodMorning_1992</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; GoodMorning_1992]]></copyright><item><title><![CDATA[rabbitMq例子实现]]></title><link>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119417835</link><guid>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119417835</guid><author>GoodMorning_1992</author><pubDate>Thu, 05 Aug 2021 14:47:50 +0800</pubDate><description><![CDATA[rabbitMq发送消息:
rabbitTemplate.convertAndSend(RabbitMQConfig.EXCHANGE_TOPIC_DQPT, RabbitMQConfig.QUEUE_QF_TOPUP,
JSONObject.toJSONString(qbOrderVo));
rabbitMq初始化数据:
public static final String EXCHANGE_TOPIC_DQPT = “exchange_topic_dqpt”;
public static final S]]></description><category></category></item><item><title><![CDATA[rabbitMq之实现topic交换器消息流]]></title><link>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119417805</link><guid>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119417805</guid><author>GoodMorning_1992</author><pubDate>Thu, 05 Aug 2021 14:46:44 +0800</pubDate><description><![CDATA[]]></description><category></category></item><item><title><![CDATA[rabbitMq之实现direct交换器消息流]]></title><link>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119417500</link><guid>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119417500</guid><author>GoodMorning_1992</author><pubDate>Thu, 05 Aug 2021 14:36:48 +0800</pubDate><description><![CDATA[业务场景:系统日志处理场景
1.微服务产生的日志，交给日志服务器处理。
2.日志处理服务器有4个服务，分别为DEBUG,INFO,WARN,ERROR等。
3.服务直接的通信采用direct(发布订阅)。


]]></description><category></category></item><item><title><![CDATA[rabbitMq之知识梳理]]></title><link>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119417398</link><guid>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119417398</guid><author>GoodMorning_1992</author><pubDate>Thu, 05 Aug 2021 14:35:15 +0800</pubDate><description><![CDATA[什么是队列?
队列就像存放商品的仓库或者商店，是生产商品的工厂和购买商品的用户之间的中转站。
1.队列存储了什么?
	在RabbitMQ中，信息流从你的应用程序出发，来到RabbitMQ的队列，所有信息可以只存储在一个队列中。队列可以存储很多的消息，因为它基本是一个无限制的缓冲区，前提是你的机器有足够的存储空间。
	
2.队列和应用程序的关系？
	多个生产者可以将消息发送到同一个队列中，多个消费者也可以只从同一个队列接收数据。


2.1)Message
消息，消息是不具名的，它由消息头和消息体组成，消息是]]></description><category></category></item><item><title><![CDATA[rabbitMq之使用]]></title><link>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119417331</link><guid>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119417331</guid><author>GoodMorning_1992</author><pubDate>Thu, 05 Aug 2021 14:32:42 +0800</pubDate><description><![CDATA[同步变异步:

高内聚低耦合: 解耦

流量消锋


]]></description><category></category></item><item><title><![CDATA[RabbitMQ之安装rabbitMq]]></title><link>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119416911</link><guid>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119416911</guid><author>GoodMorning_1992</author><pubDate>Thu, 05 Aug 2021 14:29:39 +0800</pubDate><description><![CDATA[1.系统版本: Cent0S 6.5
2.RabbitMQ-Server: 3.5.1
一.安装erlang
1.1)安装准备，下载安装文件

1.2)安装erlang
yum install erlang
1.3)安装完成后可以用erl命令查看是否安装成功
erl -version
二, 安装RabbitMQ Server
1.安装准备，下载RabbitMQ Server
wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.5.1/rabbit]]></description><category></category></item><item><title><![CDATA[Hadoop基于词频统计例子]]></title><link>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119386819</link><guid>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119386819</guid><author>GoodMorning_1992</author><pubDate>Wed, 04 Aug 2021 16:15:06 +0800</pubDate><description><![CDATA[package com.imooc.bigdata.hadoop.project.mrv2;
import com.imooc.bigdata.hadoop.project.utils.LogParser;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Nul]]></description><category></category></item><item><title><![CDATA[hadoop基于省份数据统计例子]]></title><link>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119386776</link><guid>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119386776</guid><author>GoodMorning_1992</author><pubDate>Wed, 04 Aug 2021 16:13:42 +0800</pubDate><description><![CDATA[package com.imooc.bigdata.hadoop.project.mrv2;
import com.imooc.bigdata.hadoop.project.utils.LogParser;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongW]]></description><category></category></item><item><title><![CDATA[Hadoop系统入门之原始数据ELT操作例子]]></title><link>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119386727</link><guid>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119386727</guid><author>GoodMorning_1992</author><pubDate>Wed, 04 Aug 2021 16:12:27 +0800</pubDate><description><![CDATA[package com.imooc.bigdata.hadoop.project.mrv2;
import com.imooc.bigdata.hadoop.project.utils.GetPageId;
import com.imooc.bigdata.hadoop.project.utils.LogParser;
import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.conf.Configuration;
import]]></description><category></category></item><item><title><![CDATA[Hadoop系统入门之Hive必考的SQL功能及窗口函数]]></title><link>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119386678</link><guid>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119386678</guid><author>GoodMorning_1992</author><pubDate>Wed, 04 Aug 2021 16:11:14 +0800</pubDate><description><![CDATA[窗口函数:
行列转换
从累计问题谈起
窗口函数
案例实战
MR/HIVE
	SQL ON HADOOP SQL
data:HDFS
metodata:RDBMS MYSQL

	存储: 压缩，存储格式
	计算: SQL
		skew:分场景逐个击破。
		存储: 小文件
			定时: 小文件，合并，告警。


...]]></description><category></category></item><item><title><![CDATA[Hadoop系统入门之压缩在大数据中的使用]]></title><link>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119386593</link><guid>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119386593</guid><author>GoodMorning_1992</author><pubDate>Wed, 04 Aug 2021 16:09:59 +0800</pubDate><description><![CDATA[Hadoop整合压缩在大数据中的应用
为什么使用压缩
压缩的使用场景
常见压缩格式
压缩和解压缩实战
Hadoop整合压缩的使用
Why
单击: 磁盘空间的限制
Hadoop/HDFS:DN是用来存储数据用的 要对HDFS上的数据进行压缩==&gt;减少存储在HDFS上数据所占用的空间
1T==&gt;300G
3T     900G
INPUT==&gt;MR==&gt;OUTPUT
好处:
减少HDFS读写数据量：DISK IO
提升网络传输效率：网络IO
Shuffle是所有分布式计算框架中一个主要的]]></description><category></category></item><item><title><![CDATA[Hadoop系统入门之Hadoop3.x新特性及实操]]></title><link>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119386526</link><guid>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119386526</guid><author>GoodMorning_1992</author><pubDate>Wed, 04 Aug 2021 16:07:23 +0800</pubDate><description><![CDATA[Hadoop3.x新特性及实操
Hadoop3x新特性
云服务器ECS的使用
ECS上基础软件部署
基于ECS部署Hadoop3x
Hadoop3x使用
将项目运行在Hadoop3x上
Hadoop3x新特性
JDK
Erasure Coding
YARN Timeline Service V2
EC: 纠错码
一个数据保护技术。
通信行业中的数据传输中数据恢复的一种编码容错技术。
核心思想: 校验数据。
出现问题,可以借助EC技术来进行恢复。
校验数据块          原始数据进行重新编码
原始数据块]]></description><category></category></item><item><title><![CDATA[Hadoop系统入门之Hadoop的特性在生产上的使用]]></title><link>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119386488</link><guid>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119386488</guid><author>GoodMorning_1992</author><pubDate>Wed, 04 Aug 2021 16:05:36 +0800</pubDate><description><![CDATA[HDFS上的数据基本上是不删除:

HDFS
生产上回收站是一定要开启的，我司是1天单位是分钟。
思考题: HDFS API delete 数据是否会走垃圾桶:
大数据作业/应用程序 通过API去调用HFDS文件系统的删除操作


虽然是删除东西在垃圾桶中了，但是此时数据其实都在HDFS上HDFS的block大小并为发生变化。

...]]></description><category></category></item><item><title><![CDATA[Hadoop系统入门之（讨论群内直播内容分享）Hadoop小问题剖析]]></title><link>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119386426</link><guid>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119386426</guid><author>GoodMorning_1992</author><pubDate>Wed, 04 Aug 2021 16:03:16 +0800</pubDate><description><![CDATA[小文件问题:
Hadoop存储TB甚至更大级别的数据集。
File==&gt;block==&gt;3==&gt;DN directory
元数据信息 NN 内存
100M vs 1k
什么是小文件:
CDH blocksize 128M 64M
128M 200M ???
64M  200M  ???
256M  200M ???
blocks==&gt; 元数据信息
1M 20M?
NN的内存是多少？能存储多少block.
文件怎么产生的？
故障: 解决==&gt;为什么会产生这个故障？==&gt;解决]]></description><category></category></item><item><title><![CDATA[Hadoop系统入门之Join在MapReduce中的实现]]></title><link>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119386352</link><guid>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119386352</guid><author>GoodMorning_1992</author><pubDate>Wed, 04 Aug 2021 16:01:48 +0800</pubDate><description><![CDATA[MapReduce:

Interview: 描述如何使用MapReduce来实现join的功能。
考察点:
1)MapReduce执行流程。
2)JOIN的底层执行过程。
3)JOIN的多种实现方式: ReduceJoin(shuffle),MapJoin(没有reduce,换句话说就是没有Shuffle)。
resume:
1)最新的项目是写在最前面的
2)写的东西一定要真正的(区分)
3)从你写的东西开始面起，然后逐步扩展==》你的技能/技术的一个功能链条。

ReduceJoin
数据通过Mappe]]></description><category></category></item><item><title><![CDATA[Hadoop系统入门之Hadoop集群部署]]></title><link>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119386197</link><guid>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119386197</guid><author>GoodMorning_1992</author><pubDate>Wed, 04 Aug 2021 15:59:05 +0800</pubDate><description><![CDATA[Hadoop集群部署
Hadoop集群规划
Hadoop集群部署
前置安装
作业提交到Hadoop集群运行
JDK安装
Hadoop集群规划
HDFS: NN DN
YARN: RM NM
前置安装 ssh
(每台)ssh免密码登陆

在hadoop000机器上进行caozuo

JDK安装
1)先在hadoop000机器上部署了jdk
2)将jdk bin
JDK安装
1)先在hadoop000机器上部署了jdk
2)将jdk bin







...]]></description><category></category></item><item><title><![CDATA[Hadoop系统入门之数据仓库Hive]]></title><link>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119385761</link><guid>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119385761</guid><author>GoodMorning_1992</author><pubDate>Wed, 04 Aug 2021 15:52:47 +0800</pubDate><description><![CDATA[Hive产生的背景:
MapReduce编程的不方便
传统关系型数据库的需要
Hive概述之Hive是什么
由Facebook开源，用与解决海量结构化日志的数据统计问题。
构建再Hadoop之上的数据仓库。
Hive提供的SQL查询语言: HQL。
底层支持多种不同的执行引擎。
HDFS上的文件并没有schema（数据组织结构）的概念。
Hive底层执行引擎支持: MR/Tez/Sperk.
统一元数据管理:
Hive数据是存放在HDFS.
元数据信息(记录数据的数据)是存放在MySQL中。
SQL on ]]></description><category></category></item><item><title><![CDATA[Hadoop系统入门之hadoop项目知识总结]]></title><link>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119384098</link><guid>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119384098</guid><author>GoodMorning_1992</author><pubDate>Wed, 04 Aug 2021 15:01:45 +0800</pubDate><description><![CDATA[电商项目实战
用户行为日志    需求实现
电商常用术语   提交到服务器运行
项目需求          扩展
数据处理流程及技术架构
用户行为日志:
每一次访问的行为(访问,收索)产生的日志
历史行为数据&lt;==历史订单
电商专业术语:
1. Ad Views(广告浏览): 网上广告被用户浏览的次数。
2. PV(访问量): 即Page View。页面浏览量，用户每次刷新即被计算一次。网站各网页被浏览的总次数。一个访客有可能创造十几个甚至更多的浏览量。或者这样理解:用户在你的网站上打开网页的次数，浏]]></description><category></category></item><item><title><![CDATA[Hadoop系统入门之资源调度框架YARN]]></title><link>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119384021</link><guid>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119384021</guid><author>GoodMorning_1992</author><pubDate>Wed, 04 Aug 2021 14:49:24 +0800</pubDate><description><![CDATA[资源调度框架YARN
YARN产生背景
YARN执行流程
YARN概述
YARN架构
提交作业到YARN上执行
YARN产生背景:
MapReduce1.x==&gt;MapReduce2.x
Master/slave : JobTracker/TaskTracker
JobTracker: 单点，压力大
仅仅只能够支持mapreduce作业
资源利用率
	所有的计划框架运行一个集群中，共享一个集群的资源，按需分配！

YARN概述
Yet Another Resource Negotiator
通用的资源]]></description><category></category></item><item><title><![CDATA[Hadoop系统入门之分布式计算框架MapReduce]]></title><link>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119383846</link><guid>https://blog.youkuaiyun.com/GoodMorning_1992/article/details/119383846</guid><author>GoodMorning_1992</author><pubDate>Wed, 04 Aug 2021 14:47:26 +0800</pubDate><description><![CDATA[课程目录:
分布式处理框架MapReduce
MapReduce概述
MapReduce编程模型详解
MapReduce实战
分布式计算框架MapReduce
MapReduce概述:
源自于Google的MapReduce论文，论文发表于2004年12月。
Hadoop MapReduce是Google MapReduce的克隆版。
MapReduce优点: 海量数据离线处理&amp;易开发&amp;易运行。
MapReduce缺点: 实时流式计算。
MapReduce编程模型之通过wordcount词频]]></description><category></category></item></channel></rss>