<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[JiGmin的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/JiGmin</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; JiGmin]]></copyright><item><title><![CDATA[数据仓库建模]]></title><link>https://blog.youkuaiyun.com/JiGmin/article/details/107190241</link><guid>https://blog.youkuaiyun.com/JiGmin/article/details/107190241</guid><author>JiGmin</author><pubDate>Tue, 07 Jul 2020 21:41:24 +0800</pubDate><description><![CDATA[1.ODS层
1）保持数据原貌不做任何修改，起到备份数据的作用。
2）数据采用压缩，减少磁盘存储空间（例如：原始数据100G，可以压缩到10G左右）
3）创建分区表，防止后续的全表扫描。
2.DWD层
DWD层需要构建维度模型，一般采用星型模型，呈现的状态一般为星座模型。
维度建模一般按照一下四个步骤：
选择业务过程——生命粒度——确认维度——确认事实
（1）选择业务过程
在业务系统中，挑选我们感兴趣的业务线，比如下单业务，支付业务，退款业务，物流业务，一条业务线对应一个事实表。
（2）声明粒度
数据粒度指]]></description><category></category></item><item><title><![CDATA[大数据项目之电商数据仓库简介]]></title><link>https://blog.youkuaiyun.com/JiGmin/article/details/107173975</link><guid>https://blog.youkuaiyun.com/JiGmin/article/details/107173975</guid><author>JiGmin</author><pubDate>Tue, 07 Jul 2020 20:48:38 +0800</pubDate><description><![CDATA[1.数仓分层
1.1为什么要分层

ODS：关系建模
DWD ：
数据清洗，过滤脏数据（去空值，把不符合要求的数据过滤），把数据分类，给某些数据添加必要字段。
维度建模
DWS需要按照主题建模，主题时一个分析问题的角度，圈定了一个分析的范围，计算出这个主题各种指标，而我们的指标主要都是汇总，在dws里面我们只汇总过去一天的数据。得到以天作为粒度的指标。。
DWT ：实际工作中，需要算某个app，过去一天，过去一周，过去一个月，过去一季度，过去一年。。。上线以来的新增用户。
ADS：给领导，给产品经理需要各种]]></description><category></category></item><item><title><![CDATA[Kafka架构深入理解]]></title><link>https://blog.youkuaiyun.com/JiGmin/article/details/107047745</link><guid>https://blog.youkuaiyun.com/JiGmin/article/details/107047745</guid><author>JiGmin</author><pubDate>Wed, 01 Jul 2020 10:33:05 +0800</pubDate><description><![CDATA[1.Kafka的工作流程以及文件存储机制

Kafka中消息是以topic进行分类的，生产者生产消息，消费者消费消息，都是面向topic的。
topic是逻辑上的概念，而partition是物理上的概念，每个partition对应一个log文件，该log文件中存储的就是producer生产的数据。Producer生产的数据会被不断追加到该log文件末端，且每条数据都有自己的offset。消费者组中的每个消费者，都会实时记录自己消费到了那个offset，以便出错恢复时，从上次的位置继续消费。

由于生产者产生]]></description><category></category></item><item><title><![CDATA[Kafka安装部署以及基本操作]]></title><link>https://blog.youkuaiyun.com/JiGmin/article/details/107043619</link><guid>https://blog.youkuaiyun.com/JiGmin/article/details/107043619</guid><author>JiGmin</author><pubDate>Tue, 30 Jun 2020 16:13:10 +0800</pubDate><description><![CDATA[1.集群规划
假设这里是三台机器
test01			test02			test03
zk				zk				zk
Kafka			Kafka			Kafka
2.jar下载
Kafka下载地址：http://kafka.apache.org/downloads.html
3.下载完成之后开始解压安装包
[hadoop@test01 software]$ tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/
4.修改解压之后的文件名称。（可以修改也可以不修改，修改]]></description><category></category></item><item><title><![CDATA[Kafka进阶问题]]></title><link>https://blog.youkuaiyun.com/JiGmin/article/details/107023818</link><guid>https://blog.youkuaiyun.com/JiGmin/article/details/107023818</guid><author>JiGmin</author><pubDate>Tue, 30 Jun 2020 15:32:42 +0800</pubDate><description><![CDATA[Kafka核心概念？
1.Broker
一台Kafka服务器就是一个broker。一个集群由多个broker组成。
2.Topic
Topic就是数据主题，Kafka建议根据业务系统将不同的数据放在不同的Topic中！Kafka中的Topics总是多订阅者模式，一个topic可以拥有一个或者多个消费者来订阅它的数据。一个大的Topic可以分布式存储在多个Kafka broker中。Topic可以类比数据库中的库。
3.Partition
每个topic可以有多个分区，通过分区的设计，topic可以不断进行扩]]></description><category></category></item><item><title><![CDATA[大数据技术Kafka基础问题]]></title><link>https://blog.youkuaiyun.com/JiGmin/article/details/107022185</link><guid>https://blog.youkuaiyun.com/JiGmin/article/details/107022185</guid><author>JiGmin</author><pubDate>Mon, 29 Jun 2020 16:52:01 +0800</pubDate><description><![CDATA[.Kafka的定义？
Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据的实时处理领域？
Kafka消息队列应用场景

使用消息队列的好处？
1.解耦
允许你独立扩展或者修改俩边的处理过程，只要确保他们遵循同样的接口约束。
2.可恢复性
系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。
3.缓冲–&gt;削峰平谷
有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度是不.]]></description><category></category></item><item><title><![CDATA[MapReduce的Shuffle过程]]></title><link>https://blog.youkuaiyun.com/JiGmin/article/details/104973340</link><guid>https://blog.youkuaiyun.com/JiGmin/article/details/104973340</guid><author>JiGmin</author><pubDate>Thu, 19 Mar 2020 18:23:17 +0800</pubDate><description><![CDATA[***

mapreduce的工作流程




Shuffle机制：

Shuffle机制：
Map 方法之后Reduce方法之前这段处理过程叫Shuffle
Map方法之后，数据首先进入分区方法，把数据标记好分区，然后把数据发送到环形缓冲区；唤醒缓冲区的默认大小为100M，环形缓冲区达到80%时，进行溢写；溢写前对数据进行排序，排序按照对key的索引进行字典顺序排序，排序的手段快排；溢写产生...]]></description><category></category></item><item><title><![CDATA[初始spark]]></title><link>https://blog.youkuaiyun.com/JiGmin/article/details/102821620</link><guid>https://blog.youkuaiyun.com/JiGmin/article/details/102821620</guid><author>JiGmin</author><pubDate>Wed, 30 Oct 2019 16:34:55 +0800</pubDate><description><![CDATA[spark 是个大规模的计算引擎     
 spark-core
 RDD基本概念
 弹性分布式数据集（RDD），spark中的基本抽象，表示可以并行操作的不可变的分区元素集合。
 5个主要属性

1.分区列表（a list partitions)
Spark RDD 是被分区的，每一个分区都会被一个计算任务（task)处理，分区数决定了并行计算的数量，RDD的并行度默认从父RDD传给子RDD。...]]></description><category></category></item><item><title><![CDATA[flume，taildir Source]]></title><link>https://blog.youkuaiyun.com/JiGmin/article/details/98974442</link><guid>https://blog.youkuaiyun.com/JiGmin/article/details/98974442</guid><author>JiGmin</author><pubDate>Fri, 09 Aug 2019 18:44:20 +0800</pubDate><description><![CDATA[taildir 特点
官方文档
http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#multiport-syslog-tcp-source
观察指定的文件，一旦检测到添加到每个文件中的新行，就几乎实时跟踪它们。如果正在编写新行，则此源将重试读取它们，等待写入完成。这个源是可靠的，即使拖尾文件旋转，也不会丢失数据。它定...]]></description><category></category></item><item><title><![CDATA[初识flume]]></title><link>https://blog.youkuaiyun.com/JiGmin/article/details/98883100</link><guid>https://blog.youkuaiyun.com/JiGmin/article/details/98883100</guid><author>JiGmin</author><pubDate>Thu, 08 Aug 2019 20:22:28 +0800</pubDate><description><![CDATA[flume是什么
flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation）,属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0.94...]]></description><category></category></item><item><title><![CDATA[安装配置高可用Hadoop]]></title><link>https://blog.youkuaiyun.com/JiGmin/article/details/97100204</link><guid>https://blog.youkuaiyun.com/JiGmin/article/details/97100204</guid><author>JiGmin</author><pubDate>Wed, 24 Jul 2019 09:11:36 +0800</pubDate><description><![CDATA[首先下载好Hadoop的安装包，并解压
1.配置hadoop-env.sh中的java_home
修改为自己jdk的路径
修改hadoop-env.sh中的java_home
export JAVA_HOME=/opt/jdk1.8.0_181/
2.配置core-site.xml\
&lt;!--指定hadoop运行时产生文件的存储目录--&gt;
&lt;property&gt;
	&lt;n...]]></description><category></category></item><item><title><![CDATA[hadoop集群测试jar包以及历史命令]]></title><link>https://blog.youkuaiyun.com/JiGmin/article/details/96445411</link><guid>https://blog.youkuaiyun.com/JiGmin/article/details/96445411</guid><author>JiGmin</author><pubDate>Thu, 18 Jul 2019 19:17:19 +0800</pubDate><description><![CDATA[使用idea打jar包
1.在pom文件的下边将 打包插件

2.然后impor 下载打jar包依赖
3.在以来中指定主类，包名，类名mrTest.dirver
4.点开idea右边的maven project , 然后打开Lifecycle.
如果已经存在 tartget 文件夹，点击clean清除
点击complite 编译
点击package 打包
打包完后会生成两个jar包

一个jar包...]]></description><category></category></item><item><title><![CDATA[MapReduce词频统计说明]]></title><link>https://blog.youkuaiyun.com/JiGmin/article/details/96434155</link><guid>https://blog.youkuaiyun.com/JiGmin/article/details/96434155</guid><author>JiGmin</author><pubDate>Thu, 18 Jul 2019 16:26:55 +0800</pubDate><description><![CDATA[wc词频统计代码：
由三个阶段组成：
1）Mapper阶段
（1）用户自定义的Mapper要继承自己的父类 Mapper
（2）Mapper的输入数据是KV对的形式（KV的类型可自定义）
（3）Mapper中的业务逻辑写在map()方法中
（4）Mapper的输出数据是KV对的形式（KV的类型可自定义）
（5）map()方法（maptask进程）对每一个&lt;K,V&gt;调用一次
2）Redu...]]></description><category></category></item><item><title><![CDATA[HDFS客户端操作]]></title><link>https://blog.youkuaiyun.com/JiGmin/article/details/95521539</link><guid>https://blog.youkuaiyun.com/JiGmin/article/details/95521539</guid><author>JiGmin</author><pubDate>Thu, 11 Jul 2019 21:19:44 +0800</pubDate><description><![CDATA[首先创建连接

1.将本地的文件上传到hdfs上

将hdfs的文件上传到本地

创建目录
mkdir() 可以创建目录
mkdirs()可以创建多级目录

删除

重命名

列出文件详细信息

判断为文件或为文件夹


...]]></description><category></category></item><item><title><![CDATA[Hadoop伪分布式安装]]></title><link>https://blog.youkuaiyun.com/JiGmin/article/details/95308759</link><guid>https://blog.youkuaiyun.com/JiGmin/article/details/95308759</guid><author>JiGmin</author><pubDate>Wed, 10 Jul 2019 10:20:42 +0800</pubDate><description><![CDATA[1.上传Hadoop压缩包，解压到/opt下
解压完成为：

2.进入./hadoop-2.7.2/etc/hadoop/

编辑 hadoop-env.sh     core-site.xml
hdfs-site.xml    mapred-site.xml  yarn-site.xml
编辑slaves
3.编辑hadoop-env.sh  配置自己jdk路径

编辑 core-site .x...]]></description><category></category></item><item><title><![CDATA[Linux中安装MySQL]]></title><link>https://blog.youkuaiyun.com/JiGmin/article/details/95070761</link><guid>https://blog.youkuaiyun.com/JiGmin/article/details/95070761</guid><author>JiGmin</author><pubDate>Mon, 08 Jul 2019 16:45:27 +0800</pubDate><description><![CDATA[在Linux中安装MySQL
1.编辑版本下载地址
vim /etc/yum.repos.d/mysql-community.repo
[mysql-connectors-community]
name=MySQL Connectors Community
baseurl=http://repo.mysql.com/yum/mysql-connectors-community/el/6/$base...]]></description><category></category></item><item><title><![CDATA[在Linux中安装jdk]]></title><link>https://blog.youkuaiyun.com/JiGmin/article/details/95068866</link><guid>https://blog.youkuaiyun.com/JiGmin/article/details/95068866</guid><author>JiGmin</author><pubDate>Mon, 08 Jul 2019 16:28:34 +0800</pubDate><description><![CDATA[在Java官方下载jdk

通过rz 上传下载好的压缩包

通过yum install -y lrzsz 命令下载 命令

3.通过rz 上传jdk压缩包
4.配置环境变量
vi /etc/profile
export JAVA_HOME=/opt/jdk1.8.0_181/
export JRE_HOME=JAVAHOME/jreexportCLASSPATH=.:{JAVA_HOME}/jr...]]></description><category></category></item><item><title><![CDATA[Linux常用命令]]></title><link>https://blog.youkuaiyun.com/JiGmin/article/details/94474344</link><guid>https://blog.youkuaiyun.com/JiGmin/article/details/94474344</guid><author>JiGmin</author><pubDate>Tue, 02 Jul 2019 19:45:52 +0800</pubDate><description><![CDATA[Linux常用命令 1.目录结构2. 常用的命令
1.目录结构
/ 最顶级目录，所有的东西都在/目录下
bin 可执行文件，可以被root和一般用户使用的指令，也就是常用命令
dev 外接设备
etc 配置文件
home 普通用户家目录
lib 二进制文件，如支持命令的库mnt 挂载文件系统的目录
proc 存放一些执行的进程的信息
root 超级用户的家目录
~sbin 超级用户使用的命令
tm...]]></description><category></category></item></channel></rss>