<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[smartsteps的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/smartsteps</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; smartsteps]]></copyright><item><title><![CDATA[kafka完整集群安装]]></title><link>https://blog.youkuaiyun.com/smartsteps/article/details/119929661</link><guid>https://blog.youkuaiyun.com/smartsteps/article/details/119929661</guid><author>smartsteps</author><pubDate>Thu, 26 Aug 2021 15:17:51 +0800</pubDate><description><![CDATA[kafka集群模式安装集群规划1.安装包下载2.安装zookeeper集群3.安装kafka1.检查zookeeper集群是否运行2.上传安装包并解压3.修改配置文件4.同步安装包到其他服务器5.启动和停止kafka4.集群测试1.创建一个Topic2.查看集群中的Topic3.生产和消费数据测试模拟生产者来生产数据模拟消费者消费数据运行describe  topics命令查看分区情况4. 修改topic分区数5. 删除topic
集群规划




服务器名称
服务器IP
安装的组件




node1
1]]></description><category></category></item><item><title><![CDATA[hadoop3.2.2大数据完整集群搭建]]></title><link>https://blog.youkuaiyun.com/smartsteps/article/details/119834968</link><guid>https://blog.youkuaiyun.com/smartsteps/article/details/119834968</guid><author>smartsteps</author><pubDate>Sat, 21 Aug 2021 12:36:40 +0800</pubDate><description><![CDATA[hadoop3.2.2完整集群搭建准备工作1.搭建虚拟机集群2.安装zookeeper集群3.下载或编译hadoop3.2.2安装包安装阶段1.创建安装目录并解压安装包2.修改配置文件2.1 修改 core-site.xml2.2 修改hdfs-site.xml3.修改修改yarn-site.xml4.修改workers文件5.修改hadoop-env.sh集群部署阶段1.同步hadoop到其他节点2.三台机器同时创建目录3.更改node2的rm2启动阶段
准备工作
1.搭建虚拟机集群
请参考
centos]]></description><category></category></item><item><title><![CDATA[如何编译hadoop3.2源码增加snappy压缩功能]]></title><link>https://blog.youkuaiyun.com/smartsteps/article/details/119828617</link><guid>https://blog.youkuaiyun.com/smartsteps/article/details/119828617</guid><author>smartsteps</author><pubDate>Sat, 21 Aug 2021 08:34:20 +0800</pubDate><description><![CDATA[hadoop3.2.2源码编译安装软件下载解压安装包安装阶段1.安装jdk1.82.安装maven3.83.yum 安装源码编译相关依赖包4.安装protobuf5.安装CMake3.136.安装findbugs7.安装snappy8.编译hadoop
软件下载
所有软件安装包都放在了百度网盘里，请自取。
链接：https://pan.baidu.com/s/1uJH5XYgyalQuVe_-5uYGUw
提取码：lj2h
解压安装包
创建文件夹 /home/hadoop
mkdir /home/hadoo]]></description><category></category></item><item><title><![CDATA[编译hadoop源码并实现其文件压缩功能]]></title><link>https://blog.youkuaiyun.com/smartsteps/article/details/119822411</link><guid>https://blog.youkuaiyun.com/smartsteps/article/details/119822411</guid><author>smartsteps</author><pubDate>Fri, 20 Aug 2021 16:49:33 +0800</pubDate><description><![CDATA[从新编译HADOOP1.关闭防火墙和和selinux2.安装jdk2.1新建目录 /home/hadoop2.2解压 jdk1.7到  /home/hadoop/ 目录下2.3 配置环境变量3.安装配置maven4.安装findbugs5.安装依赖包6.安装protobuf7.安装snappy8.安装hadoop源码
由于appache给出的hadoop的安装包没有提供带C程序访问的接口，所以我们在使用本地库（本地库可以用来做压缩，以及支持C程序等等）的时候就会出问题,需要对Hadoop源码包进行重新编译.]]></description><category></category></item><item><title><![CDATA[如何在集群模式下安装zookeeper]]></title><link>https://blog.youkuaiyun.com/smartsteps/article/details/119815461</link><guid>https://blog.youkuaiyun.com/smartsteps/article/details/119815461</guid><author>smartsteps</author><pubDate>Fri, 20 Aug 2021 13:41:38 +0800</pubDate><description><![CDATA[zookeeper的安装部署1.集群规划2.安装zookeeper第一步：下载zookeeper第二步：解压zookeeper第三步：修改配置文件第四步：添加myid配置第五步：分发安装包并修改myid、第六步：启动zookeeper
1.集群规划




服务器IP
服务器名称
myid规划




192.168.60.11
node1
1


192.168.60.12
node2
2


192.168.60.13
node3
3


2.安装zookeeper
第一步：下载zookeeper
下载]]></description><category></category></item><item><title><![CDATA[使用vagrant快速搭建虚拟机集群]]></title><link>https://blog.youkuaiyun.com/smartsteps/article/details/119795621</link><guid>https://blog.youkuaiyun.com/smartsteps/article/details/119795621</guid><author>smartsteps</author><pubDate>Thu, 19 Aug 2021 11:11:17 +0800</pubDate><description><![CDATA[使用vagrant快速创建虚拟机集群1.下载并安装vagrant2. 下载并安装virtualbox3. 下载镜像并加载到系统中4. 编写vagrant 脚本4. vagrant 命令
1.下载并安装vagrant
你好，首先我们需要下载和安装一套快速化搭建服务器集群的软件 vagrant
下载地址：https://www.vagrantup.com

安装直接下一步就可以。
2. 下载并安装virtualbox
vagrant 依赖于virtualbox 所以必须两个软件结合着使用
下载地址：https:]]></description><category></category></item><item><title><![CDATA[RabbitMQ的几种工作模式和优化建议]]></title><link>https://blog.youkuaiyun.com/smartsteps/article/details/107002567</link><guid>https://blog.youkuaiyun.com/smartsteps/article/details/107002567</guid><author>smartsteps</author><pubDate>Sun, 28 Jun 2020 16:33:04 +0800</pubDate><description><![CDATA[RabbitMQ的几种工作模式和优化建议

1.组件介绍
1.Broker:它提供一种传输服务,它的角色就是维护一条从生产者到消费者的路线，保证数据能按照指定的方式进行传输,
2. Exchange：消息交换机,它指定消息按什么规则,路由到哪个队列。
3. Queue:消息的载体,每个消息都会被投到一个或多个队列。
4. Binding:绑定，它的作用就是把exchange和queue按照路由规则绑定起来.
5. Routing Key:路由关键字,exchange根据这个关键字进行消息投递。
6. vho]]></description><category></category></item><item><title><![CDATA[Flink水印机制和应用]]></title><link>https://blog.youkuaiyun.com/smartsteps/article/details/103827491</link><guid>https://blog.youkuaiyun.com/smartsteps/article/details/103827491</guid><author>smartsteps</author><pubDate>Fri, 03 Jan 2020 21:45:16 +0800</pubDate><description><![CDATA[Flink水印机制和应用1. Flink流处理时间方式2. 水印机制产生的原因3. 使用水印解决网络延迟问题
1. Flink流处理时间方式


EventTime[事件时间]
事件发生的时间，例如：点击网站上的某个链接的时间


IngestionTime[摄入时间]
某个Flink节点的source operator接收到数据的时间，例如：某个source消费到kafka中的数据


Proc...]]></description><category></category></item><item><title><![CDATA[Flink Window 窗口概念和数据处理]]></title><link>https://blog.youkuaiyun.com/smartsteps/article/details/103827197</link><guid>https://blog.youkuaiyun.com/smartsteps/article/details/103827197</guid><author>smartsteps</author><pubDate>Fri, 03 Jan 2020 21:13:43 +0800</pubDate><description><![CDATA[Flink Window 窗口概念和数据处理Flink的Window操作1. 什么是window2. 时间窗口2.时间窗口案例1.tumbling-time-window (翻滚窗口-无重叠数据)2. sliding-time-window (滑动窗口-有重叠数据)3. 小结3.统计窗口Count-Window1 tumbling-count-window (无重叠数据)2 sliding-cou...]]></description><category></category></item><item><title><![CDATA[Flink流处理操作、并对Kafka和mysql进行数据流处理]]></title><link>https://blog.youkuaiyun.com/smartsteps/article/details/103825872</link><guid>https://blog.youkuaiyun.com/smartsteps/article/details/103825872</guid><author>smartsteps</author><pubDate>Fri, 03 Jan 2020 20:08:32 +0800</pubDate><description><![CDATA[Flink流处理1.输入数据集DataSource1.基于集合的source2.基于文件的source3.基于网络套接字的source4.自定义source5.使用Kafka作为数据源6.使用MySQL作为数据源2.DataStream的Transformation1.keyBy2. Connect3. split和select3.Flink在流处理上常见的sink1. Sink到Kafka2. ...]]></description><category></category></item><item><title><![CDATA[Flink批处理和Transformation算子]]></title><link>https://blog.youkuaiyun.com/smartsteps/article/details/103825414</link><guid>https://blog.youkuaiyun.com/smartsteps/article/details/103825414</guid><author>smartsteps</author><pubDate>Fri, 03 Jan 2020 19:02:22 +0800</pubDate><description><![CDATA[Flink批处理DataSource1.基于集合的 source2.读取 hdfs中得数据3.读取本地文件4.读取CSV文件5.遍历目录2.Flink批处理Transformation1. map2. flatMap3.mapPartition4.filter5.reduce6.groupBy7. reduceGroup8.aggregate9.distinct
DataSource
1.基于集合...]]></description><category></category></item><item><title><![CDATA[怎样用 Idea 搭建flink项目]]></title><link>https://blog.youkuaiyun.com/smartsteps/article/details/103818889</link><guid>https://blog.youkuaiyun.com/smartsteps/article/details/103818889</guid><author>smartsteps</author><pubDate>Fri, 03 Jan 2020 13:34:40 +0800</pubDate><description><![CDATA[怎样用 Idea 搭建flink项目批处理环境搭建1.IDEA新建maven项目2.创建项目3. 添加scala文件夹4.增加scala配置5. 配置maven
批处理环境搭建
1.IDEA新建maven项目

2.创建项目

3. 添加scala文件夹

4.增加scala配置


5. 配置maven
maven 配置
&lt;?xml version="1.0" encoding="UTF-...]]></description><category></category></item><item><title><![CDATA[flink on yram 任务管理]]></title><link>https://blog.youkuaiyun.com/smartsteps/article/details/103816931</link><guid>https://blog.youkuaiyun.com/smartsteps/article/details/103816931</guid><author>smartsteps</author><pubDate>Fri, 03 Jan 2020 11:02:45 +0800</pubDate><description><![CDATA[FLINK ON YRAM flink on yram 提交流程yarn-session提供两种模式会话模式（适合大量的小任务不用重新调度）分离模式（适合大任务）
flink on yram 提交流程
flink运行在YARN上，可以使用yarn-session来快速提交作业到YARN集群。我们先来看下Flink On Yarn模式，Flink是如何和Yarn进行交互的。



上传jar包和配置...]]></description><category></category></item><item><title><![CDATA[手把手教你搭建实时大数据引擎FLINK]]></title><link>https://blog.youkuaiyun.com/smartsteps/article/details/103814700</link><guid>https://blog.youkuaiyun.com/smartsteps/article/details/103814700</guid><author>smartsteps</author><pubDate>Fri, 03 Jan 2020 09:19:48 +0800</pubDate><description><![CDATA[手把手教你搭建实时大数据引擎FLINK 服务器规划Standalone高可用HA模式架构图下载并上传tar包具体安装步骤yarm 集群环境搭建
服务器规划

服务器规划






服务名称
职能




zhen 192.168.2.5(震）
master+slave


xun 192.168.2.6（巽）
slave


li 192.168.2.7（离）
slave


Standalon...]]></description><category></category></item><item><title><![CDATA[使用docker部署Redis]]></title><link>https://blog.youkuaiyun.com/smartsteps/article/details/103678263</link><guid>https://blog.youkuaiyun.com/smartsteps/article/details/103678263</guid><author>smartsteps</author><pubDate>Tue, 24 Dec 2019 10:10:35 +0800</pubDate><description><![CDATA[docker部署Redis1.拉取镜像安装镜像1.普通启动2.数据持久化存方式启动配置文件方式启动4.客户端查看Redis命令
1.拉取镜像

下载镜像


docker pull redis



查看下载


docker images


安装镜像
1.普通启动
[root@li ~]# docker run -p 6379:6379 -d redis:latest redis-server...]]></description><category></category></item><item><title><![CDATA[使用docker部署rabbitMQ]]></title><link>https://blog.youkuaiyun.com/smartsteps/article/details/103674171</link><guid>https://blog.youkuaiyun.com/smartsteps/article/details/103674171</guid><author>smartsteps</author><pubDate>Mon, 23 Dec 2019 22:12:37 +0800</pubDate><description><![CDATA[docker部署rabbitMQ1.获取rabbit镜像：2.安装rabbitMQ镜像3.运行UI监控
1.获取rabbit镜像：

docker pull rabbitmq:management # 下载镜像
docker images #查看镜像
下载完成后查看 rabbitma


2.安装rabbitMQ镜像
docker run -d --name rabbitmq -p 5672:56...]]></description><category></category></item><item><title><![CDATA[hive调优]]></title><link>https://blog.youkuaiyun.com/smartsteps/article/details/103663249</link><guid>https://blog.youkuaiyun.com/smartsteps/article/details/103663249</guid><author>smartsteps</author><pubDate>Mon, 23 Dec 2019 12:14:03 +0800</pubDate><description><![CDATA[HIVE调优12.hive调优**12.1** Fetch抓取12.8 并行执行12.9 严格模式12.10 **JVM重用**12.11 **推测执行**
12.hive调优
12.1 Fetch抓取
Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM score;在这种情况下，Hive可以简单地读取score对应的存储目录下的文件，然后输出查询结果到...]]></description><category></category></item><item><title><![CDATA[HIVE数据压缩技术和存储压缩技术]]></title><link>https://blog.youkuaiyun.com/smartsteps/article/details/103663190</link><guid>https://blog.youkuaiyun.com/smartsteps/article/details/103663190</guid><author>smartsteps</author><pubDate>Mon, 23 Dec 2019 12:09:21 +0800</pubDate><description><![CDATA[HIVE数据压缩技术和存储压缩技术10.hive的数据压缩**10.1 **MR支持的压缩编码**10.2 压缩配置**参数**10.3 开启Map**输出阶段压缩**10.4** 开启Reduce输出阶段压缩**11.hive的数据存储格式****11.1** **列式存储**和行式存储
10.hive的数据压缩
在实际工作当中，hive当中处理的数据，一般都需要经过压缩，前期我们在学习hado...]]></description><category></category></item><item><title><![CDATA[HIVE数据库中的SQL操作详细步骤]]></title><link>https://blog.youkuaiyun.com/smartsteps/article/details/103662946</link><guid>https://blog.youkuaiyun.com/smartsteps/article/details/103662946</guid><author>smartsteps</author><pubDate>Mon, 23 Dec 2019 11:46:32 +0800</pubDate><description><![CDATA[HIVE数据库SQL操作7.修改表结构8.hive表中加载数据(分区表）9.Hive 查询语法1.查询语句格式2.常用函数3.WHERE语句4. LIKE 和 RLIKE5. 逻辑运算符6. 分组6.1GROUP BY 语句6.2 HAVING 语句7. JOIN 语句7.1. 等值 JOIN7.2. 表的别名7.3. 内连接7.4. 左外连接7.5. 右外连接7.6. 多表连接8.. 排序8.1...]]></description><category></category></item><item><title><![CDATA[大数据分析引擎hive的库表操作，进阶成长。]]></title><link>https://blog.youkuaiyun.com/smartsteps/article/details/103649663</link><guid>https://blog.youkuaiyun.com/smartsteps/article/details/103649663</guid><author>smartsteps</author><pubDate>Sat, 21 Dec 2019 23:20:28 +0800</pubDate><description><![CDATA[HIVE数据库操作4.数据库操作1.创建数据库1.创建hive数据仓库2.创建指定目录的数据仓库2.设置数据库的信息5.数据表操作1.创建hive表2.内部表操作3.外部表操作1.新建外部表并加载数据2.新建外部表并从本地复制数据到表中3.覆盖外部表中的数据4.从hdfs文件中加载数据到外部表分区表的操作
4.数据库操作
1.创建数据库
HIVE工程的搭建请参考上一篇文章
1.创建hive数据仓库...]]></description><category></category></item></channel></rss>