<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[SnowXu01的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/SnowXu01</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; SnowXu01]]></copyright><item><title><![CDATA[002.稀疏数组]]></title><link>https://blog.youkuaiyun.com/SnowXu01/article/details/128790472</link><guid>https://blog.youkuaiyun.com/SnowXu01/article/details/128790472</guid><author>SnowXu01</author><pubDate>Sun, 29 Jan 2023 18:29:26 +0800</pubDate><description><![CDATA[遇到二维数组0的个数多于非0数的时候， 我们可以采用稀疏树组来处理压缩。将如上棋盘转换成二维数组之后。]]></description><category></category></item><item><title><![CDATA[K8s部署在Centos上]]></title><link>https://blog.youkuaiyun.com/SnowXu01/article/details/124628442</link><guid>https://blog.youkuaiyun.com/SnowXu01/article/details/124628442</guid><author>SnowXu01</author><pubDate>Sat, 07 May 2022 12:44:35 +0800</pubDate><description><![CDATA[一、集群规划
集群类型选择： 本次搭建采用一主多从的方式搭建， 这种方式比较简单
集群的安装方式：本次采用kubeadm 安装， 这是一个快速搭建k8s集群的工具
主机规划：




作用
IP地址
操作系统
配置




k8s-master
192.168.186.101
Centos7 基础设施服务器
2颗CPU 8G内存 100G硬盘


k8s-node1
192.168.186.102
Centos7基础设施服务器
2颗CPU 8G内存 100G硬盘


k8s-node1
192.168.18]]></description><category></category></item><item><title><![CDATA[Mac安装Kafka]]></title><link>https://blog.youkuaiyun.com/SnowXu01/article/details/118539662</link><guid>https://blog.youkuaiyun.com/SnowXu01/article/details/118539662</guid><author>SnowXu01</author><pubDate>Wed, 07 Jul 2021 09:29:13 +0800</pubDate><description><![CDATA[Mac 系统安装kafka
1.安装zookeeper
源代码安装指令：
brew install --build-from-source zookeeper

我安装的 brew 位置在 /opt/homebrew下
/opt/homebrew/Cellar/zookeeper

启动文件位置：
/opt/homebrew/Cellar/zookeeper/3.7.0_1/bin

配置文件位置：
/opt/homebrew/etc/zookeeper

启动zk服务：
brew services sta]]></description><category></category></item><item><title><![CDATA[Clickhouse 安装记录(附录-异常)]]></title><link>https://blog.youkuaiyun.com/SnowXu01/article/details/111192188</link><guid>https://blog.youkuaiyun.com/SnowXu01/article/details/111192188</guid><author>SnowXu01</author><pubDate>Tue, 15 Dec 2020 10:07:17 +0800</pubDate><description><![CDATA[现象
~ » sudo clickhouse-server --config-file=/etc/clickhouse-server/config.xml                                                                                                              atguigu@hadoop162
Processing configuration file '/etc/clickhouse-serv]]></description><category></category></item><item><title><![CDATA[maxmall安装实录]]></title><link>https://blog.youkuaiyun.com/SnowXu01/article/details/110919705</link><guid>https://blog.youkuaiyun.com/SnowXu01/article/details/110919705</guid><author>SnowXu01</author><pubDate>Wed, 09 Dec 2020 11:53:45 +0800</pubDate><description><![CDATA[1. 安装前准备工作
(1) 设置密码权限校验规则
set global validate_password_policy=0;
set global validate_password_length=4;

(2) 在mysql中创建一个数据库, 用于存储maxwell的元数据
create database `maxwell` character set 'utf8' collate 'utf8_general_ci';

(3) 创建一个maxwell用户
grant all on maxwell.*]]></description><category></category></item><item><title><![CDATA[Redis单哨兵模式搭建实录]]></title><link>https://blog.youkuaiyun.com/SnowXu01/article/details/110452513</link><guid>https://blog.youkuaiyun.com/SnowXu01/article/details/110452513</guid><author>SnowXu01</author><pubDate>Tue, 01 Dec 2020 23:03:06 +0800</pubDate><description><![CDATA[哨兵模式
1. 简介
1.1 哨兵模式的作用？



]]></description><category></category></item><item><title><![CDATA[Redis主从复制配置实录]]></title><link>https://blog.youkuaiyun.com/SnowXu01/article/details/110444196</link><guid>https://blog.youkuaiyun.com/SnowXu01/article/details/110444196</guid><author>SnowXu01</author><pubDate>Tue, 01 Dec 2020 19:11:03 +0800</pubDate><description><![CDATA[Redis 主从复制
1. 主从简介
配置多台Redis 服务器，以主机和备机的身份分开。主机数据更新后，根据配置和策略，自动同步到备机的 master/slaver 机制，Master以写为主，Slaver 以读为主，二者之间自动同步数据。
1.1 配置主从的目的：
读写分离时为了提高Redis性能
避免单点故障，容灾快速恢复
1.1 配置主从的原理：
每次从机联通后，都会给主机发送sync指令，主机立刻进行存盘操作，发送RDB文件，给从机
从机收到RDB文件后，进行全盘加载。之后每次主机的写操作命令，都]]></description><category></category></item><item><title><![CDATA[Ubuntu 安装Redis实录]]></title><link>https://blog.youkuaiyun.com/SnowXu01/article/details/110387118</link><guid>https://blog.youkuaiyun.com/SnowXu01/article/details/110387118</guid><author>SnowXu01</author><pubDate>Mon, 30 Nov 2020 14:15:07 +0800</pubDate><description><![CDATA[（1）下载Redis源码包
下载地址
https://redis.io/download

（2）检查gcc &amp;&amp; g++ 环境
ubuntu上用apt安装，centos使用yum安装即可
sudo apt-get install -y gcc
sudo apt-get install -y g++

（3）编译安装
tar -zxvf redis-6.0.9.tar.gz -C /opt/module
cd /opt/module/redis-6.0.9/src 

/opt/module]]></description><category></category></item><item><title><![CDATA[Ubuntu 安装 gcc 与 g++环境]]></title><link>https://blog.youkuaiyun.com/SnowXu01/article/details/110383379</link><guid>https://blog.youkuaiyun.com/SnowXu01/article/details/110383379</guid><author>SnowXu01</author><pubDate>Mon, 30 Nov 2020 11:48:28 +0800</pubDate><description><![CDATA[（1）检查是否已经存在环境了
gcc --version 
g++ --version

(1)  检查gcc 和 g++ 版本
（2）安装gcc
sudo apt-get install -y gcc
sudo apt-get install -y g++

(3)  再次检查gcc 和 g++ 版本
gcc --version 
g++ --version



]]></description><category></category></item><item><title><![CDATA[Zabbix安装实录]]></title><link>https://blog.youkuaiyun.com/SnowXu01/article/details/110005928</link><guid>https://blog.youkuaiyun.com/SnowXu01/article/details/110005928</guid><author>SnowXu01</author><pubDate>Mon, 23 Nov 2020 21:31:09 +0800</pubDate><description><![CDATA[1）浏览器访问http://hadoop102/zabbix

2）检查配置

3）配置数据库

4）配置zabbix-server

5）再次确认配置

5）点击完成


]]></description><category></category></item><item><title><![CDATA[Error while instantiating ‘org.apache.spark.sql.internal.SessionState‘]]></title><link>https://blog.youkuaiyun.com/SnowXu01/article/details/108925889</link><guid>https://blog.youkuaiyun.com/SnowXu01/article/details/108925889</guid><author>SnowXu01</author><pubDate>Mon, 05 Oct 2020 09:40:09 +0800</pubDate><description><![CDATA[(1) 现象截图

(2) 错误堆栈信息(文本)
D:\developments\java-tools\jdk1.8.0_144\bin\java.exe -ea -Didea.test.cyclic.buffer.size=1048576 -javaagent:D:\developments\dev-software\IntelliJIDEA2020\lib\idea_rt.jar=51029:D:\developments\dev-software\IntelliJIDEA2020\bin -Dfile]]></description><category></category></item><item><title><![CDATA[随笔1-kafka集群安装]]></title><link>https://blog.youkuaiyun.com/SnowXu01/article/details/108790744</link><guid>https://blog.youkuaiyun.com/SnowXu01/article/details/108790744</guid><author>SnowXu01</author><pubDate>Fri, 25 Sep 2020 15:43:32 +0800</pubDate><description><![CDATA[1. 主机与服务规划
1.1 主机规划




主机
IP
HostName
CPU
MEMERY
USER
PWD




hadoop181
192.168.207.181
hadoop181
4 CORE
8G
hadoop
hadoop


hadoop182
192.168.207.182
hadoop182
4 CORE
8G
hadoop
hadoop


hadoop183
192.168.207.183
hadoop183
4 CORE
8G
hadoop
hadoop



注意： 集群]]></description><category></category></item><item><title><![CDATA[kafka 群起小脚本工具]]></title><link>https://blog.youkuaiyun.com/SnowXu01/article/details/108793119</link><guid>https://blog.youkuaiyun.com/SnowXu01/article/details/108793119</guid><author>SnowXu01</author><pubDate>Fri, 25 Sep 2020 15:36:24 +0800</pubDate><description><![CDATA[（1） 用户家目录中创建脚本文件目录 bin
mkdir -p ~/bin

（2） 新目录中创建脚本文件
cd ~/bin
vim kakfa-cluster

（3）脚本内容如下
#!/bin/bash

# 1. 环境变量配置

# HADOOP和JDK的位置
export HADOOP_HOME=/home/hadoop/hadoop-3.1.3
export JAVA_HOME=/home/hadoop/jdk1.8.0_144
export KAFKA_HOME=/home/hadoop/apa]]></description><category></category></item><item><title><![CDATA[随笔1-FLUME简介]]></title><link>https://blog.youkuaiyun.com/SnowXu01/article/details/108776959</link><guid>https://blog.youkuaiyun.com/SnowXu01/article/details/108776959</guid><author>SnowXu01</author><pubDate>Thu, 24 Sep 2020 20:15:48 +0800</pubDate><description><![CDATA[Apache-Flume
1. 概述
Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的工具
Flume 的核心是把数据从数据源（source）收集过来，再将收集到的数据送到指定的目的地（Sink）。 为了保证输送的过程一定成功，再送到目的地（Sink）之前，会先缓存数据（Channel），待数据真正到达目的地（Sink）后，flume 在删除自己缓存的数据。
Flume 支持定制各类数据发送方，用于收集各类型数据；同时Flume 支持定制各种数据接收方，用于]]></description><category></category></item><item><title><![CDATA[随笔3-Flume入门案例]]></title><link>https://blog.youkuaiyun.com/SnowXu01/article/details/108777772</link><guid>https://blog.youkuaiyun.com/SnowXu01/article/details/108777772</guid><author>SnowXu01</author><pubDate>Thu, 24 Sep 2020 20:14:52 +0800</pubDate><description><![CDATA[1. 监控端口数据官方案例
需求:

使用Flume监听一个端口，收集该端口数据，并打印到控制台。

步骤实现
(1) 在flume目录下创建work工作目录
[hadoop@hadoop181 apache-flume]$ mkdir -p work
[hadoop@hadoop181 apache-flume]$ cd work

(2) 创建flume Agent配置文件
[hadoop@hadoop181 work]$ vim flume-netcat-logger.conf

(3) 配置文件内容]]></description><category></category></item><item><title><![CDATA[随笔2-Flume安装部署实录]]></title><link>https://blog.youkuaiyun.com/SnowXu01/article/details/108777550</link><guid>https://blog.youkuaiyun.com/SnowXu01/article/details/108777550</guid><author>SnowXu01</author><pubDate>Thu, 24 Sep 2020 16:41:12 +0800</pubDate><description><![CDATA[Flume 安装部署
1. 下载Flume
(1) 下载地址
http://flume.apache.org/download.html
(2) 下载文件

(3) 上传到用户目录
2. 解压安装包
(1) 解压
[hadoop@hadoop181 ~]$ tar -zxvf apache-flume-1.9.0-bin.tar.gz

(2) 改一个简单的名字
[hadoop@hadoop181 ~]$ mv apache-flume-1.9.0-bin apache-flume

3. 修改flume-]]></description><category></category></item><item><title><![CDATA[HIVE的查询语句实例（基础版）]]></title><link>https://blog.youkuaiyun.com/SnowXu01/article/details/108658505</link><guid>https://blog.youkuaiyun.com/SnowXu01/article/details/108658505</guid><author>SnowXu01</author><pubDate>Fri, 18 Sep 2020 14:44:28 +0800</pubDate><description><![CDATA[1. 准备测试数据
1.1 准备测试文件
(1) 创建数据目录
[hadoop@hadoop181 ~]$ mkdir -p /home/hadoop/data/hive
[hadoop@hadoop181 ~]$ cd /home/hadoop/data/hive

(2) 创建部门表测试数据文件
[hadoop@hadoop181 hive]$ vi tbl_dept.txt
[hadoop@hadoop181 hive]$ cat tbl_dept.txt
10,ACCOUNTING,1700
20,]]></description><category></category></item><item><title><![CDATA[HIVE安装实录]]></title><link>https://blog.youkuaiyun.com/SnowXu01/article/details/108597151</link><guid>https://blog.youkuaiyun.com/SnowXu01/article/details/108597151</guid><author>SnowXu01</author><pubDate>Tue, 15 Sep 2020 18:44:58 +0800</pubDate><description><![CDATA[1. 主机与服务规划
1.1 主机规划

安装hive 还需要mysql 与 hadoop 支持,我这里已经搭建好了hadoop集群





主机
IP
HostName
CPU
MEMERY
USER
PWD




hadoop180
192.168.207.180
hadoop180
2 CORE
4G
root
root


hadoop181
192.168.207.181
hadoop181
4 CORE
8G
hadoop
hadoop


hadoop182
192.168.207.182]]></description><category></category></item><item><title><![CDATA[MapReduce自定义WordCount实现案例 （入门）]]></title><link>https://blog.youkuaiyun.com/SnowXu01/article/details/108543148</link><guid>https://blog.youkuaiyun.com/SnowXu01/article/details/108543148</guid><author>SnowXu01</author><pubDate>Sat, 12 Sep 2020 11:03:22 +0800</pubDate><description><![CDATA[1. 准备工作
1.1 远程文件准备
（1） 创建数据文件
[hadoop@hadoop181 ~]$ mkdir mapreduce
[hadoop@hadoop181 ~]$ cd mapreduce/

# 创建文件
[hadoop@hadoop181 mapreduce]$ vim wordcount.txt

# 新增文件内容
[hadoop@hadoop181 mapreduce]$ cat wordcount.txt 
hello,world,hadoop
hive,sqoop,flume,h]]></description><category></category></item><item><title><![CDATA[HDFS的SHELL客户端高级操作]]></title><link>https://blog.youkuaiyun.com/SnowXu01/article/details/108526523</link><guid>https://blog.youkuaiyun.com/SnowXu01/article/details/108526523</guid><author>SnowXu01</author><pubDate>Fri, 11 Sep 2020 11:31:21 +0800</pubDate><description><![CDATA[1. 文件限额
2. 管理员操作命令
2.1 dfsadmin 工具

这个工具用途比较广泛, 可以查看HDFS 状态信息, 也能执行管理操作

2.1.1 安全模式
(1) 查看是否处于安全模式
[hadoop@hadoop181 ~]$ hdfs dfsadmin -safemode get 
Safe mode is OFF in hadoop181/192.168.207.181:9000
Safe mode is OFF in hadoop182/192.168.207.182:9000
Safe]]></description><category></category></item></channel></rss>