<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[飞翔的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/volitationLong</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; volitationLong]]></copyright><item><title><![CDATA[大数据Phoenix系列之Phoenix基本操作]]></title><link>https://blog.youkuaiyun.com/volitationLong/article/details/128966477</link><guid>https://blog.youkuaiyun.com/volitationLong/article/details/128966477</guid><author>volitationLong</author><pubDate>Sat, 11 Feb 2023 10:00:00 +0800</pubDate><description><![CDATA[phoenix表操作、索引操作、表结构调整方式]]></description><category></category></item><item><title><![CDATA[大数据HBase系列之HBase进阶操作]]></title><link>https://blog.youkuaiyun.com/volitationLong/article/details/128868929</link><guid>https://blog.youkuaiyun.com/volitationLong/article/details/128868929</guid><author>volitationLong</author><pubDate>Fri, 03 Feb 2023 22:30:00 +0800</pubDate><description><![CDATA[Normalizer操作、命令空间、replication、强制删表、快照操作]]></description><category></category></item><item><title><![CDATA[DB2数据库基本操作]]></title><link>https://blog.youkuaiyun.com/volitationLong/article/details/122258714</link><guid>https://blog.youkuaiyun.com/volitationLong/article/details/122258714</guid><author>volitationLong</author><pubDate>Fri, 31 Dec 2021 17:08:16 +0800</pubDate><description><![CDATA[1）启动实例

db2start

2）停止实例
db2stop

3）列出所有实例
db2ilist

4）列出所有数据库
db2 list db directory

5）连接数据库
db2 connect to DBCTL user db2inst1 using edc123456

6）查看数据库所有表
db2 "select TABNAME from syscat.tables"

7）查看数据库所有表和表大小
db2 "select TABNAME,NPAGES from syscat.ta..]]></description><category></category></item><item><title><![CDATA[大数据Spark系列之Spark深入原理解析]]></title><link>https://blog.youkuaiyun.com/volitationLong/article/details/120942818</link><guid>https://blog.youkuaiyun.com/volitationLong/article/details/120942818</guid><author>volitationLong</author><pubDate>Sun, 24 Oct 2021 22:37:47 +0800</pubDate><description><![CDATA[1、spark的shuffle过程
父RDD中同一分区中的数据按照算子要求重新进入子RDD的不同分区中；
中间结果写入磁盘；
由子RDD拉取数据，而不是由父RDD推送；
默认情况下，shuffle不会改变分区数量。
2、spark的宽窄依赖
窄依赖：一个父RDD的分区被子RDD的一个分区使用。1个子RDD的分区对应于1个父RDD的分区，比如map，filter，union等算子。
宽依赖：一个父RDD的分区被子RDD的多个分区使用。宽依赖一般是对RDD进行groupByKey，reduceByKey，sor]]></description><category></category></item><item><title><![CDATA[linux操作当前分区磁盘容量升级]]></title><link>https://blog.youkuaiyun.com/volitationLong/article/details/109267503</link><guid>https://blog.youkuaiyun.com/volitationLong/article/details/109267503</guid><author>volitationLong</author><pubDate>Sat, 24 Oct 2020 22:53:53 +0800</pubDate><description><![CDATA[1. 需求目的

因当前/home目录所在分区，磁盘容量饱和，需要进行分区扩容，使服务器正常运行。

2. 升级步骤

1）创建目录

mkdir -p /media/home

2）把/dev/sdb挂载到/media/home

mount /dev/sdb /media/home

3）同步/home到/media/home，同步时间根据数据量大小决定，建议在系统空闲时操作

rsync -aXS /home/. /media/home/.

4）同步完成后删除/home

umount -lf /h]]></description><category></category></item><item><title><![CDATA[MySQL通过远程方式上传数据]]></title><link>https://blog.youkuaiyun.com/volitationLong/article/details/109267316</link><guid>https://blog.youkuaiyun.com/volitationLong/article/details/109267316</guid><author>volitationLong</author><pubDate>Sat, 24 Oct 2020 22:38:53 +0800</pubDate><description><![CDATA[1. 用户授权


create user 'test'@'%' identified by 'test123456';
grant all privileges on testdb.* to test@'%';
flush privileges;

2. 远程上传授权

查询远程上传是否开启：

show global variables like 'local_infile';

远程上传授权：

set global local_infile='ON';

3. 远程登录启用


mysql --lo]]></description><category></category></item><item><title><![CDATA[大数据Hadoop系列之Map-ETL实战开发]]></title><link>https://blog.youkuaiyun.com/volitationLong/article/details/105298915</link><guid>https://blog.youkuaiyun.com/volitationLong/article/details/105298915</guid><author>volitationLong</author><pubDate>Fri, 03 Apr 2020 18:37:03 +0800</pubDate><description><![CDATA[1. 输入数据


122.245.205.218^A
1450572279.254^A
hadoop-master.volitation.com^A
/BEIfeng.gif?
u_nu=1&amp;
u_sd=DFBFABA3-9F0B-451F-B47C-782EDBFB5D90&amp;
c_time=1450572272695&amp;
ver=1&amp;
en=e_l&amp;
p...]]></description><category></category></item><item><title><![CDATA[大数据Impala系列之初识Impala]]></title><link>https://blog.youkuaiyun.com/volitationLong/article/details/105298434</link><guid>https://blog.youkuaiyun.com/volitationLong/article/details/105298434</guid><author>volitationLong</author><pubDate>Fri, 03 Apr 2020 18:13:14 +0800</pubDate><description><![CDATA[一、impala 概述

1、什么是Impala？

Impala是用于处理存储在Hadoop集群中的大量数据的MPP（大规模并行处理）SQL查询引擎。 它是一个用C ++和Java编写的开源软件。 与其他Hadoop的SQL引擎相比，它提供了高性能和低延迟。
2、为什么选择Impala？

使用Impala，与其他SQL引擎（如Hive）相比，用户可以使用SQL查询以更快的方式与HDFS或HBa...]]></description><category></category></item><item><title><![CDATA[大数据Spark系列之Spark基本概念解析]]></title><link>https://blog.youkuaiyun.com/volitationLong/article/details/105297850</link><guid>https://blog.youkuaiyun.com/volitationLong/article/details/105297850</guid><author>volitationLong</author><pubDate>Fri, 03 Apr 2020 17:41:43 +0800</pubDate><description><![CDATA[1）Application

用户在 spark 上构建的程序，包含了 driver 程序以及在集群上运行的程序代码，物理机器上涉及了 driver，master，worker 三个节点。

2）Driver Program

创建 sc ，定义 udf 函数，定义一个 spark 应用程序所需要的三大步骤的逻辑：加载数据集，处理数据，结果展示。

3）Cluster Manager

集群...]]></description><category></category></item><item><title><![CDATA[大数据Spark系列之Spark单机环境搭建]]></title><link>https://blog.youkuaiyun.com/volitationLong/article/details/105297437</link><guid>https://blog.youkuaiyun.com/volitationLong/article/details/105297437</guid><author>volitationLong</author><pubDate>Fri, 03 Apr 2020 17:23:33 +0800</pubDate><description><![CDATA[1. 下载spark与scala

Spark下载地址
http://mirrors.hust.edu.cn/apache/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7.tgz

Scala下载地址
http://www.scala-lang.org/files/archive/scala-2.10.4.tgz



2. 解压安装

$ tar ...]]></description><category></category></item><item><title><![CDATA[大数据Kafka系列之Kafka监听方式实现消费者]]></title><link>https://blog.youkuaiyun.com/volitationLong/article/details/105271388</link><guid>https://blog.youkuaiyun.com/volitationLong/article/details/105271388</guid><author>volitationLong</author><pubDate>Thu, 02 Apr 2020 15:50:29 +0800</pubDate><description><![CDATA[1. kafka监听接口

MessageListener接口：使用MessageListener接口实现时，当消费者拉取消息之后，消费完成会自动提交offset，即enable.auto.commit为true时，适合使用此接口；
	AcknowledgingMessageListener接口：使用AcknowledgeMessageListener时，当消费者消费一条消息之后，不会自动提交o...]]></description><category></category></item><item><title><![CDATA[Linux系列之Nginx安装]]></title><link>https://blog.youkuaiyun.com/volitationLong/article/details/84557277</link><guid>https://blog.youkuaiyun.com/volitationLong/article/details/84557277</guid><author>volitationLong</author><pubDate>Mon, 26 Nov 2018 21:58:35 +0800</pubDate><description><![CDATA[1. 下载nginx

本次安装采用nginx-1.15.6版：http://nginx.org/download/nginx-1.15.6.tar.gz

2. 安装依赖


yum install -y pcre pcre-devel
yum install -y zlib zlib-devel
yum install -y openssl openssl-devel

3. 解压安装包


...]]></description><category></category></item><item><title><![CDATA[Linux系统DB2数据库安装手册]]></title><link>https://blog.youkuaiyun.com/volitationLong/article/details/84340862</link><guid>https://blog.youkuaiyun.com/volitationLong/article/details/84340862</guid><author>volitationLong</author><pubDate>Thu, 22 Nov 2018 15:52:04 +0800</pubDate><description><![CDATA[1. 下载网址

http://happyqing.iteye.com/blog/2082305

2. 安装DB2

2.1 下载解压安装包


wget ftp://public.dhe.ibm.com/software/hk/cobra/db2exc_970_LNX_x86_64.tar.gz

mkdir -p /home/db2
tar -zxvf db2exc_970_LNX_x86_...]]></description><category></category></item><item><title><![CDATA[大数据Hadoop系列之Hadoop Web控制台添加身份验证]]></title><link>https://blog.youkuaiyun.com/volitationLong/article/details/83863332</link><guid>https://blog.youkuaiyun.com/volitationLong/article/details/83863332</guid><author>volitationLong</author><pubDate>Thu, 08 Nov 2018 17:00:32 +0800</pubDate><description><![CDATA[1. 背景介绍

本文档介绍如何配置Hadoop HTTP Web控制台以要求用户身份验证。
	默认情况下，Hadoop HTTP Web控制台（ResourceManager，NameNode，NodeManagers和DataNodes）允许访问而无需任何形式的身份验证。
	可以将Hadoop HTTP Web控制台配置为使用HTTP SPNEGO协议（Firefox和Internet Exp...]]></description><category></category></item><item><title><![CDATA[大数据Hive系列之Hive性能优化（全面）]]></title><link>https://blog.youkuaiyun.com/volitationLong/article/details/83820860</link><guid>https://blog.youkuaiyun.com/volitationLong/article/details/83820860</guid><author>volitationLong</author><pubDate>Wed, 07 Nov 2018 12:08:46 +0800</pubDate><description><![CDATA[一、介绍

首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？


数据量大不是问题，数据倾斜是个问题。
	jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。原因是map reduce作业初始化的时间是比较长的。
	sum,count,max,min等UDAF，不怕数据倾斜问题,hadoop在map端的汇总合并优...]]></description><category></category></item><item><title><![CDATA[大数据HBase系列之HBase基本操作]]></title><link>https://blog.youkuaiyun.com/volitationLong/article/details/83623323</link><guid>https://blog.youkuaiyun.com/volitationLong/article/details/83623323</guid><author>volitationLong</author><pubDate>Thu, 01 Nov 2018 18:04:52 +0800</pubDate><description><![CDATA[1.  hbase命令

版本查看

hbase version


连接Zookeeper客户端

hbase zkcli


连接HBase客户端

hbase shell


2.  CRUD

2.1  创建表


-- 语法：create '表名','列族名'
create 'student','info'

2.2  显示所有表


-- 语法：list 或 list '表名'
lis...]]></description><category></category></item><item><title><![CDATA[大数据Zookeeper系列之Zookeeper服务开机自启动配置]]></title><link>https://blog.youkuaiyun.com/volitationLong/article/details/83584265</link><guid>https://blog.youkuaiyun.com/volitationLong/article/details/83584265</guid><author>volitationLong</author><pubDate>Wed, 31 Oct 2018 15:10:35 +0800</pubDate><description><![CDATA[1.  编写运行脚本


$ sudo cd /etc/init.d
$ sudo vi zookeeper



#!/bin/bash
#chkconfig:2345 20 90
#description:zookeeper
#processname:zookeeper
su - hadoop &amp;lt;&amp;lt;!
case $1 in
start)
sh /opt/apache/zookeep...]]></description><category></category></item><item><title><![CDATA[大数据Hadoop系列之Hadoop服务开机自启动配置]]></title><link>https://blog.youkuaiyun.com/volitationLong/article/details/83547915</link><guid>https://blog.youkuaiyun.com/volitationLong/article/details/83547915</guid><author>volitationLong</author><pubDate>Tue, 30 Oct 2018 20:22:40 +0800</pubDate><description><![CDATA[1.  编写运行脚本


$ sudo cd /etc/init.d
$ sudo vi hadoop



#!/bin/bash
#chkconfig:35 95 1
#description:script to start/stop hadoop
su - hadoop &amp;lt;&amp;lt;!
case $1 in
start)
sh /opt/apache/hadoop/hadoop-2.7....]]></description><category></category></item><item><title><![CDATA[Zabbix监控系统（二）：Zabbix管理之自动发现服务]]></title><link>https://blog.youkuaiyun.com/volitationLong/article/details/83379628</link><guid>https://blog.youkuaiyun.com/volitationLong/article/details/83379628</guid><author>volitationLong</author><pubDate>Thu, 25 Oct 2018 15:25:08 +0800</pubDate><description><![CDATA[1. 创建自动发现


配置-&amp;gt;自动发现-&amp;gt;创建发现规则


设置名称
	配置IP范围
	设置延迟时间
	设置IP地址为唯一性准则
	启用发现规则


2. 创建动作


配置-&amp;gt;动作-&amp;gt;创建动作


2.1 设置执行动作基本信息

设置名称
	启用动作


2.2 设置动作的执行条件

配置动作执行条件
	配置触发条件


2.3 配置具体的执行动作

将发现的主机添加至...]]></description><category></category></item><item><title><![CDATA[Zabbix监控系统（一）：初识Zabbix]]></title><link>https://blog.youkuaiyun.com/volitationLong/article/details/83304168</link><guid>https://blog.youkuaiyun.com/volitationLong/article/details/83304168</guid><author>volitationLong</author><pubDate>Tue, 23 Oct 2018 13:28:30 +0800</pubDate><description><![CDATA[一、Zabbix简介

Zabbix 是由 Alexei Vladishev 开发的一种网络监视、管理系统，基于 Server-Client 架构。可用于监视各种网络服务、服务器和网络机器等状态。

使用各种 Database-end 如 MySQL, PostgreSQL, SQLite, Oracle 或 IBM DB2 储存资料。Server 端基于 C语言、Web 管理端 frontend...]]></description><category></category></item></channel></rss>