<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[fczheng的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/fczheng</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; fczheng]]></copyright><item><title><![CDATA[Flink求TopN]]></title><link>https://blog.youkuaiyun.com/fczheng/article/details/102979916</link><guid>https://blog.youkuaiyun.com/fczheng/article/details/102979916</guid><author>fczheng</author><pubDate>Fri, 08 Nov 2019 20:49:04 +0800</pubDate><description><![CDATA[一、数据字段如下：




			字段名
			
			
			数据类型
			
			
			说明
			
		
			userId
			
			
			Long
			
			
			加密后的用户ID
			
		
			itemId
			
			
			Long
			
			
			加密后的商品ID
			
		
			categoryId
			
			
			Int
			
		...]]></description><category></category></item><item><title><![CDATA[Spark Streaming 读取Kafka数据]]></title><link>https://blog.youkuaiyun.com/fczheng/article/details/102504590</link><guid>https://blog.youkuaiyun.com/fczheng/article/details/102504590</guid><author>fczheng</author><pubDate>Fri, 11 Oct 2019 17:02:24 +0800</pubDate><description><![CDATA[1.引入Maven依赖


 &lt;dependency&gt;
            &lt;groupId&gt;org.apache.spark&lt;/groupId&gt;
            &lt;artifactId&gt;spark-core_2.11&lt;/artifactId&gt;
            &lt;version&gt;2.1.1&lt;/vers...]]></description><category></category></item><item><title><![CDATA[Spark从 Hbase 读写文件]]></title><link>https://blog.youkuaiyun.com/fczheng/article/details/102409906</link><guid>https://blog.youkuaiyun.com/fczheng/article/details/102409906</guid><author>fczheng</author><pubDate>Tue, 08 Oct 2019 20:41:28 +0800</pubDate><description><![CDATA[由于 org.apache.hadoop.hbase.mapreduce.TableInputFormat 类的实现，Spark 可以通过Hadoop输入格式访问 HBase。

这个输入格式会返回键值对数据，其中键的类型为org. apache.hadoop.hbase.io.ImmutableBytesWritable，而值的类型为org.apache.hadoop.hbase.client....]]></description><category></category></item><item><title><![CDATA[Spark从 Mysql 数据库读写文件]]></title><link>https://blog.youkuaiyun.com/fczheng/article/details/102402717</link><guid>https://blog.youkuaiyun.com/fczheng/article/details/102402717</guid><author>fczheng</author><pubDate>Tue, 08 Oct 2019 18:40:23 +0800</pubDate><description><![CDATA[1.引入maven依赖


&lt;dependencies&gt;
        &lt;dependency&gt;
            &lt;groupId&gt;org.apache.spark&lt;/groupId&gt;
            &lt;artifactId&gt;spark-core_2.11&lt;/artifactId&gt;
            &...]]></description><category></category></item><item><title><![CDATA[Shell中单引号和双引号区别]]></title><link>https://blog.youkuaiyun.com/fczheng/article/details/100139046</link><guid>https://blog.youkuaiyun.com/fczheng/article/details/100139046</guid><author>fczheng</author><pubDate>Thu, 29 Aug 2019 15:25:59 +0800</pubDate><description><![CDATA[1、创建一个脚本


[hadoop@hadoop104 fczheng]$ vim test.sh

在文件中添加如下内容：


#!/bin/bash
do_time=$1

echo '$do_time'
echo "$do_time"
echo "'$do_time'"
echo '"$do_time"'
echo `date`

2、执行结果


[hadoop@hadoop104 fc...]]></description><category></category></item><item><title><![CDATA[Kafka启动后进程过一段时间自己消失，问题解决]]></title><link>https://blog.youkuaiyun.com/fczheng/article/details/100112748</link><guid>https://blog.youkuaiyun.com/fczheng/article/details/100112748</guid><author>fczheng</author><pubDate>Wed, 28 Aug 2019 13:00:37 +0800</pubDate><description><![CDATA[我的Kafka有三个节点，启动kafka后进程过一段时间后会自己消失。解决问题思路如下：

由于kafka依赖于zookeeper，启动后要去zookeeper中注册，


启动kafka时：先启动zookeeper，保证zookeeper服务正常后，后再启动Kafka。

关闭Kafka时：先关闭kafka，再关闭zookeeper。

保证启动和停止无误后，如果kafka启动后，kafka进程...]]></description><category></category></item><item><title><![CDATA[DataX3.0入门简介]]></title><link>https://blog.youkuaiyun.com/fczheng/article/details/100045898</link><guid>https://blog.youkuaiyun.com/fczheng/article/details/100045898</guid><author>fczheng</author><pubDate>Fri, 23 Aug 2019 21:15:53 +0800</pubDate><description><![CDATA[一篇不错的介绍DataX的文章，转载自：https://blog.youkuaiyun.com/u014646662/article/details/82792725 ，感谢原作者。

一. DataX3.0概览

二、DataX3.0框架设计

三. DataX3.0插件体系

四、DataX3.0核心架构

五、DataX 3.0六大核心优势

对人工智能感兴趣的同学，可以点击以下链接：

现在人工智能非...]]></description><category></category></item><item><title><![CDATA[Hadoop集群安全模式]]></title><link>https://blog.youkuaiyun.com/fczheng/article/details/100045654</link><guid>https://blog.youkuaiyun.com/fczheng/article/details/100045654</guid><author>fczheng</author><pubDate>Fri, 23 Aug 2019 20:34:34 +0800</pubDate><description><![CDATA[基本语法：

集群处于安全模式，不能执行重要操作（写操作）。集群启动完成后，自动退出安全模式。

功能描述：查看安全模式状态

hdfs dfsadmin -safemode get

功能描述：进入安全模式状态

hdfs dfsadmin -safemode enter

功能描述：离开安全模式状态


hdfs dfsadmin -safemode leave

功能描述：等...]]></description><category></category></item><item><title><![CDATA[使用MapReduce将HBASE表中的数据导入到HDFS]]></title><link>https://blog.youkuaiyun.com/fczheng/article/details/99685790</link><guid>https://blog.youkuaiyun.com/fczheng/article/details/99685790</guid><author>fczheng</author><pubDate>Fri, 16 Aug 2019 21:32:06 +0800</pubDate><description><![CDATA[目标：将HBase中student表中的数据，通过MR迁移到HDFS的hdfs://hadoop112:9000/user/hadoop/out1路径下。

1. 添加Maven依赖


 &lt;dependencies&gt;
 
        &lt;dependency&gt;
            &lt;groupId&gt;org.apache.hbase&lt;/groupId...]]></description><category></category></item><item><title><![CDATA[使用MapReduce把HBase表中的数据迁移到另一张HBase表中]]></title><link>https://blog.youkuaiyun.com/fczheng/article/details/99684370</link><guid>https://blog.youkuaiyun.com/fczheng/article/details/99684370</guid><author>fczheng</author><pubDate>Fri, 16 Aug 2019 20:03:13 +0800</pubDate><description><![CDATA[目标：将HBase中student表中的数据，通过MR迁入student_mr表中。

1. 添加Maven依赖


 &lt;dependencies&gt;

        &lt;dependency&gt;
            &lt;groupId&gt;org.apache.hbase&lt;/groupId&gt;
            &lt;artifactId&gt;h...]]></description><category></category></item><item><title><![CDATA[Hbase Region下线故障修复]]></title><link>https://blog.youkuaiyun.com/fczheng/article/details/99675665</link><guid>https://blog.youkuaiyun.com/fczheng/article/details/99675665</guid><author>fczheng</author><pubDate>Fri, 16 Aug 2019 12:36:56 +0800</pubDate><description><![CDATA[当发现HBASE的某张表无法正常访问，或scan时：

发现故障后，检查hbase（以student表为例）：


[hadoop@hadoop112 ~]$ hbase hbck -details student

结果重要部分如下：


Summary:
Table student is okay.
    Number of regions: 0
    Deployed on: 
Tabl...]]></description><category></category></item><item><title><![CDATA[Arrays.copyOf()与System.arraycopy()的区别]]></title><link>https://blog.youkuaiyun.com/fczheng/article/details/99624700</link><guid>https://blog.youkuaiyun.com/fczheng/article/details/99624700</guid><author>fczheng</author><pubDate>Thu, 15 Aug 2019 11:16:33 +0800</pubDate><description><![CDATA[如果我们想拷贝一个数组，我们可能会使用Arrays.copyof()或者System.arraycopy()两种方式。在这里，我们将使用一个比较简单的示例来阐述两者之间的区别。

一、首先System.arraycopy()

首先观察先System.arraycopy(Object src, int srcPos, Object dest, int destPos, int length)的声明...]]></description><category></category></item><item><title><![CDATA[HBase架构简介]]></title><link>https://blog.youkuaiyun.com/fczheng/article/details/99592038</link><guid>https://blog.youkuaiyun.com/fczheng/article/details/99592038</guid><author>fczheng</author><pubDate>Wed, 14 Aug 2019 18:11:10 +0800</pubDate><description><![CDATA[一、HBase架构

HBase架构图如下：





  从图中可以看出 Hbase 是由 Client、Zookeeper、Master、HRegionServer、HDFS 等
几个组件组成，下面来介绍一下几个组件的相关功能：

1 ）Client

Client 包含了访问 Hbase 的接口，另外 Client 还维护了对应的 cache 来加速 Hbase 的访问，比如 ca...]]></description><category></category></item><item><title><![CDATA[Hive之--窗口函数]]></title><link>https://blog.youkuaiyun.com/fczheng/article/details/98519033</link><guid>https://blog.youkuaiyun.com/fczheng/article/details/98519033</guid><author>fczheng</author><pubDate>Mon, 05 Aug 2019 23:41:54 +0800</pubDate><description><![CDATA[背景：

平常我们使用 hive或者 mysql时，一般聚合函数用的比较多。但对于某些偏分析的需求，group by可能很费力，子查询很多，这个时候就需要使用窗口分析函数了~
注：hive、oracle提供开窗函数，mysql8之前版本不提供，但Oracle发布的 MySQL 8.0版本支持窗口函数（over）和公用表表达式（with）这两个重要的功能！

一、相关函数说明

OVER()：指定分...]]></description><category></category></item><item><title><![CDATA[Hive之--行转列collect和列转行explode]]></title><link>https://blog.youkuaiyun.com/fczheng/article/details/98503367</link><guid>https://blog.youkuaiyun.com/fczheng/article/details/98503367</guid><author>fczheng</author><pubDate>Mon, 05 Aug 2019 19:17:10 +0800</pubDate><description><![CDATA[一、行专列

1.相关函数说明

concat(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串;
	concat_ws(separator, str1, str2,...)：它是一个特殊形式的 concat()。第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将为 NULL。这个函数会跳过...]]></description><category></category></item><item><title><![CDATA[Hive集合数据类型]]></title><link>https://blog.youkuaiyun.com/fczheng/article/details/98218966</link><guid>https://blog.youkuaiyun.com/fczheng/article/details/98218966</guid><author>fczheng</author><pubDate>Fri, 02 Aug 2019 18:14:23 +0800</pubDate><description><![CDATA[Hive有三种复杂数据类型ARRAY、MAP 和 STRUCT。ARRAY和MAP与Java中的Array和Map类似，而STRUCT与C语言中的Struct类似，它封装了一个命名字段集合，复杂数据类型允许任意层次的嵌套。


			数据类型
			
			
			描述
			
			
			语法示例
			
		
			STRUCT
			
			
			和c语言中的struct类似，都可以通过...]]></description><category></category></item><item><title><![CDATA[Hadoop的HA集群搭建详细步骤]]></title><link>https://blog.youkuaiyun.com/fczheng/article/details/97899846</link><guid>https://blog.youkuaiyun.com/fczheng/article/details/97899846</guid><author>fczheng</author><pubDate>Wed, 31 Jul 2019 20:08:17 +0800</pubDate><description><![CDATA[一、环境准备

1. 修改IP

2. 修改主机名及主机名和IP地址的映射

3. 关闭防火墙

4. ssh免密登录

5. 安装JDK，配置环境变量等

二、集群规划

表2-1 hadoop集群规划
	hadoop112
			hadoop113
			hadoop114
		NameNode
			NameNode
			
		Journ...]]></description><category></category></item><item><title><![CDATA[HDFS的I/O流操作]]></title><link>https://blog.youkuaiyun.com/fczheng/article/details/97036116</link><guid>https://blog.youkuaiyun.com/fczheng/article/details/97036116</guid><author>fczheng</author><pubDate>Tue, 23 Jul 2019 21:16:43 +0800</pubDate><description><![CDATA[采用IO流的方式实现数据的上传和下载。


package com.fczheng.hdfs;

import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.net.URI;
import java.net....]]></description><category></category></item><item><title><![CDATA[Hadoop分布式集群搭建详细步骤]]></title><link>https://blog.youkuaiyun.com/fczheng/article/details/96483522</link><guid>https://blog.youkuaiyun.com/fczheng/article/details/96483522</guid><author>fczheng</author><pubDate>Tue, 23 Jul 2019 00:11:02 +0800</pubDate><description><![CDATA[主机名和ip映射如下：
 	192.168.1.110 hadoop110
    192.168.1.111 hadoop111
    192.168.1.112 hadoop112

一、Linux环境准备
1、更改主机名
（注：次操作分别在hadoop110,hadoop111,hadoop112上操作）
[hadoop@hadoop110 ~]$ su root
[root@hadoop...]]></description><category></category></item><item><title><![CDATA[Hadoop分布式集群搭建之--SSH无密登录配置]]></title><link>https://blog.youkuaiyun.com/fczheng/article/details/96895989</link><guid>https://blog.youkuaiyun.com/fczheng/article/details/96895989</guid><author>fczheng</author><pubDate>Mon, 22 Jul 2019 20:47:46 +0800</pubDate><description><![CDATA[1、配置ssh实现hadoop100免秘钥登录hdoop101和hadoop102。

2、免秘钥登录原理如下图所示：



3、生成公钥和私钥：

注：本操作hadoop用户已经创建，执行路径为/home/hadoop/.ssh


[hadoop@hadoop100 .ssh]$ ssh-keygen -t rsa

注：然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa...]]></description><category></category></item></channel></rss>