<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[qq_42409495的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/qq_42409495</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; qq_42409495]]></copyright><item><title><![CDATA[大数据之HBase（3）- HBase数据结构及原理]]></title><link>https://blog.youkuaiyun.com/qq_42409495/article/details/122750273</link><guid>https://blog.youkuaiyun.com/qq_42409495/article/details/122750273</guid><author>qq_42409495</author><pubDate>Sun, 30 Jan 2022 09:25:14 +0800</pubDate><description><![CDATA[1 HBase数据结构

1.1 RowKey

与nosql数据库们一样,RowKey是用来检索记录的主键。访问HBASE table中的行，只有三种方式：
1.通过单个RowKey访问(get)
2.通过RowKey的range（正则）(like)
3.全表扫描(scan)
RowKey行键 (RowKey)可以是任意字符串(最大长度是64KB，实际应用中长度一般为 10-100bytes)，在HBASE内部，RowKey保存为字节数组。存储时，数据按照RowKey的字典序(byte order)排序存]]></description><category></category></item><item><title><![CDATA[大数据之Spark（6）- SparkStreaming]]></title><link>https://blog.youkuaiyun.com/qq_42409495/article/details/122739941</link><guid>https://blog.youkuaiyun.com/qq_42409495/article/details/122739941</guid><author>qq_42409495</author><pubDate>Sat, 29 Jan 2022 10:18:49 +0800</pubDate><description><![CDATA[1 Spark Streaming概述

1.1 Spark Streaming是什么

Spark Streaming用于流式数据的处理。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语如：map、reduce、join、window等进行运算。而结果也能保存在很多地方，如HDFS，数据库等。



和Spark基于RDD的概念很相似，Spark Streaming使用离散化流(]]></description><category></category></item><item><title><![CDATA[大数据之Spark（5）- SparkSql]]></title><link>https://blog.youkuaiyun.com/qq_42409495/article/details/122447326</link><guid>https://blog.youkuaiyun.com/qq_42409495/article/details/122447326</guid><author>qq_42409495</author><pubDate>Sat, 29 Jan 2022 10:15:11 +0800</pubDate><description><![CDATA[1 Spark SQL概述

1.1 什么是Spark SQL

Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。
我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非]]></description><category></category></item><item><title><![CDATA[大数据之Spark（4）- SparkCore(下)]]></title><link>https://blog.youkuaiyun.com/qq_42409495/article/details/122431849</link><guid>https://blog.youkuaiyun.com/qq_42409495/article/details/122431849</guid><author>qq_42409495</author><pubDate>Tue, 11 Jan 2022 14:26:08 +0800</pubDate><description><![CDATA[1 RDD编程

1.1 Action算子

1.1.1 reduce(func)

作用：通过func函数聚集RDD中的所有元素，先聚合分区内数据，再聚合分区间数据。
	需求：创建一个RDD，将所有元素聚合得到结果。
	（1）创建一个RDD[Int]

scala&gt; val rdd1 = sc.makeRDD(1 to 10,2)
rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[85] at makeRDD at &lt;con]]></description><category></category></item><item><title><![CDATA[大数据之Spark（3）- SparkCore(上)]]></title><link>https://blog.youkuaiyun.com/qq_42409495/article/details/122431739</link><guid>https://blog.youkuaiyun.com/qq_42409495/article/details/122431739</guid><author>qq_42409495</author><pubDate>Tue, 11 Jan 2022 14:23:01 +0800</pubDate><description><![CDATA[1 RDD概述

1.1 什么是RDD

RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合。

1.2 RDD的属性

1)一组分区（Partition），即数据集的基本组成单位;
2)一个计算每个分区的函数;
3)RDD之间的依赖关系;
4)一个Partitioner，即RDD的分片函数;
5)一个列表，存储存取每个Partition的优先位置（preferre]]></description><category></category></item><item><title><![CDATA[大数据之Spark（2）- Idea实现WordCount]]></title><link>https://blog.youkuaiyun.com/qq_42409495/article/details/122431710</link><guid>https://blog.youkuaiyun.com/qq_42409495/article/details/122431710</guid><author>qq_42409495</author><pubDate>Tue, 11 Jan 2022 14:19:01 +0800</pubDate><description><![CDATA[Spark Shell仅在测试和验证我们的程序时使用的较多，在生产环境中，通常会在IDE中编制程序，然后打成jar包，然后提交到集群，最常用的是创建一个Maven项目，利用Maven来管理jar包的依赖。

1 编写WordCount程序

1）创建一个Maven项目WordCount并导入依赖


&lt;dependencies&gt;
        &lt;dependency&gt;
            &lt;groupId&gt;org.apache.spark&lt;/groupId&g]]></description><category></category></item><item><title><![CDATA[大数据之Spark（1）- Spark简介及安装]]></title><link>https://blog.youkuaiyun.com/qq_42409495/article/details/122431637</link><guid>https://blog.youkuaiyun.com/qq_42409495/article/details/122431637</guid><author>qq_42409495</author><pubDate>Tue, 11 Jan 2022 14:17:58 +0800</pubDate><description><![CDATA[1 Spark概述

1.1 什么是Spark

1、定义
Spark是一种基于内存的快速、通用、可扩展的大数据分析引擎。
2、历史
2009年诞生于加州大学伯克利分校AMPLab，项目采用Scala编写。
2010年开源;
2013年6月成为Apache孵化项目
2014年2月成为Apache顶级项目。

1.2 Spark内置模块



Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。
Spark Core中还包含了对弹性分布式数据集(Resil]]></description><category></category></item><item><title><![CDATA[Nginx整合Kafka]]></title><link>https://blog.youkuaiyun.com/qq_42409495/article/details/122415016</link><guid>https://blog.youkuaiyun.com/qq_42409495/article/details/122415016</guid><author>qq_42409495</author><pubDate>Mon, 10 Jan 2022 17:13:32 +0800</pubDate><description><![CDATA[Nginx：一个高性能的HTTP和反向代理web服务器，实际生产中一般用作负载均衡；
Kafka：一种高吞吐量的分布式发布订阅消息系统，实际生产中一般用作流式处理中间件；

Nginx和Kafka都有非常优秀的性能，实际生产中，往往都是通过Nginx记录日志生成日志文件，然后再通过Flume将日志文件的内容读取到Kafka，中间会有一个写文件和读文件操作，性能势必会受到一些影响；

下面介绍一下把Nginx的日志直接写入到Kafka的实现过程：

1.安装git

git主要用于拉取源码文件


yum i]]></description><category></category></item><item><title><![CDATA[配置tez跑mapreduce任务]]></title><link>https://blog.youkuaiyun.com/qq_42409495/article/details/122414986</link><guid>https://blog.youkuaiyun.com/qq_42409495/article/details/122414986</guid><author>qq_42409495</author><pubDate>Mon, 10 Jan 2022 17:12:25 +0800</pubDate><description><![CDATA[在hadoop/etc/hadoop目录下配置3个配置文件：
1、tez-site.xml（新建）


&lt;?xml version="1.0" encoding="UTF-8"?&gt;
&lt;?xml-stylesheet type="text/xsl" href="configuration.xsl"?&gt;
&lt;configuration&gt;
        &lt;property&gt;
                &lt;name&gt;tez.lib.uris&lt;/n]]></description><category></category></item><item><title><![CDATA[记录Hive-2.3.8 on Tez-0.10.1部署及踩过的坑]]></title><link>https://blog.youkuaiyun.com/qq_42409495/article/details/122414939</link><guid>https://blog.youkuaiyun.com/qq_42409495/article/details/122414939</guid><author>qq_42409495</author><pubDate>Mon, 10 Jan 2022 17:11:29 +0800</pubDate><description><![CDATA[本文主要记录一下自己在配置Hive on Tez遇到的一些问题及解决办法
这个折腾了我几天时间！！！
网上各种查找文档、答案，然后自己也重新编译了tez，然而问题一直没有解决。。。
于是静下心来重新开始：

hadoop版本：hadoop-3.2.2
hive版本：hive-2.3.8
tez版本：tez-0.10.1

前提条件：
1、hadoop-yarn集群已正常安装，并测试mapreduce程序正常
2、hive on mr正常，也就是hive可以正常的运行普通的mr任务

下面是配置tez的步骤：]]></description><category></category></item><item><title><![CDATA[hive-2.3.8安装部署]]></title><link>https://blog.youkuaiyun.com/qq_42409495/article/details/122390189</link><guid>https://blog.youkuaiyun.com/qq_42409495/article/details/122390189</guid><author>qq_42409495</author><pubDate>Sun, 09 Jan 2022 09:54:47 +0800</pubDate><description><![CDATA[1 前提条件

1.1 Hadoop正常部署
Hadoop集群的正常部署并启动：


[hadoop@hadoop101 hadoop-3.2.2]$ sbin/start-dfs.sh
[hadoop@hadoop102 hadoop-3.2.2]$ sbin/start-yarn.sh


2 安装准备

2.1 Hive安装地址

1．Hive官网地址:http://hive.apache.org/
2．文档查看地址:https://cwiki.apache.org/confluence/disp..]]></description><category></category></item><item><title><![CDATA[hbase-2.3.6安装部署]]></title><link>https://blog.youkuaiyun.com/qq_42409495/article/details/122390177</link><guid>https://blog.youkuaiyun.com/qq_42409495/article/details/122390177</guid><author>qq_42409495</author><pubDate>Sun, 09 Jan 2022 09:53:03 +0800</pubDate><description><![CDATA[1 前提条件

1.1 zookeeper正常部署

首先保证Zookeeper集群的正常部署，并启动之：


[hadoop@hadoop101 zookeeper-3.6.3]$ bin/zkServer.sh start
[hadoop@hadoop102 zookeeper-3.6.3]$ bin/zkServer.sh start
[hadoop@hadoop103 zookeeper-3.6.3]$ bin/zkServer.sh start


1.2 Hadoop正常部署

Hadoop集群]]></description><category></category></item><item><title><![CDATA[zookeeper-3.6.3集群安装]]></title><link>https://blog.youkuaiyun.com/qq_42409495/article/details/122390169</link><guid>https://blog.youkuaiyun.com/qq_42409495/article/details/122390169</guid><author>qq_42409495</author><pubDate>Sun, 09 Jan 2022 09:52:04 +0800</pubDate><description><![CDATA[1 本地模式安装部署

1.1 安装前准备

（1）安装Jdk
（2）拷贝Zookeeper安装包到Linux系统下
（3）解压到指定目录


[hadoop@hadoop101 softwares]$ tar -xf zookeeper-3.6.3.tar.gz -C /opt/modules/


2.2 配置修改

（1）将/opt/modules/zookeeper-3.6.3/conf这个路径下的zoo_sample.cfg修改为zoo.cfg；


[hadoop@hadoop101 conf]]]></description><category></category></item><item><title><![CDATA[0到1搭建hadoop-3.2.2集群]]></title><link>https://blog.youkuaiyun.com/qq_42409495/article/details/122390152</link><guid>https://blog.youkuaiyun.com/qq_42409495/article/details/122390152</guid><author>qq_42409495</author><pubDate>Sun, 09 Jan 2022 09:50:31 +0800</pubDate><description><![CDATA[1 安装包准备

从官网下载安装包：hadoop-3.2.2.tar.gzhttps://archive.apache.org/dist/hadoop/common/

2 集群规划


			Hadoop101
			Hadoop102
			hadoop103
		192.168.56.101
			NameNode,DataNode
			DataNode
			DataNode
		192.168.56.102
			NodeManager
			ResourceManager,NodeManage]]></description><category></category></item><item><title><![CDATA[HBase（4）- HBase API操作]]></title><link>https://blog.youkuaiyun.com/qq_42409495/article/details/122169804</link><guid>https://blog.youkuaiyun.com/qq_42409495/article/details/122169804</guid><author>qq_42409495</author><pubDate>Mon, 27 Dec 2021 13:13:49 +0800</pubDate><description><![CDATA[1 HBase API操作

1.1 环境准备

新建项目后在pom.xml中添加依赖：


        &lt;dependency&gt;
            &lt;groupId&gt;org.apache.hbase&lt;/groupId&gt;
            &lt;artifactId&gt;hbase-server&lt;/artifactId&gt;
            &lt;version&gt;1.4.13&lt;/version&gt;
        &l]]></description><category></category></item><item><title><![CDATA[话单数据仓库搭建（3）- 数据仓库DWS及ADS层]]></title><link>https://blog.youkuaiyun.com/qq_42409495/article/details/122169791</link><guid>https://blog.youkuaiyun.com/qq_42409495/article/details/122169791</guid><author>qq_42409495</author><pubDate>Mon, 27 Dec 2021 13:12:56 +0800</pubDate><description><![CDATA[1 活跃用户

1.1 DWS层

目标：统计当日、当周、当月活跃用户
活跃用户指的是在统计周期内由过通话记录的用户

1.1.1 每日活跃用户明细

1）建表语句


hive (calllogs)&gt;
drop table if exists dws_au_detail_day;
create table dws_au_detail_day( 
sys_id string,
service_name string,
home_province_code string,
visit_province_]]></description><category></category></item><item><title><![CDATA[话单数据仓库搭建（2）- 数据仓库ODS及DWD层]]></title><link>https://blog.youkuaiyun.com/qq_42409495/article/details/122169774</link><guid>https://blog.youkuaiyun.com/qq_42409495/article/details/122169774</guid><author>qq_42409495</author><pubDate>Mon, 27 Dec 2021 13:11:47 +0800</pubDate><description><![CDATA[1 数仓分层概念

1.1 为什么要分层

1、把复杂问题简单化
将一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解。
2、清晰数据结构
每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。
便于维护数据的准确性，当数据出现问题之后，可以不用修复所有的数据，只需要从有问题的步骤开始修复。
3、减少重复开发
规范数据分层，通过的中间层数据，能够减少极大的重复计算，增加一次计算结果的复用性。
4、隔离原始数据
不论是数据的异常还是数据的敏感性，使真实数据与统计]]></description><category></category></item><item><title><![CDATA[话单数据仓库搭建（1）- 数仓概念及数据采集]]></title><link>https://blog.youkuaiyun.com/qq_42409495/article/details/122169748</link><guid>https://blog.youkuaiyun.com/qq_42409495/article/details/122169748</guid><author>qq_42409495</author><pubDate>Mon, 27 Dec 2021 13:10:36 +0800</pubDate><description><![CDATA[1 数据仓库概念

数据仓库（ Data Warehouse ），可简写为DW或DWH。数据仓库，是为企业所有决策制定过程，提供所有系统数据支持的战略集合。
通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本、提高产品质量等。
数据仓库，并不是数据的最终目的地，而是为数据最终的目的地做好准备。这些准备包括对数据的：清洗，转义，分类，重组，合并，拆分，统计等等。



2 项目需求

2.1 项目需求分析

1、实时采集埋点的用户行为数据
2、实现数据仓库的分层搭建
3、每天定时导入业务数据
4]]></description><category></category></item><item><title><![CDATA[HBase（2）- HBase Shell]]></title><link>https://blog.youkuaiyun.com/qq_42409495/article/details/122169729</link><guid>https://blog.youkuaiyun.com/qq_42409495/article/details/122169729</guid><author>qq_42409495</author><pubDate>Mon, 27 Dec 2021 13:08:05 +0800</pubDate><description><![CDATA[1 基本操作
进入HBase客户端命令行


[hadoop@hadoop101 hbase]$ bin/hbase shell


查看帮助命令


hbase(main):001:0&gt; help


查看当前数据库中有哪些表


hbase(main):002:0&gt; list


2 表的操作
创建表


hbase(main):003:0&gt; create 'student','info'


插入数据到表


hbase(main):005:0&gt; put 'student',']]></description><category></category></item><item><title><![CDATA[HBase（1）- 简介及安装]]></title><link>https://blog.youkuaiyun.com/qq_42409495/article/details/122169718</link><guid>https://blog.youkuaiyun.com/qq_42409495/article/details/122169718</guid><author>qq_42409495</author><pubDate>Mon, 27 Dec 2021 13:06:31 +0800</pubDate><description><![CDATA[1 HBase简介

1.1 什么是HBase

HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。
官方网站：http://hbase.apache.org
-- 2006年Google发表BigTable白皮书
-- 2006年开始开发HBase
-- 2008年北京成功开奥运会，程序员默默地将HBase弄成了Hadoop的子项目
-- 2010年HBase成为Apache顶级项目
-- 现在很多公司二次开发出]]></description><category></category></item></channel></rss>