<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[m0_49528461的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/m0_49528461</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; m0_49528461]]></copyright><item><title><![CDATA[Hue学习 day02]]></title><link>https://blog.youkuaiyun.com/m0_49528461/article/details/109289139</link><guid>https://blog.youkuaiyun.com/m0_49528461/article/details/109289139</guid><author>m0_49528461</author><pubDate>Mon, 26 Oct 2020 14:36:05 +0800</pubDate><description><![CDATA[今天，我继续学习了Hue。学习了编译Spark前环境准备、Spark编译源码成功、CDH Spark安装部署-概述、CDH Spark安装部署-实操、Hue与Spark整合、Apache版本Hue安装部署、Apache版本Spark安装部署。
总结一下：
1.Hue与Spark集成
1、安装jdk
1）解压
2）配置环境变量
2、安装Scala
1）解压
2）配置环境变量
3、安装Maven
1）解压
2）配置环境变量
3）修改settings.xml配置文件
4、Spark编译源码
1）下载Spark
2]]></description><category></category></item><item><title><![CDATA[Hue学习 day01]]></title><link>https://blog.youkuaiyun.com/m0_49528461/article/details/109231506</link><guid>https://blog.youkuaiyun.com/m0_49528461/article/details/109231506</guid><author>m0_49528461</author><pubDate>Thu, 22 Oct 2020 21:49:13 +0800</pubDate><description><![CDATA[今天，我开始了Hue的学习。学习了Hue资料介绍、Hue简介、Hue安装部署、Hue与HDFS的集成、Hue与Yarn的集成、Hue与Hive的集成、Hue与Hive的集成-补充、Hue与Mysql的集成、Hue与Oozie的集成、Hue与Zookeeper的集成、Hue与Hbase的集成、Hue与Sqoop2的集成。
总结一下：
1.Hue来源
HUE=HadoopUser Experience，看这名字就知道怎么回事了吧，没错，直白来说就是Hadoop用户体验，是一个开源的Apache Hadoop U]]></description><category></category></item><item><title><![CDATA[Oozie学习 day01]]></title><link>https://blog.youkuaiyun.com/m0_49528461/article/details/109207262</link><guid>https://blog.youkuaiyun.com/m0_49528461/article/details/109207262</guid><author>m0_49528461</author><pubDate>Wed, 21 Oct 2020 18:57:17 +0800</pubDate><description><![CDATA[今天，我开始了Oozie的学习。学习了Oozie的介绍、Oozie功能模块介绍、搭建CDH版本的Hadoop、CDH版本的Oozie安装部署、实操案例、总结、Apache Oozie版本编译源码。
总结一下：
1.Oozie简介
Oozie英文翻译为：驯象人。一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对Hadoop Mapreduce、Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。主要用于定时调度任务，多任务可以按照执行的逻辑顺序]]></description><category></category></item><item><title><![CDATA[Storm学习 day02]]></title><link>https://blog.youkuaiyun.com/m0_49528461/article/details/109105583</link><guid>https://blog.youkuaiyun.com/m0_49528461/article/details/109105583</guid><author>m0_49528461</author><pubDate>Thu, 15 Oct 2020 21:19:05 +0800</pubDate><description><![CDATA[今天，我继续学习了Storm。先是复习了之前学过的内容，然后学习了Pv-案例、Uv-案例、整合kafka案例。
总结一下：
1.实时计算网站PV案例
1）需求
统计网站pv。
PV（page views）：count（session_id）即页面浏览量。
2）需求分析
方案一
定义static long pv，Synchronized控制累计操作。（不可行）
原因：Synchronized和Lock在单JVM下有效，但在多JVM下无效。
方案二
shuffleGrouping下，pv * Executer并]]></description><category></category></item><item><title><![CDATA[Storm学习 day01]]></title><link>https://blog.youkuaiyun.com/m0_49528461/article/details/109080119</link><guid>https://blog.youkuaiyun.com/m0_49528461/article/details/109080119</guid><author>m0_49528461</author><pubDate>Wed, 14 Oct 2020 18:44:17 +0800</pubDate><description><![CDATA[今天，我开始了Storm的学习。学习了Storm是什么、Storm与Hadoop的区别、应用场景和案例、特点、编程模型、核心组件、架构图、环境准备、分布式环境搭建、查看log日志、命令行操作、常用API介绍、数据准备、网站日志案例、读数据思考、分组策略-理论篇、分组策略-实践篇、并发度、WordCount案例、感受分组策略。
总结一下：
1.Storm是什么？
Storm是一个分布式计算框架，主要使用Clojure与Java语言编写，最初是由Nathan Marz带领Backtype公司团队创建，在Back]]></description><category></category></item><item><title><![CDATA[ElasticSearch学习 day01]]></title><link>https://blog.youkuaiyun.com/m0_49528461/article/details/109060748</link><guid>https://blog.youkuaiyun.com/m0_49528461/article/details/109060748</guid><author>m0_49528461</author><pubDate>Tue, 13 Oct 2020 21:14:29 +0800</pubDate><description><![CDATA[今天，我开始了ElasticSearch的学习。学习了ElasticSearch什么是搜索、ES特点、ES的核心概念、单节点安装、完全分布式安装、安装总结、ES-head插件安装、获取客户端-API、创建一个索引-API、删除一个索引-API、创建文档-Json-API、创建文档-Map-API、创建文档-ESBuild-API、查询单个索引-API、查询多个索引-API、Update-API、Upsert-API、Delete-API、QueryAll-API、分词查询-API、通配符查询-API、词条查]]></description><category></category></item><item><title><![CDATA[Flume学习 day01]]></title><link>https://blog.youkuaiyun.com/m0_49528461/article/details/109037142</link><guid>https://blog.youkuaiyun.com/m0_49528461/article/details/109037142</guid><author>m0_49528461</author><pubDate>Mon, 12 Oct 2020 21:42:40 +0800</pubDate><description><![CDATA[今天，我开始了Flume的学习。学习了Flume的简介、Flume的特点、组件核心概念、拦截器-数据流-可靠性、使用场景、数据传输过程、Flume-1.7-安装、telnet-安装、Flume-telnet-案例、Flume-文件-案例、Flume-文件夹-案例、双层Flume一对二案例、双层Flume-二对一案例、了解更多组件。
总结一下：
1.Flume简介
Flume作为Cloudera开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume初始的发行版本目前被统称为Flume OG（origi]]></description><category></category></item><item><title><![CDATA[Kafka学习 day01]]></title><link>https://blog.youkuaiyun.com/m0_49528461/article/details/108890802</link><guid>https://blog.youkuaiyun.com/m0_49528461/article/details/108890802</guid><author>m0_49528461</author><pubDate>Wed, 30 Sep 2020 22:10:39 +0800</pubDate><description><![CDATA[今天，我开始了Kafka的学习。学习了Kafka是什么、消息队列内部实现原理、为什么需要消息队列、架构、集群部署、命令行操作、topic详情、Broker-配置参数、Producer-配置参数、Consumer-配置参数、Kafka生产过程分析、Broker保存消息、消费过程分析、消费者组案例、生产者-newAPI、生产者带回调函数-API、Producer自定义分区、Consumer消费者API、拦截器原理、Producer-拦截器-Interceptor、Kafka Stream-原理、Kafka St]]></description><category></category></item><item><title><![CDATA[Kafka学习 day01]]></title><link>https://blog.youkuaiyun.com/m0_49528461/article/details/108890035</link><guid>https://blog.youkuaiyun.com/m0_49528461/article/details/108890035</guid><author>m0_49528461</author><pubDate>Wed, 30 Sep 2020 22:02:02 +0800</pubDate><description><![CDATA[今天，我开始了Kafka的学习。学习了Kafka是什么、消息队列内部实现原理、为什么需要消息队列、架构、集群部署、命令行操作、topic详情、Broker-配置参数、Producer-配置参数、Consumer-配置参数、Kafka生产过程分析、Broker保存消息、消费过程分析、消费者组案例、生产者-newAPI、生产者带回调函数-API、Producer自定义分区、Consumer消费者API、拦截器原理、Producer-拦截器-Interceptor、Kafka Stream-原理、Kafka St]]></description><category></category></item><item><title><![CDATA[Sqoop学习 day02]]></title><link>https://blog.youkuaiyun.com/m0_49528461/article/details/108875855</link><guid>https://blog.youkuaiyun.com/m0_49528461/article/details/108875855</guid><author>m0_49528461</author><pubDate>Tue, 29 Sep 2020 21:56:39 +0800</pubDate><description><![CDATA[今天，我继续学习了Sqoop。首先，先是复习了之前学过的内容，然后，学习了MySql-to-Hive、MySql-to-Hive-总结、MySql-to-HBase、MySql-to-HBase-总结、MySql-to-Hive-原理、HDFS-Hive-to-MySql、Hive和HBase整合集成、重新编译hive-hbase-handler-1.2.1.jar、hive-hbase-案例、HBase-To-MySql、脚本、常用命令、公有参数、命令参数-import、命令参数-export-codeg]]></description><category></category></item><item><title><![CDATA[JeeSite、Sqoop学习 day01]]></title><link>https://blog.youkuaiyun.com/m0_49528461/article/details/108857495</link><guid>https://blog.youkuaiyun.com/m0_49528461/article/details/108857495</guid><author>m0_49528461</author><pubDate>Mon, 28 Sep 2020 21:24:14 +0800</pubDate><description><![CDATA[今天，我开始了JeeSite和Sqoop的学习。
JeeSite：进行了初步了解、学习了环境部署、快速开发体验、Error解决。
Sqoop：学习了简介、原理、架构、应用场景、环境安装、导入导出工具、MySqlToHDFS。
总结一下：
1.Sqoop简介（sql to hadoop）
官网
http://sqoop.apache.org/
Apache Sqoop（TM）是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。
Sqoop于2012年3月孵化出来]]></description><category></category></item><item><title><![CDATA[Hbase学习 day02]]></title><link>https://blog.youkuaiyun.com/m0_49528461/article/details/108761654</link><guid>https://blog.youkuaiyun.com/m0_49528461/article/details/108761654</guid><author>m0_49528461</author><pubDate>Wed, 23 Sep 2020 21:23:11 +0800</pubDate><description><![CDATA[今天，我继续学习了Hbase。首先，先是复习了之前学过的内容，然后学习了动态服役hbase节点、动态退役hbase节点、版本的确界、HA高可用、优化-hadoop、优化-Linux、优化-zookeeper、优化-表预分区、优化-rowkey设计、优化-内存优化、压缩案例-失败、配置hadoop+hbase支持snappy压缩、快速搭建hbase并测试、查看历史命令、脚本。
总结一下：
1.HBase节点的服役和退役
1、服役（commissioning）
当启动regionserver时，regionse]]></description><category></category></item><item><title><![CDATA[Hbase学习 day01]]></title><link>https://blog.youkuaiyun.com/m0_49528461/article/details/108741921</link><guid>https://blog.youkuaiyun.com/m0_49528461/article/details/108741921</guid><author>m0_49528461</author><pubDate>Tue, 22 Sep 2020 22:13:45 +0800</pubDate><description><![CDATA[今天，开始了Hbase的学习。学习了Hbase的介绍、环境搭建、Shell操作、读写流程、API-判断一下表是否存在、API-创建一张表、API-删除一张表、API-添加数据、API-删除数据、API-获取整张表的所有数据、API-获取rowkey的所有数据、API-获得某一个列的数据、官方Hbase-MapReduce案例、MR数据迁移、HDFS-MR-HBase、常用Shell、备份-恢复。
总结一下：
1.HBase的角色
1）HMaster
功能
（1）监控RegionServer
（2）处理Reg]]></description><category></category></item><item><title><![CDATA[Hive学习 day03]]></title><link>https://blog.youkuaiyun.com/m0_49528461/article/details/108721368</link><guid>https://blog.youkuaiyun.com/m0_49528461/article/details/108721368</guid><author>m0_49528461</author><pubDate>Mon, 21 Sep 2020 23:32:00 +0800</pubDate><description><![CDATA[今天，继续学习了Hive。首先，先是复习了之前学过的内容，然后学习了表-即分区又分桶、动态分区、系统函数+自定义UDF函数、压缩、文件存储格式-概念、文件存储格式-实操、存储和压缩的结合、调优、常见问题总结、网站日志分析。
总结一下：
1.分区表
分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。
2.把]]></description><category></category></item><item><title><![CDATA[Hive学习 day02]]></title><link>https://blog.youkuaiyun.com/m0_49528461/article/details/108652219</link><guid>https://blog.youkuaiyun.com/m0_49528461/article/details/108652219</guid><author>m0_49528461</author><pubDate>Thu, 17 Sep 2020 20:52:29 +0800</pubDate><description><![CDATA[今天，继续学习了Hive。首先，先是复习了之前学过的内容，然后学习了DML数据导入导出、Centos7.5安装Mysql5.6.49-yum方式、强制删除hive的数据库、yum.conf、基本查询、where查询、分组查询、Join查询、排序查询实操、排序查询原理、排序原理-再解说、分桶实操、分桶xy参数讲解。
总结一下：
1.Hive常见属性配置
1、Hive数据仓库位置配置
（1）Default数据仓库的最原始位置是在hdfs上的/user/hive/warehouse路径下。
（2）在仓库目录下，没]]></description><category></category></item><item><title><![CDATA[Hive学习 day01]]></title><link>https://blog.youkuaiyun.com/m0_49528461/article/details/108629588</link><guid>https://blog.youkuaiyun.com/m0_49528461/article/details/108629588</guid><author>m0_49528461</author><pubDate>Wed, 16 Sep 2020 20:41:28 +0800</pubDate><description><![CDATA[今天，我开始了Hive的学习。学习了基本概念、安装地址说明、安装部署、基本Shell操作、Hive初次启动ERROR解决、将本地文件导入Hive案例、多客户端异常分析、centos7安装mysql5.7.21、Hive元数据配置到Mysql里面、常用的交互命令、其它命令操作、常见属性配置、数据类型、DDL、创建内部表、外部表+内部表、删除数据库-补录、分区表、修改表。
总结一下：
1.Hive基本概念
什么是Hive：
Hive：由Facebook开源用于解决海量结构化日志的数据统计。
Hive是基于Had]]></description><category></category></item><item><title><![CDATA[Zookeeper学习 day01]]></title><link>https://blog.youkuaiyun.com/m0_49528461/article/details/108608259</link><guid>https://blog.youkuaiyun.com/m0_49528461/article/details/108608259</guid><author>m0_49528461</author><pubDate>Tue, 15 Sep 2020 20:51:12 +0800</pubDate><description><![CDATA[今天，我开始了Zookeeper的学习。学习了概述+特点、数据结构+应用场景、单机模式、伪分布模式、完全分布式、客户端命令行操作、java-api-初体验、Java API、监听服务器节点变化、动态服役节点-3-5、动态退役节点-5-3、客户端连接服务端的三种方式。

...]]></description><category></category></item><item><title><![CDATA[Hadoop学习 day04]]></title><link>https://blog.youkuaiyun.com/m0_49528461/article/details/108503518</link><guid>https://blog.youkuaiyun.com/m0_49528461/article/details/108503518</guid><author>m0_49528461</author><pubDate>Wed, 09 Sep 2020 22:31:06 +0800</pubDate><description><![CDATA[今天，继续学习了Hadoop。学习了回收站、HA-概述、HA-环境准备、HA-手动故障转移-HDFS、HA-自动故障转移-HDFS、HA-自动故障转移-Yarn、回收站总结、HDFS-API-Maven版、项目打包放到集群上运行、MapReduce-wordcount、WordCount-优化、初步感受压缩和解压缩、Map-Reduce-压缩、倒排索引。
总结一下：
1.HA概述
1）所谓HA（High Availability），即高可用。
2）实现高可用最关键的策略，是消除单点故障。HA严格来说，应该分]]></description><category></category></item><item><title><![CDATA[Hadoop学习 day03]]></title><link>https://blog.youkuaiyun.com/m0_49528461/article/details/108477108</link><guid>https://blog.youkuaiyun.com/m0_49528461/article/details/108477108</guid><author>m0_49528461</author><pubDate>Tue, 08 Sep 2020 21:31:14 +0800</pubDate><description><![CDATA[今天，继续学习了Hadoop。首先，先是复习了昨天学习过的内容，然后学习了IO流HDFS文件上传、IO流HDFS文件下载、IO流定位读取HDFS第一个块、IO流定位读取HDFS第二个块、数据的一致性、HDFS写数据流程、HDFS读数据流程、Namenode VS SName、镜像文件+日志文件、namenode版本、namenode数据还原实操、安全模式、Namenode多目录配置、DataNode工作机制、动态服役新数据节点、动态退役旧数据节点、Datanode多目录配置、DistCp-scp、Hadoo]]></description><category></category></item><item><title><![CDATA[Hadoop学习 day02]]></title><link>https://blog.youkuaiyun.com/m0_49528461/article/details/108455909</link><guid>https://blog.youkuaiyun.com/m0_49528461/article/details/108455909</guid><author>m0_49528461</author><pubDate>Mon, 07 Sep 2020 21:12:56 +0800</pubDate><description><![CDATA[今天，继续学习了Hadoop。先是复习了之前学过的内容，然后学习了编译源码、HDFS概念、HDFS常用命令、HDFS客户端操作、HDFS获取文件系统、HDFS文件上传、HDFS文件下载、HDFS目录创建、HDFS文件夹删除、HDFS文件名更改、HDFS文件详情查看、HDFS文件和文件夹判断。
总结一下：
1.HDFS概念
HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
HDFS的设计适合一次写入，多次读出的场景]]></description><category></category></item></channel></rss>