<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[chenlujun98的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/chenlujun98</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; chenlujun98]]></copyright><item><title><![CDATA[黑马2022大数据课程的变化]]></title><link>https://blog.youkuaiyun.com/chenlujun98/article/details/125740607</link><guid>https://blog.youkuaiyun.com/chenlujun98/article/details/125740607</guid><author>chenlujun98</author><pubDate>Tue, 12 Jul 2022 12:32:52 +0800</pubDate><description><![CDATA[黑马机构大数据课程的变化
]]></description><category></category></item><item><title><![CDATA[大数据集群中常用到的端口(带截图)]]></title><link>https://blog.youkuaiyun.com/chenlujun98/article/details/125126060</link><guid>https://blog.youkuaiyun.com/chenlujun98/article/details/125126060</guid><author>chenlujun98</author><pubDate>Sun, 05 Jun 2022 16:39:32 +0800</pubDate><description><![CDATA[大数据实验中常用到的一些端口]]></description><category></category></item><item><title><![CDATA[关于Flink学习选哪家好 硅谷or黑马?]]></title><link>https://blog.youkuaiyun.com/chenlujun98/article/details/121845955</link><guid>https://blog.youkuaiyun.com/chenlujun98/article/details/121845955</guid><author>chenlujun98</author><pubDate>Thu, 09 Dec 2021 22:54:40 +0800</pubDate><description><![CDATA[尚硅谷有两个

java版(录制)
scala版(录制)


黑马的大致有两个系列

flink1.12(课堂版)
flink入门到精通(录制)


怎么选择

有一说一,尚硅谷的scala版本更简介,易懂(清华的武老师),java版不推荐(如果你学过spark)


本人是黑马粉,但这个scala版的确是尚硅谷出的scala版更有优势(细节多),如果还是想选着跟黑马建议选录制版本的


......]]></description><category></category></item><item><title><![CDATA[Flink(scala版)学习 day01]]></title><link>https://blog.youkuaiyun.com/chenlujun98/article/details/121773709</link><guid>https://blog.youkuaiyun.com/chenlujun98/article/details/121773709</guid><author>chenlujun98</author><pubDate>Tue, 07 Dec 2021 20:24:50 +0800</pubDate><description><![CDATA[day01课堂笔记
flink简介
flink引入
大数据技术架构发展阶段
总共有四代,mr–&gt;DAG框架(tez) --&gt; Spark流批处理框架,内存计算(伪实时) --&gt;flink流批处理,内存计算(真正的实时计算)
flink vs spark

什么是flink
flink是一个分布式,高性能,随时可用的准确的流式计算框架,flink可以对无界数据(流处理)和有界数据(批处理)进行有状态计算(flink天生支持状态计算)的分布式,高性能的计算框架.
flink流处理特性

fli]]></description><category></category></item><item><title><![CDATA[Profile_Day07:企业级360*全方位用户画像]]></title><link>https://blog.youkuaiyun.com/chenlujun98/article/details/121617703</link><guid>https://blog.youkuaiyun.com/chenlujun98/article/details/121617703</guid><author>chenlujun98</author><pubDate>Mon, 29 Nov 2021 21:22:59 +0800</pubDate><description><![CDATA[Profile_Day07:企业级360*全方位用户画像
1,上次课程内容回顾

主要围绕2个方面展开:机器学习基础(概念)和回归算法(线性回归)


2,今日课程内容提纲

主要内容;开发挖掘 类型标签 客户价值标签RFM ,涉及 聚类算法KMeans

1,客户价值R,F,M标签

含义,功能,业务实现熟路


2,聚类算法KMeans

算法概念,原理
KMeans算法(K-均值算法):

K:表示将数据聚类为K个类簇Cluster,划分K各个类别,K值大于等于2
Mean:平均值


案例展示:使用]]></description><category></category></item><item><title><![CDATA[hive窗口分析中的三个排序方法区别]]></title><link>https://blog.youkuaiyun.com/chenlujun98/article/details/121599148</link><guid>https://blog.youkuaiyun.com/chenlujun98/article/details/121599148</guid><author>chenlujun98</author><pubDate>Sun, 28 Nov 2021 22:18:34 +0800</pubDate><description><![CDATA[窗口函数的3中和他们的区如下图



ROW_NUMBER:序号不允许重复,且递增.
RANK:允许重复(并排),序号有并排后会有跳跃
DENSE_RANK:允许重复(并排),序号有并排后不会有跳跃


]]></description><category></category></item><item><title><![CDATA[hue配置Oozie任务时拖拽Spark无完整配置选项]]></title><link>https://blog.youkuaiyun.com/chenlujun98/article/details/121599027</link><guid>https://blog.youkuaiyun.com/chenlujun98/article/details/121599027</guid><author>chenlujun98</author><pubDate>Sun, 28 Nov 2021 22:12:41 +0800</pubDate><description><![CDATA[使用hue配置Oozie任务时拖拽Spark无配置页面问题
使用hue配置Oozie任务时,要先点击ACTIONS按键,成为ACTIONS状态,再拖拽spark图标.


]]></description><category></category></item><item><title><![CDATA[Profile_Day05:企业级360全方位用户画像]]></title><link>https://blog.youkuaiyun.com/chenlujun98/article/details/121580363</link><guid>https://blog.youkuaiyun.com/chenlujun98/article/details/121580363</guid><author>chenlujun98</author><pubDate>Sat, 27 Nov 2021 21:12:44 +0800</pubDate><description><![CDATA[Profile_Day05:企业级360全方位用户画像
1昨日内容回顾

主要讲解2个方面的内容: 如何基于SparkSQL实现自定义外部数据源HBase和统计类型标签模型开发.
1, SparkSQL外部数据源HBase
按照SparkSQL模块提供的外部数据源接口,实现HBase表中加载和保存数据





2,今日课程内容提纲
3,用户画像:标签系统

整个用户画像项目:基于电商平台构建的,主要使用注册会员的基本信息,交易数据和流量数据对用户进行把标签
用户画像:将用户数据进行标签化

模块一:标签管]]></description><category></category></item><item><title><![CDATA[Profile_Day04:企业级360°全方位用户画像]]></title><link>https://blog.youkuaiyun.com/chenlujun98/article/details/121569965</link><guid>https://blog.youkuaiyun.com/chenlujun98/article/details/121569965</guid><author>chenlujun98</author><pubDate>Sat, 27 Nov 2021 17:10:39 +0800</pubDate><description><![CDATA[Profile_Day04:企业级360°全方位用户画像
1昨日课程内容回顾

主要讲解:标签模型应用开发,针对规则匹配类型模型开发,涉及2大方面的内容:

第一方面内容: 标签模型开发,以[用户性别标签模型为例],整个开发步骤流程

给每个用户打上性别标签,存储到HBase画像标签表: tb_profile







标签模型开发分为四个步骤

1,依据每个标签(4级业务标签)tagld,获取标签数据

业务标签标签规则rule; 标签计算业务数据源的信息
业务标签对应的属性标签信息: 标签名称bna]]></description><category></category></item><item><title><![CDATA[Profile_Day03:企业级360°全方位用户画像]]></title><link>https://blog.youkuaiyun.com/chenlujun98/article/details/121567839</link><guid>https://blog.youkuaiyun.com/chenlujun98/article/details/121567839</guid><author>chenlujun98</author><pubDate>Fri, 26 Nov 2021 22:27:23 +0800</pubDate><description><![CDATA[第一节内容:业务数据迁移
如何将用户相关业务数据从MySQL数据表迁移到HBASE数据库中

方式一SQOOP直接导入数据,简单,并行导入
方式二:MapReduce程序

1.hbase数据库提供工具类: ImportTsv
2,自己编写MapReduce程序,灵活性大,难度较大


方式三:Spark程序
针对海量数据批量数据加载至HBase表时,推荐使用Bulkload方式加载,比较Put方式:

1,put方式插入数据:put --&gt; WAL(预写日志) --&gt;memstore(内存).]]></description><category></category></item><item><title><![CDATA[用户画像第一章(企业级360°全方位用户画像_项目安排：)]]></title><link>https://blog.youkuaiyun.com/chenlujun98/article/details/121567183</link><guid>https://blog.youkuaiyun.com/chenlujun98/article/details/121567183</guid><author>chenlujun98</author><pubDate>Fri, 26 Nov 2021 19:45:03 +0800</pubDate><description><![CDATA[企业级360°全方位用户画像 项目安排： 
 
 企业级360°全方位用户画像 一、用户画像概念、设计构建用户画像及项目演示说明 -2天 用户画像概念发展 如何构建用户画像 标签Tag 项目核心功能： 深入剖析（最关键） 项目工程初步搭建 二、基础知识：数据导入ETL和应用调度 -2天 a）、数据采集与ETL 如何将业务数据采集导入到...]]></description><category></category></item><item><title><![CDATA[电信号项目的补充]]></title><link>https://blog.youkuaiyun.com/chenlujun98/article/details/121534097</link><guid>https://blog.youkuaiyun.com/chenlujun98/article/details/121534097</guid><author>chenlujun98</author><pubDate>Fri, 26 Nov 2021 19:11:55 +0800</pubDate><description><![CDATA[电信号项目中有六张hive原始表,最总要变成五张基于hbase的phoneix表,


编写的自定义字段转换函数,有的函数会有带一个参数和带两个参数,这是因为不同的phoneix表会用到不同的自定义处理方式.


由六张表变成五张表的过程中,涉及到多表关联查询,需要相同的字段连接,然而同一字段表现形式会不同比如:
这里就需要对字段做截取


五张habase中可能存在很多的逗号,这回影响到后面转换成phoneix表,要解决逗号的问题
在文章的上一篇的 知识点33

前端项目补充

导入前段页面项目的时候..]]></description><category></category></item><item><title><![CDATA[大数据电信号分析项目]]></title><link>https://blog.youkuaiyun.com/chenlujun98/article/details/121521733</link><guid>https://blog.youkuaiyun.com/chenlujun98/article/details/121521733</guid><author>chenlujun98</author><pubDate>Fri, 26 Nov 2021 19:11:36 +0800</pubDate><description><![CDATA[电信信号强度诊断项.
知识点1 项.背景
.机.前已经是.们.活必不可缺少的.具，给我们带来.便的同时，特带来.些困扰，例如：由于信号强度差、.络速率低导致的抢红包慢，通话的质量较差。本项.主要.于分析.户附近的信号强度，.络质量，为.户提供.些建议，例如：.户附近哪家运营商的.络质量好，信号强度.，例如，.户的哪个.向…使.的运营商信号好。
为运营商提供.些合理的建议，例如某.地理区域，某.地标（.校、居.区）信号强度排名。
知识点2 项.模块介绍
模块1 仪表盘：主要是领导关.的.些指标，有限展示在…。]]></description><category></category></item><item><title><![CDATA[数据仓库-Hive]]></title><link>https://blog.youkuaiyun.com/chenlujun98/article/details/121498334</link><guid>https://blog.youkuaiyun.com/chenlujun98/article/details/121498334</guid><author>chenlujun98</author><pubDate>Tue, 23 Nov 2021 17:42:43 +0800</pubDate><description><![CDATA[数据仓库-Hive
1. 数据仓库
1.1. 基本概念

底层用的是MapReduce

数据仓库是存数据的，企业的各种数据往里面存，主要目的是为了分析有效数据，后续会基于它产出供分析挖掘的数据，或者数据应用需要的数据，如企业的分析性报告和各类报表等。
可以理解为：面向分析的存储系统。
1.2. 主要特征
数据仓库是面向主题的（Subject-Oriented ）、集成的（Integrated）、非易失的（Non-Volatile）和时变的（Time-Variant ）数据集合，用以支持管理决策。
1.2.]]></description><category></category></item><item><title><![CDATA[yarn资源调度]]></title><link>https://blog.youkuaiyun.com/chenlujun98/article/details/121495300</link><guid>https://blog.youkuaiyun.com/chenlujun98/article/details/121495300</guid><author>chenlujun98</author><pubDate>Tue, 23 Nov 2021 15:54:03 +0800</pubDate><description><![CDATA[yarn资源调度
1.yarn的介绍：
​	yarn是hadoop集群当中的资源管理系统模块，从hadoop2.0开始引入yarn模块,yarn可为各类计算框架提供资源的管理和调度,主要用于管理集群当中的资源（主要是服务器的各种硬件资源，包括CPU，内存，磁盘，网络IO等）以及调度运行在yarn上面的各种任务。
yarn核心出发点是为了分离资源管理与作业监控，实现分离的做法是拥有一个全局的资源管理（ResourceManager，RM），以及每个应用程序对应一个的应用管理器（ApplicationMaste]]></description><category></category></item><item><title><![CDATA[HBase的协处理器]]></title><link>https://blog.youkuaiyun.com/chenlujun98/article/details/121478563</link><guid>https://blog.youkuaiyun.com/chenlujun98/article/details/121478563</guid><author>chenlujun98</author><pubDate>Mon, 22 Nov 2021 19:40:26 +0800</pubDate><description><![CDATA[协处理器
这个得对比hive比较
HBase和hive比没有天生的分布式计算能力,可以理解hive节点都有"后门"可以进行分布式计算,本来HBase是没有的但是通过协处理器,他便有了一定的分布式计算功能,(他原先下的存储功能比hive好)
协处理器有两种： observer 和 endpoint
observer协处理器
Observer 类似于传统数据库中的触发器，当发生某些事件的时候这类协处理器会被 Server 端调用。Observer Coprocessor 就是一些散布在 HBase Server]]></description><category></category></item><item><title><![CDATA[HBase的读写流程]]></title><link>https://blog.youkuaiyun.com/chenlujun98/article/details/121470558</link><guid>https://blog.youkuaiyun.com/chenlujun98/article/details/121470558</guid><author>chenlujun98</author><pubDate>Mon, 22 Nov 2021 15:26:33 +0800</pubDate><description><![CDATA[HBase的读流程

客户端拿到一个RowKey(首先得知道这rowKey存在那个region中)
根据zk查询获取hbase:meta表,这个表中存放了region的信息,根据namespace,表名,就可以根据rowkey的startkey,endkey返回region的信息
还需要查询region是在哪个HRegionServer(因为我们是region会存在什么地方的)
读取Store

优先读取写缓存
-读取BlockCache（LRUBlockCache、BucketBlockCache)
再读]]></description><category></category></item><item><title><![CDATA[Phoneix中的二级索引知识点]]></title><link>https://blog.youkuaiyun.com/chenlujun98/article/details/121465490</link><guid>https://blog.youkuaiyun.com/chenlujun98/article/details/121465490</guid><author>chenlujun98</author><pubDate>Mon, 22 Nov 2021 11:20:51 +0800</pubDate><description><![CDATA[二级索引分类
Phoneix的索引底层还是表现为HBase中的表结构(每建一个索引就回增加一个表),这些索引表专门用来加速查询速度.你 用索引表加快查询

读多写少:全局索引
读少写多:本地索引


索引可以理解成二叉树



1,全局索引:二叉树里只有RowKey的地址值.


针对整张表,在整个HBase集群中,都是有效的,索引数据会分布在全局


2,覆盖索引:二叉树不光有Rowkey,而且把你要查的数据完整信息都放在里面了,占用空间更大,不像全局索只存放地址值


将数据直接存放在索引中,直接查询索]]></description><category></category></item><item><title><![CDATA[HBase的布隆过滤器使用]]></title><link>https://blog.youkuaiyun.com/chenlujun98/article/details/121446478</link><guid>https://blog.youkuaiyun.com/chenlujun98/article/details/121446478</guid><author>chenlujun98</author><pubDate>Sat, 20 Nov 2021 22:45:55 +0800</pubDate><description><![CDATA[过滤规则

总的来说:可以根据Rowkey,列, 列值等进行过滤
搭配比较运算符和比较器使用

比较运算符
比较器

scan+Filter

其实在hbase shell中,执行的ruby脚本,背后还是调用hbase提供的java API
在HBase中有很多过滤器,语法格式看起来会比较复杂,要重点理解这个语法是什么意思
过滤器在hbase shell中是使用一个表达式来描述,在java里面是new的各种对象


scan "ORDER_INFO", {FILTER =&gt; "RowFilter(=,]]></description><category></category></item><item><title><![CDATA[HBase计数器和简单scan操作]]></title><link>https://blog.youkuaiyun.com/chenlujun98/article/details/121445174</link><guid>https://blog.youkuaiyun.com/chenlujun98/article/details/121445174</guid><author>chenlujun98</author><pubDate>Sat, 20 Nov 2021 20:45:17 +0800</pubDate><description><![CDATA[计数器

count"表名":hbase就会将这个表对应的所有数据扫描一遍,得到最终的记录条数(性能消耗大慎用 )
执行HBase提供的基于MR的RowCount的程序,(用于做大数据的查询)

启动yarn集群
启动mr-historyserver


scan扫描

全表扫描:scan"表名"(慎用,效率很低)
先定只显示多少条:scan"表名", {limit =&gt; 5}
指定查询几个列: scan “表名” , {limit =&gt; 5 , columns =&gt; [ ]}
根据ROW]]></description><category></category></item></channel></rss>