<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[李玉坤的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/bingdianone</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; bingdianone]]></copyright><item><title><![CDATA[欢迎使用]]></title><link>https://blog.youkuaiyun.com/bingdianone/article/details/113359019</link><guid>https://blog.youkuaiyun.com/bingdianone/article/details/113359019</guid><author>bingdianone</author><pubDate>Thu, 28 Jan 2021 21:29:49 +0800</pubDate><description><![CDATA[输出及显示
echo：将内容输出到设备，类似java里面的system.out.println()
常见用法：
echo “hello\t\t world！” 不解析转义字符
echo -e “hello\t\t world！” 解析转义字符
echo $PATH 输出环境变量

注意：在打印变量信息的时候，使用echo ${PATH} 也可以，效果是一样的

[root@localhost ~]# echo "hello\t\t world！"
hello\t\t world！
[root@localho]]></description><category></category></item><item><title><![CDATA[JAVA面试干货之Java底层GC]]></title><link>https://blog.youkuaiyun.com/bingdianone/article/details/102929453</link><guid>https://blog.youkuaiyun.com/bingdianone/article/details/102929453</guid><author>bingdianone</author><pubDate>Fri, 08 Nov 2019 16:26:29 +0800</pubDate><description><![CDATA[对象被判定为垃圾的标准

没有被其他对象引用

判定对象是否为垃圾的算法
引用计数算法
判断对象的引用数量

通过判断对象的引用数量来决定对象是否可以被回收
每个对象实例都有一个引用计数器，被引用则+1，完成引用则-1
任何引用计数为0的对象实例可以被当作垃圾收集

优点：

执行效率高，程序执行受影响较小

缺点：

无法检测出循环引用的情况，导致内存泄漏
下列代码就是循环引用对方对象

pub...]]></description><category></category></item><item><title><![CDATA[JAVA面试干货之Java底层JVM]]></title><link>https://blog.youkuaiyun.com/bingdianone/article/details/102891649</link><guid>https://blog.youkuaiyun.com/bingdianone/article/details/102891649</guid><author>bingdianone</author><pubDate>Tue, 05 Nov 2019 17:26:39 +0800</pubDate><description><![CDATA[面试问道：谈谈你对java的理解
一般我们要简单的从 平台无关性、GC、语言特性、面向对象、类库、异常处理等来简要回答。
平台无关性如何实现
Compile Once，Run Anywhere如何实现
提供了不同平台的虚拟机，所以可以通过下图可以实现

Java源码首先被编译成字节码，再由不同平台的JVM进行解析，Java语言在不同平台上运行时是不需要进行重新编译的，Java虚拟机在执行字节码的时...]]></description><category></category></item><item><title><![CDATA[9、Flink的部署以及作业提交]]></title><link>https://blog.youkuaiyun.com/bingdianone/article/details/102658375</link><guid>https://blog.youkuaiyun.com/bingdianone/article/details/102658375</guid><author>bingdianone</author><pubDate>Fri, 25 Oct 2019 14:55:18 +0800</pubDate><description><![CDATA[Flink源码编译
下载源码：
1、直接下载Flink1.7.2源码
2、通过wget命令下载到服务器
wget https://archive.apache.org/dist/flink/flink-1.7.2/flink-1.7.2-src.tgz

Flink单机部署
官网连接
前置条件：JDK8

...]]></description><category></category></item><item><title><![CDATA[Flink中的处理状态 - Working with State]]></title><link>https://blog.youkuaiyun.com/bingdianone/article/details/102737020</link><guid>https://blog.youkuaiyun.com/bingdianone/article/details/102737020</guid><author>bingdianone</author><pubDate>Fri, 25 Oct 2019 13:56:50 +0800</pubDate><description><![CDATA[Flink中有两种基本状态：Keyed State和Operator State
键控状态-Keyed State
Keyed State 始终与键有关，并且只能在KeyedStream上的函数和运算符中使用。可以将 Keyed State 视为已分区或分片的Operator State 每个键只有一个状态分区。每个keyed-state在逻辑上绑定到&lt;parallel-operator-i...]]></description><category></category></item><item><title><![CDATA[Flink的分布式运行原理]]></title><link>https://blog.youkuaiyun.com/bingdianone/article/details/101347352</link><guid>https://blog.youkuaiyun.com/bingdianone/article/details/101347352</guid><author>bingdianone</author><pubDate>Tue, 22 Oct 2019 21:43:51 +0800</pubDate><description><![CDATA[Tasks 和 Operator Chains
在分布式执行中，flink链操作子task一起放入task。每个task由一个线程执行。将操作链链接到task是一种优化，减少了线程到线程的切换和缓冲的开销，并且降低延迟的同时提高了总体吞吐量。
下图中的示例数据流由五个子task执行，因此由五个并行线程执行。

Job Managers，Task Managers，Clients
Flink运行的时...]]></description><category></category></item><item><title><![CDATA[7、Flink中的Time及Windows的使用]]></title><link>https://blog.youkuaiyun.com/bingdianone/article/details/102468372</link><guid>https://blog.youkuaiyun.com/bingdianone/article/details/102468372</guid><author>bingdianone</author><pubDate>Mon, 14 Oct 2019 20:17:34 +0800</pubDate><description><![CDATA[Time

事件时间 Event time（最准确）：事件时间是每个事件在其生产设备上发生的时间。
摄取时间 Ingestion time：摄取时间是事件进入Flink的时间。
处理时间 Processing time（不准确）：处理时间是指正在执行相应操作的机器的系统时间。
不论流处理还是批处理；都建议以事件时间 Event time为基准来计算。
设置时间类型
val env = Stream...]]></description><category></category></item><item><title><![CDATA[6、Flink Table API & SQL编程]]></title><link>https://blog.youkuaiyun.com/bingdianone/article/details/101637761</link><guid>https://blog.youkuaiyun.com/bingdianone/article/details/101637761</guid><author>bingdianone</author><pubDate>Tue, 08 Oct 2019 21:41:08 +0800</pubDate><description><![CDATA[1、Flik关系型api概念

最底层的Stateful event driven application是最难以使用的，因为接近底层；中层的DataStream api和DataSet api是对于开发人员来说是可以接受的；最上层的High-level编程格式是对各个程序员来说基本都会使用的，基于SQL的操作，同时也是流处理和批处理的一种统一的高级API。
注意：（目前博客是1.9版本）Tabl...]]></description><category></category></item><item><title><![CDATA[5、DataStream API]]></title><link>https://blog.youkuaiyun.com/bingdianone/article/details/101466440</link><guid>https://blog.youkuaiyun.com/bingdianone/article/details/101466440</guid><author>bingdianone</author><pubDate>Fri, 27 Sep 2019 12:46:07 +0800</pubDate><description><![CDATA[1、编程概述
Flink中的DataStream程序是常规程序，可对数据流实施转换（例如，iltering, updating state, defining windows, aggregating）。最初从各种来源（例如，消息队列，套接字流，文件）创建数据流。结果通过接收器返回，接收器可以例如将数据写入文件或标准输出（例如命令行终端）。Flink程序可以在各种上下文中运行，独立运行或嵌入其他程...]]></description><category></category></item><item><title><![CDATA[4、DataSet API编程]]></title><link>https://blog.youkuaiyun.com/bingdianone/article/details/101164441</link><guid>https://blog.youkuaiyun.com/bingdianone/article/details/101164441</guid><author>bingdianone</author><pubDate>Mon, 23 Sep 2019 21:53:09 +0800</pubDate><description><![CDATA[1、概念
Flink中的DataSet程序是常规程序，可对数据集进行转换（filtering, mapping, joining, grouping）。最初从某些来源(sources)（by reading files, or from local collections）创建数据集。结果通过接收器返回，接收器可以例如将数据写入（分布式）文件或标准输出（例如命令行终端）。Flink程序可以在各种上...]]></description><category></category></item><item><title><![CDATA[3、编程模型以及核心概念]]></title><link>https://blog.youkuaiyun.com/bingdianone/article/details/100998979</link><guid>https://blog.youkuaiyun.com/bingdianone/article/details/100998979</guid><author>bingdianone</author><pubDate>Thu, 19 Sep 2019 20:57:35 +0800</pubDate><description><![CDATA[核心概念
官网链接
DataSet and DataStream
Flink具有特殊类DataSet并DataStream在程序中表示数据。您可以将它们视为可以包含重复项的不可变数据集合。在DataSet数据有界的情况下（批处理），对于一个DataStream元素的数量可以是无界的（流处理）。
这些集合（数据）在某些关键方面与常规Java集合不同。首先，它们是不可变的，这意味着一旦创建它们就无法添...]]></description><category></category></item><item><title><![CDATA[2、快速上手开发Flink应用程序]]></title><link>https://blog.youkuaiyun.com/bingdianone/article/details/100857012</link><guid>https://blog.youkuaiyun.com/bingdianone/article/details/100857012</guid><author>bingdianone</author><pubDate>Mon, 16 Sep 2019 20:53:15 +0800</pubDate><description><![CDATA[开发环境准备
1、JDK
2、Maven
3、IDEA
使用Flink开发一个批处理应用程序
以最简单的 word count 为案例
开发流程

set up the batch execution environment
read
transform operations 开发的核心所在：开发业务逻辑
execute program

以Java语言开发
官方网站案例
第一种创建项目的方式
m...]]></description><category></category></item><item><title><![CDATA[1、初识flink]]></title><link>https://blog.youkuaiyun.com/bingdianone/article/details/100525921</link><guid>https://blog.youkuaiyun.com/bingdianone/article/details/100525921</guid><author>bingdianone</author><pubDate>Thu, 12 Sep 2019 21:42:21 +0800</pubDate><description><![CDATA[Flink概述
flink是什么
Unbounded

]]></description><category></category></item><item><title><![CDATA[数学符号大全]]></title><link>https://blog.youkuaiyun.com/bingdianone/article/details/100581092</link><guid>https://blog.youkuaiyun.com/bingdianone/article/details/100581092</guid><author>bingdianone</author><pubDate>Fri, 06 Sep 2019 16:57:32 +0800</pubDate><description><![CDATA[常用符号




符号
代码
含义




≠
≠
不等于


≠\neq̸​=
$\neq$
不等于


=
=
等于


≈\approx≈
$\approx$
约等于


≤\leq≤
$\leq$
小于等于


≥\geq≥
$\geq$
大于等于


×\times×
$\times$
乘号


±\pm±
$\pm$
正负号


÷\div÷
$\div$
除号


∣\mid∣
$\...]]></description><category></category></item><item><title><![CDATA[将博客搬至优快云]]></title><link>https://blog.youkuaiyun.com/bingdianone/article/details/100879071</link><guid>https://blog.youkuaiyun.com/bingdianone/article/details/100879071</guid><author>bingdianone</author><pubDate>Fri, 06 Sep 2019 13:49:00 +0800</pubDate><description><![CDATA[撸了今年阿里、头条和美团的面试，我有一个重要发现.......&gt;&gt;&gt;   
                                        
  ...]]></description><category></category></item><item><title><![CDATA[1、集合与运算]]></title><link>https://blog.youkuaiyun.com/bingdianone/article/details/100535428</link><guid>https://blog.youkuaiyun.com/bingdianone/article/details/100535428</guid><author>bingdianone</author><pubDate>Fri, 06 Sep 2019 11:31:52 +0800</pubDate><description><![CDATA[集合：具有某种特定性质的事物的总体
　　　组成这个集合的事物称为该集合的元素
　　　
a∈M：表示元素a属于集合M
a∉M：表示元素a不属于集合M
集合的两种表示方法：
1、 列举法
A={a1，a2，a3，a4，......，an}A= \lbrace a_1，a_2，a_3，a_4，......，a_n \rbraceA={a1​，a2​，a3​，a4​，......，an​}
2、 描述法
...]]></description><category></category></item><item><title><![CDATA[大数据任务调度（Azkaban，Oozie）]]></title><link>https://blog.youkuaiyun.com/bingdianone/article/details/87908146</link><guid>https://blog.youkuaiyun.com/bingdianone/article/details/87908146</guid><author>bingdianone</author><pubDate>Tue, 03 Sep 2019 17:30:09 +0800</pubDate><description><![CDATA[文章目录常见调度工具OozieOozie架构Oozie运行原理Oozie 工作三大核心Oozie 元数据库Oozie Action 节点类型Oozie Job 创建方式Hue 创建 Oozie  job 步骤及演示

常见调度工具

CRONTAB （最简单的方式，适合不是非常复杂的场景，比如只按照时间来调度）
OOZIE（Hadoop自带的）
AZKABAN（开源的一个调度工具）
定制开发

O...]]></description><category></category></item><item><title><![CDATA[SQL多行转一行（一列转多列）]]></title><link>https://blog.youkuaiyun.com/bingdianone/article/details/97143655</link><guid>https://blog.youkuaiyun.com/bingdianone/article/details/97143655</guid><author>bingdianone</author><pubDate>Fri, 26 Jul 2019 09:58:58 +0800</pubDate><description><![CDATA[前景
apply_id bigint COMMENT ‘申请id’,
oss_key string COMMENT ‘存储在oss上的路径’,
type string COMMENT ‘类型,10-身份证数据,20-人脸照,30-运营商,40-魔杖报告,50-补充信息’,


SELECT  apply_id
,type
,oss_key
FROM    zizhirisk.ods_t_apply...]]></description><category></category></item><item><title><![CDATA[--- spark的job在yarn的资源分配]]></title><link>https://blog.youkuaiyun.com/bingdianone/article/details/93605435</link><guid>https://blog.youkuaiyun.com/bingdianone/article/details/93605435</guid><author>bingdianone</author><pubDate>Tue, 25 Jun 2019 11:52:48 +0800</pubDate><description><![CDATA[资源
现在有6台机器 每台机器16个core 64g的内存
资源分配
6Node 16core/台 64g/台
现可用资源一共96个core 384g ；每台机器预留1core和1g；那么剩下90个core 378g的可用资源
分配core
core=5 官方定义超过5会对hdfs吞吐量造成影响
也就是说每个executor最多可以同时运行5个core
分配executor
用剩余的core除以每...]]></description><category></category></item><item><title><![CDATA[8、Hive的元数据]]></title><link>https://blog.youkuaiyun.com/bingdianone/article/details/100879069</link><guid>https://blog.youkuaiyun.com/bingdianone/article/details/100879069</guid><author>bingdianone</author><pubDate>Sat, 20 Apr 2019 13:40:00 +0800</pubDate><description><![CDATA[撸了今年阿里、头条和美团的面试，我有一个重要发现.......&gt;&gt;&gt;   
                                        
  ...]]></description><category></category></item></channel></rss>