<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Si_kenn的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Si_kenn</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Si_kenn]]></copyright><item><title><![CDATA[单词番外篇]]></title><link>https://blog.youkuaiyun.com/Si_kenn/article/details/115428539</link><guid>https://blog.youkuaiyun.com/Si_kenn/article/details/115428539</guid><author>Si_kenn</author><pubDate>Sun, 04 Apr 2021 14:41:08 +0800</pubDate><description><![CDATA[日文
译文
日文
译文
日文
译文




ユースケース
案例,用例
ベース
基本,基础
アクセス
访问


オプション
选项
バンドル
打包,捆包
テキスト
text


エディター
编辑
テキストエディター
文本编辑器
セットアップ
装配


バイパス
bypass①
スキップ②
跳跃
インポート
import


ソースリポジトリ③
源码库
ソース
source
リポジトリ
repository


解凍
解压
クローン
克隆
クラスパス
class path


インフラストラクチャ
inf...]]></description><category></category></item><item><title><![CDATA[SpringBoot入門の最終回]]></title><link>https://blog.youkuaiyun.com/Si_kenn/article/details/115416235</link><guid>https://blog.youkuaiyun.com/Si_kenn/article/details/115416235</guid><author>Si_kenn</author><pubDate>Sat, 03 Apr 2021 14:59:08 +0800</pubDate><description><![CDATA[添加实力派功能
(本番是正式的,真正的意思,不过直译很奇怪.グレード是等级的意思.サービス是服务的意思,之前也一直这么翻译,但是一直觉得别扭,从这里开始翻译成功能.)
创建商业用的web网站的话,恐怕有必要添加若干个管理功能.SpringBoot使用执行器模块(actuator　module),提供了若干个这样的功能(健康检查,监控,Bean等).
使用Gradle 的话,在build.gradle文件里添加以下依赖.
implementation 'org.springframework.boot:spr]]></description><category></category></item><item><title><![CDATA[SpringBoot　第二弾]]></title><link>https://blog.youkuaiyun.com/Si_kenn/article/details/115398536</link><guid>https://blog.youkuaiyun.com/Si_kenn/article/details/115398536</guid><author>Si_kenn</author><pubDate>Fri, 02 Apr 2021 14:49:57 +0800</pubDate><description><![CDATA[应用程序之类创建
用Spring Initializr创建一个简单的应用程序类.但是,这样未免也太单调了一点.有必要像下面的列表这样改动一下应用程序类.
package com.example.springboot;

import java.util.Arrays;

import org.springframework.boot.CommandLineRunner;
import org.springframework.boot.SpringApplication;
import org.springf]]></description><category></category></item><item><title><![CDATA[SpringBoot 帮你get一点专业词汇]]></title><link>https://blog.youkuaiyun.com/Si_kenn/article/details/115387382</link><guid>https://blog.youkuaiyun.com/Si_kenn/article/details/115387382</guid><author>Si_kenn</author><pubDate>Thu, 01 Apr 2021 23:30:05 +0800</pubDate><description><![CDATA[SpringBoot日语大入门
接下来带大家看看SpringBoot是如何为应用程序开发大加油门而助力拳脚的吧.从入门到入神(入门介绍读得越多,越能预见SpringBoot的要领吧.).在这里我们也就只是小品一下SpringBoot的香味.若是想要独创SpringBoot的最佳项目的话,请移驾SpringInitializr,输入项目的详细细节,选取相应的选项,下载zip的压缩包项目.
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uU2thEEG-1617290786642]]></description><category></category></item><item><title><![CDATA[Hive架构图及流程]]></title><link>https://blog.youkuaiyun.com/Si_kenn/article/details/112270570</link><guid>https://blog.youkuaiyun.com/Si_kenn/article/details/112270570</guid><author>Si_kenn</author><pubDate>Wed, 06 Jan 2021 14:24:24 +0800</pubDate><description><![CDATA[一上图肯定会很晕,所以先把流程顺一遍看图就会清晰很多.
流程


客户端提交Hql语句任务给Driver


Driver会创建一个session handler用于查询操作，接着dirver会将查询操作发送到compiler生成一个execute plan


Compiler通过对Hql词法,语法分析得到要操作的表,然后到MetaStore中获取需要的Hive元数据信息。


Compiler得到元数据信息，对task进行编译，先将Hql转换为抽象语法树，然后将抽象语法树转换成查询块，再将查询块转化为逻]]></description><category></category></item><item><title><![CDATA[Spark复习之一]]></title><link>https://blog.youkuaiyun.com/Si_kenn/article/details/112044090</link><guid>https://blog.youkuaiyun.com/Si_kenn/article/details/112044090</guid><author>Si_kenn</author><pubDate>Thu, 31 Dec 2020 18:13:59 +0800</pubDate><description><![CDATA[如何理解Spark中的血统概念（RDD）
简述Spark的宽窄依赖
RDD 只支持粗粒度转换，即在大量记录上执行的单个操作。将创建 RDD 的一系列 Lineage
（血统）记录下来，以便恢复丢失的分区。RDD 的 Lineage 会记录 RDD 的元数据信息和转
换行为，当该 RDD 的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的
数据分区。
RDD在Lineage依赖方面分为两种Narrow Dependencies与Wide Dependencies用来解决数
据容错时的高效性以及划分]]></description><category></category></item><item><title><![CDATA[概率论与数理统计之笔记手稿(二)]]></title><link>https://blog.youkuaiyun.com/Si_kenn/article/details/111598374</link><guid>https://blog.youkuaiyun.com/Si_kenn/article/details/111598374</guid><author>Si_kenn</author><pubDate>Wed, 23 Dec 2020 20:26:02 +0800</pubDate><description><![CDATA[]]></description><category></category></item><item><title><![CDATA[概率论与数理统计之笔记(一)]]></title><link>https://blog.youkuaiyun.com/Si_kenn/article/details/111562686</link><guid>https://blog.youkuaiyun.com/Si_kenn/article/details/111562686</guid><author>Si_kenn</author><pubDate>Tue, 22 Dec 2020 17:30:30 +0800</pubDate><description><![CDATA[来点课堂笔记.
引言
确定性(必然):一定发送/不发生
随机(偶然):可能发生,可能不发生
统计规律
随机事件
试验:观察,测量,实验
随机试验:

在相同条件下可重复
结果不止一个
无法预测 E

事件:每种结果.
随机事件
基本事件:相对于实验目的不能再分(不必再分)
复合事件:由基本事件复合
必然事件:一定发生,用Ω表示
不可能事件:一定不发生,用∅表示
样本空间:所有基本事件的集合,Ω
样本点:样本空间的元素,ω
事件的集合表示:
Ω→必然事件→样本空间
∅→不可能事件→空集
事件间的关系


包含]]></description><category></category></item><item><title><![CDATA[Hadoop之Yarn(三)]]></title><link>https://blog.youkuaiyun.com/Si_kenn/article/details/111500115</link><guid>https://blog.youkuaiyun.com/Si_kenn/article/details/111500115</guid><author>Si_kenn</author><pubDate>Mon, 21 Dec 2020 21:19:19 +0800</pubDate><description><![CDATA[补充Yarn知识,从别人那借过来的知识
1）Hadoop调度器重要分为三类：
FIFO 、Capacity Scheduler（容量调度器）和Fair Sceduler（公平调度器）。
Apache默认的资源调度器是容量调度器；
CDH默认的资源调度器是公平调度器。
2）区别：
FIFO调度器：支持单队列 、先进先出 生产环境不会用。
容量调度器：支持多队列，保证先进入的任务优先执行。
公平调度器：支持多队列，保证每个任务公平享有队列资源。
3）在生产环境下怎么选择？
大厂：如果对并发度要求比较高，选择公平]]></description><category></category></item><item><title><![CDATA[Hadoop之Yarn（二）]]></title><link>https://blog.youkuaiyun.com/Si_kenn/article/details/111415734</link><guid>https://blog.youkuaiyun.com/Si_kenn/article/details/111415734</guid><author>Si_kenn</author><pubDate>Sun, 20 Dec 2020 12:32:33 +0800</pubDate><description><![CDATA[ResourceManager

RM是一个全局的资源管理器，负责整个系统的资源管理和分配.它主要由两个组件构成：调度器（Scheduler）和应用程序管理器（ApplicationsManager, ASM).
调度器：根据容量,队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给给个正在运行的应用程序。需要注意的是，该调度器是一个“纯调度器”，它不再从事任何与具体应用程序相关的工作，比如不负责监控或者跟踪应用的执行状态等，也不负责重新启动因应用执行失败或者硬件故障而]]></description><category></category></item><item><title><![CDATA[Hadoop之Yarn(一)]]></title><link>https://blog.youkuaiyun.com/Si_kenn/article/details/111404600</link><guid>https://blog.youkuaiyun.com/Si_kenn/article/details/111404600</guid><author>Si_kenn</author><pubDate>Sat, 19 Dec 2020 14:39:29 +0800</pubDate><description><![CDATA[一.概述

Yarn是Hadoop的资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在资源利用率,资源统一管理和数据共享等方面带来了巨大好处.
Yarn的基本思想是将JobTracker的两个主要功能分离(资源管理和作业调度/监控),主要方法时创建一个全局的ResourceManager和若干个针对应用程序的ApplicationMaster.这里的应用程序是指传统的MapReduce作业.
Yarn分层结构的本质是ResourceManager.这个实体控制整个集]]></description><category></category></item><item><title><![CDATA[Hadoop之小文件]]></title><link>https://blog.youkuaiyun.com/Si_kenn/article/details/111396627</link><guid>https://blog.youkuaiyun.com/Si_kenn/article/details/111396627</guid><author>Si_kenn</author><pubDate>Fri, 18 Dec 2020 21:17:47 +0800</pubDate><description><![CDATA[一.概述

每个小文件无论多小都会对应一个block,而每一个小文件在NameNode中都要有元数据的记录,如果存在大量小文件,则NameNode中的大量空间都用来存放这些小文件的元数据信息,其实是相当浪费的,对于NameNode的性能有比较大的影响
当使用MapReduce处理大量小文件时,默认情况下MapReduce在进行切片操作时规则是和block切的规则一样,即一个block对应一个inputSplit,而一个InputSplit就对应一个Mapper,这样会造成开启大量的MapperTask,但是]]></description><category></category></item><item><title><![CDATA[Hadoop之基本命令]]></title><link>https://blog.youkuaiyun.com/Si_kenn/article/details/111314331</link><guid>https://blog.youkuaiyun.com/Si_kenn/article/details/111314331</guid><author>Si_kenn</author><pubDate>Thu, 17 Dec 2020 14:18:37 +0800</pubDate><description><![CDATA[今天来点基本命令吧,事无巨细统统拿下,O(∩_∩)O哈哈~




命令
说明




hadoop fs -mkdir
创建目录


hadoop fs -ls
查看目录下有哪些目录


hadoop fs -put
将目标文件放到指定目录下


hadoop fs -get
将目标文件下载到指定目录下


hadoop fs -rm
删除指定目录的指定文件


hadoop fs -rmdir
删除目录,该目录必须为空目录


hadoop fs -rmr
删除目录,目录可有文件


hadoop fs]]></description><category></category></item><item><title><![CDATA[Hadoop之API]]></title><link>https://blog.youkuaiyun.com/Si_kenn/article/details/111292612</link><guid>https://blog.youkuaiyun.com/Si_kenn/article/details/111292612</guid><author>Si_kenn</author><pubDate>Wed, 16 Dec 2020 17:37:31 +0800</pubDate><description><![CDATA[读取文件
@Test
public void testConnentNamenode() throws Exception{
	Configuration cf = new Configuration();
	FileSystem fs = FileSystem.get(new URI("hdfs://192.168.000.000:9000"), cf, "root");
	InputStream in = fs.open(new Path("/test/demo.txt"));
	OutputStrea]]></description><category></category></item><item><title><![CDATA[Hadoop之运行环境搭建]]></title><link>https://blog.youkuaiyun.com/Si_kenn/article/details/111212607</link><guid>https://blog.youkuaiyun.com/Si_kenn/article/details/111212607</guid><author>Si_kenn</author><pubDate>Tue, 15 Dec 2020 14:38:22 +0800</pubDate><description><![CDATA[5.Hadoop运行环境搭建

登录账户
关闭防火墙
修改IP
修改主机名
配置hosts文件,将需要搭建集群的主机全部配置到hosts文件中
配置ssh免密登录

生成公钥和私钥 ssh-keygen -t rsa
将公钥拷贝到需要免密登录的服务器上


安装JDK
安装Zookeeper
安装Hadoop
配置集群

core-site.xml
hadoop-env.sh
hdfs-site.xml
yarn-env.sh
yarn-site.xml
mapred-env.sh
mapred-site.]]></description><category></category></item><item><title><![CDATA[Scala之翻译篇]]></title><link>https://blog.youkuaiyun.com/Si_kenn/article/details/111176018</link><guid>https://blog.youkuaiyun.com/Si_kenn/article/details/111176018</guid><author>Si_kenn</author><pubDate>Mon, 14 Dec 2020 17:29:21 +0800</pubDate><description><![CDATA[有没有人是学日语的呢?
今天献上一篇日文吧,然后姐姐我给大家翻译翻译.

初遇Scala
容我简短地为Scala和编译器写上两句吧.不过在这简短的文字里主要还是为有一定编程经验并且想要琢磨一下Scala能做些什么的人而写的喔.也就是说起码你要懂得何为面向对象编程,特别是还要有一定的Java基本功.
第一个Demo
(前两天我写了Scala的第一个Demo,不过是写在WorkSheet上的,今天翻译的这篇文字是直接写了一个object)
作为第一个Demo,就写一个最基本的Hello World项目吧.虽说不]]></description><category></category></item><item><title><![CDATA[Hadoop之MapReduce概述]]></title><link>https://blog.youkuaiyun.com/Si_kenn/article/details/111122837</link><guid>https://blog.youkuaiyun.com/Si_kenn/article/details/111122837</guid><author>Si_kenn</author><pubDate>Sun, 13 Dec 2020 15:57:33 +0800</pubDate><description><![CDATA[1.概述
MapReduce是Hadoop中一套分布式的计算框架,分为Map和Reduce两个部分,Map负责数据的整理,Reduce负责数据的汇总.











2.序列化机制
1.在MapReduce中,要求被传输的数据必须能够被序列化
2.Hadoop中,序列化机制默认使用AVRO,但是Hadoop对AVRO的序列化机制进行了进一步封装,提供了更简单的 序列化机制,只需要实现Writable,重写其中的方法即可.在序列化时,要求属性不能为null
3.分区
分区也就是对MapReduce中的]]></description><category></category></item><item><title><![CDATA[Hadoop之shuffle过程]]></title><link>https://blog.youkuaiyun.com/Si_kenn/article/details/111061966</link><guid>https://blog.youkuaiyun.com/Si_kenn/article/details/111061966</guid><author>Si_kenn</author><pubDate>Sat, 12 Dec 2020 15:13:10 +0800</pubDate><description><![CDATA[好不容易的周末,你是不是在打打麻将,打打牌,摸一摸,洗一洗呢?哈哈~~
在这我们还是看看Hadoop是如何洗牌的吧.
Map端的Shuffle
1.每个Split会分给一个MapTask来处理
2.MapTask默认是对数据进行按行读取,每读取一行调用一次map方法
3.map方法在处理完一行数据的时候会将数据写出到缓冲区中
4.每个MapTask都自带了一个缓冲区,缓冲区维系在内存中
5.缓冲区默认大小是100M
6.当缓冲区达到条件时,将缓冲区中的数据写到本地磁盘上,这个过程称之为溢写(Spill),产]]></description><category></category></item><item><title><![CDATA[Scala之第一个Demo]]></title><link>https://blog.youkuaiyun.com/Si_kenn/article/details/111033479</link><guid>https://blog.youkuaiyun.com/Si_kenn/article/details/111033479</guid><author>Si_kenn</author><pubDate>Fri, 11 Dec 2020 14:50:39 +0800</pubDate><description><![CDATA[“化繁为简,相较Java而言,Scala做了很好的诠释.”-------这就是我初识Scala时的印象,不知道你对Scala又怀有何等心情呢?
在学Hadoop的时候,我们老师曾说Scala是门很恶心的语言,之所以学它都是为了学Spark.担心我们不知道能不能坚持下来.
说实话,在习惯了Java语言风格之后要接受另一门语言确实是需要时间去适应的.而教我们Scala的老师则说,Scala语言是为聪明人设计的.
哈哈,仁者见仁智者见智.只能说:“本是同根生相煎何太急”.
废话不多说,我们一起简单看看Scala了]]></description><category></category></item><item><title><![CDATA[MapReduce之Shuffle调优]]></title><link>https://blog.youkuaiyun.com/Si_kenn/article/details/110956261</link><guid>https://blog.youkuaiyun.com/Si_kenn/article/details/110956261</guid><author>Si_kenn</author><pubDate>Thu, 10 Dec 2020 16:37:03 +0800</pubDate><description><![CDATA[来点Hadoop的料吧,嘻嘻.
Shuffle调优
1.将缓冲区大小(默认100M)设置更大. 一般情况下会将缓冲区设置为250~400M左右
(切分[split]的大小一般会设置与块[block]的大小相同[默认128M].缓冲区的大小值一般取决于切分的大小,所以一般是128M的倍数.为了方便记忆我们一般都说设为250~400M左右)
2.减少溢写次数,如果能够添加Combiner,尽量添加Combiner.
(存在不能Combiner的情况,所以视情况而定.)
3.将缓冲区阈值(默认80%)设置更大.
]]></description><category></category></item></channel></rss>