<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[king_hui719的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/king_hui719</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; king_hui719]]></copyright><item><title><![CDATA[spark的client和cluster的模式介绍(五)]]></title><link>https://blog.youkuaiyun.com/king_hui719/article/details/105208380</link><guid>https://blog.youkuaiyun.com/king_hui719/article/details/105208380</guid><author>king_hui719</author><pubDate>Mon, 30 Mar 2020 20:58:22 +0800</pubDate><description><![CDATA[Application Master在Yarn中，每个Application实例都有一个Application,实例都有一个 Application Master进程，它是Application启动的第一个容器。它负责和ResourceManger打交道，并请求资源，获取资源之后告诉NodeManager,为其启动container.

ResourceManger:负责将集群的资源分配给各个应用...]]></description><category></category></item><item><title><![CDATA[hive的表及分区操作方式(一)]]></title><link>https://blog.youkuaiyun.com/king_hui719/article/details/104979595</link><guid>https://blog.youkuaiyun.com/king_hui719/article/details/104979595</guid><author>king_hui719</author><pubDate>Thu, 26 Mar 2020 19:34:05 +0800</pubDate><description><![CDATA[hive的建表方式：

hive的插入数据的方式：

Hive的分区操作:分区修改：
Alter table_name partition (date='201801') rename to partition(date='201802')删除分区：
alter table login Drop if exists partition(date='201801')添加分区：
alter table...]]></description><category></category></item><item><title><![CDATA[sparkSQL的RDD转换成DataFrame]]></title><link>https://blog.youkuaiyun.com/king_hui719/article/details/105125294</link><guid>https://blog.youkuaiyun.com/king_hui719/article/details/105125294</guid><author>king_hui719</author><pubDate>Thu, 26 Mar 2020 18:44:14 +0800</pubDate><description><![CDATA[1、为什么要将RDD转换成DataFrame,

直接针对HDFS等任何可以构建为RDD数据，进行SparkSQL的sql查询

2、SparkSQL支持RDD转换成DataFrame的方式如下：

1&gt;反射方式；

2&gt;通过编程接口创建DataFrame;

方法一：使用createDataFrame方法；

val schema=StructType(

 seq(

 St...]]></description><category></category></item><item><title><![CDATA[java的Stack讲解及实现有效括号]]></title><link>https://blog.youkuaiyun.com/king_hui719/article/details/105090757</link><guid>https://blog.youkuaiyun.com/king_hui719/article/details/105090757</guid><author>king_hui719</author><pubDate>Wed, 25 Mar 2020 11:18:57 +0800</pubDate><description><![CDATA[java把内存划分成两种：栈内存/堆内存。函数中定义的基本类型的变量及对象的引用变量

都是在栈内存中分配，当代码块定义一个变量，java在栈中为这个变量分配内存，当超过变量的作用域后，java会自动注释掉为该变量分配的内存空间。

堆内存：由new 创建对象和数组，在堆中分配内存，由java虚拟机的自动垃圾回收器管理。在堆中产生一个数组或者对象，在栈中定义一个特殊的变量，让栈中的这个变量的取值等...]]></description><category></category></item><item><title><![CDATA[java拆分8字符串]]></title><link>https://blog.youkuaiyun.com/king_hui719/article/details/105027591</link><guid>https://blog.youkuaiyun.com/king_hui719/article/details/105027591</guid><author>king_hui719</author><pubDate>Sun, 22 Mar 2020 14:29:53 +0800</pubDate><description><![CDATA[首先输入数字n，表示要输入多少个字符串。连续输入字符串(输出次数为N,字符串长度小于100)。

输出描述:





按长度为8拆分每个字符串后输出到新的字符串数组，长度不是8整数倍的字符串请在后面补数字0，空字符串不处理。




...]]></description><category></category></item><item><title><![CDATA[java求解负数个数和正数的和]]></title><link>https://blog.youkuaiyun.com/king_hui719/article/details/105025729</link><guid>https://blog.youkuaiyun.com/king_hui719/article/details/105025729</guid><author>king_hui719</author><pubDate>Sun, 22 Mar 2020 12:17:25 +0800</pubDate><description><![CDATA[]]></description><category></category></item><item><title><![CDATA[java求解字符串反转]]></title><link>https://blog.youkuaiyun.com/king_hui719/article/details/105024027</link><guid>https://blog.youkuaiyun.com/king_hui719/article/details/105024027</guid><author>king_hui719</author><pubDate>Sun, 22 Mar 2020 10:51:08 +0800</pubDate><description><![CDATA[]]></description><category></category></item><item><title><![CDATA[java求解平方跟]]></title><link>https://blog.youkuaiyun.com/king_hui719/article/details/105014814</link><guid>https://blog.youkuaiyun.com/king_hui719/article/details/105014814</guid><author>king_hui719</author><pubDate>Sat, 21 Mar 2020 18:33:14 +0800</pubDate><description><![CDATA[求解平方根
import java.util.*;
import java.io.*;
public class Main{
  public static void main(String[] args)throws IOException{
    if(false){
    return ;
    }else{
      BufferedRea...]]></description><category></category></item><item><title><![CDATA[java求解2个数的最小公倍数]]></title><link>https://blog.youkuaiyun.com/king_hui719/article/details/105012953</link><guid>https://blog.youkuaiyun.com/king_hui719/article/details/105012953</guid><author>king_hui719</author><pubDate>Sat, 21 Mar 2020 17:04:22 +0800</pubDate><description><![CDATA[求两个数的最小公倍数算法核心：最小公倍数=两整数的乘机/最大公约数；
package demo;
import java.util.*;
public class demo01 {
    public static void main(String[] args){
      Scanner sc=new Scanner(System.in);
      i...]]></description><category></category></item><item><title><![CDATA[spark的任务提交后台提交实例（五）]]></title><link>https://blog.youkuaiyun.com/king_hui719/article/details/105007388</link><guid>https://blog.youkuaiyun.com/king_hui719/article/details/105007388</guid><author>king_hui719</author><pubDate>Sat, 21 Mar 2020 12:08:18 +0800</pubDate><description><![CDATA[//本地模式,如果时集群模式需要启动master和worknode

./bin/spark-submit

--class com.package.test.app.demo01//直接是对象名称

--deploy-mode cluster //驱动进程四在集群上工作界定云心那个cluster,还是在集群之外客户端运行client

analyzer-logs-1.0.jar //日志分析
...]]></description><category></category></item><item><title><![CDATA[sparkSQL的sqlContext和hHiveContext的汇总（二）]]></title><link>https://blog.youkuaiyun.com/king_hui719/article/details/105007187</link><guid>https://blog.youkuaiyun.com/king_hui719/article/details/105007187</guid><author>king_hui719</author><pubDate>Sat, 21 Mar 2020 11:58:40 +0800</pubDate><description><![CDATA[sqlContext总的一个过程如下：
1.SQL语句经过SqlParse解析成UnresolvedLogicalPlan；
2.使用analyzer结合数据数据字典（catalog）进行绑定，生成resolvedLogicalPlan；
3.使用optimizer对resolvedLogicalPlan进行优化，生成optimizedLogicalPlan；
4.使用SparkPlan将Logi...]]></description><category></category></item><item><title><![CDATA[saprkSQL的思考及开发实战(一)]]></title><link>https://blog.youkuaiyun.com/king_hui719/article/details/105007092</link><guid>https://blog.youkuaiyun.com/king_hui719/article/details/105007092</guid><author>king_hui719</author><pubDate>Sat, 21 Mar 2020 11:52:34 +0800</pubDate><description><![CDATA[sparkSQL:数据读入到sparkSQL,进行数处理或者算法实现，然后再把处理收的数据输出到相应的输出源中,在实际开发过程中需要考虑如下几个点：

1、数据源多少，sparkSql支持多种数据源hive\json\.txt\orc文件\jdbc;

2、字段的映射关系与语言的定义类型相关

3、数据拥有的情况下，组织这些数据-&gt;数据结构-&gt;操作数据

sparkSQL的实战介绍...]]></description><category></category></item><item><title><![CDATA[Scala各类符号介绍(一)]]></title><link>https://blog.youkuaiyun.com/king_hui719/article/details/104983749</link><guid>https://blog.youkuaiyun.com/king_hui719/article/details/104983749</guid><author>king_hui719</author><pubDate>Fri, 20 Mar 2020 10:06:02 +0800</pubDate><description><![CDATA[scala的各种符号含义

1、:::运算符号，表示的是List的连接操作，比如:

val a=List(1,2);val b=List(3,4) val c=a:::b;

代替了java中的add方法；

2、::表示普通元素和List的连接操作：

val d=5

val f=List(6,7)

val g=d::f

则结果是List(5,6,7),1::b操作，::是右侧对象[b]...]]></description><category></category></item><item><title><![CDATA[CDH搭建的节点环境准备(一)]]></title><link>https://blog.youkuaiyun.com/king_hui719/article/details/104979244</link><guid>https://blog.youkuaiyun.com/king_hui719/article/details/104979244</guid><author>king_hui719</author><pubDate>Thu, 19 Mar 2020 22:57:20 +0800</pubDate><description><![CDATA[Hadoop的平台搭建

搭建大数据的分布式平台的环境准备
虚拟机环境（vm）、centos7.0（/centos6.5）;
	centos7.0（/centos6.5）的安装步骤
 A.点击添加虚拟机，选择典型安装，如下图所示：



B.提前准备好安装程序光盘的映像文件，选择映像点击下一步



虚拟机命名(随意)，...]]></description><category></category></item><item><title><![CDATA[spark的配置方式及端口介绍(四)]]></title><link>https://blog.youkuaiyun.com/king_hui719/article/details/104978534</link><guid>https://blog.youkuaiyun.com/king_hui719/article/details/104978534</guid><author>king_hui719</author><pubDate>Thu, 19 Mar 2020 22:37:14 +0800</pubDate><description><![CDATA[saprk配置信息使用的三种方式：
1、代码中使用SparkConf来配置；
2、在提交时候使用--conf来配置 spark-submit --master --conf k=v 如果要设置多个配置信息的值，需要使用多个–conf；
3、在spark的配置文件spark-default.conf文件中配置；

spark端口及修改

配置文件：start-master.sh/spark-defa...]]></description><category></category></item><item><title><![CDATA[spark的任务调度流程（三）]]></title><link>https://blog.youkuaiyun.com/king_hui719/article/details/104978182</link><guid>https://blog.youkuaiyun.com/king_hui719/article/details/104978182</guid><author>king_hui719</author><pubDate>Thu, 19 Mar 2020 22:07:44 +0800</pubDate><description><![CDATA[spark任务调度
1、提交spark应用，每一个saprk的应用叫做application;
2、./bin/spark-submit 提交代码，启动driver;
3、启动driver也就意味着开始要执行代码，执行代码的时候初始化sparkContext,即构建DAGScheduler和TaskScheduler；
4、TaskScheduler向master注册，master接到请求之后，向...]]></description><category></category></item><item><title><![CDATA[spark的安装集运行模式(二)]]></title><link>https://blog.youkuaiyun.com/king_hui719/article/details/104915717</link><guid>https://blog.youkuaiyun.com/king_hui719/article/details/104915717</guid><author>king_hui719</author><pubDate>Tue, 17 Mar 2020 10:15:44 +0800</pubDate><description><![CDATA[Spark安装：

配置path的环境的java和python（不在叙述，不会上网查找）；
	官网下载spark的包；
	Wegt 命令下载；tar -xvf sparkxxx.jar
4、mkdir -p /opt/mySpark mv sparkxxx /opt/mySpark

5、修改权限 chown -R root:root /opt/mySpark; chmod -R 755 /o...]]></description><category></category></item><item><title><![CDATA[spark与hadoop生态圈（一）]]></title><link>https://blog.youkuaiyun.com/king_hui719/article/details/104914676</link><guid>https://blog.youkuaiyun.com/king_hui719/article/details/104914676</guid><author>king_hui719</author><pubDate>Tue, 17 Mar 2020 09:36:08 +0800</pubDate><description><![CDATA[Spark是一个开源计算框架，开发者借助于其API编写分布式应用来使用集群资源，无须关心底层的分布；它支持各种工作负载，包括批处理、流式计算、商业智能分析、图形计算、以及机器学习。

为什么使用spark

可编程性：MapReduce需要几个链式的步骤来完成某些工作负载步骤，还需要这对不同应用的专用系统；
	Mr在计算步骤之间将中间数据写入磁盘，使得一些执行交互式分析和迭代算法的应用程序在重用数...]]></description><category></category></item><item><title><![CDATA[kylin的存储目录，及对应生成的cubeid的分析]]></title><link>https://blog.youkuaiyun.com/king_hui719/article/details/104883260</link><guid>https://blog.youkuaiyun.com/king_hui719/article/details/104883260</guid><author>king_hui719</author><pubDate>Sun, 15 Mar 2020 18:26:58 +0800</pubDate><description><![CDATA[kylin的存储在hdfs的文件路径：/kylin/
查看命令：hadoop fs -du -h /kylin/

 hadoop fs -du -h /kylin/kylin_testing/

目录如下：

 /kylin/ proj 1--对公的cube的存储目录

 /kylin/ proj2 --零售的cube的存储目录

...]]></description><category></category></item><item><title><![CDATA[kylin的总体概述及总结汇总]]></title><link>https://blog.youkuaiyun.com/king_hui719/article/details/104882992</link><guid>https://blog.youkuaiyun.com/king_hui719/article/details/104882992</guid><author>king_hui719</author><pubDate>Sun, 15 Mar 2020 18:19:00 +0800</pubDate><description><![CDATA[Kylin Cube构建原理解析

Apache Kylin 是什么

Apache Kylin是一个开源的、基于Hadoop生态系统的OLAP引擎(OLAP查询引擎、OLAP多维分析引擎)，能够通过SQL接口对十亿、甚至百亿行的超大数据集实现秒级的多维分析查询。

ApacheKylin 核心:Kylin OLAP引擎基础框架，包括元数据引擎，查询引擎，Job(Build)引擎及存储引擎等，同...]]></description><category></category></item></channel></rss>