<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[zgm12的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/zgm12</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; zgm12]]></copyright><item><title><![CDATA[内部表和外部表区别]]></title><link>https://blog.youkuaiyun.com/zgm12/article/details/108217993</link><guid>https://blog.youkuaiyun.com/zgm12/article/details/108217993</guid><author>zgm12</author><pubDate>Tue, 25 Aug 2020 13:25:07 +0800</pubDate><description><![CDATA[一、外部表的创建、load、删除

1.文件在本地而不是在hdfs的时候

1.1 建表时指定location

（1）建表并load数据


create external table exTable28 (id int,str string) row format delimited fields terminated by ' ' location '/zgm/test/';


 load data  local inpath '/zgm2/exe28' into table exTable28;.]]></description><category></category></item><item><title><![CDATA[spark调优之大rdd倾斜解决：sample采样倾斜key单独进行join]]></title><link>https://blog.youkuaiyun.com/zgm12/article/details/108170982</link><guid>https://blog.youkuaiyun.com/zgm12/article/details/108170982</guid><author>zgm12</author><pubDate>Sat, 22 Aug 2020 17:04:01 +0800</pubDate><description><![CDATA[spark调优之随机前缀
当两个大表出现数据倾斜，那么不能用mapjoin（也就是broadcast）来解决的时候，我们可以采用随机前缀+单独join-&gt;union正常数据join结果来解决；
代码：
解释：

rdd2中key为“001”的数据非常多，导致数据倾斜，那么我们把rdd1、rdd2中的key为001的数据单独拿出来join；剩下的正常的key自己进行join，这两个join的结果最后进行union
对于rdd1的数据，每一条数据加上0、1、2、3、4的前缀，rdd1的数据量变成原来的5倍]]></description><category></category></item><item><title><![CDATA[zk、hbase、redis保存Sparkstreaming 的offset]]></title><link>https://blog.youkuaiyun.com/zgm12/article/details/106974714</link><guid>https://blog.youkuaiyun.com/zgm12/article/details/106974714</guid><author>zgm12</author><pubDate>Fri, 26 Jun 2020 21:08:54 +0800</pubDate><description><![CDATA[一、zk:



import cn.qphone.spark.`trait`.LoggerTrait
import cn.qphone.spark.utils.{CommonUtils, SparkUtils}
import kafka.common.TopicAndPartition
import kafka.message.MessageAndMetadata
import kafka.serializer.StringDecoder
import org.apache.curator.framewo]]></description><category></category></item><item><title><![CDATA[Hive中建立HBase的映射表]]></title><link>https://blog.youkuaiyun.com/zgm12/article/details/105055211</link><guid>https://blog.youkuaiyun.com/zgm12/article/details/105055211</guid><author>zgm12</author><pubDate>Mon, 23 Mar 2020 19:10:40 +0800</pubDate><description><![CDATA[CREATE EXTERNAL TABLE userPhoto(
uid string ,
tag string ,
tagweight double )
ROW FORMAT SERDE
'org.apache.hadoop.hive.hbase.HBaseSerDe'
STORED BY
'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
W...]]></description><category></category></item><item><title><![CDATA[Spark写数据到HBase]]></title><link>https://blog.youkuaiyun.com/zgm12/article/details/105054943</link><guid>https://blog.youkuaiyun.com/zgm12/article/details/105054943</guid><author>zgm12</author><pubDate>Mon, 23 Mar 2020 18:46:24 +0800</pubDate><description><![CDATA[实现的功能：

从hive表中读取订单表，计算每个用户在30天内下单的金额，然后存到HBase


package pro3

import org.apache.hadoop.hbase.{HBaseConfiguration, HColumnDescriptor, HTableDescriptor, TableName}
import org.apache.hadoop.hbase.clien...]]></description><category></category></item><item><title><![CDATA[一些数据结构、算法题]]></title><link>https://blog.youkuaiyun.com/zgm12/article/details/105011634</link><guid>https://blog.youkuaiyun.com/zgm12/article/details/105011634</guid><author>zgm12</author><pubDate>Sat, 21 Mar 2020 16:11:01 +0800</pubDate><description><![CDATA[//去重复值
    val arr: Array[Int] = Array(1,2,3,4,5,1,2,3,4)
    val set: Set[Int] = Set(arr(0),arr(5),arr(6))
    //println(set.toBuffer)

  //scala的基础题：要求找到出现次数大于一半序列长度的数
    val array :Seq[Int] = Se...]]></description><category></category></item><item><title><![CDATA[Flink笔记01——基础]]></title><link>https://blog.youkuaiyun.com/zgm12/article/details/104904352</link><guid>https://blog.youkuaiyun.com/zgm12/article/details/104904352</guid><author>zgm12</author><pubDate>Mon, 16 Mar 2020 22:54:58 +0800</pubDate><description><![CDATA[一、关于slot、parallelism

1.在conf/flink-conf.yaml中有如下内容，显示默认slots、parallelism均为1，我理解的，slots就是可以运行多少任务，parallelism是你让他运行多少任务。



# The heap size for the JobManager JVM

jobmanager.heap.size: 1024m


# The ...]]></description><category></category></item><item><title><![CDATA[HDFS——一些规范、命令]]></title><link>https://blog.youkuaiyun.com/zgm12/article/details/104882725</link><guid>https://blog.youkuaiyun.com/zgm12/article/details/104882725</guid><author>zgm12</author><pubDate>Sun, 15 Mar 2020 18:00:31 +0800</pubDate><description><![CDATA[1、在load数据到表中的时候，如果，不是local 数据而是HDFS上的数据，而且，是内部表的话，那么数据会被剪切到表的目录下，数据在原本目录下不会存在。

比如load data inpath '/data/landlog' overwrite into table landlog;

在HDFS上的/data/目录下，将没有landlog这个文件，在表的目录下将出现landlog这个文件；
...]]></description><category></category></item><item><title><![CDATA[hql的优化,]]></title><link>https://blog.youkuaiyun.com/zgm12/article/details/104838183</link><guid>https://blog.youkuaiyun.com/zgm12/article/details/104838183</guid><author>zgm12</author><pubDate>Fri, 13 Mar 2020 13:38:17 +0800</pubDate><description><![CDATA[一、求学生选的每门课都及格了的学生


select
a.*
from student2 a
join(
select b.sid
from sc2 b group by b.sid  having min(score)&gt;60) c
on a.sid=c.sid;
两个job taken: 84.528 seconds,

select 
a.* from student2 a join s...]]></description><category></category></item><item><title><![CDATA[关于单链表——求有效节点个数、求倒数第K个节点、反转单链表、倒序输出单链表的内容（递归法和栈法）]]></title><link>https://blog.youkuaiyun.com/zgm12/article/details/104777006</link><guid>https://blog.youkuaiyun.com/zgm12/article/details/104777006</guid><author>zgm12</author><pubDate>Tue, 10 Mar 2020 16:28:01 +0800</pubDate><description><![CDATA[package SuanFa.ListNode;


import java.util.Stack;

public class LN {

    public static void main(String[] args) {

        SingleLinkedList proList=new SingleLinkedList();
        ProNode p1 = new ...]]></description><category></category></item><item><title><![CDATA[Zookeeper ——选举机制]]></title><link>https://blog.youkuaiyun.com/zgm12/article/details/104770275</link><guid>https://blog.youkuaiyun.com/zgm12/article/details/104770275</guid><author>zgm12</author><pubDate>Tue, 10 Mar 2020 11:20:30 +0800</pubDate><description><![CDATA[目前有5台服务器，每台服务器均没有数据，它们的编号分别是1,2,3,4,5,按编号依次启动，它们的选择举过程如下：

服务器1启动，给自己投票，然后发投票信息，由于其它机器还没有启动所以它收不到反馈信息，服务器1的状态一直属于Looking(选举状态)。
	服务器2启动，给自己投票，同时与之前启动的服务器1交换结果，由于服务器2的编号大所以服务器2胜出，但此时投票数没有大于半数，所以两个服务器的状...]]></description><category></category></item><item><title><![CDATA[Sqoop的实际使用]]></title><link>https://blog.youkuaiyun.com/zgm12/article/details/104742878</link><guid>https://blog.youkuaiyun.com/zgm12/article/details/104742878</guid><author>zgm12</author><pubDate>Mon, 09 Mar 2020 00:55:36 +0800</pubDate><description><![CDATA[一、简单的测试，查看有哪些数据库


$SQOOP_HOME/bin/sqoop list-databases  \
--connect jdbc:mysql://mini1:3306 \
--username hive \
--password hive
//可以


二、将数据导入到hive

不指定分隔符的话，在hive中列的分隔符是\001，行的分隔符是\n

验证：


$SQOOP_H...]]></description><category></category></item><item><title><![CDATA[Linux——mysql]]></title><link>https://blog.youkuaiyun.com/zgm12/article/details/104737905</link><guid>https://blog.youkuaiyun.com/zgm12/article/details/104737905</guid><author>zgm12</author><pubDate>Sun, 08 Mar 2020 18:47:38 +0800</pubDate><description><![CDATA[service mysqld status //查看状态

service mysql restart //重启

mysql -u root -p //进入mysql

123456







create user "zgm"@"%" identified by "zgm";
create user "zgm2"@"mini1" identified by "zzz";  创建...]]></description><category></category></item><item><title><![CDATA[算法01——二分查找、冒泡排序、插入排序、快速排序、归并排序]]></title><link>https://blog.youkuaiyun.com/zgm12/article/details/104658438</link><guid>https://blog.youkuaiyun.com/zgm12/article/details/104658438</guid><author>zgm12</author><pubDate>Wed, 04 Mar 2020 18:01:16 +0800</pubDate><description><![CDATA[一、二分查找


package SuanFa.MySearch;

public class binSearch {
    public static void main(String[] args) {

        int[] a={1,2,3,4,5,6,7};
        System.out.println(myBinSerch(a,2));

    }


    pub...]]></description><category></category></item><item><title><![CDATA[计算机基础知识——java02]]></title><link>https://blog.youkuaiyun.com/zgm12/article/details/104657083</link><guid>https://blog.youkuaiyun.com/zgm12/article/details/104657083</guid><author>zgm12</author><pubDate>Wed, 04 Mar 2020 16:53:42 +0800</pubDate><description><![CDATA[一、string是否可以用来做SWITCH的参数？

jdk1.7之前，只有byte、short 、char 、int可以做switch的参数，1.7之后，枚举类型、布尔、字符串都可以，string类型是调用了string.hashCode,将string转换为int从而进行判断



二、为什么重写equal()之后还要重写hashcoude()

规范是如果两个对象的equals值相等，那...]]></description><category></category></item><item><title><![CDATA[计算机基础知识——Java01]]></title><link>https://blog.youkuaiyun.com/zgm12/article/details/104644945</link><guid>https://blog.youkuaiyun.com/zgm12/article/details/104644945</guid><author>zgm12</author><pubDate>Wed, 04 Mar 2020 00:09:54 +0800</pubDate><description><![CDATA[一、八种基本数据类型的大小，以及他们的封装类

整数+字符串=字符串



1、包装类是对象，拥有方法和字段，对象的调用都是通过引用对象的地址，基本类型不是
2、包装类型是引用的传递，基本类型是值的传递
3、声明方式不同，基本数据类型不需要new关键字，而包装类型需要new在堆内存中进行new来分配内存空间
4、存储位置不同，基本数据类型直接将值保存在值栈中，而包装类型是把对象放在堆中，然后通过...]]></description><category></category></item><item><title><![CDATA[MR——实现二次排序]]></title><link>https://blog.youkuaiyun.com/zgm12/article/details/104638732</link><guid>https://blog.youkuaiyun.com/zgm12/article/details/104638732</guid><author>zgm12</author><pubDate>Tue, 03 Mar 2020 19:07:29 +0800</pubDate><description><![CDATA[ps:

一、字符串比较用compareTo()时:

1，长度相同,从第一位开始比较，如果相同返回0，如果不同则马上返回这两个字符的ascii值的差值。

2，长度不同,直接返回长度差值。

二、Integer比较用compareTo()时：

1，对比数字时相同，返回0。

2，对比数字不同时，返回-1。



实现每个人最喜欢的电影topN，按照uid、分数进行排序

一、 RateBea...]]></description><category></category></item><item><title><![CDATA[HBASE——过滤器实现]]></title><link>https://blog.youkuaiyun.com/zgm12/article/details/104638950</link><guid>https://blog.youkuaiyun.com/zgm12/article/details/104638950</guid><author>zgm12</author><pubDate>Tue, 03 Mar 2020 19:03:29 +0800</pubDate><description><![CDATA[package hbasefilter;

import HbaseApi.HbaseUtilTool;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.client.Table...]]></description><category></category></item><item><title><![CDATA[HBASE——协调处理器实现代码]]></title><link>https://blog.youkuaiyun.com/zgm12/article/details/104638654</link><guid>https://blog.youkuaiyun.com/zgm12/article/details/104638654</guid><author>zgm12</author><pubDate>Tue, 03 Mar 2020 18:47:10 +0800</pubDate><description><![CDATA[关注表里添加一条信息，那么粉丝表里也添加一条对应信息




package hbase_mr;

import HbaseApi.HbaseUtilTool;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellScanner;
import org.apache.hadoop.hbase.CellUt...]]></description><category></category></item><item><title><![CDATA[Hbase——BulkLoad代码]]></title><link>https://blog.youkuaiyun.com/zgm12/article/details/104638586</link><guid>https://blog.youkuaiyun.com/zgm12/article/details/104638586</guid><author>zgm12</author><pubDate>Tue, 03 Mar 2020 18:42:10 +0800</pubDate><description><![CDATA[HbaseBulkLoad




package hbase_mr;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.TableName;
i...]]></description><category></category></item></channel></rss>