<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Mask_V的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Mask_V</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Mask_V]]></copyright><item><title><![CDATA[SQL 优化]]></title><link>https://blog.youkuaiyun.com/Mask_V/article/details/130000854</link><guid>https://blog.youkuaiyun.com/Mask_V/article/details/130000854</guid><author>Mask_V</author><pubDate>Thu, 06 Apr 2023 22:20:27 +0800</pubDate><description><![CDATA[复合索引也称为联合索引，当我们创建一个联合索引的时候，如(k1,k2,k3)，相当于创建了（k1）、(k1,k2)和(k1,k2,k3)三个索引，这就是最左匹配原则。如果使用到了临时表，在存储过程的最后务必将所有的临时表显式删除。默认新增SQL有事务控制，导致每条都需要事务开启和事务提交，而批量处理是一次事务开启和提交，效率提升明显，达到一定量级，效果显著，平时看不出来。列经常被修改，而且每次被修改的数据的长度不同，这会引起“行迁移”现象，而这造成多余的I/O，是数据库设计中要尽力避免的，这种情况下用。]]></description><category></category></item><item><title><![CDATA[Exception in thread “main“ java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Wi]]></title><link>https://blog.youkuaiyun.com/Mask_V/article/details/129697024</link><guid>https://blog.youkuaiyun.com/Mask_V/article/details/129697024</guid><author>Mask_V</author><pubDate>Tue, 21 Mar 2023 20:39:08 +0800</pubDate><description><![CDATA[问题描述：]]></description><category></category></item><item><title><![CDATA[大数据时代行为数据]]></title><link>https://blog.youkuaiyun.com/Mask_V/article/details/87259708</link><guid>https://blog.youkuaiyun.com/Mask_V/article/details/87259708</guid><author>Mask_V</author><pubDate>Thu, 14 Feb 2019 11:23:14 +0800</pubDate><description><![CDATA[原文地址：https://mbd.baidu.com/newspage/data/landingsuper?context=%7B%22nid%22%3A%22news_8679573479868512559%22%7D&amp;amp;n_type=0&amp;amp;p_from=1

大数据时代的弊端，就是被透明化的隐私安全。

我不知道大家有没有这样的生活经历：早上还在用浏览器搜“女生喜欢什么样的口红”，...]]></description><category></category></item><item><title><![CDATA[基于Kafka+SparkStreaming+HBase实时点击流案例]]></title><link>https://blog.youkuaiyun.com/Mask_V/article/details/86307474</link><guid>https://blog.youkuaiyun.com/Mask_V/article/details/86307474</guid><author>Mask_V</author><pubDate>Fri, 11 Jan 2019 16:56:44 +0800</pubDate><description><![CDATA[原文地址：https://www.jianshu.com/p/ccba410462ba

前言

最近在专注Spark开发，记录下自己的工作和学习路程，希望能跟大家互相交流成长
本文章更倾向于实战案例，涉及框架原理及基本应用还请读者自行阅读相关文章，相关在本文章最后参考资料中
关于Zookeeper/Kafka/HBase/Hadoop相关集群环境搭建作者会陆续更新
本文章发布后会及时更新文章中出...]]></description><category></category></item><item><title><![CDATA[【Zookeeper灵魂】一个关于Paxos算法的故事]]></title><link>https://blog.youkuaiyun.com/Mask_V/article/details/85760963</link><guid>https://blog.youkuaiyun.com/Mask_V/article/details/85760963</guid><author>Mask_V</author><pubDate>Fri, 04 Jan 2019 10:38:43 +0800</pubDate><description><![CDATA[作者：大数据研习社 
来源：优快云 
原文：https://blog.youkuaiyun.com/dajiangtai007/article/details/68488701 
版权声明：本文为博主原创文章，转载请附上博文链接！

Zookeeper默认采用FastLeaderElection算法,然而FastLeaderElection对于Zookeeper来讲只是相当于paxos中的leader选举。...]]></description><category></category></item><item><title><![CDATA[.hive-staging_hive文件产生原因]]></title><link>https://blog.youkuaiyun.com/Mask_V/article/details/85125448</link><guid>https://blog.youkuaiyun.com/Mask_V/article/details/85125448</guid><author>Mask_V</author><pubDate>Thu, 20 Dec 2018 16:14:23 +0800</pubDate><description><![CDATA[出处：https://www.cnblogs.com/honeybee/p/6401479.html

hive执行结果moveTask操作失败


Apache Hive 2.1.0 ，在执行&quot;INSERT OVERWRITE TABLE ...... select &quot;或者 &quot;insert overwrite directory /tmp/data/hive-test &quot;操作，如果生成的结果文件...]]></description><category></category></item><item><title><![CDATA[azkaban 动态传参shell篇]]></title><link>https://blog.youkuaiyun.com/Mask_V/article/details/84796876</link><guid>https://blog.youkuaiyun.com/Mask_V/article/details/84796876</guid><author>Mask_V</author><pubDate>Tue, 04 Dec 2018 19:02:36 +0800</pubDate><description><![CDATA[原文地址：https://www.cnblogs.com/honeybee/p/7921626.html



2. shell类型的job的参数传递

azkaban中的shell 作业，如何接收从webUI传递的参数？

step1： UI页面输入参数定义：
ui_test=test111111111

step2：在job文件myjob.job指定：


##作业定义文件UI输入参数接收：
...]]></description><category></category></item><item><title><![CDATA[azkaban安装部署]]></title><link>https://blog.youkuaiyun.com/Mask_V/article/details/83857762</link><guid>https://blog.youkuaiyun.com/Mask_V/article/details/83857762</guid><author>Mask_V</author><pubDate>Thu, 08 Nov 2018 11:00:16 +0800</pubDate><description><![CDATA[原文地址：https://www.cnblogs.com/heml/p/6552818.html#_label2?tdsourcetag=s_pctim_aiomsg

目录

Azkaban
	源码下载编译
	安装
回到顶部

Azkaban



MySQL
Azkaban使用mysql存储很多状态，AzkabanWebServer和AzkabanExecutorServer都会使用mysql...]]></description><category></category></item><item><title><![CDATA[spark df插入hive表后小文件数量多，如何合并？]]></title><link>https://blog.youkuaiyun.com/Mask_V/article/details/83657725</link><guid>https://blog.youkuaiyun.com/Mask_V/article/details/83657725</guid><author>Mask_V</author><pubDate>Fri, 02 Nov 2018 16:37:07 +0800</pubDate><description><![CDATA[原文地址：https://www.cnblogs.com/yy3b2007com/p/7113936.html　

在做spark开发过程中，时不时的就有可能遇到租户的hive库目录下的文件个数超出了最大限制问题。

一般情况下通过hive的参数设置：
 


    val conf = new SparkConf().setAppName(&quot;MySparkJob&quot;)
    //.setMas...]]></description><category></category></item><item><title><![CDATA[转载：CDH报错： 主机的 NTP 服务未同步至任何远程服务器]]></title><link>https://blog.youkuaiyun.com/Mask_V/article/details/83617311</link><guid>https://blog.youkuaiyun.com/Mask_V/article/details/83617311</guid><author>Mask_V</author><pubDate>Thu, 01 Nov 2018 11:14:30 +0800</pubDate><description><![CDATA[当cdh出现报错

主机的 NTP 服务未同步至任何远程服务器。

可以采取以下方式解决

 

选择ntp时间服务器 : 10.0.61.4

Step1 : 进入linux ntpd 配置目录,并修改配置文件如下:

vim /etc/ntp.conf

# For more information about this file, see the man pages

# ntp.conf(...]]></description><category></category></item><item><title><![CDATA[CDH 集群，出现 Entropy 不良问题]]></title><link>https://blog.youkuaiyun.com/Mask_V/article/details/82983679</link><guid>https://blog.youkuaiyun.com/Mask_V/article/details/82983679</guid><author>Mask_V</author><pubDate>Tue, 09 Oct 2018 15:55:47 +0800</pubDate><description><![CDATA[原文地址：https://www.jianshu.com/p/037f9dda5e7d

问题

CDH 集群，出现 Entropy 不良问题，原因是系统熵值低于 CDH 检测的阀值引起的, 所以解决思路是需要调大系统熵值。



image.png


本文不阐述熵值问题，如需理解 entropy （熵值），需自行 google。


解决

查询系统熵值大小

cat /proc/sys/ke...]]></description><category></category></item><item><title><![CDATA[Hive语句前的常见设置]]></title><link>https://blog.youkuaiyun.com/Mask_V/article/details/82854660</link><guid>https://blog.youkuaiyun.com/Mask_V/article/details/82854660</guid><author>Mask_V</author><pubDate>Wed, 26 Sep 2018 15:58:02 +0800</pubDate><description><![CDATA[1.hive.cli.print.header=true
是否显示查询结果的列名，默认为不显示
2.set hive.exec.parallel=true;
参数控制在同一个sql中的不同的job是否可以同时运行,默认为false.
3.hive.map.aggr=true
决定是否可以在 Map 端进行聚合操作，从而减轻清洗阶段数据传输和Reduce阶段的执行时间，提升总体性能。
缺点：该设置会...]]></description><category></category></item><item><title><![CDATA[比较两个版本大小java版]]></title><link>https://blog.youkuaiyun.com/Mask_V/article/details/81282738</link><guid>https://blog.youkuaiyun.com/Mask_V/article/details/81282738</guid><author>Mask_V</author><pubDate>Mon, 30 Jul 2018 12:01:27 +0800</pubDate><description><![CDATA[今天接到一个面试，要在线写一个java版本比较的工具。就自己写了一个，万一以后用的到呢，写个博客留下来

该版本适合大小写，字符数字混合，截取的字符串长度不等，这些情况


/**
 * 比较版本大小
 * @author chen
 */
public class Demo01 {
	public static void main(String[] args) {
		String v1 = &quot;...]]></description><category></category></item><item><title><![CDATA[从Hive导出数据到Oracle数据库--Sqoop]]></title><link>https://blog.youkuaiyun.com/Mask_V/article/details/81166357</link><guid>https://blog.youkuaiyun.com/Mask_V/article/details/81166357</guid><author>Mask_V</author><pubDate>Mon, 23 Jul 2018 13:45:29 +0800</pubDate><description><![CDATA[原文地址：https://blog.youkuaiyun.com/waterkong/article/details/78708809

始发与个人博客：https://kongdada.github.io/ 
实习老大让我把Hive中的数据导入Oracle数据库。摸索成功后记录如下： 
首先解释一下各行代码：


sqoop export
# 指定要导入到Oracle的那张表（通常与hive中的表同名）
-...]]></description><category></category></item><item><title><![CDATA[Hadoop中两表JOIN的处理方法]]></title><link>https://blog.youkuaiyun.com/Mask_V/article/details/81122100</link><guid>https://blog.youkuaiyun.com/Mask_V/article/details/81122100</guid><author>Mask_V</author><pubDate>Thu, 19 Jul 2018 20:20:51 +0800</pubDate><description><![CDATA[原文地址：http://dongxicheng.org/mapreduce/hadoop-join-two-tables/

1. 概述

 

在传统数据库（如：MYSQL）中，JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作，同样常见且耗时，由于Hadoop的独特设计思想，当进行JOIN操作时，有一些特殊的技巧。

本文首先介绍了Hadoop上通常的JOIN实现方法，然后...]]></description><category></category></item><item><title><![CDATA[Java垃圾回收（GC）机制详解]]></title><link>https://blog.youkuaiyun.com/Mask_V/article/details/80791664</link><guid>https://blog.youkuaiyun.com/Mask_V/article/details/80791664</guid><author>Mask_V</author><pubDate>Sun, 24 Jun 2018 15:35:48 +0800</pubDate><description><![CDATA[原文地址：https://www.cnblogs.com/xiaoxi/p/6486852.html一、为什么需要垃圾回收　　如果不进行垃圾回收，内存迟早都会被消耗空，因为我们在不断的分配内存空间而不进行回收。除非内存无限大，我们可以任性的分配而不回收，但是事实并非如此。所以，垃圾回收是必须的。二、哪些内存需要回收？哪些内存需要回收是垃圾回收机制第一个要考虑的问题，所谓“要回收的垃圾”无非就是那些...]]></description><category></category></item><item><title><![CDATA[为什么NIO比BIO效率高]]></title><link>https://blog.youkuaiyun.com/Mask_V/article/details/80565154</link><guid>https://blog.youkuaiyun.com/Mask_V/article/details/80565154</guid><author>Mask_V</author><pubDate>Mon, 04 Jun 2018 11:34:22 +0800</pubDate><description><![CDATA[原文地址：https://blog.youkuaiyun.com/wy0123/article/details/79382761NIO比BIO效率高，主要原因是什么呢？ 网上大多给出了两者的区别，可是具体效率高在哪里呢。首先我们看一下各自的特点 BIO：socketServer的accept方法是阻塞的。当有连接请求时，socketServer通过accept方法获取一个socket取得socket后，将这个...]]></description><category></category></item><item><title><![CDATA[BIO、AIO与NIO的区别]]></title><link>https://blog.youkuaiyun.com/Mask_V/article/details/80565146</link><guid>https://blog.youkuaiyun.com/Mask_V/article/details/80565146</guid><author>Mask_V</author><pubDate>Mon, 04 Jun 2018 11:33:41 +0800</pubDate><description><![CDATA[原文地址：https://blog.youkuaiyun.com/baiye_xing/article/details/73123753同步异步与阻塞非阻塞的区别1.同步例：买饭：自己亲自去饭馆买饭，这就是同步（自己处理IO读写）2.异步例：买饭：叫外卖送到家，这就是异步（IO读写委托给OS处理，需要将数据缓冲区地址和大小传给OS(饭名和地址)，OS需要支持异步IO操作API）3.阻塞例：办理业务：一直排队等...]]></description><category></category></item><item><title><![CDATA[JVM内存模型理解]]></title><link>https://blog.youkuaiyun.com/Mask_V/article/details/80557216</link><guid>https://blog.youkuaiyun.com/Mask_V/article/details/80557216</guid><author>Mask_V</author><pubDate>Sun, 03 Jun 2018 15:51:03 +0800</pubDate><description><![CDATA[原文地址：https://www.cnblogs.com/junzi2099/p/8418009.html原文地址：https://www.cnblogs.com/zoudongdong/p/7429220.htmlJava虚拟机在执行Java程序的过程中会把它所管理的内存划分为若干个不同的数据区域。这些区域都有各自的用途，以及创建和销毁的时间。有的区域随着虚拟机进程的启动而存在，有些区域则是依赖...]]></description><category></category></item><item><title><![CDATA[MySQL 高级]]></title><link>https://blog.youkuaiyun.com/Mask_V/article/details/80540096</link><guid>https://blog.youkuaiyun.com/Mask_V/article/details/80540096</guid><author>Mask_V</author><pubDate>Fri, 01 Jun 2018 16:51:29 +0800</pubDate><description><![CDATA[原文地址：https://www.cnblogs.com/linkworld/p/7979493.html1. MySQL 的架构介绍1. MySQL 的内部架构连接层服务层引擎层存储层2. 查看MySQL存储引擎show engines;show variables like '%storate_engine%';: 查看默认的存储引擎2.1 MyISAM 和 InnoDB 比较3. SQL优化...]]></description><category></category></item></channel></rss>