<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[七夏的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/l_l_b_</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; l_l_b_]]></copyright><item><title><![CDATA[SparkSQL优化笔记-空值关联引起的数据倾斜]]></title><link>https://blog.youkuaiyun.com/l_l_b_/article/details/121315261</link><guid>https://blog.youkuaiyun.com/l_l_b_/article/details/121315261</guid><author>l_l_b_</author><pubDate>Mon, 15 Nov 2021 00:39:19 +0800</pubDate><description><![CDATA[1、背景

    在做表关联也就是join时，发现了SparkSQL任务产生了数据倾斜，后续定位问题原因，并且优化脚本，大大降低了数据倾斜产生的Task时长过长问题。

2、实例


]]></description><category></category></item><item><title><![CDATA[SparkSQL优化笔记-Web-UI参数详解]]></title><link>https://blog.youkuaiyun.com/l_l_b_/article/details/120740377</link><guid>https://blog.youkuaiyun.com/l_l_b_/article/details/120740377</guid><author>l_l_b_</author><pubDate>Mon, 08 Nov 2021 22:45:06 +0800</pubDate><description><![CDATA[1、背景

    公司内部有大量SparkSQL任务，很多任务有数据倾斜或者内存分配不合理的情况，此博客记录下优化脚本过程中出现的一些问题及经验

2、WebUi应用介绍

    ​​​​​​​














































...]]></description><category></category></item><item><title><![CDATA[DbVisualizer连接Hive使用文档]]></title><link>https://blog.youkuaiyun.com/l_l_b_/article/details/80501274</link><guid>https://blog.youkuaiyun.com/l_l_b_/article/details/80501274</guid><author>l_l_b_</author><pubDate>Wed, 21 Jul 2021 15:02:40 +0800</pubDate><description><![CDATA[1、解压(解压路径需全英文状态)2、在下图jdbc目录下新建一个子目录 hive3、将解压的jar包放入hive目录下(hadoop-core-1.2.0.jar除外)4、将hadoop-core-1.2.0.jar放入安装目录的lib下5、点击dbvis工具的Tool-&amp;gt; Driver Manager -&amp;gt;6、Name 自行填写  URL 为:jdbc:hive2://10.8...]]></description><category></category></item><item><title><![CDATA[Python API操作RocketMQ]]></title><link>https://blog.youkuaiyun.com/l_l_b_/article/details/118964371</link><guid>https://blog.youkuaiyun.com/l_l_b_/article/details/118964371</guid><author>l_l_b_</author><pubDate>Wed, 21 Jul 2021 14:51:16 +0800</pubDate><description><![CDATA[背景：

	开发背景:公司相关报表需求需要将订单业务数据同步至RocketMQ中，由于需要保证开发的一致性(多个部门协同开发)，所以采用读取Hive离线数据的方式通过PythonAPI写入RocketMQ中，便于其他开发同事调用~
		开发环境:
		本地调试
			
系统                    Mac
Python                 3.7.5
rocketmq               0.4.4 (Python模块)    
rocketmq-client-pyth..]]></description><category></category></item><item><title><![CDATA[Shell sed总结_20191023(持续更新)]]></title><link>https://blog.youkuaiyun.com/l_l_b_/article/details/102712010</link><guid>https://blog.youkuaiyun.com/l_l_b_/article/details/102712010</guid><author>l_l_b_</author><pubDate>Wed, 23 Oct 2019 23:22:28 +0800</pubDate><description><![CDATA[1、简介

Linux sed 命令是利用脚本来处理文本文件。

sed 可依照脚本的指令来处理、编辑文本文件。

Sed 主要用来自动编辑一个或多个文件、简化对文件的反复操作、编写转换程序等。

Sed 处理shell文件及字符串是一个不错的方式，常用的sed命令可以看看这篇博客  https://blog.youkuaiyun.com/wdz306ling/article/details/800878...]]></description><category></category></item><item><title><![CDATA[Datax使用总结-001]]></title><link>https://blog.youkuaiyun.com/l_l_b_/article/details/79701973</link><guid>https://blog.youkuaiyun.com/l_l_b_/article/details/79701973</guid><author>l_l_b_</author><pubDate>Mon, 26 Mar 2018 19:01:39 +0800</pubDate><description><![CDATA[安装部署就不说了，网上一搜一大堆，直接进入正文

linux 安装: https://blog.youkuaiyun.com/paicmis/article/details/53563824

windows安装 :https://blog.youkuaiyun.com/gjf281/article/details/53350791

1、优化部分，大多网上走的都是固定的调优方式，此处只添加某些遗漏

全局调优 ...]]></description><category></category></item><item><title><![CDATA[虚拟机不能上网以及无法ping通百度的解决方案]]></title><link>https://blog.youkuaiyun.com/l_l_b_/article/details/79409843</link><guid>https://blog.youkuaiyun.com/l_l_b_/article/details/79409843</guid><author>l_l_b_</author><pubDate>Thu, 01 Mar 2018 11:33:17 +0800</pubDate><description><![CDATA[虚拟机无法上网，看了许多博客也没有解决问题，最后自己钻研文档解决了！此处分享一下！！1、点击此处编辑2、选择虚拟网络编辑器3、点击更改设置4、选择v8 并将使用本地DHCP选项勾选掉(注：此处为nat模式)5、手动输入子网IP，子网掩码默认6、点击nat设置7、手动输入网关地址(此处网关必须与外部windows下V8相同)，切记必须与子网IP在区域 也就是在192.168.10 下8、应用并退出9...]]></description><category></category></item><item><title><![CDATA[MR优化之——MapSideJoin、ReducerSideJoin]]></title><link>https://blog.youkuaiyun.com/l_l_b_/article/details/79000452</link><guid>https://blog.youkuaiyun.com/l_l_b_/article/details/79000452</guid><author>l_l_b_</author><pubDate>Mon, 08 Jan 2018 10:49:16 +0800</pubDate><description><![CDATA[如代码有误，望各位大牛纠正一下，本人会及时修改！
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URI;
import java.util.HashMap;


import org.apache.commons]]></description><category></category></item><item><title><![CDATA[Java排序法(冒泡排序、选择排序、快速排序)]]></title><link>https://blog.youkuaiyun.com/l_l_b_/article/details/78582555</link><guid>https://blog.youkuaiyun.com/l_l_b_/article/details/78582555</guid><author>l_l_b_</author><pubDate>Mon, 20 Nov 2017 15:16:16 +0800</pubDate><description><![CDATA[public class Java_SortMethod {
    static int temp;
    public static void main(String[]args) {
        int [] arr1 = new int[] {4,8,7,-6,5,0,2,3,9,1,-8,-9};
        int [] arr2 = new int[] {4,8,7,-6...]]></description><category></category></item><item><title><![CDATA[Win10之环境变量配置(Java为例)--详解]]></title><link>https://blog.youkuaiyun.com/l_l_b_/article/details/78557042</link><guid>https://blog.youkuaiyun.com/l_l_b_/article/details/78557042</guid><author>l_l_b_</author><pubDate>Fri, 17 Nov 2017 08:03:59 +0800</pubDate><description><![CDATA[1、打开我的电脑(此电脑)，右击此电脑点击属性
2、点击高级系统设置，此设置包括五个组件，点击高级
3、在右下角有一个环境变量，点击环境变量
4、此时有两个栏位，一个是User的用户变量，一个是系统变量
5、在系统变量栏位下面点击新建(此处是系统变量，不是用户变量)
6、新建系统变量有两个栏位，以Java为例，第一个是JAVA_HOME(变量名)，
第二个是你的jdk版本所在位置(D:]]></description><category></category></item><item><title><![CDATA[Linux下Mysql安装及问题]]></title><link>https://blog.youkuaiyun.com/l_l_b_/article/details/78182648</link><guid>https://blog.youkuaiyun.com/l_l_b_/article/details/78182648</guid><author>l_l_b_</author><pubDate>Mon, 09 Oct 2017 14:58:36 +0800</pubDate><description><![CDATA[重要的事说三遍，本人新手，本人新手，本人新手！
1、rpm -qa | grep -i mysql 检查是否存在mysql
2、rpm -e --nodeps xxx(存在的包的名称) 删除存在的mysql 
3、安装MySQL Server的rpm包
sudo rpm -ivh MySQL-server-5.5.28-1.linux2.6.x86_64.rpm
4、安装MySQL客户端]]></description><category></category></item></channel></rss>