<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Lpf的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/lpf787887</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; lpf787887]]></copyright><item><title><![CDATA[处理大规模数据时的 Spark 踩坑经验]]></title><link>https://blog.youkuaiyun.com/lpf787887/article/details/129985350</link><guid>https://blog.youkuaiyun.com/lpf787887/article/details/129985350</guid><author>lpf787887</author><pubDate>Thu, 06 Apr 2023 11:20:37 +0800</pubDate><description><![CDATA[以上是我在使用 Spark 处理大规模数据时遇到的一些问题和解决方案。在处理大规模数据时，应该注意内存溢出、网络问题、数据倾斜和 GC 停顿等问题，并根据实际情况采取相应的解决方法。]]></description><category></category></item><item><title><![CDATA[spark数据倾斜，spark sql 优化方案]]></title><link>https://blog.youkuaiyun.com/lpf787887/article/details/124982408</link><guid>https://blog.youkuaiyun.com/lpf787887/article/details/124982408</guid><author>lpf787887</author><pubDate>Thu, 26 May 2022 12:44:23 +0800</pubDate><description><![CDATA[1、SQL 代码层面优化
Step1、阻塞调度的长耗时 SQL 提取
Step2、划分长耗时 SQL
Step3、对长耗时 SQL 逐个分析


1.1、数据倾斜优化


1.1.1、sqoop 导入数据时的倾斜：
经过分析发现，数据倾斜是因为sqoop 同步数据时，采用的是sys_time字段进行数据进行split的，客户可能在某一时间对业务数据库进行过导入，从而导致很多数据的sys_time 在同一时间。所以sqoop 导入的数据，即存在了数据倾斜


解决办法：
将sqoop split_by 的..]]></description><category></category></item><item><title><![CDATA[经典Java练习题 Mars Rover]]></title><link>https://blog.youkuaiyun.com/lpf787887/article/details/103974786</link><guid>https://blog.youkuaiyun.com/lpf787887/article/details/103974786</guid><author>lpf787887</author><pubDate>Tue, 14 Jan 2020 16:01:24 +0800</pubDate><description><![CDATA[假想你在火星探索团队中负责软件开发。现在你要给登陆火星的探索小车编写控制程序，根据地球发送的控制指令来控制火星车的行动。
火星车收到的指令分为：
初始化信息：火星车的降落地点（x, y）和朝向（N, S, E, W）信息；
移动指令：火星车可以前进（M）,一次移动X格；
移动指令：火星车可以前进（B）,一次移动X格；
转向指令：火星车可以左转90度（L）或右转90度（R）。
由于地球和火星之间的距...]]></description><category></category></item><item><title><![CDATA[Flink 滑动窗口起始位置解析]]></title><link>https://blog.youkuaiyun.com/lpf787887/article/details/100065862</link><guid>https://blog.youkuaiyun.com/lpf787887/article/details/100065862</guid><author>lpf787887</author><pubDate>Fri, 10 Jan 2020 11:24:09 +0800</pubDate><description><![CDATA[1、假设我们敞口长度为15s，每次滑动5s
测试数据为
sensor_1 1547718199 16.80018327300259
sensor_1 1547718200 26.22222222222221
sensor_1 1547718201 35.402984393403084
sensor_1 1547718202 46.720945201171228
sensor_1 154771820...]]></description><category></category></item><item><title><![CDATA[Idea快捷键-开发中常用-死记硬背系列]]></title><link>https://blog.youkuaiyun.com/lpf787887/article/details/100832109</link><guid>https://blog.youkuaiyun.com/lpf787887/article/details/100832109</guid><author>lpf787887</author><pubDate>Sat, 14 Sep 2019 18:04:04 +0800</pubDate><description><![CDATA[Ctrl + D			复制光标所在行
Ctrl + Y			删除光标所在行
Alt + Enter			导包
Alt + Enter			加变量名
Shift + F6			重命名类
Ctrl + /			//注释
Ctrl + Shift + /	/* */注释
Ctrl + Alt + T		选中的代码块抛异常、if、while、for等
Alt + Insert		生成Constructor...]]></description><category></category></item><item><title><![CDATA[Flink  CEP]]></title><link>https://blog.youkuaiyun.com/lpf787887/article/details/100186931</link><guid>https://blog.youkuaiyun.com/lpf787887/article/details/100186931</guid><author>lpf787887</author><pubDate>Sun, 01 Sep 2019 19:54:13 +0800</pubDate><description><![CDATA[本周头疼少了一更，下周补上
FlinkCEP是在Flink之上实现的复杂事件处理（CEP）库。 它允许你在×××的事件流中检测事件模式，让你有机会掌握数据中重要的事项。
本文描述了Flink CEP中可用的API调用。 首先介绍Pattern API，它允许你指定要在流中检测的模式，然后介绍如何检测匹配事件序列并对其进行操作。
然后，我们将介绍CEP库在处理事件时间延迟时所做的假设。
首先是要在你...]]></description><category></category></item><item><title><![CDATA[Flink_aggregate_process_state 案例]]></title><link>https://blog.youkuaiyun.com/lpf787887/article/details/100065496</link><guid>https://blog.youkuaiyun.com/lpf787887/article/details/100065496</guid><author>lpf787887</author><pubDate>Sun, 25 Aug 2019 17:50:08 +0800</pubDate><description><![CDATA[先说下模拟场景吧，统计日志数据中每分钟的IP访问量，取出访问量最大的五个值，每五秒更新一次
解决思路：
1、将日志中的时间转换为时间戳，作为EventTime
2、所以调用assignTimestampsAndWatermarks将排序EventTime，并设置延迟watermark为60S
3、构建滑动窗口
4、自定义预聚合函数aggregate将数据转换为UrlViewCount格式
5、自定...]]></description><category></category></item><item><title><![CDATA[flink+watermark+eventtime案例]]></title><link>https://blog.youkuaiyun.com/lpf787887/article/details/100058017</link><guid>https://blog.youkuaiyun.com/lpf787887/article/details/100058017</guid><author>lpf787887</author><pubDate>Sat, 24 Aug 2019 22:28:04 +0800</pubDate><description><![CDATA[package com.thoughtworks.window

import java.util.Properties

import com.thoughtworks.source.SensorReading
import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.s...]]></description><category></category></item><item><title><![CDATA[Flink第一更——Source源接入]]></title><link>https://blog.youkuaiyun.com/lpf787887/article/details/99666640</link><guid>https://blog.youkuaiyun.com/lpf787887/article/details/99666640</guid><author>lpf787887</author><pubDate>Fri, 16 Aug 2019 00:48:31 +0800</pubDate><description><![CDATA[1）从Collection接入数据
/**
  * 从集合中采集数据
  */
object FromCollection {
  def main(args: Array[String]): Unit = {
    // 1. 环境
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecution...]]></description><category></category></item><item><title><![CDATA[Spring Boot JPA实操，有手就行]]></title><link>https://blog.youkuaiyun.com/lpf787887/article/details/99618046</link><guid>https://blog.youkuaiyun.com/lpf787887/article/details/99618046</guid><author>lpf787887</author><pubDate>Wed, 14 Aug 2019 23:25:07 +0800</pubDate><description><![CDATA[1）application.yml 做出以下配置
spring:
  datasource:
    driverClassName: com.mysql.jdbc.Driver
    url: jdbc:mysql://localhost:3306/lpf?useSSL=false&amp;allowPublicKeyRetrieval=true
    username: root
    ...]]></description><category></category></item><item><title><![CDATA[spring-boot日志配置及自定义日志]]></title><link>https://blog.youkuaiyun.com/lpf787887/article/details/99500722</link><guid>https://blog.youkuaiyun.com/lpf787887/article/details/99500722</guid><author>lpf787887</author><pubDate>Wed, 14 Aug 2019 00:57:52 +0800</pubDate><description><![CDATA[1）日志配置在application.propertise里面进行设置，如下
#日志级别
# 由低到高trace &lt; debug &lt; info &lt; warn &lt; error


# 调整指定package级别
logging.level.com.thoughtworks=trace

#指定日志目录
#在当前磁盘的跟路径下创建spring文件夹和里面的log文件夹,使用sp...]]></description><category></category></item><item><title><![CDATA[lombok简介，及使用]]></title><link>https://blog.youkuaiyun.com/lpf787887/article/details/99358486</link><guid>https://blog.youkuaiyun.com/lpf787887/article/details/99358486</guid><author>lpf787887</author><pubDate>Tue, 13 Aug 2019 00:10:23 +0800</pubDate><description><![CDATA[一: lombok简介：
Lombok能以简单的注解形式来简化java代码，提高开发人员的开发效率。例如开发中经常需要写的javabean，都需要花时间去添加相应的getter/setter，也许还要去写构造器、equals等方法，而且需要维护，当属性多时会出现大量的getter/setter方法，这些显得很冗长也没有太多技术含量，一旦修改属性，就容易出现忘记修改对应方法的失误。
Lombok能通...]]></description><category></category></item><item><title><![CDATA[JDK1.8——HashMap,ConCurrentHashMap——put(),get()源码解读]]></title><link>https://blog.youkuaiyun.com/lpf787887/article/details/95208354</link><guid>https://blog.youkuaiyun.com/lpf787887/article/details/95208354</guid><author>lpf787887</author><pubDate>Tue, 09 Jul 2019 22:21:11 +0800</pubDate><description><![CDATA[HashMap——put解读
public V put(K key, V value) {
        // 对key进行hash取值传入putVal()方法
        return putVal(hash(key), key, value, false, true);
    }

    /**
     * Implements Map.put and related method...]]></description><category></category></item><item><title><![CDATA[JVM虚拟机优化]]></title><link>https://blog.youkuaiyun.com/lpf787887/article/details/94408853</link><guid>https://blog.youkuaiyun.com/lpf787887/article/details/94408853</guid><author>lpf787887</author><pubDate>Mon, 01 Jul 2019 22:29:17 +0800</pubDate><description><![CDATA[1，到官网下载好tomcat的包
官网地址：https://tomcat.apache.org/download-80.cgi

2、上传到linux，解压，进入tomcat-8.5.42/conf/tomcat-users.xml添加管理员用户

3、进入tomcat-8.5.42/webapps/manager/META-INF/context.xml注释掉下面的内容

4、进入tomcat-...]]></description><category></category></item><item><title><![CDATA[HBase思维导图]]></title><link>https://blog.youkuaiyun.com/lpf787887/article/details/94064860</link><guid>https://blog.youkuaiyun.com/lpf787887/article/details/94064860</guid><author>lpf787887</author><pubDate>Fri, 28 Jun 2019 23:45:14 +0800</pubDate><description><![CDATA[HBase思维导图


]]></description><category></category></item><item><title><![CDATA[Hive思维导图]]></title><link>https://blog.youkuaiyun.com/lpf787887/article/details/93656974</link><guid>https://blog.youkuaiyun.com/lpf787887/article/details/93656974</guid><author>lpf787887</author><pubDate>Tue, 25 Jun 2019 21:12:51 +0800</pubDate><description><![CDATA[放弃很容易，但我喜欢坚持！！！！


]]></description><category></category></item><item><title><![CDATA[HadoopHA模式图解]]></title><link>https://blog.youkuaiyun.com/lpf787887/article/details/93506176</link><guid>https://blog.youkuaiyun.com/lpf787887/article/details/93506176</guid><author>lpf787887</author><pubDate>Mon, 24 Jun 2019 18:06:49 +0800</pubDate><description><![CDATA[HadoopHA图解


]]></description><category></category></item><item><title><![CDATA[HDFS读写流程>>图解+描述]]></title><link>https://blog.youkuaiyun.com/lpf787887/article/details/93502556</link><guid>https://blog.youkuaiyun.com/lpf787887/article/details/93502556</guid><author>lpf787887</author><pubDate>Mon, 24 Jun 2019 18:05:49 +0800</pubDate><description><![CDATA[读流程

]]></description><category></category></item><item><title><![CDATA[Hadoop思维导图]]></title><link>https://blog.youkuaiyun.com/lpf787887/article/details/93502554</link><guid>https://blog.youkuaiyun.com/lpf787887/article/details/93502554</guid><author>lpf787887</author><pubDate>Mon, 24 Jun 2019 18:01:19 +0800</pubDate><description><![CDATA[读流程
写流程


]]></description><category></category></item><item><title><![CDATA[YARN任务流程，超级详细！！！！！！！！！！！！！]]></title><link>https://blog.youkuaiyun.com/lpf787887/article/details/93474071</link><guid>https://blog.youkuaiyun.com/lpf787887/article/details/93474071</guid><author>lpf787887</author><pubDate>Mon, 24 Jun 2019 11:45:31 +0800</pubDate><description><![CDATA[]]></description><category></category></item></channel></rss>