<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Viking的博客]]></title><description><![CDATA[丰碑无语，行胜于言]]></description><link>https://blog.youkuaiyun.com/github_32521685</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; github_32521685]]></copyright><item><title><![CDATA[Apache Spark 3.2.0 开发测试环境部署指南]]></title><link>https://blog.youkuaiyun.com/github_32521685/article/details/150477252</link><guid>https://blog.youkuaiyun.com/github_32521685/article/details/150477252</guid><author>github_32521685</author><pubDate>Sun, 17 Aug 2025 10:41:00 +0800</pubDate><description><![CDATA[对于开发测试环境，我推荐使用
                 
                  Standalone 集群模式
                 
                 或
                 
                  Local 模式
                 
                 ，这两种部署方式最适合开发测试场景：
                
                
                 2.]]></description><category></category></item><item><title><![CDATA[Apache Flink 1.14.6 Standalone 集群部署指南（适配 Hadoop 环境）]]></title><link>https://blog.youkuaiyun.com/github_32521685/article/details/150477253</link><guid>https://blog.youkuaiyun.com/github_32521685/article/details/150477253</guid><author>github_32521685</author><pubDate>Sun, 17 Aug 2025 10:39:00 +0800</pubDate><description><![CDATA[通过以上步骤，您可以在已有的 Hadoop 集群上成功部署 Apache Flink 1.14.6 Standalone 集群，并实现与 HDFS 的集成。</端口号></applicationid></jobid></jobid>]]></description><category></category></item><item><title><![CDATA[centos 7.5 + Hadoop 3.2.4 集群搭建]]></title><link>https://blog.youkuaiyun.com/github_32521685/article/details/150477250</link><guid>https://blog.youkuaiyun.com/github_32521685/article/details/150477250</guid><author>github_32521685</author><pubDate>Sun, 17 Aug 2025 10:30:00 +0800</pubDate><description><![CDATA[提示：生产环境建议使用 Ambari 或 Cloudera Manager 进行集群管理，简化部署和维护流程。]]></description><category></category></item><item><title><![CDATA[Mac airflow 开发环境搭建]]></title><link>https://blog.youkuaiyun.com/github_32521685/article/details/144124531</link><guid>https://blog.youkuaiyun.com/github_32521685/article/details/144124531</guid><author>github_32521685</author><pubDate>Thu, 28 Nov 2024 17:53:00 +0800</pubDate><description><![CDATA[在 macOS 上搭建 Apache Airflow 开发环境可以通过以下步骤完成。我们将使用
                 
                  pip
                 
                 来安装 Airflow，并设置一个简单的开发环境。
                ...]]></description><category></category></item><item><title><![CDATA[Spark SQL调优脑图]]></title><link>https://blog.youkuaiyun.com/github_32521685/article/details/130128816</link><guid>https://blog.youkuaiyun.com/github_32521685/article/details/130128816</guid><author>github_32521685</author><pubDate>Thu, 13 Apr 2023 11:36:00 +0800</pubDate><description><![CDATA[]]></description><category></category></item><item><title><![CDATA[电商数据应用体系建设总结（三）—— 离线数据兜底方案]]></title><link>https://blog.youkuaiyun.com/github_32521685/article/details/125819148</link><guid>https://blog.youkuaiyun.com/github_32521685/article/details/125819148</guid><author>github_32521685</author><pubDate>Sat, 14 May 2022 11:34:00 +0800</pubDate><description><![CDATA[背景
                
                
                 目前我们使用Lambda架构来处理数据，Flink处理实时数据，Spark处理离线数据。Spark离线任务在每天凌晨的0-8点调度执行，在这段时间内，用户是看不到昨日未产出的离线数据的，数据应用对这些未产出的指标进行了特殊...]]></description><category></category></item><item><title><![CDATA[电商数据应用体系建设总结（二）—— 数据应用层架构介绍和规范总结]]></title><link>https://blog.youkuaiyun.com/github_32521685/article/details/124540184</link><guid>https://blog.youkuaiyun.com/github_32521685/article/details/124540184</guid><author>github_32521685</author><pubDate>Mon, 02 May 2022 10:03:00 +0800</pubDate><description><![CDATA[数据经过ETL、存储等数据处理过程之后，通过数据应用产品的形式呈现给最终使用方，PC和APP类数据产品以各类不同用途的数据大屏、看板将数据指标展示给管理者、运营和业务人员，数据应用后端也会为商城、CRM等业务团队开发出一些restful类型的数据接口，供他们取数使用。
                
             ...]]></description><category></category></item><item><title><![CDATA[电商数据应用体系建设总结（一）—— 数据应用架构剖析]]></title><link>https://blog.youkuaiyun.com/github_32521685/article/details/124271962</link><guid>https://blog.youkuaiyun.com/github_32521685/article/details/124271962</guid><author>github_32521685</author><pubDate>Mon, 18 Apr 2022 17:07:00 +0800</pubDate><description><![CDATA[什么是数据应用
                
                
                 数据应用是通过各种各样的数据分析方式将数据展示出来，给决策者、管理者、运营等人员透传数据价值的工具，帮助决策者、管理者及时调整战略目标、公司目标、业务目标，帮助运营人员更好地实现精细化运营、提升运营效率。
   ...]]></description><category></category></item><item><title><![CDATA[滴滴 x StarRocks：极速多维分析创造更大的业务价值]]></title><link>https://blog.youkuaiyun.com/github_32521685/article/details/120527696</link><guid>https://blog.youkuaiyun.com/github_32521685/article/details/120527696</guid><author>github_32521685</author><pubDate>Mon, 27 Sep 2021 18:04:00 +0800</pubDate><description><![CDATA[滴滴集团作为生活服务领域的头部...]]></description><category></category></item><item><title><![CDATA[数据分析模型思维导图]]></title><link>https://blog.youkuaiyun.com/github_32521685/article/details/117740241</link><guid>https://blog.youkuaiyun.com/github_32521685/article/details/117740241</guid><author>github_32521685</author><pubDate>Tue, 08 Jun 2021 17:57:00 +0800</pubDate><description><![CDATA[]]></description><category></category></item><item><title><![CDATA[Spark ExternalShuffleService 运行原理]]></title><link>https://blog.youkuaiyun.com/github_32521685/article/details/109614117</link><guid>https://blog.youkuaiyun.com/github_32521685/article/details/109614117</guid><author>github_32521685</author><pubDate>Wed, 11 Nov 2020 10:46:20 +0800</pubDate><description><![CDATA[前言
Spark 的 Executor 节点不仅负责数据的计算，还涉及到数据的管理。如果发生了 shuffle 操作，Executor 节点不仅需要生成 shuffle 数据，还需要负责处理读取请求。如果 一个 Executor 节点挂掉了，那么它也就无法处理 shuffle 的数据读取请求了，它之前生成的数据都没有意义了。
为了解耦数据计算和数据读取服务，Spark 支持单独的服务来处理读取请求。这个单独的服务叫做 ExternalShuffleService，运行在每台主机上，管理该主机的所有 Exec]]></description><category></category></item><item><title><![CDATA[HDFS 客户端读写超时时间解析]]></title><link>https://blog.youkuaiyun.com/github_32521685/article/details/109273055</link><guid>https://blog.youkuaiyun.com/github_32521685/article/details/109273055</guid><author>github_32521685</author><pubDate>Sun, 25 Oct 2020 11:32:00 +0800</pubDate><description><![CDATA[背景
前段我们Hadoop集群磁盘使用率比较高，部分硬盘空间使用超过了70%，这部分服务器的DataNode服务读写负载就比较高，造成部分数据同步任务因为读写超时而失...]]></description><category></category></item><item><title><![CDATA[Redis AOF重写阻塞问题分析]]></title><link>https://blog.youkuaiyun.com/github_32521685/article/details/106354737</link><guid>https://blog.youkuaiyun.com/github_32521685/article/details/106354737</guid><author>github_32521685</author><pubDate>Tue, 26 May 2020 11:23:00 +0800</pubDate><description><![CDATA[#程序员薪资揭榜#你做程序员几年了？月薪多少？发量还在么？&gt;&gt;&gt; 
            
                                    
                 ...]]></description><category></category></item><item><title><![CDATA[Java反序列化与对象的创建]]></title><link>https://blog.youkuaiyun.com/github_32521685/article/details/106125072</link><guid>https://blog.youkuaiyun.com/github_32521685/article/details/106125072</guid><author>github_32521685</author><pubDate>Thu, 14 May 2020 17:50:59 +0800</pubDate><description><![CDATA[Java与单例模式一文中提到了，Java可以通过反序列化来破坏单例，其底层就是利用反射，通过一个代表无参构造方法的Constructor对象，使用其newInstance()方法来创建对象。
但是，在后续的测试代码中发现，其实目标类的无参构造方法并没有执行！所以，对于这个对象的创建过程并不是我一开始想的那样。请看下面的例子：
// 目标类
public class Elvis implements Serializable {
    public static final Elvis INSTANCE =]]></description><category></category></item><item><title><![CDATA[ZooKeeper节点数据量限制引起的Hadoop YARN ResourceManager崩溃原因分析（三）]]></title><link>https://blog.youkuaiyun.com/github_32521685/article/details/106052793</link><guid>https://blog.youkuaiyun.com/github_32521685/article/details/106052793</guid><author>github_32521685</author><pubDate>Sun, 10 May 2020 21:35:00 +0800</pubDate><description><![CDATA[阿里云协同办公工具Teambition 0元试用&gt;&gt;&gt; 
            
                                    
                      ...]]></description><category></category></item><item><title><![CDATA[大压缩文件对Impala查询性能的影响]]></title><link>https://blog.youkuaiyun.com/github_32521685/article/details/105027026</link><guid>https://blog.youkuaiyun.com/github_32521685/article/details/105027026</guid><author>github_32521685</author><pubDate>Sat, 21 Mar 2020 16:55:00 +0800</pubDate><description><![CDATA[3 月，跳不动了？&gt;&gt;&gt; 
            
                                    
                        Hadoop/HDFS/M...]]></description><category></category></item><item><title><![CDATA[一次Impala upsert Kudu执行缓慢问题排查总结]]></title><link>https://blog.youkuaiyun.com/github_32521685/article/details/104773105</link><guid>https://blog.youkuaiyun.com/github_32521685/article/details/104773105</guid><author>github_32521685</author><pubDate>Mon, 09 Mar 2020 18:46:00 +0800</pubDate><description><![CDATA[问题背景
BI同学会用Impala在Kudu表上跑一些ETL任务，最近，BI同学反馈一个Kudu表的ETL任务突然变慢，执行时间从原来的不到1分钟到现在的7分钟。
解决过程
下文中提到的软...]]></description><category></category></item><item><title><![CDATA[YARN Fair Scheduler批量分配功能调优总结]]></title><link>https://blog.youkuaiyun.com/github_32521685/article/details/104262248</link><guid>https://blog.youkuaiyun.com/github_32521685/article/details/104262248</guid><author>github_32521685</author><pubDate>Mon, 10 Feb 2020 21:05:00 +0800</pubDate><description><![CDATA[背景
YARN调度效率不高，队列资源充足，集群中正在运行的任务数量少，资源利用率低的情况下有一部分任务排队，等待分配资源时间长。
注：我们的集群使用的是Apache Hadoop 2.6....]]></description><category></category></item><item><title><![CDATA[一步一步理解Impala query profile（四）]]></title><link>https://blog.youkuaiyun.com/github_32521685/article/details/104195508</link><guid>https://blog.youkuaiyun.com/github_32521685/article/details/104195508</guid><author>github_32521685</author><pubDate>Wed, 05 Feb 2020 23:43:00 +0800</pubDate><description><![CDATA[在本系列的第三部分，我使用了一个示例来详细地介绍Impala query profile。在这一部分中，我将使用一个真实生产系统的Impala Profile文件，解释我在遇到问题时阅读P...]]></description><category></category></item><item><title><![CDATA[利用反射实现状态同步]]></title><link>https://blog.youkuaiyun.com/github_32521685/article/details/103853129</link><guid>https://blog.youkuaiyun.com/github_32521685/article/details/103853129</guid><author>github_32521685</author><pubDate>Sat, 14 Dec 2019 11:10:00 +0800</pubDate><description><![CDATA[【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) &gt;&gt;&gt; 
            
                                    
              ...]]></description><category></category></item></channel></rss>