<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[杂记]]></title><description><![CDATA[专注]]></description><link>https://blog.youkuaiyun.com/liliwei0213</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; liliwei0213]]></copyright><item><title><![CDATA[走进 Iceberg Java API 系列 1- Catalog]]></title><link>https://blog.youkuaiyun.com/liliwei0213/article/details/125538073</link><guid>https://blog.youkuaiyun.com/liliwei0213/article/details/125538073</guid><author>liliwei0213</author><pubDate>Thu, 30 Jun 2022 12:22:42 +0800</pubDate><description><![CDATA[随着Iceberg集成到越来越多的计算引擎中，有各种提供了强大功能的接口可以供你使用。本系列将介绍在没有引擎的情况下使用冰山表的底层Java API，而本文是本系列的第一篇。]]></description><category></category></item><item><title><![CDATA[【随手记】scala 模式匹配-List]]></title><link>https://blog.youkuaiyun.com/liliwei0213/article/details/124398889</link><guid>https://blog.youkuaiyun.com/liliwei0213/article/details/124398889</guid><author>liliwei0213</author><pubDate>Mon, 25 Apr 2022 10:24:40 +0800</pubDate><description><![CDATA[匹配数组的值
  val atest: List[Int] = 1 :: List(2, 3, 4)
  println(atest)
  atest match {
    case header :+ a :+ b  =&gt;
      println(header)
      println(a)
      println(b)

    case _ =&gt;
      println("Fail!")
  }
//result 
List(1, 2, 3, 4)
List(1, 2)
]]></description><category></category></item><item><title><![CDATA[scala self =＞自身类型简单介绍]]></title><link>https://blog.youkuaiyun.com/liliwei0213/article/details/124338285</link><guid>https://blog.youkuaiyun.com/liliwei0213/article/details/124338285</guid><author>liliwei0213</author><pubDate>Fri, 22 Apr 2022 10:28:43 +0800</pubDate><description><![CDATA[介绍scala自身类型及self=>常见用法]]></description><category></category></item><item><title><![CDATA[Iceberg系列-API模块-Table相关概述-1]]></title><link>https://blog.youkuaiyun.com/liliwei0213/article/details/123639603</link><guid>https://blog.youkuaiyun.com/liliwei0213/article/details/123639603</guid><author>liliwei0213</author><pubDate>Mon, 21 Mar 2022 16:43:04 +0800</pubDate><description><![CDATA[  Iceberg 作为一个开放的 table format，从设计之初就有一个高度抽象的良好框架。本节将带领大家领略 Iceberg API 模块下与表相关的内容，主要涉及表的设计、分区规范、快照管理等，但本节将只讲接口设计相关，具体 Iceberg 对相关部分的核心具体实现，后述再详述。
  进入正题，本次既然是讲与表相关的设计，那么我们肯定要从一等公民 Table 开始。
Table
在Iceberg中，Table 是顶层的核心概念之一，为了更好的理解它，我们首先将这个接口的方法分类列出，读者可以不必]]></description><category></category></item><item><title><![CDATA[Iceberg顶层设计-FileIO：云原生表]]></title><link>https://blog.youkuaiyun.com/liliwei0213/article/details/123634216</link><guid>https://blog.youkuaiyun.com/liliwei0213/article/details/123634216</guid><author>liliwei0213</author><pubDate>Mon, 21 Mar 2022 14:08:30 +0800</pubDate><description><![CDATA[在过去的几个月里，我们被问到很多关于 Iceberg FileIO 的问题，比如“它是否支持 Azure 或 Google Cloud？” 或“为什么不使用 Hadoop 中的 S3AFileSystem？”。基于这些对话，关于 FileIO 是什么以及它在各种存储提供者和处理引擎中扮演的角色，似乎存在相当多的困惑。这是一个绝佳的机会，可以更深入研究 Iceberg 的内部设计，并阐明它和传统方式在与存储层连接方面有何不同。...]]></description><category></category></item><item><title><![CDATA[Docker、Spark 和 Iceberg：体验 Iceberg 的最快方式]]></title><link>https://blog.youkuaiyun.com/liliwei0213/article/details/123117029</link><guid>https://blog.youkuaiyun.com/liliwei0213/article/details/123117029</guid><author>liliwei0213</author><pubDate>Thu, 24 Feb 2022 19:33:36 +0800</pubDate><description><![CDATA[如果您因为听说Iceberg解决了若干问题，例如模式演变或行级更新，而对Iceberg感兴趣，并且你想要一种简单的方法来体验它，那么您来对地方了！这篇文章将让您在本地几分钟内启动并运行 Spark 和 Iceberg。同时将展示出许多令人惊叹的 Iceberg 特性，这些特性可以解决您以前使用数据仓库时遇到的问题。]]></description><category></category></item><item><title><![CDATA[Apache Iceberg 0.13 特性介绍-Flink/Spark新版本支持、增量删除等特性来袭]]></title><link>https://blog.youkuaiyun.com/liliwei0213/article/details/123085028</link><guid>https://blog.youkuaiyun.com/liliwei0213/article/details/123085028</guid><author>liliwei0213</author><pubDate>Wed, 23 Feb 2022 15:52:06 +0800</pubDate><description><![CDATA[Apache Iceberg 社区刚刚发布了 0.13 版，其中有很多很棒的新增功能！在这篇文章中，我将介绍一些本版本的亮点功能。]]></description><category></category></item><item><title><![CDATA[iceberg系列：源码- BinPacking 解读]]></title><link>https://blog.youkuaiyun.com/liliwei0213/article/details/123050252</link><guid>https://blog.youkuaiyun.com/liliwei0213/article/details/123050252</guid><author>liliwei0213</author><pubDate>Mon, 21 Feb 2022 17:33:05 +0800</pubDate><description><![CDATA[在Iceberg中，有一个名为BinPacking的类，这个类在manifest文件和规划切分时使用频繁。
我们这一章来解读此类。]]></description><category></category></item><item><title><![CDATA[iceberg系列（1）：存储详解-初探2]]></title><link>https://blog.youkuaiyun.com/liliwei0213/article/details/122977398</link><guid>https://blog.youkuaiyun.com/liliwei0213/article/details/122977398</guid><author>liliwei0213</author><pubDate>Thu, 17 Feb 2022 10:12:08 +0800</pubDate><description><![CDATA[Iceberg是数据湖热门组件之一，本系列文章将深入探究一二。
首先将研究iceberg底层存储。]]></description><category></category></item><item><title><![CDATA[iceberg系列（1）：存储详解-初探1]]></title><link>https://blog.youkuaiyun.com/liliwei0213/article/details/122977379</link><guid>https://blog.youkuaiyun.com/liliwei0213/article/details/122977379</guid><author>liliwei0213</author><pubDate>Thu, 17 Feb 2022 10:11:25 +0800</pubDate><description><![CDATA[Iceberg是数据湖热门组件之一，本系列文章将深入探究一二。
首先将研究iceberg底层存储。]]></description><category></category></item><item><title><![CDATA[iceberg系列（2）：存储详解-partition-2]]></title><link>https://blog.youkuaiyun.com/liliwei0213/article/details/122977293</link><guid>https://blog.youkuaiyun.com/liliwei0213/article/details/122977293</guid><author>liliwei0213</author><pubDate>Thu, 17 Feb 2022 10:07:48 +0800</pubDate><description><![CDATA[iceberg分区演化 可以通过添加、删除、重命名或重新排序分区规范字段来改进表分区。]]></description><category></category></item><item><title><![CDATA[iceberg系列（2）：存储详解-partition-1]]></title><link>https://blog.youkuaiyun.com/liliwei0213/article/details/122977255</link><guid>https://blog.youkuaiyun.com/liliwei0213/article/details/122977255</guid><author>liliwei0213</author><pubDate>Thu, 17 Feb 2022 10:06:33 +0800</pubDate><description><![CDATA[iceberg分区演化
可以通过添加、删除、重命名或重新排序分区规范字段来改进表分区。]]></description><category></category></item><item><title><![CDATA[iceberg 源码编译]]></title><link>https://blog.youkuaiyun.com/liliwei0213/article/details/119656731</link><guid>https://blog.youkuaiyun.com/liliwei0213/article/details/119656731</guid><author>liliwei0213</author><pubDate>Fri, 13 Aug 2021 00:17:34 +0800</pubDate><description><![CDATA[iceberg源码编译]]></description><category></category></item><item><title><![CDATA[使用Docker创建Kerberos认证中心]]></title><link>https://blog.youkuaiyun.com/liliwei0213/article/details/114240030</link><guid>https://blog.youkuaiyun.com/liliwei0213/article/details/114240030</guid><author>liliwei0213</author><pubDate>Sun, 28 Feb 2021 21:09:42 +0800</pubDate><description><![CDATA[使用Docker创建Kerberos认证中心使用Docker创建Kerberos认证中心1、构建KDC中心2、创建Kerberos客户端client
使用Docker创建Kerberos认证中心
使用Docker构建Kerberos KDC中心以及客户端。
1、构建KDC中心
我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：
FROM centos:7

RUN yum install -y krb5-server ]]></description><category></category></item><item><title><![CDATA[Spark分布式内存及存储管理机制浅析]]></title><link>https://blog.youkuaiyun.com/liliwei0213/article/details/103128386</link><guid>https://blog.youkuaiyun.com/liliwei0213/article/details/103128386</guid><author>liliwei0213</author><pubDate>Mon, 18 Nov 2019 19:19:17 +0800</pubDate><description><![CDATA[Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎同，它最初是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架。

Spark拥有Hadoop MapReduce所具有的优点，但不同于MapReduce的是其中间输出结果更倾向于保存在内存中，从而不再需要读写HDFS，因此Spark的计算效率得...]]></description><category></category></item><item><title><![CDATA[centos7 yarn启用CGroups]]></title><link>https://blog.youkuaiyun.com/liliwei0213/article/details/99937651</link><guid>https://blog.youkuaiyun.com/liliwei0213/article/details/99937651</guid><author>liliwei0213</author><pubDate>Wed, 21 Aug 2019 09:53:45 +0800</pubDate><description><![CDATA[在centos7，cgroup中的cpu和cpuacct被预先挂载到了/sys/fs/cgroup/cpu,cpuacct，因为中间有,号，所以在NM启动的时候，会报错，所以需要先把这个挂载取消掉。


#umount原来默认路径
umount /sys/fs/cgroup/cpu,cpuacct

#创建新的cpu控制器mount路径，这个路径，取决于yarn.nodemanager.lin...]]></description><category></category></item><item><title><![CDATA[WebLogic Server 12cR2 Linux静默安装]]></title><link>https://blog.youkuaiyun.com/liliwei0213/article/details/98875883</link><guid>https://blog.youkuaiyun.com/liliwei0213/article/details/98875883</guid><author>liliwei0213</author><pubDate>Thu, 08 Aug 2019 16:46:01 +0800</pubDate><description><![CDATA[mkdir -p /home/weblogicInstall
cd /home/weblogicInstall

新建文件：wls.rsp
vim wls.rsp
内容如下：
[ENGINE]
Response File Version=1.0.0.0.0
[GENERIC]
#set oracle dir
ORACLE_HOME=/home/weblogic/Oracle/Middleware
...]]></description><category></category></item><item><title><![CDATA[PD虚拟机(win10)共享网络给主机mac使用]]></title><link>https://blog.youkuaiyun.com/liliwei0213/article/details/79063188</link><guid>https://blog.youkuaiyun.com/liliwei0213/article/details/79063188</guid><author>liliwei0213</author><pubDate>Mon, 15 Jan 2018 13:05:42 +0800</pubDate><description><![CDATA[因办公需要，有线网络使用pd虚拟机（win10）连接，然后共享给mac主机使用，记录一下过程，另给大家参考。

软硬件：





首先，在PD-&gt;偏好设置-&gt;网络 点击左下角+号，添加一个Host-Only #2 网络，进行如下设置（一定要勾选在系统偏好设置中显示）：



此时进入mac网络偏好设置，会发现多出一个虚拟网络，将pd虚拟出的网络设置为如图所示：



将mac连接...]]></description><category></category></item><item><title><![CDATA[使用Spring Boot操作Hive JDBC时，启动时报出错误：NoSuchMethodError: org.eclipse.jetty.servlet.ServletMapping.setDef]]></title><link>https://blog.youkuaiyun.com/liliwei0213/article/details/78394645</link><guid>https://blog.youkuaiyun.com/liliwei0213/article/details/78394645</guid><author>liliwei0213</author><pubDate>Mon, 30 Oct 2017 16:51:47 +0800</pubDate><description><![CDATA[使用Spring Boot操作Hive JDBC时，启动时报出错误：NoSuchMethodError: org.eclipse.jetty.servlet.ServletMapping.setDefault(Z)V


org.springframework.context.ApplicationContextException: Unable to start embedded cont]]></description><category></category></item><item><title><![CDATA[不进hbase shell，直接使用Hbase命令创建预分区表]]></title><link>https://blog.youkuaiyun.com/liliwei0213/article/details/70805941</link><guid>https://blog.youkuaiyun.com/liliwei0213/article/details/70805941</guid><author>liliwei0213</author><pubDate>Wed, 26 Apr 2017 16:00:33 +0800</pubDate><description><![CDATA[hbase org.apache.hadoop.hbase.util.RegionSplitter test_table1 HexStringSplit -c 100 -f info
-c 是指将预分为多少个region
-f family名字]]></description><category></category></item></channel></rss>