<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Rocky]]></title><description><![CDATA[每天多努力一些吧！骚年。。。。]]></description><link>https://blog.youkuaiyun.com/tryll</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; tryll]]></copyright><item><title><![CDATA[vscode快速接入deepseek 实践操作]]></title><link>https://blog.youkuaiyun.com/tryll/article/details/145504060</link><guid>https://blog.youkuaiyun.com/tryll/article/details/145504060</guid><author>tryll</author><pubDate>Fri, 07 Feb 2025 22:54:26 +0800</pubDate><description><![CDATA[快速火爆的情况下，也想自己体验一把。看看在vscode中集成进来，方便平时的脚本开发。对于年纪大的人还是非常方便的。在创建的apikey会弹出显示，要记得保存在自己的小笔记上，方便查找，切记这个只显示一次。其中apiKey需要在deepssek官网注册，新建获取。安装完成就是上面的样子，会在本地已经安装的列表中。打开vscode进入扩展市场，搜索安装。按耐不住激动的❤️，快速试试。如上图所示，修改配置参数。]]></description><category></category></item><item><title><![CDATA[iceberg小文件合并策略]]></title><link>https://blog.youkuaiyun.com/tryll/article/details/143883447</link><guid>https://blog.youkuaiyun.com/tryll/article/details/143883447</guid><author>tryll</author><pubDate>Tue, 19 Nov 2024 13:56:49 +0800</pubDate><description><![CDATA[iceberg小文件处理]]></description><category></category></item><item><title><![CDATA[Jvm GC 参数总结「二」]]></title><link>https://blog.youkuaiyun.com/tryll/article/details/135119778</link><guid>https://blog.youkuaiyun.com/tryll/article/details/135119778</guid><author>tryll</author><pubDate>Wed, 20 Dec 2023 23:24:52 +0800</pubDate><description><![CDATA[可与CMS收集同时使用。JDK 5.0以上版本，JVM根据系统配置自行设置，无需再设置此值。用于输出GC时间戳（JVM启动到当前日期的总时长的时间戳形式）。配置并行收集器的线程数，即同时多少个线程一起进行垃圾回收。用于输出GC时间戳（日期形式）。另外建议与处理器的数保持一致。设置年轻代为并行收集。]]></description><category></category></item><item><title><![CDATA[Hudi 表类型和查询类型]]></title><link>https://blog.youkuaiyun.com/tryll/article/details/135048743</link><guid>https://blog.youkuaiyun.com/tryll/article/details/135048743</guid><author>tryll</author><pubDate>Wed, 20 Dec 2023 23:05:08 +0800</pubDate><description><![CDATA[数据湖hudi的表类型定义了数据在DFS上如何组织布局，同时实现一些timeline等操作（表类型定定义数据是如何写入的）；查询类型则是定义如何读取DFS上的数据。快照查询；增量查询；增量CDC;时间旅行；快照查询；增量查询；读取优化查询；时间旅行；]]></description><category></category></item><item><title><![CDATA[Hudi Clustering]]></title><link>https://blog.youkuaiyun.com/tryll/article/details/135092112</link><guid>https://blog.youkuaiyun.com/tryll/article/details/135092112</guid><author>tryll</author><pubDate>Tue, 19 Dec 2023 19:14:00 +0800</pubDate><description><![CDATA[在异步模式下，由于发起计划和提交之间没有必然的协同关系，所以在发起计划时，Timeline 中可能尚未积累到足够数量的提交，或者提交数量已经超过了规定阈值，如果是前者，不会产生计划计划，如果是后者，计划计划会将所有累积的提交涵盖进来，在这一点上，Clustering 和 Compaction 的处理方式是一致的。Clustering 在排期和执行上都有可插拔的策略，以及在执行期间如何应对数据更新也有相应的更新策略，执行策略和更新策略较为简单，使用默认配置即可，本文不再赘述，详情可参考官方文档。]]></description><category></category></item><item><title><![CDATA[JVM参数说明]]></title><link>https://blog.youkuaiyun.com/tryll/article/details/135064381</link><guid>https://blog.youkuaiyun.com/tryll/article/details/135064381</guid><author>tryll</author><pubDate>Tue, 19 Dec 2023 00:23:47 +0800</pubDate><description><![CDATA[本文从堆栈内存、回收器GC两方面介绍常见的JVM参数并提供配置示例。]]></description><category></category></item><item><title><![CDATA[Hudi cleaning-异步操作]]></title><link>https://blog.youkuaiyun.com/tryll/article/details/135047288</link><guid>https://blog.youkuaiyun.com/tryll/article/details/135047288</guid><author>tryll</author><pubDate>Sun, 17 Dec 2023 17:46:53 +0800</pubDate><description><![CDATA[由于全量更新第一次的所有数据文件，更新后添加对应的一组 file 信息。执行完成后，会生成一个clean 的时间线。同时删除历史版本的数据。由于数据全量更新第一次的所有数据文件。第二步 update数据。第四步 Cleaning。]]></description><category></category></item><item><title><![CDATA[Hudi cleaning]]></title><link>https://blog.youkuaiyun.com/tryll/article/details/135044263</link><guid>https://blog.youkuaiyun.com/tryll/article/details/135044263</guid><author>tryll</author><pubDate>Sun, 17 Dec 2023 14:27:00 +0800</pubDate><description><![CDATA[随着用户向表中写入的数据越多，对于每一次的更新，hudi都会产生一个版本的数据文件保存更新后的记录（COPY_ON_WRITE）或者是将这些增量更新的数据文件写入日志文件以避免重写更新版本的数据文件（MERGE-ON_READ）。在这个情况下，随着更新频率的增加，数据版本文件无限增长。当知道在任何给定时间想要保留多少个 MAX 版本的文件时，此策略很有用，为了实现与以前相同的防止长时间运行的查询失败的行为，应该根据数据模式进行计算，或者如果用户只想维护文件的 1 个最新版本，此策略也很有用。]]></description><category></category></item><item><title><![CDATA[FLink开发遇到java 泛型报错]]></title><link>https://blog.youkuaiyun.com/tryll/article/details/134941982</link><guid>https://blog.youkuaiyun.com/tryll/article/details/134941982</guid><author>tryll</author><pubDate>Tue, 12 Dec 2023 10:02:43 +0800</pubDate><description><![CDATA[【代码】FLink开发遇到java 泛型报错。]]></description><category></category></item><item><title><![CDATA[hive on spark亲自编译，详细教程]]></title><link>https://blog.youkuaiyun.com/tryll/article/details/131123450</link><guid>https://blog.youkuaiyun.com/tryll/article/details/131123450</guid><author>tryll</author><pubDate>Fri, 09 Jun 2023 11:08:12 +0800</pubDate><description><![CDATA[编译的spark目录下面的jars文件全部copy到hive/lib下面，将所有的hive/lib jar上传到hdfs目录:hdfs://master:9000/spark-jars/。2、下载spark-2.0.0的源码. https://archive.apache.org/dist/spark/spark-2.1.0/ 这个下载spark各个版本。需要把这个文件拷贝的机器的安装目录下面，解压配置安装。1、安装hadoop不说了。4、执行hive查询操作。3、编译spark源码。]]></description><category></category></item><item><title><![CDATA[maven 项目中引入第三方jar，并且打包到项目的运行jar包中]]></title><link>https://blog.youkuaiyun.com/tryll/article/details/130963768</link><guid>https://blog.youkuaiyun.com/tryll/article/details/130963768</guid><author>tryll</author><pubDate>Wed, 31 May 2023 10:38:14 +0800</pubDate><description><![CDATA[1.在官网下载jar包，https://www.kingbase.com.cn/zxwd/index.htm 下载地址。mvn打包测试：java -jar就成功了。然后利用maven进行打包，发现java -jar 在运行jar的时候会提示找不到jdbc的驱动类。直接将下载的jar包安装到本地的maven仓库中。项目中遇到了人大金仓数据库的jar连接驱动，需要在maven中引入依赖信息。：是jar没有打到到打包的项目jar中。-Dfile:指定jar所在的文件路径。-Dpackaging: jar包。]]></description><category></category></item><item><title><![CDATA[FLink 里面的时间语义说明]]></title><link>https://blog.youkuaiyun.com/tryll/article/details/130381524</link><guid>https://blog.youkuaiyun.com/tryll/article/details/130381524</guid><author>tryll</author><pubDate>Wed, 26 Apr 2023 17:52:18 +0800</pubDate><description><![CDATA[在进过map的操作之后，map1的watermark为29，map2的watermark为17，在window1中操作，map1和map2的数据都会进入window1 的窗口，最终在窗口中会以最小的watermark来触发计算。使用事件时间窗口时，可能会发生元素迟到的情况，即Flink 用来跟踪事件时间进度的水印已经超过元素所属窗口的结束时间戳。基于现实世界的情况，数据流出现迟到的现象存在，那么在flink代码中允许设置迟到时间，这样在触发窗口的计算时需要加上延迟时间才可以触发窗口的计算。]]></description><category></category></item><item><title><![CDATA[idea里面，flink local模式的相关配置案例]]></title><link>https://blog.youkuaiyun.com/tryll/article/details/130381062</link><guid>https://blog.youkuaiyun.com/tryll/article/details/130381062</guid><author>tryll</author><pubDate>Wed, 26 Apr 2023 10:46:30 +0800</pubDate><description><![CDATA[我们在本地进行flink datastream api的java代码开发的时候，需要方便我们在web页面端进行监控job的运行情况。需要在本地的idea里面做出相关的参数配置.通过在Configuration 对象中配置相关的参数，然后我们在idea里面run main函数，这样在本地浏览器打开：localhost://8081。这个页面就是flink的web监控页面。上面可以试试监控job执行中task上的运行健康情况。上面的代码是从配置文件中读取flink的配置参数。- web端配置参数。]]></description><category></category></item><item><title><![CDATA[FLink中火焰图的说明]]></title><link>https://blog.youkuaiyun.com/tryll/article/details/130281327</link><guid>https://blog.youkuaiyun.com/tryll/article/details/130281327</guid><author>tryll</author><pubDate>Fri, 21 Apr 2023 09:50:09 +0800</pubDate><description><![CDATA[rrest.flamegraph.delay-between-samples 默认值：50 ms 说明：构建 FlameGraph 的单个堆栈跟踪样本之间的延迟。火焰图主要是用来跟踪堆栈线程重复多次采样而生成的，每个方法的调用表示为一个长方形，长方形的长度和在采样中出现的次数成正比。x轴： 表示的是抽样数，如果一个函数在x轴占据的函数宽度越宽，表示该函数在抽样到的次数就是越多，既是执行时间长。ON-CPU：基于线程在CPu上执行消耗的时间采样，查看线程在CPu上花费的时间，]]></description><category></category></item><item><title><![CDATA[FLink cli报错org.apache.flinkutil.FlinkException: Mo cluster id was specified. please specify a cluste]]></title><link>https://blog.youkuaiyun.com/tryll/article/details/130126262</link><guid>https://blog.youkuaiyun.com/tryll/article/details/130126262</guid><author>tryll</author><pubDate>Thu, 13 Apr 2023 11:28:44 +0800</pubDate><description><![CDATA[Flink作业提交yarn-session模式。启动job之后，定期手动做savepoint。最后完美解决这个问题。已经向社区反应了这个问题。在savepoint的时候，去掉HA的配置。]]></description><category></category></item><item><title><![CDATA[Flink 1.14测试cdc写入到kafka案例]]></title><link>https://blog.youkuaiyun.com/tryll/article/details/130063304</link><guid>https://blog.youkuaiyun.com/tryll/article/details/130063304</guid><author>tryll</author><pubDate>Mon, 10 Apr 2023 16:41:27 +0800</pubDate><description><![CDATA[Flink cdc实时数据采集]]></description><category></category></item><item><title><![CDATA[maven打jar在服务器上执行报错]]></title><link>https://blog.youkuaiyun.com/tryll/article/details/129856836</link><guid>https://blog.youkuaiyun.com/tryll/article/details/129856836</guid><author>tryll</author><pubDate>Thu, 30 Mar 2023 14:36:29 +0800</pubDate><description><![CDATA[在执行java -jar 操作之后还是报错找不到程序主类或者属性。很奇怪，执行操作的打包按这种方式是没有问题的。执行maven complie,maven package之后，执行java -jar xxx.jar包。发现还是报同样的错误。在进过compie, maven package之后，在执行java -jar发现成功了，就很疑惑。基于上面的配置，在执行了maven package操作 之后，执行java -jar 报错。首先判断是maven的pom文件配置有问题。]]></description><category></category></item><item><title><![CDATA[paddle实现手写数字识别（1）]]></title><link>https://blog.youkuaiyun.com/tryll/article/details/129442922</link><guid>https://blog.youkuaiyun.com/tryll/article/details/129442922</guid><author>tryll</author><pubDate>Sun, 12 Mar 2023 11:06:32 +0800</pubDate><description><![CDATA[深度学习]]></description><category></category></item><item><title><![CDATA[python实现波士顿房价预测---(2)]]></title><link>https://blog.youkuaiyun.com/tryll/article/details/129437007</link><guid>https://blog.youkuaiyun.com/tryll/article/details/129437007</guid><author>tryll</author><pubDate>Fri, 10 Mar 2023 12:54:04 +0800</pubDate><description><![CDATA[深度学习]]></description><category></category></item><item><title><![CDATA[python实现波士顿房价预测---(1)]]></title><link>https://blog.youkuaiyun.com/tryll/article/details/129393334</link><guid>https://blog.youkuaiyun.com/tryll/article/details/129393334</guid><author>tryll</author><pubDate>Wed, 08 Mar 2023 23:01:42 +0800</pubDate><description><![CDATA[深度学习]]></description><category></category></item></channel></rss>