最近看rails看得比较爽

最新推荐文章于 2025-10-23 10:31:01 发布
最新推荐文章于 2025-10-23 10:31:01 发布 · 194 阅读 · 0
文章标签：

#Rails #Spring #Hibernate #Ruby

本文探讨了在Spring 2.0框架中惯例重于配置的理念，并提到了Hibernate Annotations的应用。同时，作者分享了对Ruby语言中Block特性的喜爱，尽管对于Symbol的理解还有待深入。
联系到hibernate annotations，联系到spring 2.0，惯例重于配置，挺好
应该是相互影响吧
ruby也在看，喜欢block，还是不懂symbol
hudi系列-文件归档（archive）
1032851561的博客
09-16 6255
hudi会不断生成commit、deltacommit、clean等类型的Instant从而形成活跃时间轴（ActiveTimeline），随着时间增长，时间轴变长，.hoodie元数据目录下的文件不断累积，为了限制元数据文件数量，需要对一些比较久远的元数据文件进行归档，保存到.hoodie/archived目录下，可以称之为归档时间轴（ArchivedTimeline）。
hudi：03 Spark集成hudi创建表报错
QYmufeng的博客
09-14 1002
org.apache.hudi.exception.HoodieException: 'path' or 'Key: 'hoodie.datasource.read.paths' , default: null description: Comma separated list of file paths to read within a Hudi table. since version: version is not defined deprecated after: version is not de
Hudi 核心知识点详解
chuige2013的博客
10-24 1095
‌‌‌‌：流模式增量读取会持续不断地返回实时更新的结果，而批模式则在查询结束之后退出，需要再次执行查询才能获取更新的数据‌4。
Apache Hudi（五）记录合并（Record Merger）
最新发布
onlymscn的博客
10-23 1121
摘要： Apache Hudi设计了RecordMergers机制，以解决大数据湖场景下同一主键记录因乱序或延迟到达导致的数据合并问题。该机制提供三种合并模式：COMMIT_TIME_ORDERING（按提交时间合并最新记录）、EVENT_TIME_ORDERING（按业务事件时间合并）和CUSTOM（自定义逻辑合并），确保数据快照的一致性。合并策略需在表创建时配置且不可更改，适用于流式写入、压缩和查询等场景。通过预合并减少写入量，提升查询性能，同时支持复杂业务逻辑（如聚合计算）。
Hudi-通过Hive查询hudi表数据
qq_38304392的博客
03-03 738
环境准备 集成jar包：hudi-hadoop-mr-bundle-0.10.1.jar，放入$HIVE_HOME/lib目录下 建外部表 create database db_hudi; use db_hudi; CREATE EXTERNAL TABLE IF NOT EXISTS tbl_hudi_didi( order_id BIGINT, product_id ...
Hudi集成Spark与hudi表的创建
dafsq的博客
05-15 4234
Hudi集成Spark与hudi表的创建
Spark SQL操作HUDI表实践
从大数据到人工智能的博客
12-16 6510
从 0.9.0 开始 hudi 已经支持 hudi 内置的 FileIndex：HoodieFileIndex 来查询 hudi 表，支持分区剪枝和 metatable 查询。这将有助于提高查询性能。它还支持非全局查询路径，这意味着用户可以通过基本路径查询表，而无需在查询路径中指定“*”。有关支持的所有表类型和查询类型的更多信息，请参阅表类型和查询。如果使用location语句指定一个位置，或者使用create external table显式地创建表，那么它就是一个外部表，否则它被认为是一个内部表。
Apache Hudi数据湖hudi-cli客户端使用
Bulut0907
06-15 4947
目录1. 开启hudi-cli2. 创建表3. desc4. connect表5. 查看commit信息5.1 commits show5.2 commit showpartitions5.3 commit showfiles6. 查看FileSystem信息: show fsview7. 文件大小Statistics8. Compactions8.1 查看compaction8.2 schedule或run compaction8.3 验证compaction8.4 Unscheduling Compac
Apache Hudi - 1 - quick-start-guide 快速入门
修行者Gavin的博客
03-01 1418
hudi 快速入门，使用 hudi 实现基本的增删改查，同时实践hudi部分特性，例如时间旅行
Apache Hudi 入门学习总结
主要分享大数据相关的知识，如Spark、Hudi
05-16 1846
前言 学习和使用Hudi近一年了，由于之前忙于工作和学习，没时间总结，现在从头开始总结一下，先从入门开始 Hudi 概念 Apache Hudi 是一个支持插入、更新、删除的增量数据湖处理框架，有两种表类型：COW和MOR，可以自动合并小文件，Hudi自己管理元数据，元数据目录为.hoodie, 具体的概念可以查看官网https://hudi.apache.org/cn/docs/0.9.0/overview Hudi 学习 Hudi 官网 https://hudi.apache.org/cn/docs/
HDFS-Spark-Hudi环境的搭建及测试
老张的哲学
07-10 1359
由于需要进行Hudi的详细选型，本文从0开始搭建一个Spark+Hudi的环境，并进行简单使用。1）假设在Linux进行环境安装，操作系统选择Ubuntu 22.04 LTS版本。2）Ubuntu的源配置清华源。3）JDK安装完毕（当前是1.8版本，1.8.0_333）。 2.2 localhost免密登录 3. Hadoop安装 Hadoop安装的是单节点伪分布式环境，版本选择和后继的Spark选择有关联。例如：Hadoop 3.2.3Hudi当前支持的是Spark3.2，对应的Spark也是3.2。1
Hudi SQL语法
数据也是生产力，保持热爱，奔赴山海！
01-03 1881
通过MERGE INTO命令，根据一张表或子查询的连接条件对另外一张表进行查询，连接条件匹配上的进行UPDATE或DELETE，无法匹配的执行INSERT。1、trict模式，Insert 语句将保留 COW 表的主键唯一性约束，不允许重复记录。如果在插入过程中已经存在记录，则会为 COW 表抛出异常，对于MOR表，该模式与upsert模式行为一致。Hudi对于设置了主键的表支持三种Insert模式，默认为upsert。3.当前仅支持对COW表进行更新时，目标表的字段出现在更新表达式的右值。
【Hudi-SQL DDL创建表语法】
数据也是生产力，保持热爱，奔赴山海！
03-04 744
•以SQL方式创建一个hudi表的外表，与spark-shell or deltastreamer方式创建的hudi外表相同。Hudi当前不支持使用char、varchar、tinyint、smallint类型，建议使用string或int类型。CREATE TABLE命令通过指定带有表属性的字段列表来创建Hudi Table。表2 CREATE TABLE Options描述。•创建非分区表-- 创建一个cow内部表。表1 CREATE TABLE参数描述。– 创建一个mor外部表。
Hudi常用参数-同步Hive表相关参数配置
weixin_61938673的博客
09-10 565
当hudi表存在timestamp类型字段时，需指定此参数为true，以实现同步timestamp类型到hive元数据中。该值为false，默认将timestamp类型同步为bigInt，默认情况可能导致使用sql查询包含timestamp类型字段的hudi表出现错误。•true：从最近一次hive同步后所修改的分区直接向Hive表中做add partition if not exist操作。•jdbc：通过hive jdbc方式同步元数据。•hiveql：执行hive ql方式同步元数据。
Hudi系列16:Hudi核心参数
只是甲的博客
02-07 1813
hudi常用参数
【hudi学习笔记】hudi基础教程-hudi表设计
foxofwind的博客
10-11 3641
一. hudi表设计 在较高的层次上，用于写Hudi表的组件使用了一种受支持的方式嵌入到Apache Spark作业中，它会在支持DFS的存储上生成代表Hudi表的一组文件。然后，在具有一定保证的情况下，诸如Apache Spark、Presto、Apache Hive之类的查询引擎可以查询该表。Hudi表的三个主要组件： 1）有序的时间轴元数据。类似于数据库事务日志。 2）分层布局的数据文件：实际写入表中的数据。 3）索引（多种实现方式）：映射包含指定记录的数据集。 Hudi提供了以下.
Flink创建Hudi的Sink动态表
一见
05-09 1635
工厂类 HoodieTableFactory 提供的创建动态表接口 createDynamicTableSource 和 createDynamicTableSink，对应的源码文件为：https://github.com/apache/hudi/blob/master/hudi-flink-datasource/hudi-flink/src/main/java/org/apache/hudi/table/HoodieTableFactory.java。
使用Spark操作Hudi表详细教程
Denny辉的博客
01-14 2219
使用Spark操作hudi表教程和问题排错
【Hive】Hive 建表语句详解
w1992wishes的博客
11-08 2055
文章目录一、hql 建表语法格式二、参数说明三、创建表的三种方式3.1、 使用 create 命令3.2、 create table ...as select..(CTAS)3.3、 使用 like 创建相同结构的表 一、hql 建表语法格式 hql不区分大小写，[]里的属性是可选属性。 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name ...
hudi建表插入数据
03-19
### 使用 Apache Hudi 创建表并插入数据 #### 表格创建与数据插入概述 Apache Hudi 提供了一种高效的方式来管理和操作大数据集。Hudi 支持两种主要的表类型：Copy On Write (COW) 和 Merge On Read (MOR)[^4]。每种类型的表都具有不同的性能特点和适用场景。 以下是基于 Scala 编程语言的一个简单示例，展示如何在 Copy On Write (COW) 模式下创建 Hudi 表并将数据插入其中[^5]。 --- #### 示例代码：创建 COW 表并插入数据 ```scala import org.apache.hudi.DataSourceWriteOptions._ import org.apache.hudi.config.HoodieWriteConfig._ import org.apache.spark.sql.SaveMode import org.apache.spark.sql.functions._ // 初始化 SparkSession val spark = org.apache.spark.sql.SparkSession.builder() .appName("Hudi Insert Example") .getOrCreate() // 设置 Hudi 配置参数 val hudiOptions = Map( "hoodie.datasource.write.recordkey.field" -> "id", // 定义主键字段 "hoodie.datasource.write.partitionpath.field" -> "partition_field", // 分区字段 "hoodie.datasource.write.precombine.field" -> "ts", // 时间戳字段 "hoodie.insert.shuffle.parallelism" -> "2", "hoodie.upsert.shuffle.parallelism" -> "2" ) // 构建要写入的数据框 val data = Seq( (1, "Alice", "2023-09-01T10:00:00Z"), (2, "Bob", "2023-09-01T10:05:00Z"), (3, "Charlie", "2023-09-01T10:10:00Z") ).toDF("id", "name", "ts") data.withColumn("partition_field", lit("part_0")) // 添加分区列 // 将数据保存到 Hudi 表中 val basePath = "s3://your-bucket/path/to/hudi-table" // 替换为目标路径 data.write.format("hudi") .options(hudiOptions) .option(PRECOMBINE_FIELD.key(), "ts") // 设置时间戳字段 .option(RECORDKEY_FIELD.key(), "id") // 设置主键字段 .option(PARTITIONPATH_FIELD.key(), "partition_field") // 设置分区字段 .mode(SaveMode.Append) .save(basePath) spark.stop() ``` --- #### 关键配置说明 1. **`hoodie.datasource.write.recordkey.field`**: 定义唯一标识每一行记录的字段名称。 2. **`hoodie.datasource.write.partitionpath.field`**: 指定用于分片存储的字段名。 3. **`hoodie.datasource.write.precombine.field`**: 当存在重复记录时，指定哪个字段作为优先级依据（通常为时间戳字段）。 4. **`basePath`**: 存储 Hudi 表的实际位置，可以是本地文件系统或 Amazon S3 路径[^2]。 --- #### 数据读取方式 对于刚刚创建的 COW 表，可以通过以下方法读取其内容： ```scala val readData = spark.read.format("hudi").load(basePath) readData.show() ``` 如果涉及增量数据，则需额外引入 `MergeOnRead` 方式的逻辑处理[^3]。 --- #### 注意事项 - 在实际生产环境中，建议优化 shuffle 并发度以及调整其他高级选项以提升性能。 - 如果使用的是 MOR 表型，则需要进一步定义 DeltaLog 的管理策略。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值