数据湖DeltaLake源码example运行调试

最新推荐文章于 2022-02-07 13:07:24 发布
原创 最新推荐文章于 2022-02-07 13:07:24 发布 · 394 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何在Windows环境下配置并编译Delta SQL项目。主要步骤包括：设置hadoop.home.dir环境变量，确保Hadoop正确配置，以及使用sbt进行项目编译。此外，还涉及替换解析器为DeltaSqlParser/DeltaSqlBaseParser来运行QuickstartSQL示例。

 

注意引入项目是examples下的scala为scala项目

，编译与delta官网一致

```

build/sbt compile

```

注意在window下运行hadoop相关一堆事，我这里直接通过System.setProperty设置hadoop.home.dir

System.setProperty("hadoop.home.dir", "E:\\code\\github\\winutils\\hadoop-3.0.0")

配置好之后就可以运行调试QuickstartSQL了， 解析器换成了DeltaSqlParser/DeltaSqlBaseParser

 

湖仓一体技术调研(Apache Hudi、Iceberg和Delta lake对比)
程哥哥的一亩三分地
06-11 4237
作者：程哥哥、刘某迎 、杜某安、刘某、施某宇、严某程​ 随着当前的大数据技术逐步革新，企业对单一的数据湖和数仓架构并不满意。越来越多的企业开始融合数据湖和数据仓库的平台，不仅可以实现数据仓库的功能，还实现了各种不同类型数据的处理功能、数据科学、用于发现新模型的高级功能，这就是所谓的"湖仓一体"。湖仓一体(Data LakeHouse)是一种新型开放式架构，将数据湖和数据仓库的优势充分结合，它构建在数据湖低成本的数据存储架构之上，又继承了数据仓库的数据处理和管理功能。作为新一代大数据技术架构，将逐渐取代单一
PostgreSQL源码学习——调试源码
薛钦亮的博客
10-09 2345
文章目录一、启动数据库二、启动Visual Studio 本文将要介绍在Windows10上用Visual Studio调试运行PostgreSQL源码的方法。在学习源码的过程中，仅仅看源码的话，理解运行逻辑和顺序会很困难，因此调试就是一项必不可少的技能。 一、启动数据库 假设我们已经编译好源代码生成了可执行文件，并且进行了初始化，我们可以进入pgdb/bin目录，用以下两个命令来启动数据库。如果这里不明白，可以去看之前写过的PG源码安装的博客：点这里。 pg_ctl start -l logfile -
Delta Lake 事务日志实现的源码剖析
DataFlow范式
11-10 920
笔者在之前的文章《实战深入理解 Delta Lake 事务日志》中带大家把 Delta Lake 的事务日志大致操作了一遍，并进行了具体的分析。有了之前的基础，笔者将在本...
大数据009待续数据胡Deltalake源码解读待续
weixin_40426261的博客
02-07 720
大数据009待续数据胡Deltalake源码解读待续
数据湖DeltaLake编译scalastyle检查错误Failing because of negative scalastyle result
luyee2010的专栏
07-02 704
delta编译报错很明显是scalastyle检查的问题，但是sbt不像maven有-skip可以不执行检查， 用scalastyle:on /scalastyle:off 太麻烦，只好把scalastyle-config.xml文件的内容全部删除 $ build/sbt compile Using E:\dev_tools\jdk1.8.0_202\jdk as default JAVA_HOME. Note, this will be overridden by -java-home if it i
Apache CarbonData 2.0 RC2：用50行代码构建全场景数据湖
marchpure_312的博客
05-06 2334
CarbonData 2.0 RC2：用50行代码构建TP+AP+ETL数据湖 ​​ ​ ​ ​ ​ 今夏最火综艺《青春有你2》里面刘雨昕从默默无闻一直冲到第二名，让笔者感叹，只有在唱、跳、舞蹈、Rap等多方面能力俱佳，才是真偶像担当。在看了5月份初发布的CarbonData 2.0 RC2之后，笔者不禁感觉CarbonData在新版本中所体现的TP、AP、ETL全方面...
实践：DeltaLake-0.8.0与Spark-3.1.1编译与在cdh6.3.2上应用
benpaodexiaowoniu的博客
04-08 588
前言 一次Delta lake 0.8.0 踩坑有感：使用新框架的新版本，一定要尽早关注多多关注社区动态 实践 环境准备 安装sbt，参考：centos 安装sbt [root@master soft]# yum install sbt Loaded plugins: fastestmirror, langpacks Determining fastest mirrors * base: mirrors.ustc.edu.cn * extras: mirrors.ustc.edu.cn * upd
USB HID 调试助手 及 程序源码
12-15
USB HID（Human Interface Device）调试助手及程序源码是一套用于开发和调试USB人机交互设备的工具。在深入理解这个主题之前，我们先要了解USB和HID的基本概念。 USB，全称通用串行总线（Universal Serial Bus），...
yolov8-seg模型源码，实例分割，带数据集，测试可执行demo
12-25
这份资源是一份针对深度学习计算机视觉领域的实例分割源码，使用 Ultralytics YOLOv8-seg 模型和 COCO128-seg 数据集进行目标检测和实例分割任务。提供了一个亲身测试且直接可运行的实例分割解决方案。 数据集我已经...
Android 蓝牙串口调试助手源码（保证正确）
11-19
这个源码项目就是这样一个工具，它可以帮助开发者测试和调试蓝牙设备，通过串口进行数据传输。以下是对该源码及其相关知识点的详细说明： 1. **Android蓝牙API**：Android提供了BluetoothAdapter类，用于管理设备的...
lakeFS是一个开放源代码层，可为基于对象存储的数据湖提供弹性和可管理性。-Golang开发
05-26
向基于对象存储的数据湖提供弹性和可管理性的开源平台lakeFS lakeFS是为基于对象存储的数据湖提供弹性和可管理性的开源层。 借助lakeFS，您可以构建可重复的，原子的和版本化的数据湖操作-从复杂的ETL作业到数据科学和分析。 lakeFS支持将AWS S3或Google Cloud Storage作为其基础存储服务。 它与S3兼容，并且可以与所有现代数据框架（例如Spark，Hive，AWS Athena，Presto等）无缝协作。有关更多信息，请参阅
deltademo：演示Delta Lake功能的代码示例
03-04
德尔塔德莫 演示Delta Lake功能的代码示例 代码示例涵盖了Delta Lake功能： 将Spark数据帧保存为增量格式并回读 将数据追加到现有的增量数据中并回读 按版本检索数据 模式变更验证 符合ACID
delta-lake-internals:三角洲湖的内部
03-28
Delta Lake在线书籍的内幕 该项目包含《 在线书的来源。 工具 该项目基于或使用以下工具： 来自我来自 （Michael，TD，Burak，zsxwing等公司）的Spark SQL /结构化流技术团队的 致力于成为一个快速，简单，彻头彻尾的华丽静态站点生成器，旨在生成项目文档 主题的（具有“功能） 作为Markdown编辑器 （带有额外的插件和扩展） 预览书 自定义Docker映像 该项目使用自定义Docker映像（基于映像），因为仅仅包含几个插件。 使用以下命令构建自定义Docker映像： docker build \ -t jaceklaskowski/mkdocs-material-insiders \ -t jaceklaskowski/mkdocs-material-insiders:6.2.3-insiders-1.15.0 \ . 建筑书 运
一文读懂数据平台、大数据平台、数据中台
优快云资讯
08-14 6202
作者 |June来源 | 智领云科技（ID：LinkTimeCloud）造概念，在 IT 行业可不是一件陌生的事儿，中文博大精深，新名词、新概念往往简单准确，既可以被大众接受，又可以被...
Delta Lake 学习笔记（一）
runzhliu大数据/容器日记
04-26 3345
文章目录1 Overview2 导入 Delta Lake 到 IDEA3 Summary 大家看完，顺手点个赞再走呗！ 1 Overview 今天 Spark + AI Summit 2019 宣布开源了 Delta Lake 这个项目，关于这个项目的背景我就不赘述了，砖厂官网有很多介绍，包括项目的 Github 地址，大家可以上去看看，我也打算测一下，并且研究一下源代码，所以今天开始写一些...
sql跨表查询_实战 | 利用Delta Lake使Spark SQL支持跨表CRUD操作
weixin_39898248的博客
12-04 491
作者| 金澜涛编辑 | 顾欣怡导读本文介绍eBay Carmel团队利用Delta Lake，使Spark SQL支持Teradata的Update/Delete语法。主要从源码角度介绍了CRUD操作的具体实现和优化，以及delta表的管理工作。希望对同业人员有所启发和帮助。摘要大数据处理技术朝传统数据库领域靠拢已经成为行业趋势，目前开源的大数据处理引擎，如Apache Spark、A...
Delta Lake 测试案例
黑眼圈@~@从不出水文
02-02 988
Delta Lake 测试案例 参考：官网 本篇我将写几个测试用例，来测试其功能，我这里使用sbt去创建项目，数据落盘到我本地电脑 一、创建项目： 组件 版本 sbt 1.4.2 scala 2.12.10 Spark 3.0.0 DeltaLake 0.7.0 build.sbt文件 name := "DaltaLake" version := "0.1" scalaVersion := "2.12.10" libraryDependencies += "org.apach
Delta剖析 | Delta源码解析与实践案例
Yannick Jiang 的专栏
05-06 2616
转载：Delta剖析 | Delta源码解析与实践案例 Delta 原本是在 Databricks Runtime 里面的一个增值功能，在 Spark + AI Summit 2019 大会上，官方以 Apache License 2.0 协议开源。 Spark 一直在往批流统一的方向上演进，有了 Structured Streaming 之后，就实现引擎内核的批流统一，API 也高度统一，比...
yubaolee_OpenAuthNet_25456_1764964690631.zip
最新发布
12-07
yubaolee_OpenAuthNet_25456_1764964690631.zip
南邮数据结构实验源码全解
通过这些实验，学生可以学会如何分析问题，选择合适的数据结构和算法，以及如何有效地编写和调试代码。这不仅增强了学生对数据结构的理解，而且提高了编程和问题解决能力，为未来的软件开发和计算机科学的深入研究...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值