Databend v1.1 版本发布!

databene-benerator-0.9.8 数据生成器 1  官网下载 databene-benerator-0.9.8 ,解压后只需要增加一个环境变量: export BENERATOR_HOME=<path/to/your/install/dir>2 ./bin/benerator.sh <path/to/your/xmlfile>3 上述步骤二直接执行脚本 + 一个数据格式的xml文件就可以生成数据了,因此重点就是这个xm... 阅读详情

各位社区小伙伴们,Databend 于 2023 年 4 月 14 日迎来了 v1.1.0 版本的正式发布! 这次新版本是 Databend 发布1.0 版本之后的第一个大版本!相较于 v1.0.0 版本,开发者们一共新增了 1,616 次commit, 共计 505 个优化和修复,涉及 2,069 个文件变更,约 16 万 行代码修改。感谢各位社区伙伴的参与,以及每一个让 Databend 变得更好的你!

在 v1.1.0 版本中,我们为 COPY INTO 支持了基本的 ETL 能力,在数据导入过程中即可轻松转换数据;Databend 现在能够成功运行所有 TPC-DS 查询,此外,还进行了一些性能优化和功能改进。

Databend x 内核

Databend 重要新特性速览,遇到更贴近你心意的 Databend 。

COPY INTO 支持 ETL 能力

COPY INTO 是 Databend 跨多云数据导入的重要路径,现在,它也具备基本的数据转换能力,避免在临时表中存储预转换数据,并支持列重新排序、列省略和基于 SELECT 的转换查询。

  CREATE TABLE my_table(id int, name string, time date);

  COPY INTO my_table
  FROM (SELECT t.id, t.name, to_date(t.timestamp) FROM @mystage t)
  FILE_FORMAT = (type = parquet) PATTERN='.*parquet';

这一功能可以帮助你简化 ETL 工作流,从而更专注于数据分析。

Docs - Load Data | Transforming Data During a Load

支持全部 TPC-DS 查询

Databend 现已支持全部 99 条 TPC-DS 查询!

TPC-DS 是一个面向决策支持系统的包含多维度常规应用模型的决策支持 benchmark ,它对决策支持系统的几个普遍适用方面进行建模,包括查询和数据维护。TPC-DS 被广泛用于衡量决策支持和分析系统的性能。

Blog - Benchmarking TPC-DS with Databend

REPLACE INTO

Databend 现在支持使用 REPLACE INTO 语句插入或更新数据。该语句允许你指定一个冲突键(conflict key),用于判断是应该插入一行新数据,还是更新一行已有数据。

如果表中已经存在与冲突键相同的行,Databend 会用新数据更新这一行。否则,新数据会作为一行新记录添加到表中。你可以使用这个语句来轻松地同步不同来源的数据或处理重复记录。

#> CREATE TABLE employees(id INT, name VARCHAR, salary INT);
#> REPLACE INTO employees (id, name, salary) ON (id) VALUES (1, 'John Doe', 50000);
#> SELECT  * FROM Employees;
+------+----------+--------+
| id   | name     | salary |
+------+----------+--------+
|    1 | John Doe |  50000 |
+------+----------+--------+

Window Function

窗口函数(Window Function) 为每行数据进行一次计算:输入多行(一个窗口)、返回一个值。在报表等分析型查询中,窗口函数能优雅地表达某些需求,发挥不可替代的作用。

  -- use aggrerate window function
  SELECT date, AVG(amount) over (partition by date)
  FROM BookSold

  June 21|544.0
  June 21|544.0
  June 22|454.5
  June 22|454.5
  June 23|643.0
  June 23|643.0

聚合窗口函数可以将聚合运算应用于窗口中的每一行数据。Databend 所支持的所有聚合函数都可以作为聚合窗口函数使用。

Docs - SQL Functions | Window Functions

Databend x 生态

Databend 的生态版图得到了进一步的完善。是时候将 Databend 引入你的数据洞见工作流啦!

可视化大盘

Metabase、Redash 和 Grafana 都是开源的可视化工具,能够从多个数据源中查询数据并将其可视化。

Databend 现在提供对上述三种工具的支持。你可以使用 Databend 作为数据源,利用这三种工具轻松构建可视化大盘,更好地理解和分析你的数据。

Docs - Data Visualization | Metabase

Docs - Data Visualization | Redash

Docs - Data Visualization | Connecting Databend With Grafana

编程语言支持

除了支持 Python、Go、Java 之外,Databend 现在还拥有自己的 Rust driver。这意味着你可以使用 Rust 轻松连接 Databend 并执行 SQL 查询。

  use databend_driver::new_connection;

  let dsn = "databend://root:@localhost:8000/default?sslmode=disable";
  let conn = new_connection(dsn).unwrap();

  let sql_create = "CREATE TABLE books (
      title VARCHAR,
      author VARCHAR,
      date Date
  );";
  conn.exec(sql_create).await.unwrap();

crates.io - databend-driver

Databend x AI

当云数仓遇到当下最热的大模型会擦出怎样的火花?Databend 与 OpenAI 联乘,让生产力多一点 AI 。

AI Functions

Databend 现在内置实用 AI 函数 ai_to_sql,支持将自然语言转换为 SQL 语句,轻松为复杂分析任务编写高质量的 SQL 。

  SELECT * FROM ai_to_sql(
      'List the total amount spent by users from the USA who are older than 30 years, grouped by their names, along with the number of orders they made in 2022');

另外,Databend 还支持文本 embeding 生成、相似度检索、文本补全等能力,一站式轻松构建基于 SQL 查询、由 AI 赋能的生产力工具。

  SELECT doc_id, text_content, cosine_distance(embedding, ai_embedding_vector('What is a subfield of artificial intelligence?')) AS distance
  FROM embeddings
  ORDER BY distance ASC
  LIMIT 5;

  SELECT ai_text_completion('Artificial intelligence is a fascinating field. What is a subfield of artificial intelligence?') AS completion;

Docs - SQL Functions | AI Functions

AskBend

不如问问神奇海螺吧!Databend 现在上线 AskBend 知识库问答系统,可以在线问答关于 Databend 的一切。

 

P.S. AskBend 现已开源,由 Databend Cloud 和 AI Functions 强力驱动,你也可以使用 Markdown 文件创建并部署自己的智能小助手。

AskBend - asking for Databend documentation

Github - datafuselabs/askbend

下载使用

如果你对我们新版本功能感兴趣,欢迎来 Release v1.1.0 · datafuselabs/databend · GitHub 页面查看全部的 changelog 或者 下载 release 体验。

如果你还在使用旧版本的 Databend,我们推荐升级到最新版本,升级过程请参考:

Upgrading Databend | Databend

意见反馈

如果您遇到任何使用上的问题,欢迎随时通过 GitHub issue 或社区用户群中提建议

GitHub: GitHub - datafuselabs/databend: A modern cloud data warehouse focusing on reducing cost and complexity for your massive-scale analytics needs. Open source alternative to Snowflake. Also available in the cloud: https://app.databend.com

致谢

最后感谢参与新版本设计开发,测试,文档贡献的开发者们。

关于 Databend


Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

👨‍💻‍ Databend Cloud:https://databend.cn

📖 Databend 文档:Databend - The Future of Cloud Data Analytics. | Databend

💻 Wechat:Databend

✨ GitHub:https://github.com/datafuselabs/databend


————————————————
版权声明:本文为优快云博主「Databend」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.youkuaiyun.com/Databend/article/details/130009045

 

软件测试学习(蓝桥杯备赛) 软件测试进行到一定程度就要进行测试评估了。通过测试评估生成的软件测试报告来确定测试是否达到了出口准则。 阅读详情

相关推荐

databene benerator-开源

benerator是用于创建真实有效的大容量测试数据的框架,用于负载和性能测试以及展示设置。 数据是从易于配置的元数据模型生成的,并导出到数据库,XML,CSV或平面文件。

数据质量管理平台

有效性、均匀性、准确性、一致性和完整性这种平台可以帮助分析师获得更加准确的数据,并从数据集中删除不需要的、重复的和不正确的数据。数据质量管理平台也是三维天地信息标准化管理一体化平台解决方案中的核心标准组件。数据质量管理平台是一种软件工具,用于帮助组织有效地收集、存储、管理和解析数据。这些平台提供了一系列工具和功能,使组织能够确保他们的数据质量,包括数据清洗、数据校验、数据整合、数据分析等功能。这些平台还可能包括数据治理功能,帮助组织制定和执行数据管理策略和流程,以确保数据的准确性、一致性和可用性。

顺其自然~专栏 742

【Rust日报】2023-04-09 askbend - 使用OpenAI 进行基于 SQL 的知识库搜索和完成

minus v5.3.0 发布minus 是一个用 Rust 编写的异步终端分页库。这个版本有点特别,因为它经过几个月的开发,终于减去现在有它自己的 API 来添加/删除终端上的键/鼠标绑定。以前复制默认模板,更改您需要的部分并将其设置为的方法InputClassifier仍然可行,但不推荐使用。还修复了一个错误,即使用鼠标滚动会导致显示损坏的输出。在此处查看完整的变更日志如果你喜欢减号,请给它一...

Rust语言学习交流 409

深入剖析:NAND Flash与SD NAND(贴片式SD卡)存储扇区分配表架构差异与优化策略

本文深入探讨了NAND Flash与SD NAND(贴片式SD卡)在存储技术中的架构差异及其优化策略。NAND Flash作为非易失性存储器,依赖主控芯片进行坏块管理和磨损均衡,而SD NAND则通过内置控制器和标准文件系统(如FAT)简化了存储管理。两者在写入性能、容量扩展和可靠性方面各有优劣,NAND Flash需通过磨损均衡和写入合并优化性能,而SD NAND则通过高容量和高速传输提升效率。文章为嵌入式系统开发者和硬件工程师提供了关于如何根据需求选择并优化存储介质的参考。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 1245

数字电路基础(CMOS电路、低功耗方法)

文章目录一、CMOS器件1.1.CMOS反相器1.2. CMOS与非门1.3.CMOS或非门1.4 CMOS与门和CMOS或门二、CMOS电路参数——功耗 一、CMOS器件 1.1.CMOS反相器 CMOS反相器实现非门功能,由一个PMOS管和一个NMOS管组成,其逻辑电路图如下: 其真值表如下: In PMOS NMOS Out 0 √ 导通 ×关闭 1 1 ×关闭 √...

Mr.翟的博客 1万+

Date,Calendar和LocalDateTime

java

qq_43649937的博客 1781

时序定江山,功耗写风骨——解读时序库lib文件的奥义【芯片设计 lib文件】

lib库,全称liberty library format file:它是Liberty时序文件的简称,使用 Liberty 语法来编写。它可以通过library compiler/dc转换成.db文件(database),供synopsis家的DC和PT使用,也可以通过spyglass的library compiler来生成sglib文件,供spyglass使用。他们是等价的,但db文件是二进制格式,人类不可读。

LogicYarn的博客 2605

Databend v1.2 版本发布!Data + AI

各位社区小伙伴们,Databend 于 2023 年 6 月 29 日迎来了 v1.2.0 版本的正式发布!相较于 v1.1.0 版本,开发者们一共新增了次 commit,涉及个文件变更,约行代码修改。在 v1.2.0 版本中,Databend 新增了等特性,大幅提升的性能。

Databend的博客 385

Python遥感图像处理指南(2)-卫星影像分析MNDWI提取

在第一篇文章中,我们使用了我们导入的软件包中已定义的函数,如 rasterio 中的 open 和 read 以及 matplotlib 中的 imshow。现在,我们可以编写自己的函数了。函数是一段代码,它接收一些参数作为输入并返回输出(经过一些计算),可以在代码中多次重复使用,也可以被其他代码重用。在 Python 中定义一个新函数非常简单。return v在此语法示例中,arg1和arg2强制参数,应该传递给函数,否则会引发错误,而arg3是一个可选参数,如果是,则假定默认值 1从函数调用中省略。

gis收藏家的博客 1577

mysql9.0windows安装

将这里的位置修改为你刚刚创建并复制data目录的地址即可,win11的系统使用vscode修改之后,会让你确认开启更高权限以进行保存,比较方便,window10不需要确认,修改后可以直接保存。:在修改之前,最好将下图文件进行备份,将原始的文件保存好一份,以防更改了配置之后,导致mysql服务报错,无法启动,备份好的话直接将有问题的配置文件给替换就可以,无需重新安装一次mySql。双击下载的msi文件进行安装。安装有问题的,可以直接进行卸载,新本的mySql会将注册表中的数据自动进行清除,还是很方便的。

m0_74824123的博客 6455

Databend v0.8 新版本上线!

​Hello,大家好,我是漩涡,现在由我代表 Databend 社区宣布 v0.8 版本的正式发布。Databend v0.8 的开发于 3 月 28 号开始,总计 5000+ commits,4600+ 文件变更。在过去的 5 个月中,社区的 120 余位贡献者新增了 42 W 行代码,删除了 16 W 行,相当于把 Databend 重写了一遍。

Databend的博客 264

从零到一:用AXI DataMover在Zynq MPSoC上实现高效DMA传输(附Vitis HLS驱动示例)

本文详细介绍了如何在Xilinx Zynq UltraScale+ MPSoC平台上使用AXI DataMover实现高效的DMA数据传输。通过解析AXI DataMover架构、Vivado工程配置、Vitis HLS驱动开发及性能优化技巧,帮助开发者快速构建高性能数据传输通道,并提供了可直接复用的代码示例。

weixin_42520796的博客 430

Databend v0.9.0 版本发布

而在 Fuse engine 的内部,我们也支持了除 Parquet 之外的新的 Storage Format — strawboat: https://github.com/sundy-li/strawboat。如果你对我们新版本功能感兴趣,欢迎来 https://github.com/datafuselabs/databend/releases/tag/v0.9.0-nightly 页面查看全部的changelog 或者 下载 release 体验。相较于 v0.8.0 版本,开发者们一共新增了。

Databend的博客 380

uniapp微信小程序开发:解决Video播放m3u8视频流非卡顿问题,使用video视频标签播放M3U8视频流或直播流总是加载一卡一卡的体验非常差的情况【多种优化方案提升流畅度和缓冲方案示例源码】

uniapp微信小程序video播放m3u8视频流卡,uniapp video在微信小程序播放m3u8格式视频总是加载频繁卡顿,Uniapp微信小程序苹果ios真机播放m3u8很卡加载不流畅怎么办,uni-App如何解决小程序端video播放视频流M3U8格式出现卡顿情况,uniapp播放m3u8直播流卡顿如何优化?uniapp m3u8格式视频加载,.m3u8监控视频,uniapp微信小程序使用video组件播放M3U8视频卡顿,uniapp微信小程序视频播放卡顿如何解决,uniapp 打包微信小程序播放

✅ 精选推荐文章 2990

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

Databend v1.0 Release 正式发布

尊敬的 Databenders,在 Databend Labs 成立两周年之际,我们非常高兴地宣布 Databend v1.0 正式发布。Databend 社区一直在致力于解决大数据分析的成本和复杂度问题,并正在被顶级场景和顶级需求所推动。根据可统计信息,每天约 700TB 数据在使用 Databend 写入到云对象存储并进行分析,用户来自欧洲、北美、东南亚、非洲、中国等地,每月为他们节省数百万美元成本。

Databend的博客 523

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Databend 2025:海量数据 × AI 一体化底座,v1.3 即将发布

Databend 正式从单一数仓进化为 Analytics + Search + AI 一体化数据库,v1.3 版本即将发布

Databend的博客 402

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

Databend 开源周报 第 77 期

是一款强大的云数仓。专为弹性和高效设计。自由且开源。。

Databend的博客 561

Databend Labs 成立 3 周年!

Databend Labs」是开源 Data Cloud 基础设施研发商,也是背后支撑 Databend 开源项目和 Databend Cloud 云平台的核心团队,致力于为用户提供更低成本、更高性能、更加易用的企业级数据建设处理一站式解决方案。2024 年 3 月 5 日,正值惊蛰时节,也是「Databend Labs」成立三周年纪念日。在过去的 3 年里,Databend Labs 一直是 Rust 开源数据库生态的先锋建设者和重度参与者,并且积极推动云数仓解决方案的变革。

Databend的博客 1026

Databend 基于青云 DeepSeek-V3 服务拥抱技术创新

随着业务的飞速发展, 依托创新数据处理技术来为众多企业提供云原生湖仓解决方案的 Databend,面临着用户日益增长的复杂数据处理需求,从 2023 年起便开始探索将大模型能力引入湖仓,对算力和 API 稳定性提出了近乎苛刻的要求,青云科技旗下基石智算 CoresHub 提供 DeepSeek 稳定的 API 调用,为 Databend 的能力创新筑牢了坚实基础。

Databend的博客 984

Databend 完美适配 KubeSphere 企业版 4.1.1,让云原生技术更普及

KubeSphere 企业版 4.1.1 目前已经正式发布,推出「在线订阅」模式,致力于让云原生技术更加普及和可负担,以惠及更多中小企业。现在,中小企业每年仅需支付¥1500 起,即可获得近千家企业生产环境验证、多重安全与防护加固,并提供专家级在线支持的商用云原生操作系统,大幅降低采用云原生技术的初始成本。

Databend的博客 1028

Databend 开源周报第 100 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 202

Databend 开源周报第 143 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 1080

Databend使用入门

云数仓Databend使用的一些重要的笔记

hys__handsome的博客 1085

基于 Databend 和腾讯云 COS 打造新型云数仓

本篇文章向大家演示如何使用 Databend 基于腾讯云 COS 构建新式数仓及其计算能力。如果你也在找一个低成本、高性能、支持弹性的数仓,Databend 可以为大家提供一个基于对象存储的云原生数仓解决方案。目前 Databend 支持数据的 stream load , copy into from stage , insert 等方式的数据写入,部署上支持单机和集群模式。需要更多支持添加微信: 82565387 。 文章较长,建议收藏 PC 端阅读。 Databend 介绍Datab

Databend的博客 2731
上一篇: Databend 开源周报第 88 期
下一篇: 开源周报第 89 期
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值