Databend 玩转 Local 模式

【IxNetwork】史上最全IxNetwork测试仪使用精讲(一),图文教程超赞超详细!!! IXIA使用的是Server-client模式,Server端在测试仪表的主机上,在开机后会随着主机内的操作系统的启动而自动启动,一般情况下不需要人为的手工启动。因此在通常不需要为主机配置专用的显示器和键盘。client端包括两个测试软件: Ixia Explorer和ScriptMate。这两个软件一般安装在测试用计算机上,在仪表自带的主机中也有这两个软件。根据测试项目的不同来选择使用不同的软件。Ixia Explorer主要提供数据流的测试,针对设备的功能进行测试; 阅读详情

rs封面图202349png

目前开发者们需要尝鲜 Databend, 可以选择使用 Databend Cloud 或者按官方文档部署 Databend 服务。 由于 Databend 架构有三层,因此部署 Databend 服务一般需要启动 "databend-query", "databend-meta" ,"minio" 三个进程,同时需要修改端口等配置项,流程上略显复杂。 有没有更快的方式可以快速尝鲜 Databend 呢?

Python Binding

一种快速的方式是将 Databend 跑在 python 中,借助 rust 优良的生态,我们基于 pyo3 库发布了 python binding,可以在本地 juypter 或者 colab 等在线服务中使用 Databend:

# pip install databend
from databend import SessionContext

ctx = SessionContext()

df = ctx.sql("select number, number + 1, number::String as number_p_1 from numbers(8)")

# convert to pyarrow
df.to_py_arrow()

# convert to pandas
df.to_pandas()

Databend Local 模式

借鉴于 "clickhouse-local" , "duckdb" 等嵌入型数据库的优点,我们在 Databend 中也可以开启 local 模式。

"local" 模式 是一个 Databend 的简易版本,用户无需部署 Databend 服务即可在命令中 用 SQL 和 Databend 交互。它的好处在于简化了开发安装,同时方便开发者们用 SQL 使用Databend 支持的功能进行简单的数据处理。 如果你需要在生产环境使用 Databend,我们建议按官网推荐部署Databend 服务或 Databend Cloud,但如果你是开发人员或测试工程师,你可以使用 "local" 模式 来玩转 Databend。

"local" 模式 将启动一个临时的 databend-query 进程,这个进程融合了 客户端 和 服务端,并且他的存储是在临时目录中,生命周期跟随进程,进程离开后资源也将销毁,你可以在一个服务器中启动多个 "local" 进程,他们的资源是相互隔离的。

下面通过例子介绍一下,每个例子都是简短的几行命令,介绍 "local" 模式可以实现什么功能。

在这之前,你需要下载 databend-query 二进制,然后将二进制放到 PATH 环境变量中,植入 "bend-local" 工具别名

alias bend-local="databend-query local"
  • 命令行交互 ( REPL ) 模式

    • 直接在终端输入 bend-local 这一行命令后,我们将进入 REPL 模式,这里融合了客户端和服务端,类似 duckdb cli 工具使用。

    • ❯ bend-local
      Welcome to Databend, version v1.2.4-nightly-326cabe38056168dd261f744609ea85319f02686(rust-1.72.0-nightly-2023-09-02T15:18:48.006847567Z).
      
      databend-local:) select max(a) from range(1,1000) t(a);
      ┌────────────┐
      │   max(a)   │
      │ Int64 NULL │
      ├────────────┤
      │ 999        │
      └────────────┘
      1 row result in 0.036 sec. Processed 999 rows, 999 B (27.89 thousand rows/s, 217.90 KiB/s)
      
      databend-local:)
    • 值得注意的是,bend-local 支持配置文件 "~/.config/databend/config.toml" 来做一些个性化客户端配置,配置文件的格式和 bendsql 是兼容的。

  • 一行命令生成一个 parquet 文件

    • 支持 --query, --output-format 参数传入查询 SQL 和 输出格式
    •  bend-local --query "select number, number + 1 as b from numbers(10)" --output-format parquet > /tmp/a.parquet
  • Shell pipe 模式分析数据, $STDIN 宏将解析stdin流作为一个临时 stage 表

    • ❯ echo '3,4' | bend-local -q "select $1 a, $2 b  from $STDIN  (file_format => 'csv') " --output-format table
      
      SELECT $1 AS a, $2 AS b FROM 'fs:///dev/fd/0' (FILE_FORMAT => 'csv')
      
      ┌─────────────────┐
      │    a   │    b   │
      │ String │ String │
      ├────────┼────────┤
      │ '3'    │ '4'    │
      └─────────────────┘

注意上面的 SQL 在 shell 中,使用了 $ 来对 shell 进行转义

  • 读取 stage table (本地文件,外部 s3 等)

    • ❯ bend-local --query "select count() from 'fs:///tmp/a.parquet'  (file_format => 'parquet') "
      10
      
      ❯ bend-local --query "select count() from 'https://datafuse-1253727613.cos.ap-hongkong.myqcloud.com/data/books.parquet'  (file_format => 'parquet') "
      2
      
      ❯ bend-local --query "select $1, $2 from 'http://www.geoplugin.net/csv.gp?ip=3.3.3.3'  (file_format => 'csv') "
  • 分析系统进程 ,找出每个用户占用的内存

    • ❯ ps aux | tail -n +2 | awk '{ printf("%s\t%s\n", $1, $4) }' | bend-local -q "select  $1 as user,  sum($2::double) as memory  from $STDIN  (file_format => 'tsv')  group by user  "
      sundy   9.100000000000001
      root    1.2
      dbus    0.0
      ```  
  • 数据清洗,将一个格式转换为其他格式 (支持 csv, tsv, parquet, ndjson 等)

    • ❯ bend-local -q 'select rand() as a, rand() as b from numbers(100)' > /tmp/a.tsv
    ❯ cat /tmp/a.tsv | bend-local -q "select $1 a, $2 b  from $STDIN  (file_format => 'tsv') " --output-format parquet > /tmp/a.parquet
    ```
  • 其他好玩的分析例子,等待你的挖掘
btstack ble ota开发笔记(2)-mcuboot移植 紧接上一篇文章,要实现一个完整的ota demo,除了实现ota image的传输通道外,还需要“bootloader”这个角色来帮我们实现ota image的校验、安全、引导以及启动,这里我选择开源的组件mcuboot,下面开始介绍mcuboot在stm32f4-discovery上的移植。首先估算下bootloader & application image的大小,确定好flash的分布情况,因为后续会涉及到flash的操作(读、写、擦除),为了方便程序的编写,各个image area在flash中的起 阅读详情

相关推荐

车载智能终端的设计

本文研究的主要内容是车载智能终端的设计,在学习和借鉴国内外在车载电子领域已有的成熟经验的基础上,利用32位嵌入式处理器S344B0X01和μC/OS-Ⅱ实时操作系统技术,针对汽车行驶记录仪、GPS/GPRS的已有设计的不足提出了新的解决方案,并对方案的可行性进行了分析和论证。

weixin_44553616的博客 1415

Databend 开源周报第 114 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 155

国产麒麟系统下Kettle安装避坑指南:解决aarch64架构不支持问题

本文详细解析了在国产麒麟系统上部署Kettle时遇到的aarch64架构不支持问题,提供了从获取适配的SWT库、修改启动脚本到生产环境调优的完整解决方案。文章重点解决了ARM架构与Java GUI工具的兼容性挑战,并分享了内存配置、字体显示及Carte服务部署等实战经验,助力用户在国产化环境中稳定运行ETL流程。

weixin_29197835的博客 564

Databend 开源周报第 109 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 163

SAGA GIS英文版进行地形分析,计算常用的地形因子等

SAGA GIS中文版是一款专业的自动化地球科学分析系统软件。SAGA GIS最新版界面简洁,操作简便,用户使用时输入要分割的影像,选择要计算特征的影像或者波段,设置越大,得到的斑块越大;反之,则越小,点击Okay,得到分割影像图。SAGA GIS中文版主要通过选择适合你影像的格式,加载影像。 SAGA GIS全称是System for Automated Geoscientific Analyses,是一种用于编辑空间数据的地理信息系统(GIS)计算机程序,它是免费的开源软件,SAGA GIS旨在为科学家

qq_35794085的博客 5649

如何在Proteus中模拟Arduino

进一步的Proteus可用于设计任何与Arduino相关的项目,它将在进入硬件级别之前提供更好的理解。由于其广泛的库集合,它是Arduino社区中最受欢迎的工具之一,不仅如此,Proteus还可以为Arduino项目设计定制的PCB。就像上一步一样,现在搜索Arduino UNO板,选择Arduino板并单击“确定”以添加到项目中,或者双击以在Proteus项目中添加Arduino。一旦在Proteus中成功创建了一个新项目,现在我们将设计一个用于Proteus中闪烁LED的Arduino电路。

acktomas的博客 1万+

本地LLM安全最佳实践:使用whichllm时的模型来源验证与风险规避指南

在当今AI快速发展的时代,**本地LLM**已成为许多开发者和研究者的首选工具。然而,随着**模型来源验证**的重要性日益凸显,如何在使用whichllm工具时确保**风险规避**成为关键问题。本文将为您提供完整的**本地LLM安全最佳实践**指南,帮助您在享受AI便利的同时保护系统安全。 ## 🔒 为什么本地LLM安全至关重要? **本地LLM**虽然提供了隐私保护和离线使用的优势,但不当

gitblog_00110的博客 960

Windows 10下用Python 3搞定Android源码下载:最新repo工具避坑指南

本文详细介绍了在Windows 10系统上,使用Python 3和官方最新repo工具下载Android源码的完整流程。文章提供了从Git安装、环境配置到repo工具初始化、同步加速及常见错误排查的避坑指南,帮助开发者高效搭建稳定的源码下载环境。

weixin_29266749的博客 437

ExplorerPatcher终极指南:3步轻松定制Windows界面,恢复经典体验

你是否厌倦了Windows 11的现代界面,怀念Windows 10的任务栏和开始菜单?或者你是否希望让Windows界面更加符合你的使用习惯?ExplorerPatcher正是解决这些问题的完美工具!作为一款开源的Windows界面定制软件,它能够让你自由切换Windows 10和Windows 11的界面元素,打造个性化的桌面环境。 在Windows系统不断更新的今天,ExplorerPat

gitblog_00656的博客 1008

2026年全国青少年信息素养大赛算法应用主题赛C++赛项【决赛】模拟卷1:文末附答案

2026年全国青少年信息素养大赛算法应用主题赛C++赛项【决赛】模拟卷1:文末附答案

王老师青少年编程 1184

Vue和Vue-Element-Admin(六):集成中的CORS(跨域资源共享)问题

在vue-element-admin登录集成时候碰到跨域资源共享问题,CORS(Cross-origin resource sharing)是浏览器的技术规范,浏览器可以发起跨域请求但Javascript脚本不能,传统的ajax只能获取在同域名下的资源,但Html5允许ajax发起跨域请求,解决方案有:JSONP、Flash、IFrame、CORS。 一、CORS(跨域资源共享)问题 针对vue-element-admin的登录模块的后端接口完成后,前端调用时候出现报错,因为前端的端口是9527而后.

叶子叶来 9619

Open Source Billing安全配置指南:10个关键步骤保护您的计费数据安全 [特殊字符]️

在数字化时代,计费数据安全是每个企业都必须重视的核心问题。Open Source Billing作为一个功能强大的开源计费系统,提供了全面的安全防护机制。本指南将为您详细介绍如何配置和保护您的计费数据安全,确保您的财务信息得到最佳保护。 ## 为什么计费数据安全如此重要?🔐 计费系统存储着企业的核心财务数据、客户信息和交易记录。一旦这些数据泄露,不仅会造成财务损失,还可能损害企业声誉,甚至面

gitblog_00513的博客 664

HTML满屏跳动的爱心(完整代码)

HTML语言实现满屏跳动爱心的完整代码。

AIGC 12万+

AI驱动数据处理的安全边界:行业现状、风险权衡与本地化实践路径

本文基于第三方数据,分析AI用于数据处理的安全议题。大模型应用加速普及,但伴随数据出境、影子AI、幻觉与成本失控等风险。行业共识指向“脚本复用”路径:将分析逻辑本地化固化,实现数据可控、结果可复现、成本可降。产品如数以轻舟提供本地处理、多模型接入与一次付费永久使用方案。建议企业从数据落点、可控性、可复现性与合规性四维度评估选型,推动AI在安全边界内释放价值。

数据矿工-数据化运营博客 347

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

IT日报|2026-11-16:微软 365 全球故障、Gemini 机器人突破、AI 天气数据开放

2026 年 11 月 16 日 IT日报聚焦全球云服务可靠性与 AI 技术突破。Microsoft 365 大范围故障暴露企业对共享基础设施的依赖;Google 发布 Gemini Robotics 2.5,并开放 AI 天气模型底层数据集;AlphaGenome 2 推动基因研究迈向细胞级预测。同时关注 GitHub AI 安全扫描、Visual Studio Copilot 新引擎、模型弃用计划及国际网络安全治理进展,为开发者梳理技术价值与实际风险。

代码不止,探索不息 227

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

MAI-Cyber-1 深度解析:微软首个网络安全专用模型

微软没有去做"更大的安全大模型",而是用一颗 137B 总参、仅 5B 激活的稀疏 MoE 专用模型,配上 90/10 的"小模型铺量、大模型兜底"路由,在 CyberGym 基准上拿到 95.95% 的同时把成本砍掉一半——这标志着 AI 安全从"通用模型加提示词"进入了"专用模型加系统工程"的时代。

Simple_Pure的博客 355

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

微软技术日报 2026-11-14:Aion Instruct 接替 Phi Silica、1% 投毒与 SCKit 蠕虫

微软在 11 月 13 日公布了 Windows 本地语言模型的换代计划,Phi Silica 交棒给 Aion Instruct。同一周里,微软安全团队连发两项研究,证明训练环节掺进极少量数据就能让编码智能体执行攻击者的命令;微软威胁情报则拆解了一个借 ScreenConnect 反向打技术员的蠕虫工具包。Azure 这边,ARM 的 MCP 服务器从只读扩到了可写。下面按技术线逐条展开。

海盗Sharp的博客 376

微软技术周报 11-09~11-16:.NET 11 正式发布、C# 15 联合类型落地、补丁日 1094 个 CVE

统一的 Chat 能完成长周期多步知识工作,包括起草邮件、管理会议、在 Teams 里操作、管理 OneDrive 与 SharePoint 文件,以及生成 Word、PowerPoint、Excel、PDF 和 HTML 文件,敏感操作要用户批准。11 月 10 日发布时已经带上了当月的安全修复,下一个观察点是 12 月补丁星期二,看第一轮真实世界的升级问题集中在哪:硬件基线、EF Core 兼容级别、还是 MAUI 的 CoreCLR 迁移。一条线开始,两条线结束,而且结束的那两条里有一条是 LTS。

海盗Sharp的博客 456

微软输入法标点乱跳解决方案

微软拼音输入法常因“中文输入时使用英文标点”开关被意外开启,导致标点自动切换为英文且快捷键失效。本文提供一键批处理脚本,通过修改注册表(HKCU\Software\Microsoft\InputMethod\Settings\CHS)强制锁定中文标点,覆盖多个相关键值,确保设置持久生效。相比手动操作,该方案可抵御更新、同步等导致的配置重置,提升稳定性。执行后需重启输入法或系统以使更改生效,建议提前备份注册表。

谙弆悕博士的技术博客! 407

微软2026年11月补丁星期二解析:1094个 CVE、Outlook 零日 CVE-2026-124194 与修复优先级

微软11月补丁星期二修复1094个 CVE,唯一在野利用的 Outlook 零日 CVE-2026-124194 只评为“中等”,修复随 Office 更新下发、不在 Windows 累积更新里。本文整理漏洞分布、严重级漏洞分类处置与三档修复优先级。

SplashtopLoki的博客 324

【第 008 讲】在终端中运行 Python 程序:交互模式与脚本模式 | 绝对路径与相对路径 | 以模块方式运行 | 常见报错的识别与排查

本文系统讲解在终端中运行 Python 程序的方式:从交互模式与脚本模式讲起,梳理绝对路径与相对路径的运行写法及 cd、dir 等命令的用法;进而讲解以模块方式运行的特点与字节码缓存的产生;最后通过路径、拼写、标点三类典型报错,帮助读者掌握读懂报错、定位并修复错误的排查思路。

大模型全栈工程师 · Thanks_ks 946

灵途科技获得基康技术投资,持续拓展具身智能感知新空间

其中,近距离、高精度感知是机器人实现稳定操作与精细交互的重要基础,也为光电传感技术带来了新的应用空间。灵途科技长期深耕光电传感领域,在光学器件、核心模组及传感产品方面形成了较为完整的技术体系,并持续向机器人及具身智能领域拓展。灵途科技在光电感知、光学器件及机器人传感领域的技术积累,与基康技术在工程传感领域的产业经验形成互补。未来,灵途科技将持续深耕光电感知技术,加快具身智能传感器的研发与产业化进程,并积极探索光电感知技术与工程传感应用的融合创新,推动智能感知技术在机器人及更多产业场景中落地应用。

Lingtukeji的博客 152

情感交互机器人融资,四川具身科技的「爱湫」登场

当前人形机器人的主流战场是工业、仓储、巡检这些「干活」的场景,而「爱湫」把重心放在了「陪伴」上——通过面部投影和情绪识别,让机器人和人之间多一层情感层面的交互。情感交互机器人的市场,其实一直存在,只是过去被「能干活」的主流叙事盖住了。它主推的产品「爱湫」,是一款主打情感交互的人形机器人,搭载 3D 投影面部技术,情感交互机器人的逻辑,是面向养老陪伴、文旅服务、展厅导览这类「不要求重体力、但要求互动感」的场景。真正的考验不在发布会,而在它能不能在真实的养老和陪伴场景里,被用户用起来、留下来。

jushenAGI的博客 320

微软技术日报 2026-11-15:Foundry 两模型今天退役、钓鱼冒用故障号与 Claude 默认开启

官方文档写明,Copilot、Researcher、Copilot Studio 与 Power Platform 里的 Claude 目前不在欧盟数据边界内,也不在部分国家的境内处理承诺范围内。因此欧盟、欧洲自由贸易联盟与英国的租户,Claude 的默认值一直是不对任何用户开放。微软此前的公告说明,Claude 在 Copilot 里的处理会在今年年底前迁移进欧盟数据边界,覆盖 Chat、Microsoft 365 应用内的 Copilot、Copilot Cowork 与 Copilot Code。

海盗Sharp的博客 700

微软 365 全球掉线复盘,Purview 数据治理退役,C++ 动态调试转正

把今天这几条放在一起,会看到一个共同的题目,系统的自动判断出错时,人还能不能兜住。故障那条是自动判断误判。健康检查本来的职责是把坏机器摘出去,这次它把还能用的机器也摘了,剩下的机器承接双倍压力,再被摘掉,容量一路缩减。微软的补救方向很说明问题,一边验证一套替代的健康检查方式,一边准备自动检测并重启无响应服务器的机制,等于在原来的判断链路上加第二道保险。脚本那条是校验从宽容变严格。旧文件在宽松的校验下一直能用,规则一收紧,一批历史遗留的编码问题同时浮出水面,而表象是「签名没了」。

海盗Sharp的博客 338

ActiveX调用WScript.Shell原理揭秘

##核心原理概述通过 ActiveX 调用的本质,是利用 Windows 组件对象模型(COM)技术,在支持脚本或宏的环境中实例化一个系统级的外壳对象,从而获得执行操作系统命令、操作文件系统及注册表的权限。这种机制常被用于自动化运维,但也因具备“本地提权”和“无文件执行”的特性,成为恶意代码(如 Office 宏病毒、CHM电子书攻击)的核心利用手段。

m0_66048236的博客 210
上一篇: Databend 开源周报第 110 期
下一篇: Serverless 数仓技术与挑战 - 张雁飞|3306π
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值