- 博客(173)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 在Linux上使用DuckCP实现从csv文件汇总数据到SQLite数据库的表
本文记录了在Python环境中安装和使用DuckCP ETL工具的过程。首先通过修改wheel文件使其支持Python 3.11.2，使用Python脚本重新压缩安装包并成功安装。创建元数据库时遇到Python版本兼容问题，改用3.13.1后解决。在配置数据源和目标存储库时：1)创建文件仓库作为TSV数据源；2)正确配置SQLite目标数据库路径需要明确指定完整文件路径而非目录。最后强调需预先手工创建SQLite数据库和表结构，并创建必要的存储单元。整个过程展示了版本兼容性和配置细节对ETL工具使用的重要性
2025-07-28 19:25:00
364
原创 开源嵌入式数组引擎TileDB的简单使用
TileDB是一个C++编写的多维数组存储引擎，支持多种后端存储。安装时可从GitHub下载预编译库(2.28.1版本)或源码编译。编译示例程序(as_built.c、query_condition_dense.c)需指定头文件和库路径，并注意GCC版本兼容性。示例展示了数组条件查询功能，类似数据库操作，支持空值、字符串比较、数值范围等条件过滤。使用时需设置LD_LIBRARY_PATH环境变量指向TileDB库路径。
2025-07-28 08:52:23
169
原创 修改一个字节使python 3.13.2也能安装duckcp
摘要：作者在尝试安装开源数据同步工具DuckCP时遇到Python版本不兼容问题（要求≥3.13.5但系统为3.13.2）。通过修改安装包中METADATA文件的版本要求（改为≥3.13.1），成功完成安装。具体步骤包括解压whl文件、修改版本约束、重新打包安装。该方法适用于类似版本限制不严格的软件安装场景，展示了灵活解决问题的思路。（149字）
2025-07-26 21:09:39
300
原创 利用DeepSeek解决kdb+x进行tpch测试的几个问题及使用感受
摘要：本文解决了在kdb+中导入TPCH数据库时遇到的三个关键问题：1)数据类型匹配问题，详细说明了基本数据类型及正确的导入语法；2)数据库嵌套目录问题，指出正确保存路径应为当前数据库目录；3)分区表存储优化，提供并行处理(peach)和按月批量写入的方案以提升性能。
2025-07-26 19:24:47
1227
原创 利用DeepSeek测试kdb+x的tpch sf=10数据
本文详细介绍了如何在kdb+/q数据库中进行TPC-H基准测试。内容涵盖：1)准备工作，包括下载TPC-H工具包并生成测试数据；2)两种建表方案：非分区表和按日期分区的优化表结构；3)数据导入方法，包括批量加载和分区加载；4)查询性能对比测试，提供了SQL和q语言两种实现方式（如Q1和Q3查询），并展示了查询计时方法。重点强调了分区策略、索引优化等性能提升手段，以及两种查询语言的语法差异和执行效率比较。
2025-07-25 20:02:40
1094
原创 在kdb+x中使用SQL
本文介绍了Kx Systems新发布的kdb+x产品的安装与SQL使用方式。安装需登录官网获取动态下载链接，离线安装时需修改脚本跳过验证步骤。SQL支持两种执行方式：1)在q命令行中通过s)前缀执行SQL语句；2)通过Python的pykx包执行，支持变量占位符语法。文中详细演示了两种环境下的建表、插入和查询操作，并提供了2000万行时间序列数据的处理示例。Python环境下需安装pykx包，建议使用清华源加速安装。
2025-07-25 14:45:02
468
原创 将一个Windows上的lzma压缩解压程序移植到Linux的方法
本文记录了在Linux系统下编译使用LZMA压缩解压程序的过程及遇到的问题。作者替换了失效的LZMA SDK下载链接，解决了头文件大小写不匹配、Windows特有函数在Linux下的替代问题，并通过修改编译命令包含所有C文件解决了函数未定义引用问题。最终成功编译并测试了程序，压缩率与xz工具相当，但速度更慢。修复后的源代码已附文末。整个过程中，作者详细记录了从环境搭建到问题解决的完整步骤，为Linux环境下使用LZMA算法提供了实用参考。
2025-07-24 16:28:52
410
原创 利用DeepSeek部分解决从源码升级xz找不到正确版本liblzma.so动态库问题
本文记录了从源码安装xz工具时遇到的动态链接库版本冲突问题及解决方案。作者先后安装了liblzma-5.0.4和xz-5.4.7版本，发现新版本安装后因系统优先链接到旧版库(/lib/aarch64-linux-gnu/liblzma.so.5.0.0)而报错。通过设置LD_LIBRARY_PATH环境变量临时解决了问题，使程序正确链接到新版库(/usr/local/lib/liblzma.so.5.4.7)。创建/etc/ld.so.conf.d/lzma.conf并运行ldconfig的永久解决方案未成
2025-07-24 08:51:25
284
原创 利用DeepSeek编写一个使用lzav算法的文件压缩工具
本文介绍了一个基于LZAV压缩算法的命令行工具实现。该工具通过文件头存储源文件大小解决了LZAV解压缩时需要预知原始尺寸的问题，并提供两种压缩级别（-l参数控制）。压缩过程包含读取源文件、分配缓冲区、执行压缩（根据级别调用不同函数）、写入4字节小端格式文件头和压缩数据等步骤。解压时则先读取文件头获取原始大小，再执行解压缩操作。工具还提供压缩率统计和处理时间测量功能，代码展示了完整的文件I/O、内存管理和错误处理逻辑。
2025-07-23 21:07:15
350
原创 利用DeepSeek编写支持lz4和zstd格式的压缩工具
本文介绍了Facebook开发的LZ4和Zstd两种压缩工具的特点、安装方法及实际应用。LZ4压缩速度快但压缩率低，适用于实时数据；Zstd压缩率高但速度稍慢，适合文件压缩。文章详细提供了从源码安装两种工具的方法，并解释了编译时的依赖支持情况。针对LZ4压缩时出现的"ERROR_dstMaxSize_tooSmall"错误，分析了LZ4F_compressFrameBound函数的计算原理及解决方案。最后展示了一个支持两种算法的CLI程序实现，包含流式压缩、压缩级别调整、性能计时等功能，
2025-07-23 15:48:15
282
原创 借助DeepSeek调用libchdb中的lz4和sm4函数实现对文件压缩加密
本文实现了一个结合LZ4压缩和SM4加密的文件处理程序。通过ext3.h头文件声明了libchdb.so库中的函数原型，包括LZ4压缩/解压和SM4加密/解密相关函数。程序分为四个独立模块：compress_data()实现LZ4_HC压缩，encrypt_data()使用SM4_CBC加密，decrypt_data()执行解密，以及解压函数。采用16KB缓冲区处理大文件，并包含完善的错误检查机制。将压缩/加密流程分离，便于调试和验证各阶段处理效果，同时通过extern "C"确保与C++的兼容性。
2025-07-21 20:29:14
503
原创 利用DeepSeek编写批量输出多个主机的磁盘状况的脚本
本文介绍了一种批量检查多台主机磁盘空间的自动化方法。原有的人工方式需要逐台登录主机执行命令，效率低下。作者通过ssh远程执行命令的特性，编写了一个bash脚本来自动化这个过程：首先将主机IP列表保存在iplist文件中，然后使用循环读取IP并执行远程命令。为解决循环中ssh执行异常的问题，作者改进脚本将其输出为另一个可执行脚本chsh.sh，再批量执行该脚本即可成功获取所有主机的磁盘信息。这种方法有效提高了批量管理多台主机的效率，避免了重复劳动，同时支持将检查结果重定向到文件保存。
2025-07-21 16:33:45
124
原创 利用DeepSeek实现调用libchdb.so动态连接库中的未公开导出函数
本文介绍了两种调用动态链接库中导出函数的方法。方法一使用dlopen/dlsym动态加载符号，通过显式加载库文件并逐个检查函数指针，适用于运行时动态调用；方法二采用静态链接方式，直接声明外部函数，需确保函数已在库中导出。示例代码演示了这两种方法调用BIGNUM数学运算函数的过程，包括数值转换、加法乘法运算等操作。动态加载方式需要进行错误检查，而静态链接方式更简洁但需保证函数可用性。两种方法各有利弊，可根据实际需求选择适合的调用方式。
2025-07-19 19:05:01
408
原创 借助DeepSeek查看动态链接库的导出函数
这篇文章探讨了如何挖掘动态链接库中未公开的函数接口。作者首先通过头文件发现仅公开了28个函数，而500MB的libchdb.so可能包含更多功能。随后尝试使用nm、objdump等工具分析动态库导出的函数符号，发现大量Rust编译器生成的带哈希后缀的函数名（如num_bigint::biguint::shift::biguint_shl2::h79dc2a6c64f30890）。通过rustfilt工具可以解析这些符号的可读路径，但直接调用仍需依赖extern "C"接口或官方文档。
2025-07-19 09:39:08
1015
原创 利用DeepSeek为chdb命令行客户端添加输出重定向和执行SQL脚本功能
摘要：该代码实现了一个ChDB客户端类，支持CSV数据格式处理和输出重定向功能。主要特点包括：1) 禁用重定向时的CSV表格输出和统计/计时信息；2) 提供多种格式别名映射(CSV/JSON/Markdown等)；3) 实现表格数据的智能显示(自动截断长数据并显示首尾行)；4) 支持CSV数据解析和表头提取；5) 包含文件输出流管理功能。代码通过格式化输出和行列计算实现了优雅的数据展示，同时处理了引号转义等CSV解析细节。
2025-07-15 22:03:39
153
原创 借助DeepSeek编写输出漂亮表格的chdb客户端
chdb是ClickHouse的嵌入式引擎，支持Python、Rust和C/C++调用。本文介绍了如何用C++实现一个支持表格输出和交互式查询的客户端。关键功能包括：1) 表格格式化输出（自动处理超长结果）；2) 计时开关(.timer)；3) 多种输出格式支持（通过别名映射）；4) 错误处理。实现要点包括：使用chdb_query执行查询，通过CSVWithNames格式获取表头，动态计算列宽，以及结果分页显示。程序结构采用ChDBClient类封装核心功能，包括查询执行、结果处理和用户交互。
2025-07-14 21:38:20
354
原创 利用DeepSeek证明立体几何题目
摘要： 题目要求判断直线 ( A_1B ) 与平面 ( ADC_1 ) 的位置关系。通过几何法分析，连接 ( A_1C ) 与 ( AC_1 ) 的交点 ( O )，并作中位线 ( DO )，可证 ( DO \parallel A_1B )。由于 ( DO ) 在平面 ( ADC_1 ) 内，而 ( A_1B ) 不在平面内，故 ( A_1B ) 与平面 ( ADC_1 ) 平行。原解答的向量法较复杂，几何法更直观。 （字数：150）
2025-07-13 21:06:24
211
原创 duckdb和pyarrow读写arrow格式的方法
Arrow格式被广泛用于数据分析工具中。DuckDB从1.3版本后将Arrow插件从核心插件改为社区插件(现名nanoarrow)。实验表明：1) DuckDB生成的Arrow文件需先加载插件才能正确写入；2) PyArrow无法读取DuckDB生成的Arrow文件，但生成的Arrow文件能被DuckDB读取；3) PyArrow读写Arrow文件时数据结构会发生变化(Int64Array变为ChunkedArray)，而Feather格式则保持结构一致。这揭示了不同工具对Arrow格式的实现存在兼容性问题
2025-07-13 19:44:16
408
原创 使用 duckdb::arrow 实现表格输出的 DuckDB CLI 代码
摘要：通过在duckdb-rs主页发现支持Arrow表格的示例代码，将其提交给DeepSeek并删除语法高亮后，成功实现了能正确处理各种查询的DuckDB CLI工具。该工具支持两种模式：管道输入模式和交互模式，使用Arrow格式输出查询结果并显示执行时间。测试表明它能够正常处理数值查询、范围查询以及表创建/插入等操作，执行时间在毫秒级别。
2025-07-08 22:06:19
329
原创 利用DeepSeek实现rust调用duckdb动态链接库的duckdb CLI
这是一个使用Rust实现的DuckDB命令行工具，主要特点包括： 支持两种模式： 管道模式：从stdin读取SQL并执行 交互模式：带语法高亮的REPL环境 核心功能： 使用duckdb-rs库连接DuckDB内存数据库 通过syntect实现SQL语法高亮 提供查询执行时间统计 支持命令行历史记录 当前限制： 结果输出仅支持String类型，其他类型需要转换 SQLHelper的高亮功能尚未完全集成到REPL中 项目依赖duckdb、syntect、atty和rustyline等库，实现了基本的数据库查询
2025-07-08 16:09:44
279
原创 12行脚本实现duckdb自动完成tpch测试
摘要：本文介绍通过DuckDB的TPCH插件自动生成和执行TPCH查询的方法。首先使用tpch_queries()函数将前3条查询SQL输出到qs.txt文件，然后读取该文件执行查询并将结果保存到res.txt。脚本包含数据生成(0.3比例)、查询输出和计时功能。可通过命令行管道或DuckDB交互模式执行脚本，输出结果显示各查询的执行时间(约0.01-0.014秒)。该方法实现了TPCH基准测试的自动化执行和性能测量。
2025-07-06 10:19:11
235
原创 在sf=0.1时测试fireducks、duckdb、polars的tpch
文章摘要：本文介绍了使用fireducks工具运行TPC-H基准测试的完整流程。首先从GitHub下载源代码并解压，通过设置SCALE_FACTOR=0.1运行脚本，该脚本会自动安装依赖包、编译数据生成器、生成测试数据并转换为parquet格式。测试结果显示fireducks完成22个查询总耗时130.8秒，各查询响应时间在0.11-0.52秒之间。与DuckDB（88.98秒）和Polars（61.85秒）的对比测试表明性能差异显著，其中单个查询速度差异达10倍，但直接使用DuckDB测试却显示更快结果，
2025-07-05 20:45:54
296
原创 使用datafusion和tpchgen-rs进行完整的TPCH 22个查询的基准测试
摘要：本文介绍了DataFusion基准测试的完整流程。首先从源码编译bench二进制文件，遇到资源不足时可使用单任务编译模式。然后使用高效工具tpchgen-rs生成parquet格式的TPCH测试数据(SF3规模仅需6.5秒)，并按要求组织文件目录结构。最后执行TPCH测试，给出各查询的平均执行时间(如Q1平均1359.65ms，Q22平均175.32ms)。测试需注意工作目录和参数设置，详细步骤可参考相关文档。
2025-06-28 19:34:36
178
原创 DeepSeek改写glaredb的示例实现自定义CLI界面程序
本文记录了在Rust项目中集成GlareDB过程中遇到的问题及解决方案。首先尝试编译时因缺少protoc工具失败，下载正确的protoc版本并设置PATH后解决。随后在添加CLI界面时遇到tokio模块未解析和SingleUserEngine泛型参数缺失的错误，通过将代码直接放入main函数规避了这些问题。最终成功构建了一个包含基本CLI功能的数据库引擎，支持SQL查询执行和结果展示。整个过程展示了Rust项目依赖管理和编译问题的典型解决思路。
2025-06-28 13:23:01
411
原创 2025年6月在几种单机版数据库上测试TPCH
本文对比测试了DuckDB、GlareDB、ClickHouse和DataFusion-CLI四个数据库对TPCH数据集的查询性能。测试使用tpchgen-rs工具生成4GB规模的Parquet格式数据，包含8张表。重点对比了两个典型SQL查询的执行结果和耗时：查询1实现分组聚合统计，DuckDB耗时1.596秒；查询3涉及多表关联和复杂计算。测试过程中发现Databend和CedarDB因操作复杂或功能限制未能参与最终测试，为后续研究提供了方向。
2025-06-27 16:54:40
299
原创 利用DeepSeek编写的Datafusion自定义表函数read_csv和read_xls
本文介绍了如何在Rust的Datafusion中实现自定义函数。作者通过Docker搭建Rust环境，参考官方指南和DeepSeek辅助，添加了支持多种字符集的read_csv和read_xls表函数。重点描述了版本依赖问题的解决过程：初始编译因版本不匹配失败，通过调整Cargo.toml中datafusion(48.0)、arrow(55.1)等依赖版本后成功。文中提供了最终可用的Cargo配置和read_csv、read_xls函数实现代码，展示了如何读取不同编码的CSV文件、xlsx文件并以表格输出
2025-06-25 13:45:24
442
原创 几种单机版数据库CLI界面的对比
标题：五大数据分析引擎对比 摘要：本文直观展示了五种主流数据分析引擎的命令行界面，包括GlareDB、ClickHouse、Polars、DuckDB和DataFusion。
2025-06-24 21:12:55
133
原创 利用mold加快rust程序构建
摘要：用户在使用Rust编译polars-cli时发现debug构建耗时14分钟，其中可执行文件生成占6分钟。通过DeepSeek建议，尝试使用mold链接器加速编译。初次配置因gcc不支持绝对路径报错，后调整方案将mold加入PATH并使用-fuse-ld=mold选项。最终在.cargo/config.toml中设置后，构建时间从14分钟缩短至4分钟（提升4倍），且生成的二进制文件大小与常规链接器相近。配置过程涉及清华镜像源设置和mold链接器优化，效果显著。
2025-06-23 22:34:25
315
原创 DeepSeek编写的rust和c语言斐波那契数列程序性能比较
本文记录了在Docker中搭建Rust编译环境并比较Rust与C语言实现斐波那契数列的性能。首先下载了Rust的Docker镜像，验证了编译环境后，编写了递归和迭代两种版本的斐波那契计算程序。测试结果显示：在默认编译下，C程序（2.582s）比Rust（3.075s）更快；开启优化后（-O3），C程序（0.470s）仍明显优于Rust（1.145s）。进一步对Rust使用release模式和本地代码优化选项后，性能提升有限（1.09s）。文件大小方面，C程序（16KB）远小于Rust（1.7MB）。
2025-06-21 10:16:59
258
原创 将扩展的DuckDB自定义函数整合到一个程序
本文介绍了如何将多个基于DeepSeek开发的DuckDB扩展功能整合到一个交互式程序中。作者此前开发了支持高精度运算、读取PostgreSQL表、处理中文字符CSV/XLS等功能，但分散在不同程序中。通过将各功能模块的cpp文件包含到主程序，并统一注册表函数，实现了功能整合。为解决命名冲突，修改了部分代码结构。编译时链接了相关库（如xlslib、minidocx等），最终生成单一可执行文件。通过对比官方DuckDB的函数列表，可验证新增功能的正确性。这种整合提高了开发效率和使用便利性。
2025-06-15 19:12:26
746
原创 xlslib输出UTF8汉字的方法
本文介绍了如何修改xlslib开源库以支持输出UTF8中文Excel文件。主要步骤包括：1) 修正sheetrec.h中的ustring命名空间错误（从std改为xlslib_strings）；2) 添加两个支持UTF8编码的重载label()函数；3) 使用std::wstring_convert转换器处理UTF8字符串与数字的混合输出。修改后需要通过宽字符串(L前缀)或字符串转换器(wstring_convert)正确输出中文，解决了原输出乱码问题。文章存有原始解决方案，包含sheetrec.h/cpp
2025-06-14 14:36:54
286
原创 利用DeepSeek将docx生成程序迁移至minidocx
本文介绍了从DuckX迁移到minidocx库的过程。minidocx无需模板文件即可直接生成docx文档，调用方式与DuckX类似但更简单。作者通过分析minidocx源码结构，直接使用g++编译成功，并借助示例代码验证了功能。随后将原有程序中的DuckX调用替换为minidocx接口，修改了DOCXGlobalState结构体及相关函数实现，最后调整编译命令完成迁移。新方案成功实现了docx文档的生成功能，解决了原有方案需要预置模板文件的不便问题。
2025-06-13 09:28:09
276
原创 DeepSeek辅助编写的将DuckDB查询结果写多种格式文件的通用类
本文介绍了一个通用数据导出框架的开发过程，用于将DuckDB数据库查询结果导出为多种格式（XLS/DOCX等）。作者基于CSV导出实现进行了抽象，设计了可扩展的模板架构，通过添加特定格式的处理代码即可支持新格式。在实现DOCX导出功能时，遇到两个关键问题：(1) duckx库只能修改现有文件而不能创建新文件；(2) C++移动语义导致的文件路径失效问题。经过调试后成功实现功能，并总结了重要经验：使用CSV进行概念验证的重要性，以及正确处理C++移动语义的注意事项。最终方案允许通过文件后缀自动选择相应的导出工
2025-06-11 13:57:20
555
原创 DeepSeek辅助实现的DuckDB copy to自定义函数
摘要： 开发DuckDB自定义导出函数mycsv时，发现需注意两个关键点：1) InitializeGlobal仅处理表头，数据写入需通过InitializeLocal实现；2) 数据读取必须从DataChunk参数而非LocalFunctionData获取，否则字段值会为空。本程序通过插入myduck前缀区分系统CSV文件。
2025-06-09 22:05:47
552
原创 让DeepSeek参照libxls的xls2csv例子实现的DuckDB read_xls表函数
本文实现了DuckDB读取传统xls格式文件的表函数read_xls。通过整合libxls库的xls解析功能和DuckDB的增强CSV读取能力，该函数支持指定sheet编号或名称读取Excel文件。实现要点：1) 使用iconv进行字符编码转换；2) 通过xlsWorkSheet结构解析表格数据；3) 提供sheet参数选择功能；4) 自动推断列名和数据类型。测试表明该实现能正确处理中文字符。代码结构清晰，包含绑定、初始化和数据处理三个核心模块，为DuckDB扩展了传统Excel文件读取能力。
2025-06-08 13:50:35
418
原创 改写一行提速group by cube查询五倍
多组数据库测试表明，直接使用GROUP BY CUBE语句的效率往往低于等价改写方法。通过创建1亿行测试表，对比四种实现方式发现：直接使用GROUP BY CUBE耗时8秒；拆分为UNION ALL语句耗时3秒；先GROUP BY全部列再UNION ALL耗时1.3秒；而优化后的方法——先GROUP BY全部列再使用CUBE，仅需1.5秒且保留分组标识，实现了5倍性能提升。该方法在GlareDB中也获得验证，具有普适性。对于ROLLUP操作，由于组合较少，优化效果相对不明显。
2025-06-08 08:02:30
377
原创 一个DeepSeek辅助编写的将group by cube查询语句转为等价CTE的程序
该程序实现了将SQL中的GROUP BY CUBE查询转换为等价的UNION ALL多组CTE查询。主要功能包括：预处理输入SQL、提取CUBE列清单、生成所有可能的组合（2^n-1种）、处理列别名解析，最终将原始查询重写为包含多个CTE查询的UNION ALL语句。程序采用正则表达式匹配GROUP BY CUBE模式，并支持复杂的列表达式解析，确保了查询转换的准确性和完整性。
2025-06-08 07:58:37
113
原创 三种读写传统xls格式文件开源库libxls、xlslib、BasicExcel的比较
本文介绍三种读写传统xls格式文件开源库libxls、xlslib、BasicExcel的安装、使用方法，并比较其功能与性能，提供了测试源代码和编译命令行，并解决了不同库同名类型定义的冲突
2025-06-06 19:36:28
1699
从Windows转向Linux基础教程
2007-04-21
Microsoft Visual C++ Toolkit 2003 精简版
2009-10-21
《动手学深度学习》（Dive into Deep Learning）中文版
2019-05-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人