使用DuckDB SQL求解Advent of Code 2024第9题 磁盘碎片整理第二部分

最新推荐文章于 2025-11-24 21:21:07 发布
原创 最新推荐文章于 2025-11-24 21:21:07 发布 · 276 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Advent of Code #数据库 #duckdb #算法

编程达人挑战赛·第4期 10w+人浏览 240人参与

第二部分

完成后，两件事立刻变得清晰起来。首先，磁盘确实有了更多连续的可用空间，正如那只端足类动物所希望的那样。其次，计算机运行速度变得慢了很多！也许引入那么多文件系统碎片是个坏主意？

这只热切的端足类动物已经有了一个新计划：与其移动单个块，他想尝试通过移动整个文件来压缩磁盘上的文件。

这一次，尝试将整个文件移动到可以容纳该文件的最左边的连续可用空间块中。尝试按照文件 ID 号递减的顺序（从文件 ID 号最高的文件开始）移动每个文件，且每个文件只移动一次。如果在文件左侧没有足够大的连续可用空间来容纳该文件，则该文件不移动。

上面第一个例子的过程现在变得不同了：

00...111...2...333.44.5555.6666.777.888899
0099.111...2...333.44.5555.6666.777.8888..
0099.1117772...333.44.5555.6666.....8888..
0099.111777244.333....5555.6666.....8888..
00992111777.44.333....5555.6666.....8888..

更新文件系统校验和的过程是相同的；现在，这个例子的校验和将是 2858。

重新开始，现在改用这种新方法来压缩端足类动物的硬盘。产生的文件系统校验和是多少？

l1t
关注
专栏目录
advent-of-code-elixir-starter：Elixir中的Advent of Code模板项目
02-05
Advent of Code 是一个年度编程挑战活动，每年十二月，程序员们会参与解冑一系列的小型编程问题，以此提升自己的技能并享受编程的乐趣。Elixir 是一种函数式、并发、面向进程的编程语言，常用于构建分布式系统，如 ...
AdventOfCode2019：使用JetBrains的Rider通过Advent of Code（https：adventofcode.com）了解有关C＃的更多信息
03-02
在Advent of Code的每个挑战中，通常会提供两部分任务，每部分都需要我们编写代码来解决。我们可以将这些任务视为单元测试的输入和预期输出。Rider支持集成测试框架如NUnit和xUnit，这使得我们可以方便地编写测试...
使用DuckDB SQL求解Advent of Code 2024第9题 磁盘碎片整理
l1t的专栏
11-22 480
摘要：该谜题要求实现磁盘碎片整理程序。输入是一个数字字符串，交替表示文件块和空闲块长度。需要将文件块从左到右连续排列，消除间隙。然后计算校验和：对每个文件块的位置(从0开始)乘以文件ID求和。例如输入"2333133121414131402"经过整理后校验和为1928。关键是将文件块紧凑排列后，正确计算各文件块位置与ID乘积的总和。
使用DuckDB SQL求解Advent of Code 2024第2题
l1t的专栏
11-20 369
这篇文章介绍了如何识别符合特定条件的安全数列行。判断标准是：行内数字必须单调递增或递减，且相邻数字差值必须在1-3之间。SQL解决方案通过以下步骤实现：1)使用generate_subscripts跟踪数字位置；2)通过lead函数计算相邻差值；3)检查所有差值绝对值是否在1-3范围内且符号一致（通过比较绝对值之和与和的绝对值）。对示例数据的分析结果与预期相符，找出了2个符合条件的安全行。这种基于SQL的分析方法有效实现了数列特征检测需求。
使用DuckDB SQL求解Advent of Code 2024第17题
l1t的专栏
11-21 625
本文介绍了第17天的谜题"时空计算机"。这台3位计算机包含3个寄存器(A,B,C)和8条指令，每条指令由3位操作码和操作数组成。程序运行时通过指令指针定位指令，操作数分为字面值和组合值两种类型。文章详细说明了8条指令的功能，包括除法运算、位运算、寄存器操作和跳转等，并给出了多个示例演示指令执行效果。最后要求根据给定的初始寄存器值和程序代码，运行程序并收集输出结果，将输出值用逗号连接成字符串作为答案。示例程序"0,1,5,4,3,0"运行后的最终输出为"4,6
使用DuckDB SQL求解Advent of Code 2024第7题
l1t的专栏
11-20 316
本文探讨了使用DuckDB处理缺少运算符的数学表达式问题。主要思路是将数字与运算符(+或*)可能组合生成所有可能的表达式，然后筛选出计算结果与目标值匹配的行。文中展示了如何： 将输入文件解析为数字列表 使用位运算生成所有运算符组合 构建对应的数学表达式字符串 尝试用DuckDB的query函数直接计算表达式(但发现不支持变量) 最终采用将表达式拼接为完整SQL语句的方法来批量验证正确性 该方法通过组合生成所有可能的运算顺序，然后批量验证表达式的正确性来解决原始问题。
使用DuckDB SQL求解Advent of Code 2024第1题
l1t的专栏
11-22 261
摘要：本文展示了使用SQL解决两列数据处理问题的两种方法。第一部分通过排序配对计算两列数值差的绝对值之和，使用了分析函数和DuckDB特有的Positional Join两种实现方式。第二部分统计左列数值在右列出现的次数并求加权和，采用了标量子查询和等值连接两种方案。这些SQL解决方案充分利用了排序聚合功能，简洁高效地完成了题目要求的数据处理任务。
通过消除笛卡尔积将求解Advent of Code 2024第9题磁盘碎片整理的SQL提速百倍
l1t的专栏
11-23 659
本文讨论了处理大字符串输入时遇到的性能问题及解决方案。原SQL代码在处理2万字节的输入时效率低下，因递归CTE无法高效处理大量小迭代。改进方案将字符串转为行数据，利用表关联替换，但15K字符时出现OOM错误。进一步调试发现，对照表生成阶段的笛卡尔积操作导致内存溢出（20K字符串复制20K行产生400M字符）。最终解决方案改用unnest列表操作转行，并添加row_number序号，避免了内存问题。该优化显著提升了大数据量处理的性能。
利用DeepSeek辅助编写优化求解Advent of Code 2024第9题 磁盘碎片整理第二部分的python程序
l1t的专栏
11-23 1047
本文探讨了一种优化文件移动算法的Python实现方法。通过维护四个数组(fs, fe, ss, se)分别记录文件和空闲区的起止位置，避免动态增删元素。算法采用外循环递减文件ID、内循环递增空闲区ID的方式移动文件，并创新性地利用等差数列求和公式计算校验和。关键优化点包括：1) 限制空闲区搜索范围到文件左侧；2) 建立长度-最左空闲区索引映射(min_space_index)以减少搜索次数。经过多次调试，最终版本通过优化索引更新逻辑，将循环次数从25334129次降至14515次，运行时间从2秒缩短至0.0
利用DeepSeek辅助编写优化求解Advent of Code 2024第9题 磁盘碎片整理第一部分的python程序
l1t的专栏
11-24 366
本文提出了一种优化文件块移动校验和计算的Python实现方案。该方案采用不展开块的方法，通过维护块边界列表和文件ID映射，模拟文件块向右填充空闲块的过程。算法关键点包括：1)从左到右顺序处理块；2)逐个填充空闲块时计算校验和；3)增加停止条件防止回绕填充。相比原SQL实现，该方案性能提升显著，运行时间从0.877秒缩短至0.087秒。最终正确计算出6.34万亿的校验和结果，验证了算法的高效性和正确性。
使用DuckDB SQL求解Advent of Code 2023第1题
l1t的专栏
11-24 371
文章摘要：本文解决Advent of Code 2023第1天的编程挑战，包含两个部分：第一部分通过SQL的translate函数将数字替换为0来定位首尾数字；第二部分处理数字英文单词替换的复杂情况，通过比较替换后字符串的ASCII顺序确定最左单词，再结合翻转字符串技巧处理最右单词。最终方案利用min函数和嵌套替换，成功解决了像"twone"这样的重叠单词问题。代码展示了巧妙的字符串处理和SQL函数组合应用。
Advent of Code 2024
07-19
5. **使用编程语言**：Advent of Code 不限制编程语言，参与者可以使用 Python、JavaScript、Rust、Java 等任意语言进行求解。 ### 示例代码 以下是一个简单的 Python 脚本模板，用于读取输入文件并打印前几行内容...
advent-of-code-2020：解决了来自Advent of Code的练习-2020
02-16
《Advent of Code 2020：Python解题之旅》 Advent of Code（AoC）是一项每年圣诞节期间举办的在线编程挑战活动，旨在通过趣味性的编程问题来增强程序员的解决问题的能力和对新技能的掌握。2020年的Advent of Code...
advent-of-code
03-17
《代码问世：ReasonML在Advent of Code中的应用探索》 Advent of Code（AOC）是一项每年举办的在线编程挑战活动，旨在通过一系列有趣且具有挑战性的编程问题，提升程序员的解决问题和编码能力。2020年的Advent of ...
MySQL 数据库管理入门：从创建到删除（T1）
aml258__的博客
11-24 312
本文是一份面向新手的MySQL数据库管理入门指南。通过清晰的代码示例与详细的注释，系统性地讲解了数据库的创建、查看、修改、字符集设置与删除等核心操作。不仅提供了“怎么做”，更解释了“为什么”，并附有实战习题与课外思考，帮助读者从零开始，扎实掌握MySQL数据库的生命周期管理。
网页开发，在线%新版本旅游管理%系统，基于eclipse,html,css,jquery,servlet,jsp,mysql数据库
最新发布
Strategic__的博客
11-24 360
在帮助客户修改这个在线旅游管理系统Demo时，从需求分析到上线迭代，踩了不少坑也攒了些经验。用Eclipse搭框架，HTML+CSS 搞前端页面，jQuery优化交互，Servlet 和 JSP 做后端处理，再配上MySQL存数据，整套下来也算顺顺当当。开发时候关键是多测多改，用户体验这块不能偷懒。现在系统功能稳定，既能满足基础管理需求，也支持定制开发。
高并发数据库MySQL/PostgreSQL/NoSQL优化在互联网系统实践经验分享
2501_94114711的博客
11-24 255
架构设计与分库分表主从/主主复制、分库分表、NoSQL分布式集群提高高并发读写能力和系统可用性索引与查询优化合理索引、SQL优化、聚合分页优化避免全表扫描和复杂JOIN高并发写入与缓存优化批量写入、异步处理、队列削峰热点数据缓存、读写分离策略监控与工程化闭环QPS、慢查询、锁等待、节点健康监控自动化部署、弹性扩容、压测优化形成持续闭环通过合理的数据库架构设计、索引与查询优化、高并发写入与缓存策略，以及监控与工程化部署，高并发互联网系统能够实现高吞吐、低延迟、稳定可靠、可扩展。
SSM企业物资管理系统h3109(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上，文末可获取，系统界面在最后面
2509_93102542的博客
11-21 758
在技术实现上，国外多采用成熟的开发框架和技术架构，注重系统的安全性、稳定性和可扩展性，同时积极融入大数据、人工智能等新技术，实现物资需求预测、智能库存优化等功能。基于此，开发一套基于SSM框架的企业物资管理系统，整合部门、员工、物资及各类业务流程管理功能，实现物资管理的数字化、规范化和高效化，成为解决企业物资管理痛点的必然需求。本课题旨在开发一套基于SSM框架的企业物资管理系统，围绕部门、员工、物资信息、物资申请、消息提醒、物资归还、物资入库、意见反馈八大核心功能模块，实现企业物资管理的全流程数字化。
部署在windows的docker中的dify知识库存储位置
2501_93651177的博客
11-21 533
在Windows系统的Docker中部署Dify时，知识库存储分为两部分：文件数据（包括文档、向量等）存储在宿主机E:\dify-1.1.3\docker\volumes\app\storage\upload_files目录下；元数据（如配置信息）则保存在PostgreSQL数据库中，数据库文件位于宿主机E:\dify-1.1.3\docker\volumes\db\data\pgdata路径。文件数据由系统自动生成，元数据通过数据库管理知识库配置关系。
DuckDB
03-19
<think>嗯，用户让我介绍一下DuckDB。首先，我需要回忆一下DuckDB的基本信息。DuckDB是一个嵌入式的关系型数据库管理系统，对吧？它主要针对分析型查询，也就是OLAP场景。这点和SQLite有点像，不过SQLite更适合事务处理（OLTP），而DuckDB则是为分析优化的。 接下来，用户可能想知道DuckDB的特点。比如，它不需要单独的服务器，直接嵌入到应用程序中，这样部署起来很方便。另外，它支持标准的SQL，这对用户来说很重要，因为不需要学习新的查询语言。还有，它的列式存储引擎，这对分析查询来说性能更好，因为通常分析需要处理大量数据，列式存储可以更快地扫描和聚合数据。 然后，我应该提到它的应用场景。比如，数据科学中的数据分析，DuckDB可以处理CSV、Parquet等格式，方便数据科学家进行快速分析。还有嵌入式分析，适合在应用程序内部做实时分析，不需要依赖外部数据库。另外，教育和研究领域，因为安装简单，适合教学和小型项目。 用户可能还会关心DuckDB的优势。高性能是一个关键点，特别是向量化查询执行引擎，利用现代CPU的SIMD指令，提升处理速度。零管理，不需要复杂的配置，开箱即用。轻量级，适合资源有限的环境，比如边缘设备或者移动应用。 另外，使用方式部分需要详细说明。用户可以通过命令行交互，或者直接在Python、R等语言中使用，这对数据科学家来说非常方便。比如在Python中用pip安装，然后直接查询Parquet文件或者Pandas DataFrame，这样的例子能帮助用户快速上手。 可能用户还会想知道DuckDB和其他数据库的区别，比如和SQLite、PostgreSQL的区别。这时候需要强调DuckDB的OLAP优化，而SQLite是OLTP。和PostgreSQL相比，DuckDB更轻量，适合嵌入式场景，而PostgreSQL是功能更全面的服务器数据库。 最后，给出一个简单的代码示例，展示如何在Python中使用DuckDB，这样用户可以直接看到实际应用的例子，更容易理解。同时提醒用户访问官网和文档获取更多信息，这样他们可以自行深入学习。 需要注意的是，用户可能没有提到但潜在的问题是性能对比，或者适用场景的具体案例，所以在介绍时可以适当举例说明。另外，确保使用正确的中文术语，避免技术术语翻译错误，比如“列式存储”、“向量化执行引擎”等，保持专业性和易懂性之间的平衡。</think>DuckDB 是一款开源的**嵌入式关系型数据库管理系统**，专为**分析型查询（OLAP）**场景设计。其核心目标是提供高性能、轻量级的数据分析能力，尤其适合在本地环境或资源受限的场景中处理数据密集型任务。 --- ### 一、核心特性 1. **嵌入式设计** - 无需独立的服务器进程，直接嵌入到应用程序中，类似 SQLite 但针对分析优化。 - 支持通过 Python、R、Java 等语言直接调用，适合集成到数据分析流程中。 2. **高性能分析** - **列式存储引擎**：优化扫描与聚合操作，适合处理大规模数据分析。 - **向量化查询执行**：利用现代 CPU 的 SIMD 指令并行处理数据，提升计算效率。 - 支持并行查询，充分利用多核 CPU。 3. **标准 SQL 兼容** - 支持完整的 SQL 语法（包括窗口函数、复杂子查询等），降低学习成本。 - 提供扩展功能如 `JSON` 处理、空间数据类型等。 4. **零管理依赖** - 无需复杂配置，单文件存储数据（默认扩展名 `.ddb`），便于迁移和共享。 --- ### 二、典型应用场景 1. **数据科学分析** - 直接读取 CSV、Parquet 等格式数据，替代传统文件处理工具（如 pandas）。 - 示例：在 Python 中快速查询 10GB 的 Parquet 文件： ```python import duckdb result = duckdb.sql("SELECT COUNT(*) FROM &#39;data.parquet&#39;").fetchall() ``` 2. **嵌入式分析** - 集成到应用程序中实现实时分析，如日志分析、用户行为统计等。 3. **教育与研究** - 轻量级部署，适合教学演示或小型研究项目。 --- ### 三、与其他数据库对比 | 特性 | DuckDB | SQLite | PostgreSQL | |---------------------|----------------|----------------|----------------| | **设计目标** | OLAP | OLTP | 通用型 | | **存储引擎** | 列式存储 | 行式存储 | 行/列扩展 | | **部署模式** | 嵌入式 | 嵌入式 | 客户端-服务器 | | **适用场景** | 数据分析 | 事务处理 | 复杂业务系统 | --- ### 四、快速上手示例（Python） ```python # 安装：pip install duckdb import duckdb # 连接数据库（内存模式） conn = duckdb.connect() # 直接查询 Parquet 文件 conn.sql("CREATE TABLE sales AS SELECT * FROM &#39;sales.parquet&#39;") # 执行分析查询 query = """ SELECT region, SUM(revenue) AS total FROM sales GROUP BY region ORDER BY total DESC """ result = conn.sql(query).fetchdf() # 返回 pandas DataFrame ``` --- ### 五、优势与局限 - **优势**： - 分析性能卓越，尤其在聚合、过滤等操作上。 - 轻量级且易于集成，适合资源受限环境。 - **局限**： - 不适合高并发写入场景（OLTP）。 - 暂不提供分布式架构，需结合其他工具扩展集群能力。 --- 如需深入探索，可访问 [DuckDB 官网](https://duckdb.org/) 或查阅其详细文档。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值