- 博客(16)
- 收藏
- 关注
RSS订阅原创 Kafka 一直来消息，StarRocks 怎么持续导入？Routine Load 讲明白
Progress 记录各 Kafka 分区已经消费到的位置。它不是订单数量，也不是 StarRocks 表中的行号。发送新消息并被消费后，这个位置应该继续向后移动。图 2：先确认作业状态，再核对累计导入数据和消费位置；暂停时根据原因和错误日志处理。1. 指定来源Kafka Broker + Topic + 起始位置2. 创建作业指定消息格式和目标表3. 持续消费BE 从 Kafka 读取新消息并写入表4. 检查运行看 State、Statistic、Progress 和错误原因。
2026-08-24 22:36:14
346
原创 一份 CSV 怎么导进 StarRocks？Stream Load 从命令到结果讲明白
本文演示了如何将包含两笔订单的CSV文件导入StarRocks数据库的orders_rt表。首先准备CSV文件，确保列顺序与表字段对应；然后通过curl命令执行Stream Load，详细解释了命令中的关键参数如用户认证、唯一标识Label、列分隔符和字段映射等；最后解析返回的JSON结果，重点检查状态、行数和过滤情况，并通过查询确认数据成功导入。文章强调要全面验证导入结果，而不仅仅依赖Success状态，确保数据完整性和准确性。
2026-08-19 23:36:55
389
原创 数据怎么进入 StarRocks？INSERT、Stream Load、Routine Load 和 MySQL CDC 怎么选？
开发阶段手动验证一笔订单→ INSERT 运营给了一份历史订单 CSV→ Stream Load 订单事件已经持续写入 Kafka→ Routine Load 生产 MySQL 订单表需要持续同步当前状态→ Flink CDC 等 CDC 链路这四种方式没有谁一定更高级。真正重要的是：数据从哪里来，是一次性的还是持续产生的，需不需要跟踪更新和删除。把这三个问题回答清楚，选择通常就不会偏得太远。
2026-08-17 21:36:50
376
原创 从 MySQL 订单表到 StarRocks：第一张主键表怎么建？
本文基于MySQL订单表同步到StarRocks的场景，从业务需求出发，详细阐述了表模型、分区和分桶的设计过程。通过分析订单数据特点（如状态更新、时间范围查询等），最终确定采用主键模型确保状态更新、按稳定的order_date分区优化时间范围查询、以order_id分桶实现数据均匀分布。文章提供了完整的建表语句，并通过两次写入验证主键模型的更新行为，强调设计需满足主键表约束（主键需包含分区和分桶列）。同时指出该方案的适用边界，如分区字段需保持稳定、分区粒度需结合实际数据量调整等，为类似场景提供了可落地的设计
2026-08-12 23:35:06
358
原创 同一个 Key 写入两次，StarRocks 会留下什么？四种表模型讲明白了
StarRocks 的四种表模型解析：从业务场景看数据更新策略 摘要： 本文通过一笔订单状态变化的实际案例，深入浅出地讲解了StarRocks四种表模型的核心区别和应用场景。明细模型保留所有历史记录，适合日志分析；主键模型仅保留最新状态，适用于实时数据同步；聚合模型按规则合并指标，用于预聚合统计；更新模型是早期实现，现已被主键模型取代。文章提供了清晰的选择路径：需要完整历史选明细模型，只需最新状态用主键模型，固定维度汇总用聚合模型。表模型与分区、分桶策略相互独立，共同构建高效的数据存储方案。 （字数：149
2026-08-09 23:32:22
325
原创 数据为什么会分到不同 BE？StarRocks 的分区和分桶终于讲清了
StarRocks数据分布机制的两层核心设计：分区与分桶。分区按业务维度（如时间）划分数据范围，实现查询时的分区裁剪；分桶将每个分区拆分为更小单元，通过哈希规则分布到不同BE节点，支持并行计算。分区决定扫描范围，分桶组织数据分布与并行处理。典型实现如按月分区后按订单ID分桶，写入时先确定月份分区再哈希分桶，查询时先裁剪无关分区再并行扫描相关分桶。设计需注意分区粒度合理性及分桶键的分散性，兼顾查询效率与负载均衡。该机制解决了海量数据分布与高效查询的核心问题。
2026-08-06 22:47:29
352
原创 一条 SQL 在 StarRocks 里经历了什么？终于看懂 FE 和 BE
本文通过一条SQL查询示例，简明解析了StarRocks中FE（Frontend）和BE（Backend）的核心分工与协作流程。FE负责接收SQL、校验元数据、生成执行计划并调度任务，扮演查询组织者角色；BE则承担数据存储、读取及实际计算任务，通过MPP架构并行处理数据。查询流程表现为：客户端提交SQL→FE解析规划→分发BE并行执行→结果汇总返回。这种存算分离的设计使FE专注于全局协调，BE高效处理海量数据，共同构成StarRocks高性能分析能力的基础。文章最后指出分区/分桶机制是理解数据分布的关键，为
2026-08-03 23:12:07
233
原创 一条 SQL，为什么能让多台机器一起算？StarRocks 的 MPP 终于讲明白了
这篇文章以通俗易懂的方式讲解了StarRocks的MPP（大规模并行处理）架构如何实现高效数据分析。通过一个统计各城市销售额的SQL示例，文章形象地展示了查询如何被拆分为多个并行执行阶段：FE生成分布式执行计划，BE节点分别处理部分数据并本地聚合，最后合并中间结果。重点强调了"本地计算优先"原则和并行计算的边界条件，指出增加节点不一定线性提升性能。文章采用"拆-并-合"三字口诀帮助读者理解MPP核心思想，并澄清了常见误解，为后续深入学习StarRocks架构奠定了基础。
2026-08-02 21:10:47
313
原创 StarRocks 是什么？为什么有了 MySQL 还需要它
本文探讨了StarRocks与MySQL的定位差异。作者通过电商订单查询的两个典型场景，对比了OLTP（联机事务处理）与OLAP（联机分析处理）的不同需求：MySQL擅长高并发的单笔业务处理（如订单查询），而StarRocks专为大规模数据分析设计，采用MPP架构实现并行计算，支持列式存储和实时分析，适合报表、经营大屏等聚合查询场景。文章指出，两者应协作而非替代——MySQL处理核心业务，StarRocks承接分析任务，并列举了适合采用分析型数据库的典型特征，最终用商场比喻形象说明二者的分工关系。
2026-08-02 13:49:49
247
原创 拆开 Harness：Agent 可靠工作的三套机制
摘要： AI应用的演进从Prompt、Context到Agent，最终进入Harness阶段，旨在为Agent设定行动边界与验证机制。Harness如同AI工厂，包含三大核心： Rules（规则）：明确Agent的行为边界，如数据脱敏、格式规范等，避免重复解释； MCP（工具接口）：标准化连接外部数据和API，解决信息获取与操作权限问题； Skills（技能）：封装任务SOP，如竞品分析框架，确保输出质量稳定。 三者协同使Agent从“回答问题”升级为“融入工作流”，结合循环执行与人工审核，实现可控的自动化
2026-07-23 23:15:12
355
原创 从 Prompt 到 Context、Agent、Harness：AI 应用范式的发展之路
AI应用正从单纯优化提问技巧（Prompt）转向构建可靠系统： Prompt阶段：聚焦如何清晰表达任务（指令/示例/格式） Context阶段：解决信息供给问题（检索/记忆/关键材料筛选） Agent阶段：实现目标驱动行动（自主规划/工具调用/循环执行） Harness阶段：构建安全边界（权限控制/验证机制/人机接管） 核心演进逻辑是从"生成文本"到"完成可信任务"，各阶段能力叠加而非替代。开发者需关注系统化设计（上下文管理/行动监控/结果验证），普通用户可通过结构化输入提升效果。
2026-07-20 23:30:57
189
原创 个人网站部署（服务器nginx部署，含原始部署和docker部署）
这里使用的服务器为阿里云的云服务器，选择的操作系统为centos7.6，如果是其他商家的也可以，操作系统一样就行。首先先简述一下nginx是什么nginx是一款高性能的HTTP和反向代理服务器，同时也可以作为负载均衡器、邮件代理服务器等。
2025-01-10 14:13:20
1746
原创 Docker的安装与使用
5.在国内，镜像下载速度可能比较慢，可以使用国内的镜像加速器提升下载速度，在docker desktop中点击设置，找到docker engine选项，在配置文件中添加配置，镜像地址参考上面centos替换镜像地址步骤，接着重启docker即可。镜像的名称不是随意的，而是要到Docker Registry中寻找，镜像运行时的配置也不是随意的，要参考镜像的帮助文档，这些在DockerHub网站或者软件的官方网站中都能找到。，当访问宿主机指定端口时，就是在访问容器内的端口了。
2024-12-25 09:52:58
1135
原创 个人网站部署（免服务器版本）
对于一些刚学完前端知识，手搓了一个自己的网页的小伙伴来说，肯定想要把自己的网页暴露出去，让别人也能够访问的到，而不是将代码发给对方，让对方运行你的代码来看，或者是自己运行完后截图给对方看，而去买服务器的话，又只是一个静态网页，暂时没有其他的业务功能响应，想着买来可能有点浪费，那这时候一个提供静态资源网络托管的平台就非常有用了！选择好后会弹出对应平台的一个校验窗口，点击授权即可，接下来便可以看到你代码仓库所在平台的一些仓库，如果没有找到你想要的仓库的话，则点击底部的一个链接。最终呈现的域名就是这样的。
2024-12-24 01:04:14
2079
1
原创 微信公众号推文与个人网站文章同步（续）
上篇文章讲述了我所搜集到的三种方法，第一种方法调用微信公众号的接口开发并没有尝试（下文会给出大致思路），因为如果进行调用的话，网站后台需要构建跟微信公众号推文编写一样的界面，而且需要进行素材库的一个存储，如果是已经经营过长时间的公众号，素材库里面有很多内容，将他们重新存储到数据库，再在网站后台呈现出来比较麻烦，所以我只实现了后两种方法。通过链接进入后，可以发现正是我们发布的推文内容，可以进行一个网页检查，右键点击检查或者按f12键查看网页源码，便可以进行一个相应内容的爬取。看完以上内容，你是否学会了呢？
2024-12-23 13:54:12
2467
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人