- 博客(72)
- 收藏
- 关注
原创 AI Coding项目效率翻倍的秘诀
AI编码工具的正确使用姿势 摘要:本文揭示了AI编码工具产出质量低下的核心原因——上下文信息不足。关键在于创建精简有效的AGENTS.md文件(200行以内),只包含关键规则和架构导航,而非冗长文档。文章提出仓库聚合方案打破前后端割裂,并强调验证闭环的重要性:通过脚本化请求+断言确保接口可用性。同时推荐将质量检查接入CI/CD流水线,实现从代码提交到部署的自动化验证。最后提供了AGENTS.md的标准模板,包含项目概述、架构说明、关键约定等9个模块,帮助开发者构建高效的AI编码上下文环境。
2026-05-06 15:46:42
402
原创 Spark 4.0 重磅升级:湖仓处理性能再突破
VARIANT 类型解决半结构化数据的存储与查询效率问题SQL UDF消除跨进程调用开销PySpark 增强让 Python 工程师告别语言切换管道语法提升 SQL 可维护性性能整体提升 30%,大规模湖仓场景收益最为明显建议在非生产环境优先验证 JDK 17 兼容性后,再推进版本迁移。
2026-04-20 23:19:03
349
原创 一文搞懂时间复杂度:从入门到避坑,小白也能秒懂
时间复杂度的核心的是“趋势”,不是“具体时间”。写代码时,优先选择O(1)、O(log n)、O(n)、O(n log n)的算法;数据量较大时,尽量避开O(n²)、O(2ⁿ),否则会严重影响程序效率。
2026-04-20 16:29:21
467
原创 大数据开发在AI平台的核心工作+AI提效全攻略
无论是单表、单任务新增字段,还是全链路新增字段,只需告诉AI“在哪个任务里新增哪个数据源的哪个字段”,AI就能一键完成:代码逻辑编写、语法检测、逻辑纠正、目标表结构调整,人工只需完成Review,即可上线。:新建表时,数仓开发写完代码后,需要根据字段上游数据类型、描述信息、加工口径,手动填写表的元数据(字段名、类型、描述),尤其是大型需求,一次性新增几十、上百个字段,极其耗费人力。在日常开发中,我们总会遇到任务异常、数据治理繁琐、重复性工作多等痛点,而AI的融入,正在彻底改变这种现状,大幅提升开发效率。
2026-04-14 15:56:41
386
原创 大数据去重必学:Bitmap与布隆过滤器,看完秒懂核心原理
对比维度Bitmap(位图)布隆过滤器(Bloom Filter)核心定位海量整数去重、快速排序海量元素存在性判断依赖基础单个位映射,无哈希函数(或单个)多个哈希函数 + Bitmap空间效率高(依赖元素ID范围)极高(不依赖ID范围)误判率无(映射唯一时)有(可通过调整哈希函数个数降低)支持删除支持(重置对应位为0)不支持适用场景整数去重、亿级排序缓存穿透、黑名单、存在性校验。
2026-04-13 16:09:41
408
原创 Doris 4.0+AI:数仓工程师的AI落地最优解
一条SQL,就能同时实现实时数仓的结构化数据处理、AI数据分析、向量检索能力,不用切换任何工具,一次性完成大模型所需的数据筛选,效率比传统“数仓+向量库+AI工具”的组合高出数倍。对于数仓工程师而言,这不再是“AI如何落地”的困惑,而是“用Doris 4.0,轻松实现AI落地”的确定性——无需重构架构,无需增加额外工具,让数仓真正回归“极简、标准、好用”的本质,同时跟上AI时代的步伐。
2026-04-12 21:25:23
261
原创 分库分表内容
3、还可以将非分表键可以解析出分表键出来,比如常见的,订单号生成时,可以包含客户号进去,通过订单号查询,就可以解析出客户号。如果我们根据时间范围分片,某电商公司11月搞营销活动,那么大部分的数据都落在11月份的表里面了,其他分片表可能很少被查询,即数据倾斜了,有热点数据问题了。分表是:当我们数据量非常大的时候,我们的查询和存储的性能就会遇到瓶颈,因为那个时候b+树的层高可能就高于3层,这个时候就需要考虑分表。:比如A库中的a表和B库中的b表有关联,可以定时将指定的表做同步,将数据汇合聚集,生成新的表。
2025-05-30 15:17:35
1033
原创 服务器线上问题解决方案
如果问题出在GC上,则考虑是不是内存不足,然后根据垃圾对象的特点进行参数调优,使用更适合的垃圾收集器,用thread命令分析各个线程的状态。CPU利用率过高,说明当前服务器要处理的指令比较多,当CPU忙不过来的时候,指令的运行效率自然就会下降,用户的感受就是程序响应变慢了。内存作为一块临时存储数据的组件,所有CPU运行的指令都需要从内存中去读/写。Arthas使用thread, 命令查询当前系统中占用CPU过高的进程,并通过thread id,查看线程堆栈查询到对应的方法,同时根据快照日志排查问题代码。
2025-05-25 15:00:00
1202
原创 常用设计模式
事件监听(Swing、Android)、消息队列(Kafka、RabbitMQ):构建复杂对象(SQL查询、HTTP请求)、配置类(StringBuilder):远程代理(RPC)、虚拟代理(图片懒加载)、动态代理(Spring AOP):定义对象的一对多依赖,当一个对象状态改变时,所有依赖它的对象都会收到通知。:将复杂对象的构建与表示分离,使得同样的构建过程可以创建不同的表示。:排序算法(快速排序、归并排序)、支付方式(微信、支付宝):将一个类的接口转换成客户端期望的另一个接口。
2025-05-25 10:00:00
346
原创 SpringMVC面试内容
总结来说,SpringMVC的请求处理流程从客户端请求开始,到DispatcherServlet的接收与分发,再到具体Controller的处理,最后通过ViewResolver解析视图并渲染,最终将响应返回给客户端。跨域请求(同源策略)是指浏览器中,前端页面通过AJAX等方式向与当前页面不同的域(协议、域名、端口)发起的HTTP请求。常见的请求类型有GET、POST、PUT、DELETE等。5、CORS(跨域问题)在前后端分离的开发中,前后端通常部署在不同的端口或不同的服务器上,这可能导致跨域问题。
2025-05-10 15:00:00
1011
原创 Python常见面试题
语句来捕获异常打印日志,处理错误并继续执行脚本,这样,遇到错误时可以捕获异常,打印错误信息,并让脚本继续执行。tuple:元素有序,不允许修改,添加,删除,可以包含重复元素,元组内通常存储,不需要修改的数据。的,一旦创建,元素不能修改、添加或删除,适用于数据固定且需要提高性能或作为字典键的场景。dict:每个键都是唯一的,键必须是不可变类型(字符串、数字、元组)的,可以修改、添加或删除元素,适用于需要频繁修改的场景。:不能作为字典的键,因为列表是可变的,不能被哈希。:递归地复制整个对象,包括嵌套的对象。
2025-05-10 10:00:00
443
原创 IOC&AOP面试内容
1、松耦合:Spring通过依赖注入(DI)和面向切面编程(AOP)来解耦对象之间的关系。DI使得对象的依赖关系由容器管理,而AOP则帮助将横切关注点(比如:日志、事务)于业务逻辑分离。2、简化开发:Spring提供了丰富的工具和库来简化企业应用开发,比如Spring MVC简化了Web开发,Spring Data简化了数据库操作,Spring Security为安全控制提供了全面的支持。3、容器管理:Spring是一个IOC容器,负责管理对象的生命周期和依赖关系。
2025-04-02 15:00:00
919
原创 测试相关基础
真实并发量(考虑到某些时间段使用人数比较少) = DAU(1200w)* 日均使用时长(1 小时,3600 秒) /一天的秒数-访问量比较小的时间段假设为 8 小时(57600)=1200w/16 = 75w。UV 从网页打开的数量/刷新的次数的角度来统计的。平均并发量 = DAU(1200w)* 日均使用时长(1 小时,3600 秒) /一天的秒数(86400)=1200w/24 = 50w。:服务器每秒处理的事务数(这里的一个事务可以理解为客户发出请求到收到服务器的过程);并发数反应了系统的负载能力。
2025-02-03 11:06:20
503
原创 背包问题和单调栈
01背包:n种物品,有一个,二维数组遍历顺序可以颠倒,(滚动数组)一维数组遍历顺序不可颠倒。使用场景:比当前元素(左/右)大/小的数。多重背包:n种物品,数量各不相同。完全背包:n种物品,有无限多个。
2025-02-03 11:02:41
233
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅