自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(72)
  • 收藏
  • 关注

原创 AI Coding项目效率翻倍的秘诀

AI编码工具的正确使用姿势 摘要:本文揭示了AI编码工具产出质量低下的核心原因——上下文信息不足。关键在于创建精简有效的AGENTS.md文件(200行以内),只包含关键规则和架构导航,而非冗长文档。文章提出仓库聚合方案打破前后端割裂,并强调验证闭环的重要性:通过脚本化请求+断言确保接口可用性。同时推荐将质量检查接入CI/CD流水线,实现从代码提交到部署的自动化验证。最后提供了AGENTS.md的标准模板,包含项目概述、架构说明、关键约定等9个模块,帮助开发者构建高效的AI编码上下文环境。

2026-05-06 15:46:42 402

原创 Spark 4.0 重磅升级:湖仓处理性能再突破

VARIANT 类型解决半结构化数据的存储与查询效率问题SQL UDF消除跨进程调用开销PySpark 增强让 Python 工程师告别语言切换管道语法提升 SQL 可维护性性能整体提升 30%,大规模湖仓场景收益最为明显建议在非生产环境优先验证 JDK 17 兼容性后,再推进版本迁移。

2026-04-20 23:19:03 349

原创 一文搞懂时间复杂度:从入门到避坑,小白也能秒懂

时间复杂度的核心的是“趋势”,不是“具体时间”。写代码时,优先选择O(1)、O(log n)、O(n)、O(n log n)的算法;数据量较大时,尽量避开O(n²)、O(2ⁿ),否则会严重影响程序效率。

2026-04-20 16:29:21 467

原创 大数据开发在AI平台的核心工作+AI提效全攻略

无论是单表、单任务新增字段,还是全链路新增字段,只需告诉AI“在哪个任务里新增哪个数据源的哪个字段”,AI就能一键完成:代码逻辑编写、语法检测、逻辑纠正、目标表结构调整,人工只需完成Review,即可上线。:新建表时,数仓开发写完代码后,需要根据字段上游数据类型、描述信息、加工口径,手动填写表的元数据(字段名、类型、描述),尤其是大型需求,一次性新增几十、上百个字段,极其耗费人力。在日常开发中,我们总会遇到任务异常、数据治理繁琐、重复性工作多等痛点,而AI的融入,正在彻底改变这种现状,大幅提升开发效率。

2026-04-14 15:56:41 386

原创 大数据去重必学:Bitmap与布隆过滤器,看完秒懂核心原理

对比维度Bitmap(位图)布隆过滤器(Bloom Filter)核心定位海量整数去重、快速排序海量元素存在性判断依赖基础单个位映射,无哈希函数(或单个)多个哈希函数 + Bitmap空间效率高(依赖元素ID范围)极高(不依赖ID范围)误判率无(映射唯一时)有(可通过调整哈希函数个数降低)支持删除支持(重置对应位为0)不支持适用场景整数去重、亿级排序缓存穿透、黑名单、存在性校验。

2026-04-13 16:09:41 408

原创 Doris 4.0+AI:数仓工程师的AI落地最优解

一条SQL,就能同时实现实时数仓的结构化数据处理、AI数据分析、向量检索能力,不用切换任何工具,一次性完成大模型所需的数据筛选,效率比传统“数仓+向量库+AI工具”的组合高出数倍。对于数仓工程师而言,这不再是“AI如何落地”的困惑,而是“用Doris 4.0,轻松实现AI落地”的确定性——无需重构架构,无需增加额外工具,让数仓真正回归“极简、标准、好用”的本质,同时跟上AI时代的步伐。

2026-04-12 21:25:23 261

原创 Spark内存管理

Spark内存管理

2026-03-14 14:39:31 40

原创 Hadoop基础知识

Hadoop基础知识

2025-10-10 09:58:43 1032

原创 分库分表内容

3、还可以将非分表键可以解析出分表键出来,比如常见的,订单号生成时,可以包含客户号进去,通过订单号查询,就可以解析出客户号。如果我们根据时间范围分片,某电商公司11月搞营销活动,那么大部分的数据都落在11月份的表里面了,其他分片表可能很少被查询,即数据倾斜了,有热点数据问题了。分表是:当我们数据量非常大的时候,我们的查询和存储的性能就会遇到瓶颈,因为那个时候b+树的层高可能就高于3层,这个时候就需要考虑分表。:比如A库中的a表和B库中的b表有关联,可以定时将指定的表做同步,将数据汇合聚集,生成新的表。

2025-05-30 15:17:35 1033

原创 Hadoop内容

HDFS特点。

2025-05-30 10:00:00 1076

原创 服务器线上问题解决方案

如果问题出在GC上,则考虑是不是内存不足,然后根据垃圾对象的特点进行参数调优,使用更适合的垃圾收集器,用thread命令分析各个线程的状态。CPU利用率过高,说明当前服务器要处理的指令比较多,当CPU忙不过来的时候,指令的运行效率自然就会下降,用户的感受就是程序响应变慢了。内存作为一块临时存储数据的组件,所有CPU运行的指令都需要从内存中去读/写。Arthas使用thread, 命令查询当前系统中占用CPU过高的进程,并通过thread id,查看线程堆栈查询到对应的方法,同时根据快照日志排查问题代码。

2025-05-25 15:00:00 1202

原创 常用设计模式

事件监听(Swing、Android)、消息队列(Kafka、RabbitMQ):构建复杂对象(SQL查询、HTTP请求)、配置类(StringBuilder):远程代理(RPC)、虚拟代理(图片懒加载)、动态代理(Spring AOP):定义对象的一对多依赖,当一个对象状态改变时,所有依赖它的对象都会收到通知。:将复杂对象的构建与表示分离,使得同样的构建过程可以创建不同的表示。:排序算法(快速排序、归并排序)、支付方式(微信、支付宝):将一个类的接口转换成客户端期望的另一个接口。

2025-05-25 10:00:00 346

原创 SpringMVC面试内容

总结来说,SpringMVC的请求处理流程从客户端请求开始,到DispatcherServlet的接收与分发,再到具体Controller的处理,最后通过ViewResolver解析视图并渲染,最终将响应返回给客户端。跨域请求(同源策略)是指浏览器中,前端页面通过AJAX等方式向与当前页面不同的域(协议、域名、端口)发起的HTTP请求。常见的请求类型有GET、POST、PUT、DELETE等。5、CORS(跨域问题)在前后端分离的开发中,前后端通常部署在不同的端口或不同的服务器上,这可能导致跨域问题。

2025-05-10 15:00:00 1011

原创 Python常见面试题

语句来捕获异常打印日志,处理错误并继续执行脚本,这样,遇到错误时可以捕获异常,打印错误信息,并让脚本继续执行。tuple:元素有序,不允许修改,添加,删除,可以包含重复元素,元组内通常存储,不需要修改的数据。的,一旦创建,元素不能修改、添加或删除,适用于数据固定且需要提高性能或作为字典键的场景。dict:每个键都是唯一的,键必须是不可变类型(字符串、数字、元组)的,可以修改、添加或删除元素,适用于需要频繁修改的场景。:不能作为字典的键,因为列表是可变的,不能被哈希。:递归地复制整个对象,包括嵌套的对象。

2025-05-10 10:00:00 443

原创 IOC&AOP面试内容

1、松耦合:Spring通过依赖注入(DI)和面向切面编程(AOP)来解耦对象之间的关系。DI使得对象的依赖关系由容器管理,而AOP则帮助将横切关注点(比如:日志、事务)于业务逻辑分离。2、简化开发:Spring提供了丰富的工具和库来简化企业应用开发,比如Spring MVC简化了Web开发,Spring Data简化了数据库操作,Spring Security为安全控制提供了全面的支持。3、容器管理:Spring是一个IOC容器,负责管理对象的生命周期和依赖关系。

2025-04-02 15:00:00 919

原创 SpringMVC运行流程

SpringMVC相关问题+Cookie+Session

2025-04-02 10:00:00 1180

原创 计算机网络-面试总结

计算机网络知识点总结

2025-02-22 10:22:53 2118

原创 Linux系统常用命令

Linux系统常用命令

2025-02-22 10:00:00 278

原创 Java并发-Volatile关键字

Java并发

2025-02-21 13:19:35 361

原创 Java并发-死锁&乐观锁&悲观锁

Java并发死锁条件、解决方案,以及乐观锁悲观锁的相关介绍

2025-02-21 10:00:00 1294

原创 测试相关基础

真实并发量(考虑到某些时间段使用人数比较少) = DAU(1200w)* 日均使用时长(1 小时,3600 秒) /一天的秒数-访问量比较小的时间段假设为 8 小时(57600)=1200w/16 = 75w。UV 从网页打开的数量/刷新的次数的角度来统计的。平均并发量 = DAU(1200w)* 日均使用时长(1 小时,3600 秒) /一天的秒数(86400)=1200w/24 = 50w。:服务器每秒处理的事务数(这里的一个事务可以理解为客户发出请求到收到服务器的过程);并发数反应了系统的负载能力。

2025-02-03 11:06:20 503

原创 背包问题和单调栈

01背包:n种物品,有一个,二维数组遍历顺序可以颠倒,(滚动数组)一维数组遍历顺序不可颠倒。使用场景:比当前元素(左/右)大/小的数。多重背包:n种物品,数量各不相同。完全背包:n种物品,有无限多个。

2025-02-03 11:02:41 233

原创 计算机网络-基础与协议栈

包括OSI七层参考模型和TCP/IP参考模型

2025-02-02 10:00:00 558

原创 TCP三次握手和四次挥手面试题

TCP三次握手和四次挥手面试题

2025-01-31 15:45:00 1070

原创 Mysql监视器搭建

Mysql监视器搭建

2025-01-03 15:59:58 358

原创 冒泡排序-Java版

冒泡排序-Java

2024-12-04 10:00:00 420

原创 十大经典排序算法

十大经典排序算法-面试必考

2024-11-30 10:00:00 2870

原创 初识红黑树

红黑树基础知识点

2024-11-29 10:00:00 429

原创 布隆过滤器

布隆过滤器

2024-11-28 10:00:00 894

原创 计算机网络面试题二

计算机网络面试题二

2024-11-27 10:00:00 1210

原创 系统性能测试

系统性能测试

2024-11-25 17:00:00 545

原创 计算机网络面试题一

计算机网络面试题一

2024-11-25 10:00:00 1328

原创 高可用设计

高可用设计

2024-11-23 15:00:00 866

原创 消息队列-知识点

消息队列-知识点

2024-11-22 10:00:00 3207

原创 深度分页实践

深度分页实践

2024-11-21 10:00:00 1955

原创 读写分库分表

读写分库分表

2024-11-20 20:16:55 1348

原创 Dubbo基础

Dubbo基础

2024-11-19 14:10:50 1186

原创 RPC基础知识点

RPC基础知识点

2024-11-18 15:44:14 728

原创 分布式锁实践方案

分布式锁实践方案,包括基于Redis实现分布式锁

2024-11-14 22:01:39 1430

原创 分布式ID项目实战

分布式ID项目实战

2024-11-13 20:37:55 1140

Mysql监视器资源包

Mysql监视器资源包

2025-01-03

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除