- 博客(153)
- 收藏
- 关注
原创 Raft 算法深度解析:角色、选举、日志复制与分区处理优化
Raft算法是一种分布式一致性算法,通过角色分工、任期机制和多数票决策实现数据一致性。核心角色包括Leader(唯一处理写请求)、Follower(被动响应)和Candidate(选举状态)。算法通过选举超时和心跳超时机制确保单一Leader,并利用日志复制保证数据一致性。网络分区时,只有多数节点子集群能产生有效Leader;分区恢复后,通过任期和日志对比自动解决多Leader问题。Raft的核心保障机制包括任期机制、多数票决策、日志完整性优先和日志不可变原则,确保分布式系统在容错情况下的数据一致性。
2025-09-27 11:18:28
548
原创 分布式系统核心概念:CAP、分布式锁与事务优化解析
本文深入解析分布式系统核心概念CAP理论及其应用实践。CAP理论指出分布式系统必须在一致性(C)、可用性(A)和分区容错性(P)之间权衡,通常需在CP和AP中选择。文章对比了ZooKeeper(CP)与Eureka(AP)的服务注册中心实现差异,并详细分析了基于Redis(AP)和ZooKeeper(CP)的分布式锁实现方案及适用场景。同时阐述了从ACID到BASE理论的演进,介绍了2PC、TCC等分布式事务实现方案。
2025-09-26 09:50:16
755
原创 LeetCode1
本文介绍了两个算法问题的解法。组合总和问题采用递归+回溯+剪枝策略,通过排序预处理、选或不选的分支处理,以及剪枝优化来寻找所有和为target的组合。分数转小数问题则需处理符号、整数部分和小数部分,通过长除法计算小数位,并使用哈希表检测循环节,最后按格式拼接结果。两问题都强调了预处理和边界条件的处理,通过系统化的方法提高算法效率。
2025-09-25 10:45:35
416
原创 大模型微调实战笔记:从数据集到 Agent 集成的全流程避坑指南
《大模型微调实战避坑指南》总结了从数据集设计到全链路工具落地(训练+评估) 最后Agent集成的全流程关键点
2025-09-24 14:52:55
1123
原创 递归和动态规划
递归是一种通过函数调用自身解决子问题的编程思想,将大问题拆分为结构相同的小问题,如阶乘计算。递归函数若仅依赖输入参数可视为纯函数,但存在重复计算问题。动态规划通过存储子问题解(DP数组)避免重复计算,可采用自顶向下或自底向上方法实现。递归数据结构如链表和树,其定义中包含对自身类型的引用,形成自引用结构。
2025-09-23 14:13:11
215
原创 LangChain框架 + 大模型
LangChain框架通过记忆组件(如对话缓存、摘要记忆)赋予大模型记忆能力,并借助Agent机制实现工具调用。快手采用"垂直领域优先"策略,构建了融合RAG与Agent的智能客服系统,通过多路召回和知识图谱提升回答质量。针对复杂任务,建议将流程工具分层(基础层、组合层、模板层)并封装为专用工具,以优化大模型的推理效率。此外,通过沉淀成功案例为模板工具,可复用经验,减少重复拆解任务的需求。
2025-09-23 11:03:34
680
原创 PPO vs GRPO:两大策略优化算法核心机制解析
本文对比分析了强化学习中PPO(近端策略优化)和GRPO(组内相对策略优化)两种算法的核心差异。
2025-09-22 09:39:56
1387
原创 Transformer 核心组件深度解析与 Python 实现
Transformer模型通过自注意力机制彻底革新了NLP领域。本文详细剖析了各组件原理与实现,包括位置编码的数学设计、注意力分数计算、FFN结构等关键环节,为理解BERT、GPT等衍生模型奠定了基础。
2025-09-22 08:59:00
1389
原创 Transformer代码实现思路
本文介绍了Transformer模型核心组件的实现思路:1) TokenEmbedding模块将输入序列转换为向量并添加位置编码;2) MultiHeadAttention实现多头自注意力机制,通过QKV矩阵计算Token间关系;3) LayerNorm进行残差连接和归一化;4) FFN前馈网络进行非线性变换;5) Encoder和Decoder通过堆叠上述组件完成编码解码过程。其中Decoder使用编码层输出的KV矩阵实现交叉注意力机制。整个架构通过自注意力、残差连接和归一化等机制实现序列建模。
2025-09-21 09:14:04
435
原创 动态规划中的背包问题:0/1 背包与完全背包的核心解析
聚焦0/1背包与完全背包的核心辨析:先拆解DP“状态与状态转移”基础逻辑,再直击两者最关键的遍历顺序差异(0/1背包内层倒序防物品重复、完全背包内层正序允重复),搭配Java代码(含错误示例)直观演示,最后用表格清晰对比核心特性,既讲透原理又贴合实际编码。
2025-09-21 08:37:58
1125
原创 消息队列优化指南:处理堆积与保障消息可靠性
本文针对消息队列系统中常见的消息堆积问题和消息丢失风险,提供系统性解决方案。通过分析消息堆积的成因,提出包括扩容、优化、限流等实用方法;同时,结合持久化、确认机制、高可用架构等技术手段,详细阐述如何确保消息不丢失。无论是开发人员还是运维工程师,均可通过本文快速掌握消息队列的优化策略。
2025-04-28 12:09:47
1057
原创 JUC并发编程
volatile和JMM:1. volatile修饰变量的特点、2. 内存屏障、3. volatile特性:有序性、可见性、4. happens-before之volatile变量规则、5. volatile、6. JMM
2024-12-17 03:30:00
2434
原创 AI模型从训练到部署:源码示例
以上是一个简单的示例,它演示了如何使用TensorFlow和Flask将图像分类模型部署为一个Web应用程序。但请注意,具体的实施方法取决于你的具体需求和技术栈选择。你可能需要根据自己的情况进行适当的修改和调整。当涉及到从训练到部署AI模型的源码示例时,具体的实施方法取决于你使用的具体框架、模型类型和部署环境。以下是一个示例,演示了使用TensorFlow和Flask将一个训练的图像分类模型部署为一个Web应用程序。
2024-12-14 12:52:35
625
原创 人工智能在现代科技中的应用和未来发展趋势
最后,人工智能的伦理和法律问题也将成为重要的研究方向,包括隐私保护、社会公正和责任分配等问题。人工智能(Artificial Intelligence,AI)是一种通过模拟人类智能的方式,使计算机系统具备理解、学习、推理和决策等能力的技术。人工智能可以通过大数据分析和机器学习算法,帮助金融机构进行风险评估、投资决策和欺诈检测等,提高金融系统的稳定性和效率。人工智能可以根据学生的学习需求和进度,提供个性化的教学内容和学习指导,提高学生的学习效果。此外,人工智能还可以在教师评估和课程设计等方面发挥重要作用。
2024-12-11 09:56:35
413
原创 Apache Spark 的基本概念和在大数据分析中的应用
动作操作:Spark 提供了一系列的动作操作,如count、collect、save等,用于对 RDD 进行触发计算并返回结果。转换操作:Spark 提供了一系列的转换操作,如map、filter、reduce等,用于对 RDD 进行转换和处理。弹性分布式数据集(RDD):RDD 是 Spark 的核心抽象,在内存中存储分布式数据集,提供了高效并行计算的能力。机器学习:Spark 提供了机器学习库(MLlib),可以进行大规模的机器学习任务,如分类、聚类、回归等。
2024-12-10 22:51:56
534
原创 区块链技术的应用场景和优势
物流和供应链管理:区块链可以跟踪和验证物流过程中的产品流向,确保产品的真实性和可追溯性。金融行业:区块链可以用于去中心化的数字货币和支付系统,提供快速、安全、低成本的跨境转账和支付服务。版权管理和知识产权保护:区块链可以记录和验证知识产权的所有权和交易记录,确保内容创作者的权益得到保护,并提供便利的授权和付款机制。医疗健康:区块链可以用于医疗记录的安全存储和共享,确保医疗数据的隐私和准确性。透明性:所有的交易和数据都会被记录在区块链上,所有参与者都可以查看和验证交易,提高透明度和信任度。
2024-12-10 22:51:21
677
原创 JUC高级编程
CompletableFuture:1. Future接口理论知识、2. FutureTask实现类异步任务、3. Future优缺点、4. CompleteableFuture对Future的改进、5. CompletableFuture大厂案例精讲、6. CompleteableFuture常用方法
2024-12-09 02:45:00
1738
原创 JUC高级编程
Java锁:1. 大厂面试题、2. 乐观锁和悲观锁、3. Synchronized的8种情况、4. 公平锁和非公平锁、5. 可重入锁ReentrantLock、6. 死锁及排查
2024-12-08 03:15:00
1008
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅