- 博客(126)
- 收藏
- 关注
RSS订阅
原创 技术架构师成长路线（2025版）
操作系统内核参数、优化文件系统和磁盘 I/O 调度算法、合理配置网络参数等。了解不同操作系统（如 Linux、Windows 等）在性能优化方面的特点和差异，掌握如何根据系统的应用场景和负载情况进行操作系统的优化。学习使用操作系统自带的性能监控工具（如 top、vmstat、iostat 等）对系统资源进行实时监控和分析。学习长路漫漫，大家共勉！
2025-02-03 20:23:24
4912
3
原创 亿级分布式系统架构演进实战（十一）- 垂直拆分（服务治理体系、安全架构升级）
SkyWalking作为Apache顶级项目，广泛用于微服务监控（如阿里、腾讯生产环境）。：可选H2（测试）、Elasticsearch（生产），本文选择ES集群。：支持多维度路由（IP、用户ID、Header），灵活适配业务场景。：提供可视化Dashboard，展示拓扑图、链路详情、性能指标。：支持自动拓扑发现、服务性能指标、慢服务检测、链路追踪等。：设置索引生命周期管理（ILM），保留最近30天数据。：敏感数据（如手机号、身份证号）在传输和存储前脱敏。
2025-03-26 09:35:45
938
原创 亿级分布式系统架构演进实战（十）- 垂直拆分（分布式事务管理设计）
通过Try-Confirm-Cancel三阶段，支持自定义补偿逻辑。：实现简单，适合对一致性要求不高的场景（如日志记录）。：高吞吐量（TPS > 10k），适合订单创建场景。：通过全局锁机制自动回滚事务，减少业务侵入。：同步阻塞，性能较低（TPS < 500）。：通过事件驱动逐步执行事务，失败时逆向补偿。：依次执行子事务（如创建订单 → 扣库存）。：记录事务前后的数据镜像，用于自动回滚。：逆向回滚（如取消订单 → 返还库存）。：对异常事务执行修复（如重试或回滚）。：解耦业务与消息发送，适合微服务架构。
2025-03-26 09:33:03
1071
原创 亿级分布式系统架构演进实战（九）- 垂直拆分（服务间通信设计）
使用Tag-Length-Value（TLV）格式压缩数据，体积比JSON小3-5倍。：通过OpenFeign声明式接口封装HTTP调用，减少重复代码。：基于动态代理生成HTTP客户端，将接口方法映射为HTTP请求。：滑动窗口统计异常比例（默认5秒窗口），触发后直接拒绝请求。：支持负载均衡（Ribbon）、超时配置、日志跟踪。：单连接支持并行请求，避免HTTP/1.1队头阻塞。：通过探针（Agent）收集服务调用链，生成拓扑图。：记录状态变更历史，支持数据修复与业务分析。
2025-03-25 18:16:08
1242
原创 亿级分布式系统架构演进实战（八）- 垂直拆分（领域划分及垂直分库设计）
将系统拆分为多个高内聚的业务单元，每个单元内数据模型自洽。：单个领域内可完成核心业务流程（如订单创建到发货）：领域内数据自包含，跨领域交互仅通过事件/API。：定义跨上下文交互模式（如防腐层、共享内核）。：跨网络查询延迟较高，适合低频运营分析。：简化复杂查询，避免数据冗余。，禁止跨库直接访问。
2025-03-25 18:11:44
957
原创 亿级分布式系统架构演进实战（七）- 横向扩展（安全防护设计）
本文围绕亿级分布式系统架构中保障系统安全、抵御攻击的核心目标，构建了多层级安全防护体系。设计了 DDoS 防护（云厂商高防 IP、WAF 规则）、流量控制（Sentinel 熔断、动态限流）、HTTPS/TLS 加密传输、数据安全（脱敏、加密存储）、服务间鉴权（JWT）及权限控制（RBAC）等方案。针对横向扩展后常见问题，提出了数据一致性（半同步复制、强制读主库）、负载均衡（一致性哈希）、缓存一致性（版本号控制）、分布式事务（Saga 模式）等解决方案。通过部署 Nginx WAF、Prometheus 监
2025-03-12 08:30:00
1803
原创 亿级分布式系统架构演进实战（六）- 横向扩展（监控与日志体系）
本文聚焦亿级分布式系统架构中实现全链路可观测性、快速定位性能瓶颈的核心目标，构建了多层级监控体系。设计了应用层（JVM、线程池、HTTP 接口）、数据库层（连接数、慢查询）、缓存层（命中率、内存使用）的指标监控方案，通过 Prometheus 与 Micrometer 实现数据采集与告警规则配置。搭建 ELK/EFK 集中式日志系统，实现日志分级存储、脱敏处理及生命周期管理。设计阈值告警与根因分析机制，结合自动化脚本实现故障自愈。通过 Prometheus 集群、ELK 集群部署及应用接入配置，显著提升了系
2025-03-12 08:15:00
636
原创 亿级分布式系统架构演进实战（五）- 横向扩展（缓存策略设计）
本文围绕亿级分布式系统架构中降低数据库读压力、提升响应速度的核心目标，详细阐述了多级缓存架构及相关策略。介绍了包括客户端缓存、本地缓存（Caffeine）、分布式缓存和数据库缓存的多级缓存架构，分析了不同层级缓存的数据类型、读写方案、一致性方案及监控配置等。同时，对多级缓存的淘汰策略、更新策略和一致性保障方案进行设计，对比了不同方案的优劣及适用场景。针对热点数据问题，提出了热点发现机制和三级防护体系。此外，还给出了缓存雪崩、穿透、击穿等常见问题的解决思路和实现细节。实践表明，多级缓存能显著减少磁盘 I/O
2025-03-11 09:48:24
872
原创 亿级分布式系统架构演进实战（三）- 横向扩展（数据库读写分离）
虽然数据库采用了半同步机制，但是从库还是有几率因为延迟使得请求读取了旧数据，对于对数据实时性很高的场景，可以强制走主库。（例如 IO 等待占 50% → 2 + 0.5/0.5 = 3 → 最大线程数 = 8×3=24）（例如 CPU 占 60%，IO 占 40% → 1 + 0.4 = 1.4 倍）1、mysql实现主从架构，采用ShardingSphere路由实现读写分离。数据库由原理的单实例变成主从模式，主主要负责写，从负责读。• 服务器：8 核 CPU，IO 平均等待时间占比 70%
2025-03-11 08:15:00
1414
原创 亿级分布式系统架构演进实战（四）- 横向扩展（负载均衡与弹性伸缩）
对于弹性伸缩方案选择方向有两个，一个是根据运行指标自动伸缩，一个是根据运行指标预警运维人员手动进行资源伸缩。通过以上改造，营销中台系统能够及时感知服务是否健康，资源是否吃紧，以便快速响应及处理。并通过对流量限流、服务降级/熔断等处理，很好的提升系统整体稳定性。2、利用Prometheus指标预警，及时对应用服务资源、数据库服务资源、消息服务资源、带宽资源等资源及时进行伸缩处理。3、利用sentinel对系统流量进行限流及对服务实现降级、熔断处理。• 选择纵向扩容（提升配置）或横向扩容（增加实例）
2025-03-11 08:15:00
815
原创 亿级分布式系统架构演进实战（二）- 横向扩展（服务无状态化）
以上应用服务可以实现无状态话，当应用服务达到性能瓶颈的时候，可通过横向增加节点，然后利用nginx的负载均衡调度，实现性能增加。这项改造其实跟服务无状态话这个目标是没有什么关联性的，本地内存的作用是提升性能，这里是顺便优化了，你们可以根据情况自行选择。使用分布式会话存储，避免横向扩展后多节点会话信息不能共享问题，如用户登录会话。：传统单体应用中，用户会话存储在服务实例内存，无法支持多实例负载均衡。• 阶段1：新会话写入Redis，同时保留本地Session（双写）
2025-03-10 08:00:00
5849
原创 手脑革命：拆解Manus AI如何用“执行智能体”重构生产力——中国团队突破硅谷未竟的技术深水区
中国团队Monica.im推出的通用AI智能体Manus于2025年3月6日发布，引发全球关注。其核心能力在于通过多智能体架构（规划、执行、验证代理）实现任务闭环，例如自动筛选简历、生成股票分析报告等，GAIA基准测试中性能超越OpenAI同类模型。技术整合现有大模型（如Claude 3.5、DeepSeek）并封装为端到端解决方案，但被质疑缺乏底层创新。内测邀请码被炒至5万元，AI概念股大涨，但面临算力成本高（单任务GPU消耗达42.7小时）和伦理争议（职业替代风险）。Manus被视为AI从生成式迈向执行
2025-03-07 11:11:12
1216
原创 Agent 框架与应用
将复杂任务拆解为标准化流程（Standard Operating Procedure, SOP），并分配给不同 Agent 执行。
2025-03-06 14:32:59
586
原创 LangChain原理解析及开发实战指南（2025年最新版）
LangChain是基于提示工程(Prompt Engineering)构建的LLM应用开发框架，其核心思想是通过模块化组件实现大语言模型与业务系统的无缝对接。
2025-02-28 18:49:33
1051
原创 企业级智能对话AI助手（二）基于 DeepSeek-R1 的专业领域意图识别系统实现
在自然语言处理（NLP）领域，意图识别（Intent Classification）是构建智能对话系统的核心任务之一。无论是智能客服、虚拟助手还是专业领域的问答系统，意图识别都能帮助系统准确理解用户的需求并提供相应的响应。本文介绍如何基于 Python 和 Hugging Face 的 Transformers 库，利用 DeepSeek-R1-Distill-Qwen-1.5B 模型实现一个专业领域的意图识别系统，涵盖法律查询、病虫害防治、OA 审批等场景。
2025-02-28 13:48:31
1026
2
原创 RAG中的向量数据库：底层技术剖析、主流库对比与内容更新策略
向量数据库是RAG系统中实现高效检索的关键，其底层技术（如HNSW、IVF、PQ）决定了性能与扩展性。主流库如Pinecone、Milvus、Weaviate和Faiss各有侧重，选择需根据项目规模、实时性和运维能力权衡。内容更新方面，增量与批量策略的结合可满足不同场景需求。
2025-02-26 11:14:12
3539
原创 CPU环境使用DeepSeek微调打造智能医学AI博士助手：从原理到实践
微调是指在预训练模型的基础上，通过在特定任务或领域的数据集上进一步训练，使模型适应新的需求。效率高：利用预训练模型已有的知识，收敛速度更快。数据需求少：只需少量标注数据即可实现较好的效果。性能优：继承了预训练模型强大的语言理解能力。对于像DeepSeek这样的语言模型来说，微调的过程通常涉及调整模型参数，使其在特定任务（如医学问答）上的损失函数最小化。然而，传统微调需要更新模型的全部参数，对于亿级参数的模型来说，这不仅计算成本高昂，还需要强大的硬件支持。
2025-02-26 10:34:54
6848
3
原创 高并发系统架构设计全链路指南
ShardingSphere 读写分离 + 分库分表。：数据库单点压力大，单表行数过多影响查询效率。：RocketMQ 异步下单 + 线程池优化。：服务无状态化 + 负载均衡 + gRPC。：屏蔽分库分表复杂性，提高开发效率。：避免业务阻塞，提升并发处理能力。：减少单库压力，提高并发处理能力。：降低服务间延迟，提高 QPS。：优化请求调度，提高吞吐能力。：解耦服务，提高系统扩展能力。，优化架构，提高吞吐量。
2025-02-19 13:51:54
1182
原创 AI Agent架构深度解析：从ReAct到AutoGPT，自主智能体的技术演进与工程实践
前言觉得不错就点个赞吧！。（配图：AI Agent架构演进时间轴，标注关键技术节点）（表格：架构对比分析）（配图：分层架构图，包含以下模块）二、核心模块技术实现细节2.1 ReAct引擎：思维链的工程化实现（配图：ReAct工作流程图）算法伪代码：关键技术点：（配图：记忆网络结构图）2.2.2 记忆压缩算法采用Google最新研究成果：I(st)=1N∑i=1NKL(p(⋅∣st)∣∣p(⋅))I(s_t) = \frac{1}{N}\sum_{i=1}^N \text{KL}(p(\cd
2025-02-19 12:42:37
1196
原创 DeepSeek vs ChatGPT：两大AI语言模型的全面对决
GPT-4在复杂算法题上表现更优，且代码注释规范性更强；DeepSeek对中文注释的支持更友好。（基于GPT-4）的竞争备受关注。本文从技术架构、性能表现到商业化落地，展开多维度深度对比。：DeepSeek中文数学题表现反超GPT-4，但多步骤推理易出现“跳跃性错误”。：GPT-4在通用性上领先，DeepSeek在中文垂类场景更精准。：GPT-4生态更成熟，DeepSeek国产化适配占优。在大模型技术飞速发展的今天，国产新星。
2025-02-19 08:45:00
1057
原创 微服务生产环境常见问题及解决方案
对有状态服务（如 Redis、TiDB），使用 StatefulSet 持久化存储，确保数据不丢失。：采用 Multi-Level Caching 方案，热点数据缓存到多个层级，避免单点压力。：对于强一致性要求的核心业务（如支付、订单），使用 MySQL，其他流量继续走 TiDB。：MySQL + TiDB 读写分离，热点数据存入 TiDB，保障高可用性。：如订单查询请求，可直接从 Redis 读取，而非每次都调用订单服务。：在活动开始前，提前加载热点商品数据到 Redis，避免冷启动问题。
2025-02-19 08:30:00
750
原创 微服务线上发布稳定性解决方案
以下是根据你的反馈细化后的解决方案，重点加强了灰度发布、蓝绿发布中的数据库兼容性设计，发布后如何快速发现业务逻辑异常以及应急预案和最佳实践部分的详细描述。蓝绿发布是将系统分成两个环境，蓝色环境是当前的稳定版本，绿色环境是新版本。发布时，将流量切换到绿色环境，若无异常，再移除蓝色环境。灰度发布是指在新版上线时，只将部分流量引导到新版本，确保新版本没有问题后再逐步增加流量。在蓝绿发布过程中，确保新版本的应用能够兼容旧表，并通过代码逐步迁移到新表。来模拟实际流量，触发 JIT 编译，提升上线时的性能。
2025-02-18 17:22:24
1186
原创 基于 Spring Cloud + Sentinel 的全面流量治理方案
基于 Spring Cloud + Sentinel 的全面流量治理方案。
2025-02-18 08:30:00
4318
原创 Spring Cloud微服务生产级容量评估实战
建议结合具体业务特征调整参数，并建立持续的性能优化体系。每次架构重大变更后，需重新执行完整的评估流程。：需要至少11个应用节点 + 6节点MySQL集群 + 3组Redis集群。
2025-02-17 09:18:20
1078
原创 Sentinel 源码深度解析
Sentinel 的设计旨在为分布式系统提供全面、灵活且高效的流量治理解决方案。高可用性：确保在高并发场景下，系统能够稳定运行，不会因为流量过大而崩溃。灵活性：支持多种流量控制规则和熔断降级策略，能够根据不同的业务场景进行灵活配置。可扩展性：采用模块化和插件化的设计，方便用户扩展和定制功能。实时性：能够实时监测和统计流量信息，及时做出流量控制和熔断降级决策。
2025-02-15 20:12:04
1017
原创 人工智能学习（八）之注意力机制原理解析
深入剖析注意力机制的原理，从其诞生的背景出发，逐步揭开全注意力机制、局部注意力机制的神秘面纱，对比其与传统循环神经网络的差异，并探讨其在实际应用中的优势与挑战。
2025-02-14 08:30:00
9944
原创 微服务限流策略与性能优化全解析
本文我用我工作中实际的一个电商营销中台系统的订单服务来阐述。此微服务数据库采用 MySQL，配置为 8 核 32G。订单服务部署于一组服务器集群，考虑到高可用性，至少配置 3 个节点，每个节点服务器配备 8 核 CPU、16GB 内存、500GB 硬盘以及 1Gbps 网络带宽（内网所以大）。订单服务包含 30 +个接口，覆盖订单创建、查询、修改、取消等核心业务操作。
2025-02-13 15:54:27
1251
原创 架构师成长（七）之深入理解JVM虚拟机垃圾回收
本文深入解析 JVM 垃圾回收原理。先介绍对象存活判定的引用计数法与可达性分析法，再阐述标记 - 清除等多种垃圾回收算法及其优缺点、指标对比。还讲解分代、增量、分区算法，剖析 Stop the World 事件、并行与并发，以及对象 Finalization 机制、安全点与安全区域，助于优化 Java 应用性能。
2025-02-10 08:30:00
950
原创 人工智能学习（七）之神经网络
本文深入剖析多种神经网络算法。回顾经典多层感知机后，详细阐述 RNN、GRU、LSTM、双向 RNN 及 CNN 原理，涵盖结构、计算过程等。同时给出实际案例，如用 RNN 预测正弦波、LSTM 做文本情感分析、展现各算法在不同任务的应用。
2025-02-10 08:30:00
3668
原创 DeepSeek大模型API调用实战
DeepSeek 的文本生成能力十分强大且灵活。它能够根据输入的提示信息，生成各种类型的文本内容，包括但不限于文章、故事、诗歌、对话等。例如，在创作领域，开发者可以利用该 API 让模型根据给定的主题生成一篇富有创意的小说。若输入提示为 “在一个神秘的森林中，住着一位拥有神奇力量的小精灵”，模型可能会生成一个情节跌宕起伏、充满奇幻色彩的故事，描述小精灵如何运用神奇力量保护森林、与邪恶势力斗争等情节。在文案撰写方面，对于市场营销人员来说，API 可以根据产品特点和目标受众，生成吸引人的广告文案。
2025-02-09 10:55:30
1261
原创 人工智能学习（六）之语言大模型Word2Vec
本文聚焦于 Word2Vec 底层原理，揭示其作为大语言模型重要基石的关键作用。文章首先对比传统 n - gram 模型在维度灾难和数据稀疏上的困境，凸显神经网络语言模型通过分布式表示解决问题的优势
2025-02-09 09:00:00
948
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人