- 博客(161)
- 收藏
- 关注
RSS订阅原创 一文看懂注意力机制：点积注意力机制、QKV含义、自注意力、多头注意力、注意力掩码
Q权重矩阵的作用是将输入序列中的每个元素（如词向量）转换为查询向量（Query Vector）。每个位置的查询向量（qiq_iqi）代表该位置“想要获取的信息类型”。例如，在句子“猫追狗”中，“追”这个词的查询向量可能会主动去寻找“动作的发出者”和“动作的接收者”相关的信息。直观理解：可以把查询向量想象成“问题”——比如“我需要和谁关联？”“谁对我重要？K权重矩阵的作用是将输入序列中的每个元素转换为键向量（Key Vector）。每个位置的键向量（kjk_jkj。
2025-12-13 16:51:21
595
原创 Encoder-Decoder架构的基石：序列到序列（Seq2Seq）架构
序列到序列（Sequence-to-Sequence，简称Seq2Seq）是一种用于处理输入序列到输出序列映射的神经网络架构，由Google团队在2014年提出（论文《Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation》）。核心思想：将可变长度的输入序列转换为固定长度的"上下文向量"，再基于该向量生成可变长度的输出序列，适用于机器翻译、文本摘要、对话系统等场景。
2025-12-13 16:46:02
484
原创 从 n-gram 到神经网络：NPLM 如何重塑语言建模范式
"的流程，首次实现了神经网络对语言的有效建模。其四大创新（分布式表示、非线性建模、同步学习、端到端架构）彻底改变了NLP的发展轨迹，是连接传统统计方法与现代深度学习NLP的关键里程碑。——它继承了NPLM的核心目标和核心思想，同时解决了NPLM的关键痛点，是神经概率语言模型从“固定窗口”走向“变长序列”的关键演进。，核心是学习"词的分布式表示"和"基于这些表示的概率函数"。NPLM的核心目标就是通过神经网络解决这些问题，实现更精准的语言概率建模。的开创性模型，它打破了传统统计语言模型的局限。
2025-12-12 11:58:08
375
原创 词嵌入来龙去脉：One-hot、Word2Vec、GloVe、ELMo
词嵌入（Word Embedding）是自然语言处理（NLP）中的一项核心技术，它将文本中的词语转换为低维实数向量，使得语义相近的词语在向量空间中距离相近。传统的文本表示方法（如独热编码）无法捕捉词语之间的语义关系，而词嵌入通过学习词语的上下文信息，能够揭示词语之间的内在联系。“词嵌入的核心思想是：出现在相似上下文中的词具有相似的含义。语义表示词嵌入将词语映射到连续向量空间，使得语义相关的词在空间中位置相近。上下文学习通过词语的上下文信息学习其表示，捕捉词语之间的语法和语义关系。下游任务。
2025-12-12 11:57:29
1335
原创 语言模型基础技术的开端：N-Gram与Bag-of-words详解
N-Gram模型和Bag-of-words词袋模型作为NLP的基础技术，各有其独特的优势和局限性，适用场景也存在显著差异。评估维度N-Gram模型Bag-of-words词袋模型核心优势1. 保留文本序列信息，能捕捉词语间的相邻依赖关系；2. 原理简单，训练速度快，可通过平滑技术缓解数据稀疏问题；3. 对短文本的概率预测效果较好。1. 实现简单，计算效率高，易于理解和部署；2. 能有效捕捉文本的核心语义（基于词频）；3. 结合TF-IDF后可突出关键词语的重要性。主要缺点。
2025-12-11 12:08:10
584
原创 机器学习与深度学习基础（五）：深度神经网络经典架构简介
本文学习要点：1.深度神经网络分层架构：全连接层卷积层池化层2.深度神经网络代表:CNN：CNN、AlexNet、VGG-Net、GoogLeNet（Inception）、ResNet（残差连接）编码器-解码器架构：序列到序列模型（Seq2Seq）
2025-12-11 12:02:01
757
原创 机器学习与深度学习基础（四）：什么是连接主义与符号主义
从1943年的第一个人工神经元到2023年的ChatGPT，AI经历了80年的发展历程。连接主义和符号主义作为两大主流学派，各自贡献了独特的理论和方法。现代AI正在走向两者融合的新时代，既要有神经网络的强大学习能力，也要有符号系统的逻辑推理能力。未来的AI将更加智能、更加可解释、更加安全，最终实现真正的通用人工智能。连接主义和符号主义代表了两种不同的智能实现路径：一种是"自下而上"的涌现智能，另一种是"自上而下"的规则智能。这场争论推动了AI领域的持续发展。
2025-12-10 12:07:26
265
原创 机器学习与深度学习基础（三）：感知机、神经网络、前向传播、反向传播
则是从输出层的误差出发，沿着网络层级反向计算每个参数对误差的贡献（梯度），并借助梯度下降法更新权重和偏置，其核心是让网络 “从错误中学习”，不断调整参数以缩小预测误差，最终实现神经网络的优化训练。是将输入数据逐层通过神经网络的权重和激活函数计算，最终输出预测结果的过程，其目的是基于当前网络参数完成 “从输入到输出” 的推理，对比预测值与真实标签得到误差；感知机模拟了生物神经元的工作原理：接收多个输入信号，通过权重加权求和后，经过激活函数处理，输出一个二值结果（0 或 1，也可以是 -1 或 1）。
2025-12-10 12:06:18
1510
原创 机器学习与深度学习基础（二）：无监督学习与半监督学习
k-means是最经典的划分式聚类算法，核心目标是将数据划分为k个预设数量的类别。其核心流程为通过迭代优化实现“最小平方误差和”（SSE）的最小化：首先随机选择k个样本作为初始聚类中心；然后计算每个样本到各聚类中心的距离，将样本分配到距离最近的聚类中心所属类别；接着重新计算每个类别的均值作为新的聚类中心；重复“分配-更新”过程，直至聚类中心不再明显变化或达到迭代次数上限。该算法简洁高效，但对初始聚类中心的选择敏感，且需预先确定k值。
2025-12-09 18:04:18
827
原创 机器学习与深度学习基础（一）：监督学习、线性回归、逻辑回归
人工智能（AI）作为引领科技变革的核心领域，其发展历程跨越七十余年，从早期的理论探索逐步走向规模化工程应用，深刻重塑了各行各业的技术范式。回溯其演进脉络，不仅呈现出理论派系的交替迭代，更在技术落地中形成了以机器学习、深度学习为核心的技术体系，为复杂问题的解决提供了全新思路。AI的发展可追溯至1956年达特茅斯会议，期间历经四个关键阶段，呈现出连接主义与符号主义两大派系的交替发展格局。以逻辑推理和数学原理为基础，强调通过明确的规则与符号表征解决问题；
2025-12-09 17:22:23
988
1
原创 SpringSecurity 技术原理深度解析：认证、授权与 Filter 链机制
基于 Filter 链的拦截机制：不侵入业务代码，通过过滤器链实现安全校验，解耦性强；组件化设计：核心组件（等）均可替换，支持灵活扩展；线程绑定的认证信息存储：通过便捷访问当前用户，简化业务开发。
2025-12-07 19:41:22
993
原创 在Ubuntu上搭建大模型最基础的应用环境
CUDA（Compute Unified Device Architecture，统一计算设备架构）是 NVIDIA 推出的并行计算平台和编程模型，简单来说，它是一套让开发者能够利用 NVIDIA GPU（显卡）进行高性能计算的工具和技术。我们通常认为 GPU 是用来处理图形渲染（比如玩游戏、显示图像）的，但 GPU 的硬件结构其实有一个重要特点 ——拥有大量并行计算核心（比如 RTX 4070 有数千个 CUDA 核心），这些核心擅长同时处理大量重复、简单的计算任务（比如数值计算、数据处理）。
2025-12-05 13:10:48
509
原创 Java安全框架选型学习笔记
这类框架专注于OAuth2.0/OIDC等标准授权协议，解决「多系统统一授权、无状态认证」问题，常与Spring Security配合使用。，覆盖从单体到微服务的绝大多数场景；Shiro适合追求简单的小型项目；Keycloak则是企业级多系统集成的最优解。这类工具库不独立提供完整安全能力，而是聚焦某一专项场景（如令牌处理、加密），配合上述主框架使用。这类框架覆盖认证、授权、防护等完整安全能力，是大多数项目的基础选型。Java后端的安全框架主要围绕。
2025-12-03 12:30:01
674
原创 RocketMQ技术原理简单解析：从架构到核心流程
在分布式系统中，消息中间件扮演着“通信桥梁”的关键角色，负责解耦服务、削峰填谷和异步通信。RocketMQ作为阿里开源的分布式消息中间件，凭借高吞吐、高可靠、低延迟的特性，广泛应用于电商、金融等核心业务场景。本文将从架构设计、核心组件交互、关键技术原理三个维度，深入浅出地剖析RocketMQ的工作机制，搭配流程图和时序图让复杂概念更直观。
2025-12-03 12:09:24
1328
原创 Redis与MySQL数据不一致：核心场景与解决方案
更新MySQL时若发生异常（如网络中断、服务崩溃），会导致MySQL数据未更新，但Redis已写入新值，最终缓存与数据库数据不一致。：用户余额修改，先把Redis中余额改为100元，再更新MySQL时服务宕机，MySQL仍为50元，Redis显示100元。：MySQL主库更新后，从库同步存在延迟（如1s），此时从库读取的是旧数据，回写Redis后导致缓存与主库数据不一致。，以及两者主从架构的延迟问题。：操作链路“更新MySQL → 更新/删除缓存”未执行完，缓存残留旧值，且无重试机制，导致长期不一致。
2025-12-02 12:47:56
586
原创 深入浅出Redission
Redis 数据结构：根据锁的特性选择合适的结构（Hash 用于重入锁、ZSet 用于公平锁/可过期信号量、String 用于信号量）；Lua 脚本：保证加锁、解锁、计数器修改等操作的原子性，避免并发问题；看门狗机制：针对互斥锁（可重入锁、公平锁、红锁等），自动续期避免锁提前释放，适配长耗时业务。
2025-12-02 11:55:16
1492
原创 大白话讲Java NIO
如果把Java的I/O比作餐厅服务，BIO是“笨办法”（一对一盯桌），NIO是“聪明办法”（一个经理管所有桌）——核心就是。接下来用生活化的比喻+可视化图表，把NIO讲得明明白白。
2025-12-01 13:37:42
906
原创 Java后端Redis客户端选型指南
在分布式架构越来越普及的今天，Redis作为高性能的缓存和中间件被广泛应用。但你是否也曾为这些问题头疼：手写分布式锁时担心死锁，处理高并发缓存时遭遇穿透击穿，用原生Redis客户端实现复杂逻辑时代码臃肿？今天要分享的Redisson，正是解决这些痛点的"瑞士军刀"——它不只是一个Redis客户端，更是一套完整的分布式工具框架。
2025-12-01 12:21:43
789
原创 Java服务端ORM框架选型指南：从原理到落地，新手也能懂
在Java服务端开发中，数据库交互是绕不开的核心环节。不少新手刚接触时，都会被原生JDBC的繁琐代码搞得头大；而有经验的开发者则会纠结：MyBatis、Hibernate、MyBatis-Plus这些ORM框架到底该怎么选？今天这篇文章就从“为什么需要ORM”讲起，深入浅出解析主流框架的核心差异，再给出一套新手也能套用的选型方法论。
2025-12-01 12:06:01
885
原创 分布式算法（八）：一致性哈希——分布式系统的负载均衡利器
需先将下线节点的全量数据迁移至顺时针下一跳节点，迁移量约为总数据量的1/原节点数，若为故障节点需先通过副本同步数据，可能产生额外的副本校验成本；其次仅需迁移新增节点区间对应的局部数据，迁移量约为总数据量的1/(原节点数+1)，数据传输与重新存储的成本较低，同时因仅局部缓存失效，对业务服务的性能影响极小，无需承担全量缓存穿透带来的数据库压力成本。虚拟节点的核心思路是：给每个物理节点“克隆”出多个虚拟节点，让这些虚拟节点均匀分布在哈希环上，数据先映射到虚拟节点，再关联到物理节点。
2025-11-30 21:04:50
1035
原创 MySQL 实战宝典（九）：Sharding-JDBC分库分表框架解析
在深入细节之前，我们先明确Sharding-JDBC的定位。Sharding-JDBC是Apache ShardingSphere生态中的核心组件，它并非独立的数据库，而是一个基于JDBC的分库分表中间件，通过对JDBC接口的封装，实现分库分表、读写分离等功能，且对业务代码完全透明。核心优势：无需部署独立服务，直接集成到应用中；支持多种数据库（MySQL、Oracle等）；兼容ORM框架（MyBatis、Hibernate等）。
2025-11-30 20:45:47
1150
原创 Java数据库连接池选型指南
在高并发Java应用开发中，数据库交互的性能瓶颈往往不是SQL执行本身，而是连接的创建与销毁。数据库连接池作为连接管理的核心组件，直接决定了应用与数据库交互的效率和稳定性。本文将从核心原理、核心价值出发，重点对比Java生态中主流连接池的特性，为选型提供实战参考。
2025-11-28 12:51:27
700
原创 MySQL 实战宝典（八）：Java后端MySQL分库分表工具解析与选型秘籍
分库分表是Java后端架构升级的必经之路，工具选型需“量体裁衣”：ShardingSphere生态凭借完善的功能、活跃的社区成为绝大多数场景的最优解；特殊场景可通过中间件或分布式数据库补充。但请记住：工具只是实现手段，核心是通过合理的分片策略、一致性保障、扩容规划，让系统在业务增长中始终保持稳定高效。Apache ShardingSphere 官方文档，建议结合实际项目搭建Demo，快速掌握落地技巧。
2025-11-28 12:17:59
868
原创 分布式算法（七）：BASE理论——分布式系统的“最终一致性”指导思想
BASE 是Basically Available（基本可用）、Soft State（软状态）、Eventually Consistent（最终一致性）原则通俗含义生活化例子（电商下单）基本可用（BA）系统故障时，核心功能仍能使用，而非完全不可用（允许性能降级、部分功能不可用）。秒杀活动时服务器压力大，页面加载变慢（性能降级），但下单、支付核心功能正常。软状态（S）允许系统存在中间状态（如“下单中”“支付中”），中间状态不影响系统整体可用性。
2025-11-27 13:37:23
821
原创 分布式算法（六）：雪花算法（Snowflake），分布式系统的全局唯一ID生成方案
在分库分表、微服务等分布式场景中，传统单库自增主键无法保证全局唯一性（多库 / 多表会出现 ID 重复），而雪花算法（Snowflake）是解决这一问题的经典方案 —— 它能在分布式环境下生成有序、高效、无重复的 64 位 Long 型 ID，无需依赖数据库等第三方组件，广泛应用于 Java 后端、大数据等领域。解决方案：如果当前时间比上一次生成ID的时间还早，就“等一等”，直到时间超过上一次，再生成ID——避免用旧时间+相同序列号导致重复。（就像按“年份+序号”排序的发票，越晚开的发票号越大）
2025-11-27 13:32:01
556
原创 微服务概念理解学习笔记
早期公司小，1个人（单点系统）负责所有工作（进货、销售、售后、财务）；公司壮大后，1个人干不完，于是分拆成多个部门（采购部、销售部、财务部），每个部门在不同办公室（不同服务器/节点）办公，但共同协作完成“电商运营”这个核心任务——这就是分布式系统。分布式系统是指：将一个复杂的业务系统，拆分成多个独立的“子系统/节点”，这些节点通过网络通信协作，共同完成整体业务目标的系统架构。核心是“拆分+协作”，目的是解决单点系统的瓶颈。
2025-11-25 13:02:42
153
原创 微服务框架选型学习笔记
Java微服务框架的核心选择集中在Spring Cloud（含Alibaba）和Dubbo两大体系：前者胜在“全栈治理”，后者胜在“高性能RPC”；而Quarkus、Micronaut则是云原生场景下的新兴选择。实际选型时，优先考虑团队技术栈、业务对性能的要求、部署环境（传统服务器/云原生），避免盲目追求“新技术”。
2025-11-25 13:01:43
226
原创 Dubbo+Zookeeper怎么实现的服务注册与发现
Dubbo 则封装了服务注册、发现、健康检查、负载均衡等业务逻辑，二者协同实现微服务间的动态通信。以下从底层架构、核心流程、Zookeeper 节点结构、关键机制四个维度深度拆解。Dubbo 会在 Zookeeper 中创建固定格式的节点树，用于存储服务的全量元数据，（关联 Provider 会话，会话失效则节点删除）、Dubbo 与 Zookeeper 的集成核心是。（Consumer 监听服务节点变更）、（保障集群模式下服务元数据的一致性）。：Zookeeper 的。
2025-11-25 12:03:36
199
原创 微服务注册中心基础（五）：Zookeeper 适用场景
选型依据推荐注册中心需分布式协调（锁、选主）+ Dubbo架构Zookeeper强一致性（CP）+ 金融/核心服务高可用性（AP）+ 中小型Spring Cloud大规模实例 + 一站式（注册+配置）Nacos跨数据中心 + 服务网格Consul已有Zookeeper集群 + 中等规模服务Zookeeper（复用）
2025-11-24 13:50:05
228
原创 微服务注册中心基础（三）：分布式一致性协议
分布式一致性协议是构建现代分布式系统的核心技术基础，其中作为三大主流协议，在设计理念、实现机制和应用场景方面各有特色。本文基于 CAP 理论深入分析了这三种协议的核心机制，通过对比分析揭示了它们在节点角色、选举流程、日志复制等关键技术点的差异。研究发现，，在 3 节点集群中可实现 8-12ms 写延迟和 12,000ops/s 吞吐量；，写延迟 15-20ms，吞吐量 4,500ops/s；，在有序状态复制场景下表现优异，写延迟仅 3-5ms，吞吐量超过 45,000ops/s。
2025-11-24 13:26:43
303
原创 微服务注册中心基础（二）：CP架构原理
在分布式系统中，CP架构（Consistency + Partition Tolerance）是与AP架构并列的核心设计范式，尤其适用于对数据一致性要求极高的场景（如金融交易、分布式协调）。由于网络不可靠是分布式系统的常态（必须保证P），CP架构选择。
2025-11-24 12:16:43
75
原创 微服务注册中心基础（一）：AP架构原理
（Availability + Partition Tolerance）是注册中心的核心设计范式之一，尤其适用于追求高可用、容忍短暂数据不一致的分布式场景（如微服务高频服务注册/发现）。本文将从原理、特性、典型实现、适用场景等维度，全面解析AP架构，帮助开发者精准选型和落地。当网络分区发生时，AP架构会选择「继续提供服务」（保证A），而不是等待分区恢复后再同步数据（放弃强C）。在微服务架构中，注册中心的架构设计直接决定了服务发现的可用性、一致性和性能。要理解AP架构，首先需要回顾分布式系统的核心理论——
2025-11-24 12:04:10
627
原创 Java异步编程实践浅析：Runnable、Callable、CompletableFuture、Spring注解
特性RunnableCallable定义接口返回值无返回值（void有返回值（泛型V指定类型）异常处理不能抛出受检异常（需内部捕获）可以抛出受检异常（引入版本JDK 1.0JDK 1.5（与Executor框架一同引入）若任务不需要返回结果且无受检异常，用Runnable（更简洁）。若任务需要返回结果或需抛出受检异常，用Callable（功能更全面）。两者均需依托线程（Thread）或线程池执行，其中Callable需通过Future获取结果，是并发编程中处理异步结果的常用方式。
2025-11-14 19:00:00
686
原创 前端学习笔记：React.js中state和props的区别和联系
外部传入的数据：由父组件传递给子组件的参数，子组件只能读取，不能直接修改。不可变（Immutable）：props 的值在组件内部不可变，若需要修改，应由父组件重新传递新值。组件内部的私有数据：由组件自身管理和修改，用于存储动态变化的数据（如用户输入、加载状态等）。可变（Mutable）：通过setState方法更新，每次更新会触发组件重新渲染。props 是组件的输入，用于外部数据传递和组件复用。state 是组件的记忆，用于管理内部动态数据和响应式更新。
2025-07-15 15:47:15
1090
原创 Maven核心概念
Maven是一个基于项目对象模型(POM)的项目管理工具，主要用于：约定优于配置(Convention Over Configuration)依赖管理2.2 POM文件结构3. Maven生命周期3.1 三大生命周期1. Clean生命周期2. Default生命周期3. Site生命周期3.2 生命周期详解Default生命周期主要阶段：4. 依赖管理4.1 依赖坐标4.2 依赖范围(Scope)Scope编译时测试时运行时说明compile✓✓
2025-07-04 15:11:44
676
原创 Spring Boot 父子工程 POM 依赖关系详解
Spring Boot 父子工程是一种多模块项目结构，通过 Maven 的继承机制来管理依赖关系。统一版本管理：所有子模块使用相同的依赖版本代码复用：公共代码可以提取到独立模块模块化开发：不同功能模块独立开发和维护依赖隔离：避免循环依赖，明确模块职责统一管理：版本、依赖、插件统一管理模块化：功能模块独立开发和维护复用性：公共代码和配置复用可维护性：清晰的依赖关系和模块职责这种结构特别适合中大型项目的开发和维护，能够有效提高开发效率和代码质量。
2025-07-02 12:48:39
1549
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人