- 博客(71)
- 收藏
- 关注
RSS订阅原创 图解大模型_生成式AI原理与实战学习笔记前四张问答（7题）
本文摘要： Self-Attention 相比 RNN 具有三大优势：直接建立任意词间联系、支持并行计算、能捕获长距离依赖。LLM 采用子词分词（BPE）平衡词表大小与计算成本，同时增强OOV处理能力。多头注意力机制可学习不同语言关系并稳定训练。KV Cache通过缓存历史K/V向量，将生成复杂度从O(n²)降至O(n)。有监督分类比零样本更准确，因其能建立任务特化的决策边界。生成模型通过"生成标签词"方式实现分类。LLM前向流程包括分词、嵌入、Transformer多层处理、语言建模头
2025-12-05 11:28:49
251
原创 图解大模型_生成式AI原理与实战学习笔记（第四章）
本文摘要：第四章系统介绍了文本分类的核心概念与方法。关键名词包括混淆矩阵（TP/FP/FN/TN）、精确率（预测正例准确度）、召回率（正例识别覆盖率）和F1分数（综合指标）。分类方法对比了"嵌入+逻辑回归"（低成本快速训练）与零样本分类（无需标注数据）的优缺点，并分析了表示模型（如BERT）与生成模型（如GPT）的适用场景：前者适合高精度结构化分类，后者擅长灵活解释性任务。文章强调文本分类是"工具箱"问题，需根据数据规模、成本、解释需求等因素选择最优方案。
2025-12-04 19:07:42
874
原创 图解大模型_生成式AI原理与实战学习笔记（前三章综合问答）
本文系统梳理了Transformer核心概念与机制：1）词元（Token）作为文本处理最小单位，通过嵌入向量（Embedding）映射为数字表示；2）前向传播完成自回归生成过程；3）注意力机制通过Q/K/V三部分实现上下文建模，多头设计增强表达能力；4）位置编码解决序列顺序问题；5）KV缓存优化推理效率；6）FFN提供非线性变换能力。完整生成流程包含分词→嵌入→位置编码→多层Transformer处理→概率预测→自回归生成等环节，揭示了Transformer并行处理序列的独特优势。
2025-12-04 13:57:33
428
原创 图解大模型_生成式AI原理与实战学习笔记（第三章）
本文摘要总结了Transformer大模型(LLM)的核心概念和工作原理。关键点包括：1) Transformer LLM通过逐词元生成响应文本；2) 前向传播是输入向量经过各层计算得到输出的过程；3) 语言建模头根据最后一个词元输出计算下一个词元概率分布；4) 模型通过自注意力机制整合上下文信息，包含相关性评分和信息组合两个步骤；5) 采用KV缓存技术加速生成过程；6) Transformer块由自注意力层和前馈神经网络层组成；7) 模型通过多头注意力机制并行处理不同模式；8) 使用旋转位置嵌入(RoPE
2025-12-03 18:52:08
866
原创 图解大模型_生成式AI原理与实战学习笔记（第一章 + 第二章·综合问答（完整版 12 题）（有想要电子书的可以联系我））
注意力机制是Transformer模型的核心技术，它通过直接建立词间联系和动态调整语义表示，解决了RNN无法并行训练的问题。Transformer利用位置编码理解句子顺序，并通过嵌入向量将离散token转化为连续语义表示。自注意力机制使模型能根据上下文区分多义词义。预训练通过预测下一token任务，使模型自动学习语言规律和世界知识，无需人工标注。嵌入空间中的语义相似性由共现模式和梯度下降驱动。大模型通过子词分词处理新词，但因预测目标可能产生幻觉。跨领域能力源于语言统计规律的学习，而增大参数、数据和上下文能全
2025-11-26 11:12:57
804
原创 图解大模型_生成式AI原理与实战学习笔记（第二章）
本文系统介绍了大语言模型中的词元（token）与嵌入机制。词元是模型的最小计算单位，不同语言和模型的分词策略（词级/子词级/字符级/字节级）会影响词表构建。重点分析了子词分词的平衡优势、词表大小对效率的影响，以及嵌入层将离散token转化为连续向量的必要性。详细对比了静态词向量与上下文相关嵌入的区别，阐释了自注意力机制生成动态语义表示的原理。最后强调分词器和嵌入层作为模型基础组件的不可替代性，它们共同完成了文本到可计算向量的转换。
2025-11-25 18:39:12
365
原创 图解大模型_生成式AI原理与实战学习笔记（第一章）
本文系统介绍了语言人工智能与大模型的基础知识。首先区分了语言AI、NLP和伪AI的概念差异，梳理了从词袋模型到稠密向量嵌入的语言表示发展历程。重点解析了注意力机制、Transformer架构及其变体（编码器/解码器模型）的工作原理。文章阐述了LLM的定义演变、三大训练范式（预训练、微调、对齐）及其典型应用场景，同时强调了负责任AI的伦理考量。最后对比了专有模型与开源模型的优劣势，指出有限资源下通过RAG、微调等技术也能构建有效的LLM应用。全文为理解现代语言AI技术提供了清晰的知识框架。
2025-11-21 17:37:56
517
原创 深入理解Java虚拟机：JVM高级特性与最佳实践（第3版）第十三章知识点问答（15题）
摘要：文章探讨了Java中的线程安全概念及其实现方式，包括互斥同步（synchronized、ReentrantLock）、非阻塞同步（CAS）和无同步方案。分析了线程安全的分类（不可变、绝对、相对、线程兼容、线程对立），并对比了synchronized与ReentrantLock的特性差异。最后列举了Java保证线程安全的关键工具（volatile、原子类、并发容器等），涵盖了从基础概念到高级实现的完整知识体系。
2025-09-14 21:30:12
969
原创 深入理解Java虚拟机：JVM高级特性与最佳实践（第3版）第十二章知识点问答（15题）
Java内存模型（JMM）抽象出主内存（线程共享）和工作内存（线程私有）两种内存区域，通过8种原子操作实现变量传递。volatile保证可见性和有序性，但不保证原子性；synchronized额外提供原子性保证。JMM的happens-before原则定义了操作顺序的可见性规则，作为语言级内存模型，它屏蔽了底层硬件差异。对于long/double类型，JMM允许非原子性操作，需用volatile或锁保证原子性。JMM确保可见性和有序性，但复合操作（如i++）的原子性需通过同步机制实现。
2025-09-14 14:14:32
759
原创 深入理解Java虚拟机：JVM高级特性与最佳实践（第3版）第十一章知识点问答（10题）
摘要：HotSpot虚拟机采用“解释器+JIT编译器”架构，解释器启动快但效率低，JIT编译器能优化热点方法提升性能。HotSpot包含C1（快速编译）和C2（深度优化）两种编译器，并支持分层编译。判断热点方法基于采样和计数器机制。JIT优化技术包括方法内联、逃逸分析（实现栈分配、标量替换和同步消除）、公共子表达式消除和数组边界检查消除。Graal编译器以Java编写，支持多语言和更先进的优化框架。这些技术共同提升了Java程序的执行效率和安全性。
2025-09-14 13:42:55
696
原创 深入理解Java虚拟机：JVM高级特性与最佳实践（第3版）第十章知识点问答（10题）
文章摘要 Java前端编译优化（如语法糖、注解处理器）通过简化代码编写（泛型、自动装箱等）和增强编译期能力（代码生成、校验），显著提升了开发效率与代码可读性。尽管这些优化在运行时被还原为JVM无关的字节码，但它们通过降低复杂度、减少样板代码，推动了Java生态的繁荣，使开发者能更专注于业务逻辑而非底层细节。 （149字）
2025-09-14 12:40:51
1018
原创 深入理解Java虚拟机：JVM高级特性与最佳实践（第3版）第九章知识点问答（10题）
摘要 本文探讨了JVM类加载机制及其应用。用户程序可通过字节码生成（如动态代理）和自定义类加载器影响类加载过程。Tomcat采用多层次类加载架构打破双亲委派模型，实现应用隔离和热部署。OSGi则通过Bundle间平级依赖提供更灵活的模块化管理。JDK动态代理基于Proxy和InvocationHandler实现接口代理，而CGLIB可代理无接口类。类加载技术支撑了诸多框架，如应用服务器的隔离机制和模块化系统的动态加载。Backport工具可将高版本特性移植到旧JDK，体现Java的兼容性设计。
2025-09-14 11:10:14
792
原创 面试题随笔第二期
本文总结了Java核心知识点，包括：1) HashMap采用数组+链表+红黑树结构，树化需容量≥64且链表长度≥8；2) ConcurrentHashMap通过CAS和桶级synchronized实现并发；3) equals/hashCode/compareTo需遵循契约；4) String不可变性带来安全性和线程安全；5) ThreadLocal在线程池中需注意内存泄漏；6) Stream API中map用于一对一映射，flatMap用于一对多扁平化；7) Optional应作为返回值表达可能缺失；8)
2025-09-01 14:09:24
783
原创 深入理解Java虚拟机：JVM高级特性与最佳实践（第3版）第八章知识点问答（18题）
摘要 虚拟机字节码执行引擎的概念模型包括输入（字节码）、处理（解析执行）和输出（结果）。解释执行与JIT编译可在统一外观下协作，对外保持一致的输入/输出行为。 运行时栈帧由局部变量表、操作数栈、动态连接和方法返回地址组成，其规模由编译期确定的max_locals和max_stack决定。局部变量表以**变量槽(Slot)**为最小单位，支持8种数据类型，其中long/double占2个槽。操作数栈是LIFO结构，32/64位数据分别占1/2个栈单元。 方法调用涉及5种字节码指令，前4种（invokestat
2025-09-01 14:03:57
1046
原创 面试题随笔
适用场景：配置热更新标志、一次性发布（publish-once）等；，不提供原子性（除 long/double 读写在 64 位上已原子）。粗略估算：CPU 密集。
2025-08-26 15:46:41
389
原创 深入理解Java虚拟机：JVM高级特性与最佳实践（第3版）第七章知识点问答（22题）
Java类型生命周期包括加载、验证、准备、解析、初始化、使用和卸载七个阶段。其中加载、验证、准备、初始化和卸载的顺序严格固定，但各阶段可交叉进行。解析阶段支持动态绑定，可在初始化后完成。连接阶段包含验证、准备和解析三个子阶段。 初始化触发场景有六种：执行new/getstatic/putstatic/invokestatic指令、反射调用、父类未初始化、主类启动、MethodHandle解析和接口默认方法。加载阶段需完成获取字节流、转换数据结构和生成Class对象三件事。 验证阶段分为文件格式、元数据、字节
2025-08-26 15:39:00
548
原创 深入理解Java虚拟机：JVM高级特性与最佳实践（第3版）第六章知识点问答（22题）
本文围绕Java Class文件结构和JVM字节码指令展开讨论。Class文件作为字节码载体，采用统一的二进制格式存储代码和元数据，是实现跨平台和语言无关性的关键。文章详细解析了Class文件的结构组成，包括魔数、版本号、常量池、访问标志、类索引、字段表、方法表、属性表等核心部分，并阐述了各部分的作用。同时，文章还介绍了JVM字节码指令系统，包括数据类型前缀规则、加载存储指令、运算指令、类型转换指令等，揭示了JVM执行模型的基本原理。最后，文章强调了Class文件设计的"公有设计，私有实现&quo
2025-08-25 16:31:54
939
原创 深入理解Java虚拟机：JVM高级特性与最佳实践（第3版）第五章整理
本文总结了JVM调优的关键案例与实战经验，提供了一份速查表形式的调优指南，涵盖大内存GC停顿、集群同步OOM、堆外内存泄漏等12类典型问题，每类问题列出具体现象、诊断工具、可能原因及优化措施。文章还提出了统一SOP建议（收集证据→定位原因→制定措施→验证效果）和26个核心问答，系统梳理了JVM调优理念、案例分析（如安全点停顿、Windows虚拟内存问题）和Eclipse实战调优方法。最后强调调优需基于数据而非猜测，并建议建立标准化流程形成知识库。
2025-08-23 11:25:51
999
原创 深入理解Java虚拟机：JVM高级特性与最佳实践（第3版）第四章知识点问答补充及重新排版
字段含义（）三种常见场景的快速判读频繁 Young GC老年代压力过大可能内存泄漏CPU 高/线程异常路径内存/GC 路径低开销全景记录（可选）目标：把 / 里占 CPU 最高的线程（十进制 TID）映射到 的具体 Java 栈。取 PID：（或 ）看线程：抓取并定位对应 Java 栈读栈时的关键“信号”计算热点：线程状态多为 RUNNABLE，栈顶在纯 Java 计算（业务方法、JSON/正则/流式聚合、BigDecimal/加密/压缩等），无明显锁/IO调用。锁竞争：出现 BLO
2025-08-23 10:02:41
1307
原创 深入理解Java虚拟机：JVM高级特性与最佳实践（第3版）第四章知识点问答（37题）
Java 诊断工具速查与实战指南 本文档系统梳理了Java性能诊断的核心工具链与实战技巧，涵盖30+关键场景： 工具矩阵：jcmd/jstat/jmap等核心工具的一行速查与风险提示 内存分析：堆内/堆外内存泄漏定位（含DirectByteBuffer特殊处理） 线程诊断：高CPU/死锁/IO阻塞的线程栈分析SOP GC调优：日志解读、参数基线及GC绑定判读方法 应急措施：快速体检脚本（120s）、JFR短时取证（2-3分钟） 进阶技巧：NMT三步法、统一日志分析、年龄分布诊断等 特别强调安全点风险：直方图
2025-08-22 17:31:22
1059
原创 深入理解Java虚拟机：JVM高级特性与最佳实践（第3版）第二章知识点问答（21题）
深入理解Java虚拟机：JVM高级特性与最佳实践（第3版）第二章知识点问答（21题）
2025-08-21 18:19:46
1051
原创 2022面试题整理
Spring中的Bean是线程安全的嘛？Spring线程中的bean的作用域主要分为单例bean，和多例两种singleton单例的bean在spring容器中之存在一个全局共享的实例prototype每次调用getBean的时候都会创建一个新的对象所以这个问题要区分是多例，还是单例这里如果是多例的那么毋庸置疑，每个线程用到的都是独立的一份所以是线程安全的。如果是单例就需要考虑bean是否有加锁，如果没有那么就是非线程安全的。解决方式呢，一般可以考虑使用Threadlocal来保证线程安全。
2022-04-10 20:14:05
1634
原创 Spring源码深度解析读书日记九
MyBatis源码解析sqlSessionFactory创建SqlSessionFactoryBean实现了两个接口InitializingBean：实现此接口的bean会在初始化时调用七afterPropertiesSet方法来进行bean的逻辑初始化。FactoryBean：一旦某个bean实现次接口，那么通过getBean方法获取bean时起时是获取的此类的getObject（）返回实例。InitializingBean的afterPropertiesSet主要是对SqlSess
2022-04-10 18:34:00
517
原创 Spring源码深度解析读书日记七
AOPAOP常见的两种代理方式JDK和CGLiBJDK动态代理主要针对的对象必须是某个接口的实现，他是通过在运行期间创建一个接口的实现类来完成对目标的代理CGLIB代理，实现原理类似于JDK动态代理，只是它在运行期间生成的代理对象是针对目标类扩展的子类。CHLIB是高效的代码生成包，底层是依靠ASM（开源的JAVA字节码编辑类库）操作字节码实现的，性能比JDK更强。expose-proxy：有时候目标对象内部的自我调用将无法实施切面中的增强。创建AOP代理主要有两个步骤获取增强方法或者增
2022-04-10 06:20:49
149
原创 Spring源码深度解析读书日记六
容器的扩展功能设置路径扩展功能public void refresh() throws BeansException, IllegalStateException { synchronized(this.startupShutdownMonitor) { //准备刷新的上下文环境 this.prepareRefresh(); //初始化BeanFactory，并进行XML文件读取 Configur
2022-04-10 05:56:41
210
原创 Spring源码深度解析读书日记五
Bean的加载转换对应的BeanName这里传入的参数可能是别名，也可能是FactoryBean所以需要一系列的解析去除FactoryBean的修饰符，也就是如果name=“&aa”，那么会首先去除&取指定alias所表示的最终beanName查实从缓存中加载实例单例在Spring的同一个容器内只会创建一次，后续获取Bean就直接从单例缓存中获取。bean的实例化如果从缓存中获取到的bean的原始形态，则需要对bean进行实例化。原型模式的依赖检查只有在单例情况下
2022-04-10 05:27:30
171
原创 Spring源码深度解析读书日记二
容器的基本实现功能分析bean是Spring最核心的东西，因为Spring像个大水桶，而bean就像是容器中的水。使用过程读取配置文件xxx.XML根据xxx.XML中配置找到对应的类的配置，并实例化。调用实例化的实例。类图ConfigReader：用于读取及验证配置文件。ReflectionUtils：用于根据配置文件中的配置进行反射实例化。App：用于完成整个逻辑的串联。Spring的结构组成beans包的层级结构src/main/java 用于展现Spring
2022-04-06 17:04:19
192
原创 Spring源码深度解析读书日记一
Spring整体架构Spring的整体架构Core Container核心容器Core、Bean模块是框架的基本部分，提供IOC\DI功能，基础概念是BeanFactory。Core模块主要包含Spring框架基本的核心工具类，Spring的其他组件都要用到这个包里的类。Benas模块是所有应用都要用到的，它包含访问配置文件、创建和管理bean以及进行IOC\DI操作相关的所有类。Context模块构建于Core和Beans模块的基础上，提供了一种类似于JNDI注册起的矿机模式的对象访问方法
2022-04-06 15:21:59
339
原创 Redis深入历险读书笔记第四章扩展篇
streamStream是Redis5.0引入的一种数据结果，它是一个新的强大的支持多播的可持久化消息队列。借鉴Kafka的设计。每一个Stream的唯一名称就是他在Redis里key。每个Stream可以挂多个消费组，每个消费组都有一个Stream内唯一的名称，会有一个有表表示消费组消费到那一条消息。消息ID消息ID的形式是timestampInMillis-sequence,时间戳+生成的第几条。消息内容键值队，形如hash结构。独立消费当在不定义消费组的前提下使用Stream，当
2022-04-05 18:08:47
875
原创 Redis深入历险读书笔记第三章集群篇
主从同步CAP原理C：一致性P：分区容忍性A：可用性分布式事务基本满足CP、AP不可能同时满足CAP、CA，因为一致性保证就不能保证可用性。注：Zookeeper就是满足的CP、nacos满足的是AP默认、也可以通过修改配置满足CP最终一致性最终一致性是指在分布式事务下，我只保证最后的事务在所有分布式情况下的数据一致性，允许在分布式情况下的过程中存在事务不一致的情况。BASE理论。主从同步和从从同步从从同步是Redis后续版本引入的功能，主要目的是解决主机的负担。增量同步快照同步
2022-04-05 14:10:20
1039
原创 Redis深入历险读书笔记第二章原理篇
线程IO模型非阻塞IO非阻塞IO在套接字对象上提供了一个选项Non_Blocking，当这个选项打开时读写不回阻塞，能读多少读多少，能写多少写多少，性能限制取决于内核文佩的读写缓冲区内不数据字节数。事件轮询（多路复用）事件轮询API主要是用来解决线程获取通知的问题，如果当缓冲区满了，数据写不完之后 ，剩下的数据何时才应该继续写。事件轮询最简单的事select函数，他是操作系统提供给用户程序的API输入是读写米哦啊叔列表read_fds&write_fds输出是阈值对应的可读可写事件
2022-04-05 13:33:08
1050
原创 Redis深入历险读书笔记第一章
基础和应用篇Redis可以做什么记录帖子的点赞数量、评论数量和点击数。（hash）记录用户的帖子ID列表（排序），便于快速显示用户的帖子里表（zset）记录帖子的标题、摘要、作者和封面信息，用于列表展示（hash）记录帖子的点赞用户I D，评论ID里表，用于显示和驱虫计数（zset）缓存近期热帖的内容，减少数据库压力（hash）记录帖子的相关文章ID，根据内容推荐相关帖子（list）如果帖子ID是整数自增，适宜食用Redis来分配帖子ID。收藏集和帖子之间的关系（zset）记录热榜帖子
2022-04-03 14:55:10
163
原创 微服务原理与实战第九章RocketMQ
RocKetMQ分布式消息通信RocKetMQ是一个低延迟，高可靠，可伸缩、易于使用的分布式消息中间件，也叫消息队列。其优点是高吞吐、低延迟、海量消息堆积等优点，同时提供顺序消息，事务消息，定时消息，消息重试，与追踪功能。RocketMQ的应用常见削峰填谷异步解藕顺序收发分布式事务一致性大数据分析分布式缓存同步...
2022-03-21 14:38:08
334
原创 SpringCloudAlibaba读书日志第七章限流与熔断
微服务限流与熔断计数器算法指在指定周期内累加访问次数，访问次数达到一定阈值，触发限流策略，进入下一个时间周期时访问次数清零。可以用在短信验证码临界问题滑动窗口算法滑动窗口算法是为了解决临界问题。滑动窗口算法时一种流量控制技术，基于TCP的网络通信协议中，就采取了滑动窗口算法来解决网络拥塞的情况。滑动窗口算法原理是在固定窗口中分割出多个小时间窗口，分别在每个小时间窗口中记录访问次数，然后根据时间将窗口期往前滑动并删除过期的小时间窗口。最终只需要统计滑动窗口范围内的所有小时间窗口总的计数。令
2022-03-21 13:29:55
755
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人