- 博客(68)
- 收藏
- 关注
RSS订阅原创 万字长文｜大模型核心技术拆解
本文介绍了构建大语言模型的关键技术，包括预训练和微调两个核心阶段，以及数据预处理、词嵌入、文本分词等技术细节。文章详细讲解了BPE分词算法的工作原理，阐述了如何通过引入特殊词元和滑动窗口处理文本数据，并对比了绝对位置嵌入和相对位置嵌入方法。最后简要提及了注意力机制的实现，为大模型构建提供了全面而基础的技术指导。
2025-05-26 21:12:49
899
17
原创 一文读懂大模型高效微调：从Soft Prompts到 QLoRA的技术跃迁
本期文章介绍了大模型微调的高效方法，主要分为三类：Additive（增加额外参数）、Selective（选择性更新参数）和Reparametrization-based（引入重参数化）。Additive方法包括Adapters和Soft Prompts，通过引入额外参数或优化提示机制来增强模型性能。Selective方法则聚焦于有选择性地调整模型参数。Reparametrization-based方法通过重参数化技术优化模型，典型代表是LoRA，通过低秩矩阵模拟全量微调过程。文章还详细介绍了Prompt策略
2025-05-18 19:02:18
1726
15
原创 深入解析Redis：五大数据结构数据结构与高效命令指南
Redis是一种高性能的键值对NoSQL数据库，支持多种数据结构如字符串、哈希、列表、集合、有序集合等，并具备持久化、高可用和分布式特性。Redis将所有数据存储在内存中，因此读写性能极高。它提供了丰富的全局命令，如查看所有键、删除键、设置键过期时间等。Redis的数据结构有多种内部编码实现，以适应不同场景的需求。此外，Redis采用单线程架构和I/O多路复用模型，避免了线程切换和竞态消耗，进一步提升了性能。字符串和哈希是Redis的基础数据结构，分别支持多种操作命令和内部编码，如设置值、获取值、计数等，适
2025-05-12 21:38:34
1544
24
原创 深入解析Java多线程与并发编程(五)(JUC显示锁、AQS抽象同步器以及JUC高并发容器)
本文介绍了JUC显式锁、AQS抽象同步器以及JUC高并发容器的基本概念。JUC显式锁是一种灵活的Java实现锁，支持多种锁操作，如可轮询、定时、可中断等。显式锁的核心接口是Lock，其主要实现类为ReentrantLock，具有可重入、独占等特性。显式锁可分为可重入锁、不可重入锁、悲观锁、乐观锁、公平锁、非公平锁、可中断锁、不可中断锁、共享锁和独占锁等类型。悲观锁适用于写多读少场景，而乐观锁适用于读多写少场景。公平锁保障线程按顺序获取锁，非公平锁则不保证。可中断锁允许在抢占过程中中断，而不可中断锁则不允许。
2025-05-11 18:45:17
1326
22
原创 深入解析Java多线程与并发编程(四)(CAS原理以及JUC原子类)
本文介绍了CAS（Compare And Swap）原理及其在Java并发编程中的应用。CAS是一种CPU指令级的原子操作，用于实现无锁编程，通过比较并交换的方式保证对共享变量的修改是原子性的。Java中的JUC（java.util.concurrent）原子类依赖于sun.misc.Unsafe类的本地方法实现CAS操作。Unsafe类提供了底层的内存操作和CAS方法，允许直接访问系统内存资源。JUC原子类包括基本原子类（如AtomicInteger）、数组原子类（如AtomicIntegerArray）
2025-05-10 16:17:36
1024
8
原创 深入解析Java多线程与并发编程(三)(Java内置锁以及synchromized线程同步机制)
Java内置锁是Java中实现线程同步的核心机制，每个对象都隐含一个锁标记，用于协调线程对共享资源的访问。synchronized关键字是实现内置锁的主要方式，可以修饰方法或代码块，确保同一时间只有一个线程执行临界区代码。synchronized方法是一种粗粒度的并发控制，而synchronized代码块则提供更细粒度的控制。Java内置锁的状态包括无锁、偏向锁、轻量级锁和重量级锁，锁会根据竞争情况升级，但不会降级。偏向锁适用于单线程重复获取锁的场景，轻量级锁通过自旋机制减少线程切换开销，而重量级锁则会在竞
2025-05-10 13:32:52
1219
5
原创 深入解析Java多线程与并发编程(二)(Java线程操作、线程池以及ThreadLocal原理)
本期文章主要介绍了Java中线程的基本操作、线程池以及ThreadLocal的原理。首先，文章详细讲解了线程的常见操作，包括线程名称的设置与获取、sleep()、interrupt()、join()、yield()以及守护线程的使用。接着，文章深入探讨了线程池的相关内容，介绍了JUC（java.util.concurrent）工具包中的核心接口和类，如Executor、ExecutorService、ThreadPoolExecutor等，并强调了通过标准构造器ThreadPoolExecutor创建线程池
2025-05-09 21:54:29
1091
1
原创 深入解析Java多线程与并发编程(一)(多线程以及线程创建的四种方法)
本期博客深入探讨了Java并发编程中的多线程与线程创建。首先，介绍了进程与线程的基本概念，指出进程是程序的一次执行，包含程序段、数据段和进程控制块，而线程是CPU调度的最小单位，共享进程的内存空间和系统资源。接着，详细对比了进程与线程的区别，强调线程的上下文切换速度更快，且线程之间共享资源。在创建线程方面，介绍了三种主要方法：继承Thread类、实现Runnable接口以及使用Callable和FutureTask。继承Thread类需要重写run方法，而实现Runnable接口则通过Thread类创建线程
2025-05-09 16:43:27
1264
4
原创 计算机网络:TCP/IP协议(网络层漫游：IP 寻址与路由控制全攻略)
本期进行IP协议的学习，IP作为整个TCP/IP中至关重要的协议，主要负则将数据包发送给最终的目标计算机，它能够让世界上任何两台计算机之间进行通信。IP地址（IPv4地址）是由32位正整数来表示。我们以每8位为一组，分成4组，每组以“.”隔开，再将每组数转换为十进制数。IP地址由网络和主机两部分标识组成，**网络标识在数据链路的每个段配置不同的值。**网络标识必须保证相互连接的每个段的地址不相重复。而相同段内相连的主机必须有相同的网络地址。
2025-05-08 15:39:09
1593
13
原创 计算机网络:TCP/IP协议(从 MAC 地址到 VLAN 标签：数据链路层如何重构网络拓扑逻辑)
本期开始将分层进行讲解OSI参考模型或者TCP/IP参考模型，从数据链路到应用层，本期先介绍数据链路层。本期主要介绍了网络中的数据链路层，下期将会介绍IP协议。
2025-05-07 22:02:24
1494
10
原创 计算机网络:TCP/IP协议(前置知识轻松解码)
本期主要是对TCP/IP协议需要的前置知识进行一个简单的理解，下一期将会对其进行深入的介绍，将深入到TCP/IP参考模型的各层以及各层传输的具体数据格式。本期主要介绍了计算机网络中一些基本概念，下期将会深入进行讲解。
2025-05-06 18:02:55
1506
11
原创 手把手教你用 GRPO 算法微调模型：从算法实现到模型训练全流程实战
本期主要介绍了GRPO中核心的一些技术实现，不过由于篇幅原因，代码中删除了很多基础的配置以及一些异常处理过程。
2025-05-03 17:12:58
2249
7
原创 穿透Mysql数据库底层：从 InnoDB 存储到 B + 树索引的深度解析（二）
本期将紧接着上期介绍，继续介绍B+树索引，让你真正了解聚簇索引，二级索引，以及联合索引。本期详细介绍了B+树索引，聚簇索引、二级索引以及联合索引，希望看到这里的你有所收获。
2025-05-02 12:01:49
858
4
原创 穿透Mysql数据库底层：从 InnoDB 存储到 B + 树索引的深度解析（一）
本期将开启新的专栏Mysql，深入了解Mysql的底层实现，理解Mysql，本期将先介绍MySQL概述，然后介绍InnoDB存储引擎记录行格式以及页结构。MySQL分为客户端程序和服务器程序，客户端程序需要用账号密码进行登录，然后我们在上面发送增删改查指令，服务器程序直接和我们存储的数据进行交互，并操作它们。我们看一下具体的流程，主要分为三个部分，连接管理解析与优化以及存储引擎。
2025-05-01 16:20:37
1084
5
原创 深入理解java虚拟机(二)(JVM 底层笔记：Class 文件与类加载全解析)
上期介绍了JVM的自动内存管理，本期将介绍Class文件结构与虚拟机类加载机制。刚刚我们了解到字节码指令存储在 Code 属性表，那它是怎么来的呢?Java 字节码指令是 Java 虚拟机（JVM）所执行的一组指令集，它是 Java 源代码经过编译后生成的中间代码，这些指令为 JVM 提供了具体的操作指示。字节码指令集可算是一种具有鲜明特点、优势和劣势均很突出的指令集架构，由于限制了Java虚拟机操作码的长度为一个字节（即0～255），这意味着指令集的操作码总数不能够超过256条。do {
2025-04-30 18:51:18
1139
9
原创 深入理解java虚拟机(一)(自动内存管理全解析)：从对象创建到垃圾收集算法深度剖析
本期详细介绍了JVM的自动内存管理，包括运行时数据区域布局、对象创建的过程，以及垃圾收集器与内存分配策略。
2025-04-29 17:59:36
1271
9
原创 动手学机器学习——随机森林和集成学习(附 sklearn 实战及详细讲解)
本期将介绍集成学习和随机森林，随机森林是集成学习方法中的一种。我们可以看到在一些机器学习竞赛中最终获胜的解决方案，往往是涉及多种集成方法。相信大家都听过“三个臭皮匠，赛过诸葛亮”这个谚语吧，这就是群体智慧的力量。接下来我们将具体进行介绍。本期介绍了随机森林和集成学习及其代码实现。
2025-04-25 17:16:19
1161
25
原创 动手学机器学习——决策树(从数学公式推导到完整代码实现)(附 sklearn 实战)
上期我们介绍了SVM支持向量机，与其一样，决策树也可以执行分类和回归任务，同时决策树也是随机森林的基本组成部分，本期将对其进行介绍。
2025-04-25 13:01:11
1201
12
原创 动手学机器学习——支持向量机SVM(含完整代码实现)
支持向量机(SVM)是一个功能强大并且全面的机器学习模型，它能够执行线性或者非线性分类、回归，同时它特别适合用于中小型复杂数据集的分类，这也是本期介绍其的主要原因之一。本期介绍了SVM进行线性与非线性分类的任务，包含公式的推导、核技巧，以及代码的实现，实际上SVM还能处理回归任务。
2025-04-24 21:59:08
2466
38
原创 《机器翻译：基础与模型》笔记：统计机器翻译（三）（基于词的机器翻译建模）
本期将进行深入统计机器翻译，详细介绍基于词的机器翻译建模以及介绍噪声信道模型与IBM模型1，介绍其建模，训练，解码的过程。
2025-04-24 16:39:24
1284
5
原创 《机器翻译：基础与模型》笔记：机器翻译基础入门（一）
本期将介绍机器翻译，参考书籍《机器翻译：基础与模型》，本期知识将会对当前主流的机器翻译技术做个总览，不会过于深入，后面几期会深入探讨每种方法。本期作为笔者自己的学习笔记，以供大家复习使用。规则就像语言中的“If then”语句，如果满足条件，则执行相应的语义动作。我们可以看到不同的规则对应不同的转换。上图中规则1可以表示单词间的对应，规则6表示句法甚至语法的对应，我们又将规则划分四个层次，词汇转化，句法转换，语义转换以及中间语言层。
2025-04-22 20:13:41
1613
23
原创 从 Transformer 到 BERT：一文读懂 NLP 预训练模型的 “双向革命”
上期笔者介绍了Transformer架构，这个架构是之后各个大模型的基础，本期将介绍基于Transformer架构的BERT，同样会以尽可能通俗易懂的语言，让你对BERT有个真正深入的了解，话不多说，抓紧开始。本期的BERT实际上在理解了Transformer架构后，我们能够很轻松的理解它，它有两个预训练任务，分别为掩码语言模型构建和下句预测，以及有独特的词嵌入方式。相信看完此篇的你对其能有个大致的了解。
2025-04-21 16:13:58
1251
11
原创 Transformer 架构全解析：从 Attention 机制到编码器 - 解码器，一文吃透核心原理
本期笔者将尽可以能的让你对于Transformer架构有个真正深入的了解。对于时序任务，我们在没有Transformer架构的时候，会使用循环神经网络（RNN）和长短期记忆网络（LSTM）进行处理，不过它们有个最根本的问题就是无法处理长期依赖，前面的信息到后面往往会遗忘。为了解决这一问题，Transformer架构应运而生，并为后面的大模型的出现奠定了理论基础。对于如何解决长期依赖问题，Transformer完全依赖于注意力机制，摒弃了循环，这种特殊的注意力机制称为自注意力。
2025-04-20 20:27:13
1421
43
原创 SpringCloud微服务从零带你入门(三)(Zuul篇)
上期我们介绍了Hystrix服务容错处理,通过Hystrix我们可以实现对服务的过载保护，相信大家都其有了一定的了解，接下来我将继续带领大家学习微服务API网关Zuul。本期讲述了SpringCloud的API网关Zuul，感兴趣的友友可以关注一下博主。
2025-04-19 13:49:21
1263
15
原创 SpringCloud微服务从零带你入门(二)(Hystrix篇)
本期讲述了SpringCloud的Hystrix篇，下期将介绍API网关Zuul，感兴趣的友友可以关注一下博主。
2025-04-19 09:00:00
1509
16
原创 从 0 到 1 构建自定义 Spring Boot Starter
本期博客为SpringBoot万字长文入门补充拾遗篇，本期将介绍一下Spring Boot Starter的自定义方式。本期博客从零开始搭建Spring Boot Starter，学习完后，我们可以更深入理解Spring Boot Starter的内部原理，能够更好的理解SpringBoot的启动流程以及增加对SpringBoot自动配置的理解。
2025-04-16 16:11:44
2899
52
原创 SpringCloud微服务从零带你入门(一)(Eureka | Ribbon | Feign)
通过实现IRule接口可以自定义负载策略，主要的选择服务逻辑在choose方法中。通过配置的方式使用自定义的负载策略。本期分模块介绍了SpringCloud中常用的组件包括Eureka， Ribbon 以及 Feign，下期会继续进行介绍Hystrix以及API网关Zuul。
2025-04-15 15:10:14
1369
17
原创 第十五届蓝桥杯C&C++组大赛题解 (研究生组 |全部题目 | C++实现)
为了方便大家查阅，笔者将第十五届蓝桥杯C&C++组大赛研究生组题解整合汇总了一下。
2025-04-11 10:51:55
409
13
原创 动手学图神经网络GCN( GCN识别人体姿态 | 完整代码 | Pytorch实现)
本期先介绍了GCN图卷积神经网络的基础知识，再通过一个实例让大家能够更好的理解GCN的原理，下期如果有时间的话，会给大家介绍GAN，核心实际上也是在重构邻接矩阵。
2025-04-09 09:00:00
1680
36
原创 动手学生成式深度学习GAN(包含生成式对抗网络生成手写数字实践 | 完整代码 | Pytorch实现)
本期介绍了生成式对抗网络（GAN），现在我们对比一下VAE和GAN。1 VAE是利用已有图像在编码器生成潜在向量，这个向量在服从高斯分布的情况下很好地保留了原图像的特征，在解码器得到的图片会更加的合理与准确。VAE适合于学习具有良好结构的潜在空间，潜在空间有比较好的连续性，其中存在一些有特定意义的方向。VAE能够捕捉到图像的结构变化（倾斜角度、圈的位置、形状变化、表情变化等）。2 GAN生成的潜在空间可能没有良好结构，但GAN生成的图像一般比VAE的更清晰。
2025-04-08 09:00:00
1219
5
原创 万字长文入门SpringBoot，你的入门指南(二)(IOC，AOP，Redis，Spring Security，RabbitMQ，Elasticsearch）
本文继续对SpringBoot其中知识点做一个总结，参考书籍刘水镜的SpringBoot 趣味实战课，仅作为笔记进行参考。本文总结了包括IOC，AOP，Redis，Spring Security，RabbitMQ，Elasticsearch。如果想要更深入学习JAVA后端开发的内容，关注我，下期更精彩请大家一定一定要关注！！！请大家一定一定要关注！！！请大家一定一定要关注！！！友友们，你们的支持是我持续更新的动力~
2025-04-07 13:29:00
1291
11
原创 万字长文入门SpringBoot，你的入门指南(一)(Maven,SpringMVC,RESTful,JPA,MyBatis Plus,Druid）
本文将对SpringBoot其中知识点做一个总结，参考书籍刘水镜的SpringBoot 趣味实战课，仅作为笔记进行参考。注意：from后面的是User，而不是user；where后面的是birthDay，而不是birth_day。这说明它查询的目标不是表，而是实体类。这种方式就很简单了，就是使用标准的SQL语句，不过需要将＠Query注解的nativeQuery属性设置为true。更新和删除操作需要使用＠Modifying和＠Transactional注解。
2025-04-06 18:26:10
1036
13
原创 动手学生成式深度学习VAE(包含变分自编码器生成数字图像实践 | 完整代码 | Pytorch实现)
本期以一个生成手写数字图像的图像讲述了VAE模型架构的原理，下期我们将以GAN的方式完成这个实践。
2025-04-05 09:00:00
2137
26
原创 动手学循环神经网络(RNN | LSTM | GRU)(LSTM预测股票行情 | Pytorch实现完整代码)
本期介绍了RNN、LSTM以及GRU，并用一个小示例LSTM预测股票的行情来让大家加深对于循环神经网络的了解。
2025-04-04 12:09:50
969
6
原创 动手学卷积神经网络(CNN)(VGG网络模型实现CIFAR-10多分类)(包含 VGG11，VGG13，VGG16，VGG19 Pytorch 代码实现）
本期使用了VGG16架构的卷积神经网络去处理了上期讲的CIFAR-10多分类问题，精度相较于上期也是有了不小的提高，下期我们实践操作RNN循环神经网络。
2025-04-03 09:00:00
1404
6
原创 动手学卷积神经网络(CNN)( CIFAR-10多分类实战完整代码 | 手把手教你 | Pytorch实现)
CIFAR-10数据集由10个类的60000个32×32彩色图像组成，每个类有6000个图像。有50000个训练图像和10000个测试图像。1 引入头文件2 数据集下载笔者把数据集放在百度网盘里了，有需要的可以自取。数据集注意：本项目我们只需要用到python版本，将这个文件解压在你的数据文件路径之下。由于我们已经下载并解压了文件夹，所以我们用torchvision.datasets.CIFAR10函数的参数download设置为False。
2025-04-02 15:55:47
1211
原创 万字长文一文了解常用激活函数 | 常用损失函数 | 常用梯度优化算法 | 过拟合与欠拟合 | 梯度消失和梯度爆炸
本期将对深度学习中所需要的基础知识进行总结。之后几期我们将开启实战专栏，一步一步带领大家搭建深度神经网络，从入门到实践。RMSprop、Adadelta和Adam被认为是自适应优化算法，因为它们会自动更新学习率。而使用SGD时，必须手动选择学习率和动量参数，通常会随着时间的推移而降低学习率。有时可以考虑综合使用这些优化算法，如采用先使用Adam，然后使用SGD的优化方法，这个想法，实际上是由于在训练的早期阶段SGD对参数调整和初始化非常敏感。
2025-04-01 14:30:00
1031
原创 PyTorch 快速上手：从张量操作到深度学习的必备指南
本期将介绍深度学习PyTorch框架。utils.data包括Dataset和DataLoader。torch.utils.data.Dataset为抽象类。定义数据集需要继承这个类，并实现两个函数，一个是__len__，另一个是__getitem__。__getitem__一次只能获取一个数据，所以需要通过torch.utils.data.DataLoader来定义一个新的迭代器，实现batch读取。dataset,shuffle=False,#是否将数据打乱sampler=None,#样本抽样。
2025-04-01 09:00:00
1187
6
深度学习与Web开发依赖包解析：requirements.txt详细解读及其应用场景
2025-03-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人