- 博客(124)
- 收藏
- 关注
RSS订阅原创 大模型训练内存优化技术ZeRO介绍篇
ZeRO 是一项在2020年前后提出的、革命性的内存优化技术，旨在消除数据并行和模型并行中的 **内存冗余**。它保持**低通信开销**和**高计算粒度**，使得模型大小能够与设备数量成比例扩展，同时保持高效率。
2025-12-21 00:17:50
406
原创 LLaMA大模型家族发展介绍
LLaMA从强大的文本处理工具进化为能够理解并生成多模态内容的通用智能体，为未来人机交互和AI应用开辟了全新的疆域。
2025-11-30 11:20:41
799
原创 java线程变量ThreadLocal用法篇v1.1
`ThreadLocal` 是 Java 中用于实现 **线程封闭** 的类，其核心作用是为每个线程提供独立的变量副本，避免多线程间的共享竞争。但**它不保证存储对象的线程安全**，存储的**对象**使用不当仍会引发线程安全问题。线程安全的本质是 **“对象不被共享”** 或 **“对象不可变”**，而非依赖 `ThreadLocal`，在分布式线程环境（如线程池、异步任务）中，必须配合 `remove()` 清理数据或者使用阿里巴巴的TransmittableThreadLocal ，否则会引发数据污染和
2025-11-12 22:07:12
824
原创 大模型训练技术RLHF介绍篇
RLHF（基于人类反馈的强化学习）是一种通过人类偏好数据训练奖励模型，并利用强化学习微调语言模型，使其输出更符合人类价值观和偏好的技术。
2025-11-09 14:24:35
584
原创 PEFT库实战快速入门
PEFT库`AutoPeftModel` 的设计理念与 Transformers 库的 `AutoModel` 一脉相承，旨在少量代码就能自动高效微调任务
2025-09-22 22:00:06
688
原创 大模型微调技术介绍篇
大模型微调**核心都是通过训练来更新模型的参数**（权重），模型本身因为看到了新数据而发生了内在改变。**本质上就是更新Transformer模型的参数（权重）。**
2025-09-15 08:30:00
711
原创 使用(IA)³极简主义增量训练方法介绍篇
**(IA)³** 核心思想是**用最小的改动，实现最有效的控制**，(IA)³ 证明了一点：**与其增加复杂的结构，不如聪明地、精细地控制模型已有的激活值**，这是一种非常巧妙且高效的微调范式。
2025-09-14 08:43:59
350
原创 PEFT 统一框架UniPELT微调大模型介绍篇
UniPELT通过一个**门控机制**自动选择和组合最适合当前任务或数据的微调方法，无需人工干预。UniPELT 提供了一个**灵活、自适应**的微调框架，避免了对每个任务手动选择微调方法的麻烦，适合快速部署和实验多种 PEFT 策略。
2025-09-13 14:19:18
385
原创 使用AdaLoRA 自适应权重矩阵微调大模型介绍篇
AdaLoRA解决了LoRA低秩参数r的人工选择问题，并且实现动态调整模型所有关键部分（包括FFN）,全面提升模型能力
2025-08-31 12:19:15
1226
原创 人工智能技术发展历史演变
此阶段用到了BERT、PaLM、LLaMA、GPT-4、GLM，基于全网万亿数据十亿用户反馈，利用预训练 + 微调 + 开源社区，AI的发展仍在高速进行，未来方向可能包括。，此阶段用到了HMM、CTF、SVM反向传播、卷积网络，基于对百万级的数据进行标注，利用统计机器学习算法+算法包（scikit-learn，XGBoost）。，此阶段的主要是基于人工设计的规则系统，基于专家的知识和数百规则集构成，本质还是基于规则，不够智能。 1990年-2012年，处于。 2013年-2018年，处于。
2025-08-09 23:14:18
451
原创 分布式事务Seata AT模式设计分析篇
Seata AT模式是分布式事务的轻量级解决方案。适合**快速接入**、**业务无侵入**，允许短暂数据不一致使用。
2025-08-03 22:51:41
1039
原创 mysql 慢sql优化篇
SQL 优化的核心目标是在保证结果正确性的前提下，减少数据库系统的资源消耗（CPU、IO、内存、网络）和提高查询响应速度。
2025-07-16 19:46:24
837
原创 java volatile关键字使用详解
在 Java 中，`volatile` 是一个关键字，用于修饰变量，主要解决多线程环境下共享变量的**可见性**和**指令重排序**问题。它提供了一种轻量级的同步机制，但需注意其适用场景和限制。只保证单次读写的原子性，不保证复合操作的原子性
2025-07-11 15:10:17
364
原创 java关键字synchronized锁详解篇
`synchronized` 是 Java 中用于实现线程同步的关键字，它通过 **内置锁（Monitor Lock）** 确保多线程环境下的原子性、可见性和有序性。
2025-07-07 15:10:46
945
原创 JVM内存模型与垃圾回收机制分析
JVM内存模型涉及运行代码，即运行代码产生的垃圾数据需要回收，堆是对象生存的核心战场，GC 主要在此区域运作，GC解决内存有限性、避免手动管理风险、动态回收垃圾、保障性能与稳定性,**让开发者从内存管理中解放，专注于业务逻辑实现**
2025-07-01 21:02:19
780
原创 java并发包中的ReentrantLock锁详解篇
ReentrantLock是Java并发包中的互斥锁实现，提供比synchronized更灵活的锁控制
2025-06-11 15:51:32
1309
原创 java线程变量ThreadLocal用法篇
ThreadLocal 是 Java 实现线程封闭的关键类，为每个线程提供独立变量副本，避免共享竞争。但需注意：1) 存储对象本身需保证线程安全；2) 必须配合remove()清理，防止线程池复用导致数据污染；3) InheritableThreadLocal会复制父线程值，可能引发父子线程共享问题，可通过重写childValue深拷贝解决。典型风险包括：线程池残留数据、对象逃逸被多线程修改。建议：优先使用普通ThreadLocal，任务结束时强制清理，避免直接暴露对象引用。
2025-06-10 16:20:08
372
原创 spring 使用FactoryBean注入bean
通常是ApplicationContext，就是IOC容器，ApplicationContext是BeanFactory的实现类，是spring最核心的接口。用getBean来加载bean。BeanFactory相当于是IOC的基础类。而FactoryBean是另一个东西，可以用来手动注入类实例，但又与BeanFactoryPostProcessor等spring提供的扩展点不同，本身没有固定的触发时机。
2025-05-04 11:37:47
474
1微信小程序开发从0基础到unit-app开发
2023-03-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人