- 博客(327)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 VS2015 + OpenCV + OnnxRuntime-Cpp + YOLOv8 部署
本文详细介绍了使用 VS2015+OpenCV+OnnxRuntime+YOLOv8进行模型 C++ 部署的方法
2025-01-10 09:03:38
1524
6
原创 论文理解【LLM-NLP】——【SEQ*】Learn or Recall? Revisiting Incremental Learning with Pre-trained Language Mode
本文介绍 LLM 增量学习论文 SEQ*，它通过分析预训练语言模型(PLMs)在增量学习过程中发生遗忘的原因，仅对标准增强学习方法SEQ进行简单修改便达成了SOTA性能
2024-12-08 15:09:11
1166
原创 多维高斯分布的信息熵和KL散度计算
很多现实问题的原始特征分布都可以看作多维高斯分布，本文以数据特征服从多维高斯分布的多分类任务这一理想场景为例，从理论层面分析数据特征和分类问题难度的关系
2024-11-24 18:35:39
1128
5
原创 论文理解【LLM-CV】—— 【MAE】Masked Autoencoders Are Scalable Vision Learners
本文介绍何凯明的经典之作MAE，它将BERT类模型的MLM自监督训练方法用到了ViT类CV模型上，通过设置大比例mask ratio和引入图像重建decoder的方法达成了良好的性能
2024-10-04 23:54:45
654
原创 论文理解【LLM-agent】—— 【Reflexion】Language Agents with Verbal Reinforcement Learning
本文介绍 LLM agent 领域的经典方法 Reflexion，它通过引入 episodic memory 为 agent 提供长期记忆，在不微调模型的参数的同时实现了基于上下文的试错学习，性能提升显著
2024-09-02 12:44:21
2177
原创 论文速览【LLM-agent】—— 【ReAct】Synergizing Reasoning and Acting in Language Models
本文介绍LLM-agent领域的经典方法ReAct，它将LLM的自然语言推理能力和动作生成能力结合，使其同时适用于各类NLP和控制任务，并起到1+1>2的效果
2024-08-30 21:37:01
1833
原创 论文理解【LLM-CV】—— 【VIT】An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
本文介绍经典的 ViT 论文，它是第一个将 Transformer 模型有效应用到较大规模 CV 任务上的工作，并且保持了 Transformer 模型本身的 Scaling 能力，启发了很多后续工作
2024-08-30 21:07:59
2645
原创 论文速览【LLM】 —— 【ORLM】Training Large Language Models for Optimization Modeling
LLM 有能力将自然语言描述的工业场景问题建模为数学运筹优化问题，然后通过写代码调用经典求解器的方式加以解决。本文提出的 ORLM 方法主要关注如何合成数据来训练或微调这种领域模型
2024-08-27 20:00:54
1945
原创 论文理解【CV-目标检测】——【YOLO-V1】You Only Look Once: Unified, Real-Time Object Detection
首先简介了CV领域的主流任务，然后对最重要的目标检测算法之一YOLO-V1进行了详细介绍
2024-08-07 20:55:33
1309
原创 论文理解【LLM】—— TinyStories: How Small Can Language Models Be and Still Speak Coherent English?
本文在儿童故事这个非常垂直的领域数据上训练小规模语言模型（SLM），发现其具有和 LLM 相似的性能，相关分析对于理解 LMs 的能力很有参考意义
2024-07-25 21:36:41
1659
1
原创 论文理解【LLM】—— What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot...
本文通过对模型架构、预训练目标、是否多任务微调等进行大规模排列组合实验，找到了 LLM 的最佳训练方案，得到的工程结论对于我们设计实验很有帮助
2024-07-25 00:28:19
1290
1
原创 Hugging face Transformers（4）—— Model
本文介绍 Hugging face transformers 库中 model 组件的用法
2024-07-09 02:25:41
525
原创 Hugging face Transformers（3）—— Tokenizer
本文介绍 Hugging Face Transformers 库中 Tokenizer 组件的基础用法
2024-07-06 22:18:41
1300
原创 Hugging face Transformers（2）—— Pipeline
本文介绍 Hugging face Transformers 库中 Pipeline 的基础用法，它可以帮我们快速调用预训练模型完成各类任务
2024-07-06 19:41:17
1546
原创 详解三种常用标准化 Batch Norm & Layer Norm & RMSNorm
详细说明 Batch Norm / Layer Norm / RMSNorm
2024-06-24 22:35:17
6452
15
原创 Pytorch入门（7）—— 梯度累加（Gradient Accumulation）
本文介绍梯度累加技巧及其pytorch实现。该技巧通过延迟参数更新时机，允许模型在显存容量有限时使用更大的等效batch size进行训练
2024-05-24 17:43:30
3224
原创 从费舍尔信息矩阵（Fisher Information Matrix, FIM）到自然梯度法
本文以自然梯度法的推导为脉络，贯穿黎曼空间、黎曼流形、黎曼度量、费舍尔信息矩阵、KL 散度和自然梯度法等概念。这是 TRPO 算法理论的重要基础
2024-01-18 09:01:19
8105
5
原创 序列模型（4）—— Scaling Laws
本文介绍 LLM 训练过程中重要的经验规律 Scaling Laws，它可以指导我们如何最大化训练效率，我们还可以借助它通过小规模实验预测大模型的性能表现
2024-01-10 04:40:46
2222
原创 序列模型（3）—— LLM的参数量和计算量
本文说明重要结论：设模型参数量为 N，训练数据量（Token）为 D，LLM训练中计算量（FLOPs）C ≈ 6ND
2024-01-07 09:47:59
6748
2
原创 项目demo —— GPT 聊天机器人
本文介绍我基于 Openai GPT API 开发的 telegram 聊天机器人。该 bot 具有催眠聊天、图像生成、语音输入输出等多模态交互能力，代码开源
2023-11-29 19:54:50
3319
9
原创 论文速览【ML4CO】—— 【Ptr-Net】Pointer Networks
标题：Pointer Networks；发表：NIPS 2015；领域：序列模型（seq2seq）改进 / 深度学习解决组合优化问题
2023-09-25 20:27:46
502
2
原创 Pytorch 多卡并行（3）—— 使用 DDP 加速 minGPT 训练
本文介绍如何使用 DDP 和混合精度训练方法来高效地训练一个 MinGPT 模型
2023-09-12 15:37:30
1662
2
原创 Pytorch 多卡并行（2）—— 使用 torchrun 进行容错处理
本文介绍如何使用 torchrun 框架改写 DDP 单机多卡并行代码，增强容错性和稳定性
2023-09-12 12:48:13
17103
7
原创 Pytorch 多卡并行（1）—— 原理简介和 DDP 并行实践
本文介绍多卡并行原理，并用一个简单的例子演示 Pytorch 中的 DDP 多卡并行代码写法
2023-09-11 21:45:48
2774
2
原创 Pytorch入门（6）—— 梯度计算控制
本文计算控制 Pytorch 中梯度计算的集中方法，包括设置 tensor.requires_grad 字段以及三种梯度计算模式，还会介绍容易与之混淆的模型评估模式
2023-09-11 07:43:17
1248
原创 RL 实践（7）—— CartPole【TRPO & PPO】
本文介绍 PPO 这个 online RL 的经典算法，并在 CartPole-V0 上进行测试。由于 PPO 是源自 TRPO 的，因此也会在原理部分介绍 TRPO
2023-08-15 11:51:47
1232
2
通信协议.cpp
2019-08-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人