TFATS的博客

基于 Pytorch 完成 Transformer 模型代码实现。

本文将介绍以下内容：1. Transformer 架构中的三种 Attention详解2. Transformer 架构中的三种 Mask详解3. 总结

本文将介绍以下内容：1. Subword与传统tokenization技术的对比2. WordPiece3. Byte Pair Encoding (BPE)4. Byte-level BPE(BBPE)5. SentencePiece 以及各Subword算法代码实现

本文将介绍以下内容：1. BBPE 算法原理2. BBPE 算法流程 2.1 构建初始词表 2.2 统计频率 2.3 合并频率最高的字节对 2.4 重复合并步骤 2.5 分词 2.6 解码3. BBPE 算法源码实现 Demo

本文将介绍以下内容：1. BPE 算法核心原理2. BPE 算法流程3. BPE 算法源码实现Demo

本文介绍以下内容：1. WordPiece 与 BPE 的区别2. WordPiece 算法原理3. WordPiece 算法流程4. WordPiece 算法源码实现Demo

本文系统梳理了Nvidia GPU产品线及架构演进，包括Nvidai GPU 明细表、和Nvidia GPU 架构详解。

本文介绍了下载和转换ted_hrlr_translate数据集的方法。

我们介绍了我们的第一代推理模型，DeepSeek-R1-Zero 和 DeepSeek-R1。DeepSeek-R1-Zero 是一个通过大规模强化学习（RL）训练的模型，未经过监督微调（SFT）作为初步步骤，展现出卓越的推理能力。通过 RL，DeepSeek-R1-Zero 自然展现出众多强大而有趣的推理行为。然而，它面临着可读性差和语言混合等挑战。为了解决这些问题并进一步提升推理性能，我们引入了 DeepSeek-R1，该模型在 RL 之前结合了多阶段训练和冷启动数据。

AWQ（Activation-aware Weight Quantization）量化是一种基于激活值分布(activation distribution)挑选显著权重(salient weight)进行量化的方法，其不依赖于任何反向传播或重建，因此可以很好地保持LLM在不同领域和模式上的泛化能力，而不会过拟合到校准集，属训练后量化(Post-Training Quantization, PTQ)大类。

vLLM（Vectorized Large Language Model Serving System）是一个大语言模型推理加速工具。

**本文将介绍以下 LLM**- **OPT**- **LLaMa**- **Alpaca**- **Vicuna**- **Moss**- **chatGLM**- **Baichuan**- **Openbuddy**

【代码】大模型 lora 训练后的权重合并。

url = f""role" : "user" , "content" : "随机给我一个1～10000的数字" } ] payload = {"role" : "user" , "content" : "随机给我一个1～10000的数字" } ] payload = {",if stream:if line:try:"role" : "user" , "content" : "随机给我一个1～10000的数字" } ] payload = {")else:url = f"

**本文将介绍如下内容：**- **一、搭建 Docker Container 环境**- **二、配置大模型训练环境**- **三、构建、配置数据集**- **四、训练大模型**