【笔记】happy-llm 第一章 NLP 基础概念

原创 已于 2025-07-15 17:58:31 修改 · 990 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #笔记 #人工智能

于 2025-06-17 00:40:59 首次发布

正文详见：happy-llm/docs/chapter1/第一章 NLP基础概念.md at main · datawhalechina/happy-llmhttps://github.com/datawhalechina/happy-llm/blob/main/docs/chapter1/%E7%AC%AC%E4%B8%80%E7%AB%A0%20NLP%E5%9F%BA%E7%A1%80%E6%A6%82%E5%BF%B5.md

1.3 NLP任务 

1.3.1 中文分词

在中文中，字和字之间不像英文一样由空格隔开。中文分词的作用是将一句中文中的字切割为一组有序的字词序列（一个字或多个字（词）），使得每个字词所表达的信息都和整句中文相关。

1.3.2 字词切分

字词切分主要用于罕见词、新词或者合成词（常用于拼音文

最低0.47元/天 解锁文章
ReedFoley
关注
【笔记】happy-llm 第三章 预训练语言模型
ReedFoley的博客
06-30 1040
【笔记】happy-llm 第三章 预训练语言模型
【笔记】happy-llm 第四章 大语言模型
ReedFoley的博客
07-01 1052
【笔记】happy-llm 第四章 大语言模型
Datawhale happy-llm Task02：第一章 NLP 基础概念 笔记
m0_71827731的博客
08-20 716
文本摘要（Text Summarization）是 NLP 中的一个重要任务，目的是生成一段简洁准确的摘要，来概括原文的主要内容。根据生成方式的不同，文本摘要可以分为两大类：抽取式摘要（Extractive Summarization）和生成式摘要（Abstractive Summarization）。
【笔记】happy-llm 第二章 Transformer 架构
ReedFoley的博客
06-20 740
【笔记】happy-llm 第二章 Transformer 架构
【笔记】 happy-llm 第六章 大模型训练流程实践
ReedFoley的博客
07-12 270
【笔记】 happy-llm 第六章 大模型训练流程实践
阅读笔记：Happy-LLM 第二章 —Encoder-Decoder
a2507283885的博客
06-22 429
Encoder-Decoder 就是个分工明确的流水线1️⃣Encoder负责理解并压缩信息 → 得到“信息胶囊”💊2️⃣Decoder拆解胶囊，按目标格式生成结果 → 输出文本📝关键buff残差连接防脑死亡（梯度消失）FFN 处理局部细节Seq2Seq 框架灵活适配各种任务。
Happy-LLM NLP概念学习笔记
dfghjkliuyt的博客
08-19 1110
本文介绍了自然语言处理(NLP)的基础概念与发展历程。NLP旨在使计算机理解、处理和生成人类语言，涵盖文本分类、机器翻译等任务。其发展经历了早期探索、符号主义与统计方法、机器学习与深度学习三个阶段，从基于规则的方法到如今Transformer模型的应用。文章重点阐述了文本表示技术的演进，包括词向量、N-gram模型、Word2Vec和ELMo等方法，分析了各类技术的优缺点，展现了NLP从简单统计到深度学习预训练模型的技术发展脉络。
大模型学习 （Datawhale_Happy-LLM）笔记1：内容介绍与前言
lxltom的博客
06-16 513
一种基于深度学习的人工智能模型，通过在大规模文本数据上进行训练，能够理解和生成人类语言。
Happy-LLM，初学者入门大语言模型（LLM）最佳指南
Y525698136的博客
07-12 1434
最近发现一个非常好的学习资料，可以一次性的掌握从理论到从头创建一个大模型，再到预训练，SFT（有监督微调），甚至到最后还有RAG以及Agent的搭建方式，非常的齐全。就是这个Happy-LLM，Github将近10000星了，上升势头非常快。这边大模型的开源项目已经整理并打包好了，大家扫了即可拿到由于下个学期可能需要讲一些类似的内容，所以自己过了一遍，教程一共有7章，我把它分成了三个部分：1-4理论部分， 5-6大模型创建和训练实践，7大模型扩展应用。
【人工智能】【深度学习】 ⑧ 一文讲清Transformer工作原理：从自注意力到大语言模型的革命
最新发布
xiezhiyi007的专栏
12-05 454
Transformer通过自注意力机制重构了序列建模范式。本文以数学公式推导为核心，解析Query-Key-Value三元组如何建立长距离语义关联，并通过多头注意力实现多视角特征提取，解决RNN/LSTM的串行计算瓶颈。创新性提出的位置编码（Positional Encoding）采用正弦/余弦函数保留序列顺序信息，使模型能处理任意长度输入。配套PyTorch代码完整实现残差连接、层归一化等关键组件，训练速度较传统模型提升3倍以上。推荐结合《深度学习》（花书）第10章及HuggingFace源码深入研读。
AI核心知识32——大语言模型之Multimodal Voice（简洁且通俗易懂版）
学习AI中...
12-04 359
多模态语音技术实现了AI对声音的原生理解与生成，与传统的拼接式语音助手有本质区别。新一代技术（如GPT-4o）将语音处理整合为端到端流程，直接处理声音波形，带来三大突破：1）能感知语气、情感等副语言信息；2）可自然表达情感并模仿不同音色；3）实现毫秒级响应和实时打断。应用场景包括实时同声传译、情感陪伴和环境感知，使AI真正具备类人的听觉与口语交流能力，标志着从文字处理机器向智能生命体的进化。
大语言模型进阶（一）之大语言模型基础
qq_22341693的博客
12-02 768
本文系统剖析了大语言模型（LLM）的技术基础，重点阐述了Transformer架构的核心机制及其演进。首先解析了Transformer的解码器结构，包括嵌入表示层、注意力层（特别是多头注意力和因果注意力）、前馈网络以及残差连接与层归一化等关键组件。随后介绍了GPT模型的生成式预训练范式，包括无监督预训练和有监督微调两阶段方法。接着以LLaMA为例，详细探讨了现代大语言模型的结构优化，包括前置RMSNorm、SwiGLU激活函数、旋转位置编码(RoPE)以及分组查询注意力(GQA)等创新技术。最后从实践角度提
大语言模型（Large Language Model, LLM）系统详解
EdmundBai的博客
12-02 321
定义：大语言模型（LLM）是语言模型（Language Model, LM）的进阶形态，通常以Transformer为核心架构，在万亿级tokens的通用文本数据上预训练，能通过少量提示（Prompt）适配翻译、创作、推理等多样化自然语言任务，无需针对单一任务重新训练。本质：通过学习海量文本的语义、语法、知识规律，构建通用的语言表征与生成能力，类比人类通过海量阅读形成的语言认知体系，可泛化到未见过的场景。
词袋模型在自然语言处理中的理论演进与应用研究：一项系统性综述
andeyeluguo的博客
12-02 53
词袋（Bag of Words, BoW）模型作为自然语言处理（Natural Language Processing, NLP）中最基础且最具影响力的文本表示方法之一，自20世纪末以来持续影响着信息检索、文本分类与情感分析等核心任务。尽管近年来以BERT为代表的深度上下文嵌入模型在性能上实现了显著超越，但BoW模型因其计算效率高、解释性强及可扩展性佳，在特定场景中仍具不可替代的价值。
BCO：用于大语言模型对齐的二分类器优化
12-04 31
在诸如 ChatGPT 等实际服务中，根据用户反馈对模型进行对齐对于提升模型性能至关重要。但大多数现有的对齐研究依赖偏好建模方法，需要成对的正负反馈样本。。该方法训练一个二分类器，其 logit 可作为隐式奖励，从而有效最小化 Direct Preference Optimization（DPO）损失。我们证明，分类器训练中使用的 binary cross-entropy（BCE）损失构成 DPO 损失的上界。此外，我们提出了一种新颖的 reward shift 技术，用于进一步缩小两种损失之间的差距。
AI核心知识33——大语言模型之ASR（简洁且通俗易懂版）
学习AI中...
12-04 618
ASR（自动语音识别）是AI的"耳朵"，负责将语音转换为文字。在传统AI对话系统中，ASR作为第一道桥梁连接物理声音与数字文字，其性能由词错率和抗噪能力衡量。OpenAI的Whisper模型代表了当前ASR技术的最高水平。虽然GPT-4o等原生多模态模型不再需要独立ASR模块，但仍具备其核心功能。ASR技术使大语言模型能够"听见"人类语音，是实现语音交互的基础。
应用篇#4：Qwen2视觉语言模型（VLM）的服务器部署
hjs314159的博客
12-05 290
本文介绍了Qwen3-VL-2B视觉语言模型的安装与使用过程。首先通过pip安装所需依赖，然后使用ModelScope下载模型。在实践过程中遇到模型生成方法缺失、依赖缺失和网络连接超时等问题，通过改用Qwen2-VL-2B模型、安装缺失依赖和设置国内镜像源等方式解决。最终成功实现图片描述功能，模型能够详细描述图片内容，如人物状态和交通施工场景等。文中提供了完整的demo.py代码，包含模型加载、输入处理和结果生成等步骤，展示了该模型强大的视觉理解能力。
微论-自成长系统引发的NLP新生
小召的专栏--百汇电脑学校(www.i5school.com)
12-01 894
然而，在这繁荣的表象背后，一个根本性的隐忧始终存在，正如我们所洞察的：这些模型从庞大的语料库中学习，却从未有过真实的“体验”。一个扎根于体验的系统，才有可能像人类一样，将“时间流逝”的抽象概念与“河流奔涌”的视觉体验进行深层次类比，创作出真正富有洞察力和感染力的诗歌与故事，而非简单的语料重组。1. 动作与概念的绑定：系统通过传感器“看到”一个球，发出指令控制机械臂“去拿”，在成功触碰到球的反馈中，开始将“球”、“拿”、“圆形”、“滚动”等概念与具体的动作成功和感官反馈紧密绑定。轻轻碰它，则只移动一点点。
Nemotron-Flash: Towards Latency-Optimal Hybrid Small Language Models
kebijuelun的博客
12-04 462
2025 年 NVIDIA 提出的 Nemotron-Flash，在当前小模型中大幅提升了精度–效率前沿。例如，相比 Qwen3-1.7B/0.6B，Nemotron-Flash 分别实现了超过 5.5% 的平均精度提升、1.3×/1.9× 的更低时延，以及 18.7×/45.6× 的更高吞吐量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值