全球名校AI课程库(38)| 马萨诸塞大学 · 自然语言处理进阶课程『Advanced Natural Language Processing』

【AI黑话日日新】Day 087|VLM(视觉语言模型) VLM 把"看"变成了 LLM 能处理的一种 token,让模型从读文字跨进读世界,但下一步的关键不在更大,而在更准、更会指、更能接上动作。 阅读详情
CS685; Advanced Natural Language Processing; 自然语言处理进阶课程

🏆 课程学习中心 | 🚧 NLP课程合辑 | 🌍 课程主页 | 📺 中英字幕视频 | 🚀 项目代码解析


课程介绍

自然语言处理 (NLP) 是一门关于如何教计算机理解人类语言的工程艺术和科学。NLP 作为一种人工智能技术,现在已经无处不在——我们可以与手机交谈、使用网络回答问题、在社交媒体中讨论,甚至在人类语言之间进行翻译。

CS685 马萨诸塞大学 NLP 进阶课程,广泛关注自然语言处理的深度学习方法,详细讲解前沿技术点与典型应用。课程重点是神经语言模型和迁移学习——这两者都极大地推动了最先进的技术。

CS685; Advanced Natural Language Processing; 自然语言处理进阶课程

课程基于 Pytorch 完成代码案例讲解,涵盖建模架构、训练目标和下游任务。手写重点与手敲代码的授课风格,能帮助大家更好地深入掌握相关知识。

课程适用于有兴趣了解 NLP 前沿研究进展和熟悉机器学习基础知识的计算机科学 / 语言学研究生。

CS685; Advanced Natural Language Processing; 自然语言处理进阶课程

课程讲师 Mohit Iyyer,是马萨诸塞大学计算机科学助理教授,研究领域为自然语言处理和机器学习,致力于使用深度学习在话语级别对语言进行建模。


课程主题

课程官网发布了课程主题,ShowMeAI 对其进行了翻译。

  • Language modeling(语言模型)
  • Neural language models(神经语言模型)
  • Backpropagation(反向传播)
  • Implementing a neural language model in PyTorch(在 PyTorch 中实现神经语言模型)
  • Attention mechanisms(注意力机制)
  • Transformers and sequence-to-sequence models(transformer和序列到序列模型)
  • Transfer learning for NLP(NLP 的迁移学习)
  • BERT(BERT)
  • Question answering(问答系统)
  • Better BERTs(BERT变种)
  • Scaling up language modeling & GPT-3(扩展语言模型规模和 GPT-3)
  • Text generation decoding and evaluation(文本生成解码和评估)
  • Paraphrase generation(释义生成)
  • Crowdsourced text data collection(众包文本数据收集)
  • Model distillation and security threats(模型蒸馏和抽取)
  • Retrieval-augmented language models(基于检索增强的语言模型)
  • Implementing a Transformer(实现transformer)
  • vision + language(视觉与语言模型)
  • semantic parsing(语义解析)

课程资料 | 下载

CS685; Advanced Natural Language Processing; 自然语言处理进阶课程

扫描上方图片二维码,关注公众号并回复关键字 🎯『CS685』,就可以获取整理完整的资料合辑啦!当然也可以点击 🎯 这里 查看更多课程的资料获取方式!

CS685; Advanced Natural Language Processing; 自然语言处理进阶课程

ShowMeAI 对课程资料进行了梳理,整理成这份完备且清晰的资料包:

  • 📚 课件&笔记。PDF文件。覆盖Lecture 1~21全部章节。
  • 📚 拓展阅读材料。PDF文件。20+课程推荐学习的相关论文。

课程视频 | B站

【双语字幕+资料下载】马萨诸塞CS685 | 自然语言处理进阶(2020·完整版)

🌍 B站 | 【双语字幕+资料下载】马萨诸塞CS685 | 自然语言处理进阶(2020·完整版)

ShowMeAI 将视频上传至B站,并增加了中英双语字幕,以提供更加友好的学习体验。点击页面视频,可以进行预览。推荐前往 👆 B站 观看完整课程视频哦!


全球名校AI课程合辑

作者:ShowMeAI内容团队
阅读原文:https://www.showmeai.tech/article-detail/374

Transformer与大语言模型原理深度解析 本文深度解析Transformer与大语言模型的核心原理,从RNN的串行瓶颈出发,阐述Transformer如何以自注意力机制实现全局并行计算,突破长距离依赖限制。详解自注意力的QKV机制、缩放因子设计、O(n²)复杂度成因及优化策略(如FlashAttention、KV缓存),剖析多头注意力的并行表示能力与位置编码的必要性。结合PyTorch代码与架构图,系统梳理从基础组件到工程实践的完整技术链,揭示现代LLM的底层逻辑与优化路径。 阅读详情

相关推荐

ESP32-P4 GPIO双域架构:HP/LP分离、寄存器级控制与低功耗工程实践

GPIO(通用输入输出)是嵌入式系统中最基础且高频使用的硬件接口,其性能、灵活性与功耗特性直接影响产品实时性与续航能力。现代高性能MCU如ESP32-P4通过HP/LP双电源域分离、可编程IO复用(IO MUX)、信号交换矩阵及硬件自动化机制(如ETM事件、Sigma-Delta调制),将传统GPIO升级为兼具模拟能力、亚微秒响应与微安级待机的智能外设子系统。其核心价值在于实现引脚功能动态重构、中断零延迟处理、Deep-sleep期间自主唤醒与多核安全操作。典型应用场景涵盖工业PLC信号采集、电池供电传感器

weixin_35949153的博客 100

新书预告 从《Transformer与大语言模型》到《LLM量化实战》

《Transformer 与大语言模型》完结,新系列《LLM 量化实战》启动。上一本解析“为什么”设计大模型,本册聚焦“怎么”让模型变小变快——从FP16到4-bit量化,详解GPTQ、AWQ、QLoRA、GGUF等技术,结合RTX 4090实测,手把手教你压缩模型、降低显存、部署推理。适合想在8GB~24GB显存设备上运行7B/70B模型的开发者与工程师。原理+实战双线并进,只写真实跑通的结果。

AI服务生活 356

3D Slicer-最强大的开源医学图像分割工具简要概述

3D Slicer 是一个免费的开源软件平台,用于医学、生物医学和其他 3D 图像的可视化、处理、分割、配准和分析。读/写DICOM图像和多种其他格式;三维图像、多边形网格和体积渲染的交互式可视化;手动编辑和标记图像;使用刚性和非刚性算法融合和共同配准数据;图像自动分割;跟踪图像引导程序的设备。所有的功能模块可在工具栏里找到,提供搜索,下拉选择,左右切换等功能。3D slicer的大概情况就介绍到这里。它的功能非常强大,也没有必要说掌握每个功能的使用。

Tina姐的博客 2万+

【字节拥抱开源】Cola2:用连续隐变量重构语言模型,346B Token 跑出 60.10 八任务均分

Cola2 是一款基于连续隐变量的自适应语言模型,通过动态语义压缩与块因果扩散 Transformer(DiT)实现高效生成。它在346.03B token上训练,八项评测平均得分60.10,性能超越部分更大规模模型。其核心创新在于联合优化隐变量压缩与离散解码,支持受控扩展与稳定推理。项目提供完整权重、工具链及评测数据,适用于研究与应用。

weixin_41446370的博客 318

kali破解WIFI密码

今天我们来学习一下通过kali和一个好的字典来破解WIFI密码。 声明:此教程仅供学习研究使用,严禁使用此技术进行非法行为 首先我们需要一个具有监听功能的无线网卡(这里我给大家推荐:rt3070) 本章实验通过虚拟机VMware进行: 先通过services.msc来打开VMware USB Arbitration Service 插上监听网卡,连接USB到虚...

#的博客 5813

实战|2026美团&大众点评餐饮数据抓取:Playwright/Selenium反爬全攻略

核心结论:2026年美团&大众点评的反爬核心是“多维度风控”,需组合使用“住宅IP+设备指纹伪装+真人行为模拟+动态验证处理”,Playwright是最优工具,Selenium仅作为补充。效率优化:单机爬取速度建议控制在“每小时500-800条”,避免高频请求触发风控;分布式爬取需确保每个节点使用独立住宅IP,且行为轨迹不一致。扩展方向集成WASM解密工具,破解2026年美团的Token加密;用AI识别动态点选验证,提升验证通过率;对接大数据平台,对抓取的餐饮数据进行可视化分析。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 2466

Build a Large Language Model(From Scratch)第三章汇总

注意力机制解决序列中词义依赖问题,使每个词能融合上下文信息。自注意力让词“看”全句,通过点积计算相关性并加权求和。引入Q、K、V提升表达能力,缩放防止梯度消失。因果掩码禁止窥视未来,确保生成顺序正确;Dropout防过拟合;多头注意力从多角度捕捉关系,提升模型性能。

渴望飞翔的小白 147

【TC3xx芯片】TC3xx DMA模块详解

TC3xx DMA模块详解

qq_36056498的博客 5920

【量化实战】单卡3090部署Hy-SimulMT-30B-A3B-Interleave同传大模型

本文基于LLM Compressor实现Hy-SimulMT-30B-A3B-Interleave模型的单卡3090部署,通过W4A16 RTN量化压缩至4bit权重,保留MoE路由层与音频编码器不量化,结合补全组件与配置,成功将30B模型适配于单张RTX 3090显卡。量化后模型支持中英语音同传、实时音色克隆,延迟仅3秒,性能领先开源与商用方案,已开源至ModelScope供直接使用。

yd778473278的博客 230

Silly Tavern酒馆ai角色卡与世界书导入超详细教程!

前几天,我在设置 Silly Tavern 的时候,想导入一个喜欢的角色卡,结果发现不少朋友其实已经下载好了角色资源,但却不知道怎么正确导入使用。这篇文章就作为一份完整的新手向教程,一步步教你如何在 Silly Tavern 中导入角色卡、世界书,并实现与 AI 角色的真实互动。如果你是第一次接触这个功能,建议先收藏慢慢看~点击菜单栏上的 图标,打开角色界面。初始状态下,你应该只看到默认角色 Seraphina。你可以先点击她的头像尝试聊天,也可以导入自己喜欢的角色。点击导入按钮,选择你下载好的角色卡(通

代码简单说 Vue、JAVA、PHP、Node.js 熟练运用,接口、架构、性能全搞定。 2万+

在 SAP Gateway 主机上把 SAML 2.0 配置为 Service Provider:从架构到落地的完整实战

本文详细介绍了在SAP Gateway主机上配置SAML 2.0作为Service Provider的全流程。从概念梳理到实际操作,涵盖了关键步骤:启用本地SP服务、通过反向代理导出元数据、在IdP侧完成对接、配置信任关系与Artifact绑定、设置NameID身份联合等核心环节。特别强调了HTTP Artifact绑定的背道通信机制和证书配置要点,并针对常见错误提供了排障指引。文章注重实操性,结合SAP官方文档与社区最佳实践,为运维团队提供了一套完整的SAML SSO实施框架。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 153

【电机控制】PMSM 最优电流指令——MTPA,MTPV

转矩方程:Te=32⋅P2[(Ld−Lq)id+Φf]iq=3P4(ΔL id+Φf)iq T_e=\frac{3}{2}\cdot\frac{P}{2}\left[(L_d-L_q)i_d+\Phi_f\right]i_q =\frac{3P}{4}(\Delta L\, i_d+\Phi_f)i_q Te​=23​⋅2P​[(Ld​−Lq​)id​+Φf​]iq​=43P​(ΔLid​+Φf​)iq​记 k=3P4k=\dfrac{3P}{4}k=43P​,则 Te=k(ΔLid+Φf)iqT_e=k(

qq_39030013的博客 360

FD.io/VPP — VPP 的实现原理解析

目录 文章目录目录VPPVPP 的关键创新技术数据报文的矢量处理标量报文处理方式I-cache miss 问题矢量数据报文处理方式标量 v.s. 矢量报文处理流程Packet Processing Graph(数据报文处理图)Packet Processing Graph 的处理流程Graph Node Plugin 机制 VPP WIKI:https://wiki.fd.io/view/VPP Docs:https://fd.io/docs/vpp/master/index.html Github:ht

烟云的计算 2593

【Nat Biomed Eng】Connectome 2.0 超高梯度扫描仪:500 mT/m 与 600 T/m/s 把活体人脑微观结构分辨推进到亚微米级

一台为连接组学与微结构 MRI 设计的人体 3T 扫描仪的完整工程报告:三层头专用梯度线圈把 Gmax 做到 500 mT m⁻¹、SRmax 600 T m⁻¹ s⁻¹(梯度性能为 Connectome 1.0 的 5 倍、临床扫描仪的 20 倍以上),配合 72 通道在体接收线圈与 64 通道离体线圈,使轴突直径与细胞尺寸推断的灵敏度较 Connectome 1.0 提高至少 30%。

楚山之石的博客 267

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

BERT模型详解:为什么它擅长文本理解与分类?核心机制、应用实战与变种进化

学习目标:理解BERT出现前传统NLP模型的局限,以及BERT如何通过双向编码突破瓶颈比如GPT系列采用自回归式(Autoregressive)生成,只能从左到右建模文本;全文依次讲解BERT的诞生:解决NLP的单向困境、BERT核心原理深度解析、为什么BERT擅长文本理解与分类?、BERT实战:文本分类任务示例、BERT的变种与进化等内容。

2602_96795563的博客 187

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

【零基础学AI】第 28 章——大语言模型怎样训练出来

上一章的小模型训练 300 次后,能沿着已有前缀续写。现在要分清两件事,模型参数是怎样得到的,以及参数固定以后,程序怎样选择输出。把温度从 1 改成 2,不等于重新训练;输入一条要求,也不会自动把它写进模型参数。本章说明语料准备、预训练、指令微调、偏好优化和推理的关系,再复用第 27 章的固定模型进行 49 次生成。你会看到较高温度出现不通顺文字,也会看到两组不同温度恰好产生相同统计。前置依赖为第 27 章,本章代码见。

m0_73879806的博客 373

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

迁移学习用于自然语言处理!

迁移学习彻底改变了NLP的研究和应用模式。它让我们不必再从零开始,而是站在巨人的肩膀上——先在大规模通用数据上预训练一个强大的基础模型,再在小规模特定任务数据上进行轻量级适配。目前,预训练 + 微调和预训练 + 提示学习是两个最主流的范式。如果你刚开始接触,可以从BERT或GPT-2的微调入手,配合库,会很快上手。如果你有具体的任务(比如中文情感分析、英文摘要生成),我可以给你更详细的步骤和代码示例。

m0_65595995的博客 142

编码器与解码器深度解析:BERT与GPT的本质区别(附Transformer架构对比)

## 学习目标 掌握Transformer架构中编码器(Encoder)与解码器(Decoder)的核心结构与作用 理解BERT(纯Encoder模型)与GPT(纯Decoder模型)的本质差异 学会根据任务场。全文依次讲解Transformer架构:编码器与解码器的母体、编码器的代表:BERT——理解之王等内容。

2602_96795563的博客 384

大语言模型与运筹规划双闭环共生(LLM-OR):体系架构、理论机理与落地实践

通过构建前向形式化建模、反向 IIS 最小冲突诊断以及对偶敏感性商业洞察的闭环系统,企业能够将以往高度依赖运筹学专家人工干预的静态求解过程,转变为兼具高弹性、强鲁棒性与高解释性的自主智能决策体系。

Cat_fish_snow的博客 335

Yarn: Efficient context window extension of large language models

本文系统梳理了基于旋转位置编码(RoPE)的长文本扩展技术演进,重点解析ICLR2024提出的YaRN算法。针对传统方法如PI、NTK-aware及NTK-by-parts在大倍率扩窗下存在的频段断层与远距离依赖建模不足问题,YaRN引入动态温度补偿与自适应斜坡缩放机制,实现零微调下长短文本性能均衡。其核心在于将温度缩放等价融入预计算的RoPE嵌入,无需修改注意力内核,推理无额外开销。结合动态NTK插值策略,构建出高效稳定的超长上下文扩展方案,成为当前开源生态中落地最广、性能最优的RoPE原生扩窗范式。

qq_52771580的博客 228

11.07 大语言模型研究简报:Anthropic Agent Memory 四层架构与实验解读

2026 年 11 月 6 日,Anthropic 发布工程研究文章 The components of agent memory ,介绍 Claude 的跨会话记忆设计,以及一种被称为 Dreaming(离线记忆整理) 的机制。它不是新基础模型,也不是通过更新权重实现的持续学习,而是将模型过往的执行记录组织为可供未来会话检索和使用的外部记忆。

qq_48717745的博客 387

LEMS:逐层误差建模如何实现大语言模型的高效低秩压缩

本文介绍 ICML 2026 提出的 LEMS 与 KFAC-SVD,探讨如何通过低秩近似实现大语言模型压缩。LEMS 结合奇异值谱、输出分布校准与跨层误差传播修正,在固定参数预算下利用整数线性规划分配各层的秩;KFAC-SVD 采用 token 级二阶统计,缓解 Fisher 信息估计的秩瓶颈,提高低秩分解质量。文章从 SVD 压缩原理出发,解析两种方法的核心机制,并结合多模型实验与消融结果,讨论精度收益、校准成本及实际部署中的适用边界。

SmartLab307的博客 300

【大语言模型LLM】Transformer | 手写矩阵分析 by.Akaxi

本文系统解析了Transformer架构的核心原理,涵盖编码器-解码器结构、自注意力机制、位置编码、多头注意力、残差连接与层归一化等关键组件。通过代码实现与数学推导,阐释了从词嵌入到文本生成的完整流程,并总结了10个高频面试问题及速记要点,全面揭示“Attention is All You Need”的核心思想:以并行化的注意力机制替代递归结构,实现高效、精准的序列建模。

Akaxi的博客 148

大语言模型技能是什么

大语言模型并非简单聊天机器人,而是基于海量文本训练的“文字大脑”,具备语义理解、信息抽取、生成、推理、改写、规划与工具调用等综合能力。其核心是通过提示工程与外部协作,实现从理解到执行的全流程语言处理。虽无意识,但能高效辅助创作、分析、决策与自动化任务。关键在于认清其边界——依赖提示质量与人工校验,避免幻觉风险。善用者,可将其化为思维延伸的强力工具。

2201_75821470的博客 241

【AI 开发从入门到进阶 · 06】NLP 入门:从词向量到 RNN / LSTM,附一个可直接运行的情感分类例子

本文系统梳理了文本与图像数据的本质差异,详解NLP基础流程:分词、词表构建与Embedding向量化。重点解析RNN的记忆机制及其长程依赖缺陷,引入LSTM的三门控制解决该问题,并通过自包含情感分类实战演示完整pipeline。强调pack_padded_sequence在处理变长序列中的关键作用,指出RNN家族三大瓶颈——串行计算、压缩记忆与缺乏对齐能力,自然引出Transformer的必然性,为后续理解Attention机制奠定基础。

信息安全领域优质创作者|操作系统领域专家 186

多语种会议实时转写架构:ASR + MT 的时延控制

多语种会议实时转写的时延优化,多数团队的第一反应是换更快的翻译模型——方向错了。机器翻译本身的计算只占零点几秒,大头是"等一个可翻译的分段"——分段策略决定了 ASR 什么时候把文本交给 MT。本文给出三个可运行脚本:分段策略的延迟对比、分段长度对 MT 输入质量的影响、双通道(快译 + 重译)时间线模拟。时延优化的主战场是分段策略与通道结构,不是翻译模型;而且定长切段有一个反直觉性质——段长设得越长,残句占比反而越高。代码说明:仅用 Python 标准库,可直接运行。

mrliangge的博客 563
上一篇: 全球名校AI课程库(36)| 辛辛那提大学 · 离散数学课程『MATH1071 Discrete Math』
下一篇: 全球名校AI课程库(39)| 马里兰大学 · 数据结构课程『Data Structures』
ShowMeAI
博客等级 码龄5年 6514粉丝 672原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ShowMeAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值