Do Large Language Models Know How Much They Know?

最新推荐文章于 2025-06-12 16:50:08 发布
最新推荐文章于 2025-06-12 16:50:08 发布
阅读量144 收藏
点赞数 4
分类专栏： LLM Daily LLM Explainability 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/145991099
版权

本文是LLM系列文章，针对《Do Large Language Models Know How Much They Know?》的翻译。

大型语言模型知道他们知道多少吗？

摘要

大型语言模型（LLM）已经成为功能强大的系统，并且越来越多地被集成到各种用途中。然而，其部署速度之快超过了对其内部机制的全面了解以及对其能力和局限性的界定。智能系统的一个理想属性是它识别自身知识范围的能力。为了研究LLM是否体现了这一特征，我们开发了一个基准测试，旨在挑战这些模型，以枚举它们在特定主题上拥有的所有信息。该基准评估模型是否回忆起过多、不足或精确的信息量，从而表明他们对自己知识的认识。我们的研究结果表明，所有经过测试的LLM，如果规模足够大，都表明他们对特定主题的了解程度。虽然不同的架构表现出这种能力出现的速度不同，但结果表明，知识意识可能是LLM的一个普遍属性。需要进一步的研究来证实这一潜力，并充分阐明其潜在机制。

1 引言

2 相关工作

3 方法

4 实验

5 讨论

6 结论

本研究的重点是确定LLM是否了解自己对特定主题的知识范围。值得注意的是，我们

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【AI人工智能】用于代码生成的大型语言模型 Large Language Models for Code Generation
AI天才研究院
06-09 1万+
大型语言模型通常采用Transformer等注意力机制架构,能够有效捕获输入序列中长程依赖关系。具体而言,编码器将输入序列映射为上下文表示,解码器则根据上下文和已生成的部分序列预测下一个token。代码生成任务中的输入序列可以是自然语言的问题描述、函数签名、测试用例等形式。模型通过学习大量的代码-自然语言语料对,建立两者之间的映射关系。在生成阶段,给定输入序列,解码器基于学习到的知识逐步推理和生成目标代码。
大型语言模型：基础知识及其应用 Large language models: The basics and their applications
AI天才研究院
07-01 3854
此外，它们还可以用于语言翻译软件，将文本从一种语言准确地翻译成另一种语言，使说不同语言的人之间的交流和理解变得更加容易。语言学习模型具有强大的生成能力，使其成为企业的宝贵资产。LLM的生成能力可以创建书面内容，例如产品描述，营销文案，报告和其他数字资产，例如图像，视频和软件代码。在比较这些模型的性能和功能时，重要的是要注意每个模型都针对非常特定的目的进行了训练，最佳模型将取决于手头的特定 NLP 任务。它已经接受了大量文本数据的训练，可以对广泛的主题和问题产生类似人类的回答，同时保持广泛的对话记忆。
Understanding Large Language Models-TianQi Chen
liangdengne_123的博客
05-26 786
1. 中文解读中文解读3. 中文解读4. 中文解读。
Finetuning Large Language Models: Sharon Zhou
阿正的梦工坊
03-04 1600
微调大语言模型
LLMs：《GPT-Fathom: Benchmarking Large Language Models to Decipher the Evolutionary Path towards GPT-4
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
10-29 152
​ LLMs：《GPT-Fathom: Benchmarking Large Language Models to Decipher the Evolutionary Path towards GPT-4 and Beyond》翻译与解读 目录 LLMs：《GPT-Fathom: Benchmarking Large Language Models to Decipher the Evolutionary Path towards GPT-4 and Beyond》翻译与解读 ABS
Large Language Models: A New Moore‘s Law?
maxzcl的博客
11-03 523
Published October 26, 2021.Update on GitHub juliensimonJulien SimonOpinion piece A few days ago, Microsoft and NVIDIAintroducedMegatron-Turing NLG 530B, a Transformer-based model hailed as "the world’s largest and most powerful generative language m...
【论文阅读】语言模型何时需要检索增强
qq_52852138的博客
10-30 1052
语言模型何时需要检索增强
NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-29 1万+
​ NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读 目录 相关文章 《GPT-3: Language Models are Few-Shot Learners》的翻译与解读 Abstract 摘要 1 Introduction 介绍 2 Approach方法 3 Results 结果 4 Measuring and Preventing Memorization Of Ben
大型语言模型用例和应用程序 Large Language Models Use Cases and Applications
AI天才研究院
06-28 4192
LLM是一种软件，它非常理解语言，并利用这种理解来采取某种行动。LLM 提供的最常见操作是生成内容、查找信息、交谈或帮助组织数据。这篇文章的重点是人类语言。但重要的是要注意，其他领域也有语言，因此也受益于LLM。一个常见的例子是基因组学，其语言是DNA。为了使LLM对某些特定任务有用，应用程序将接受来自用户的一个或多个提示，然后将其作为LLM的输入提供。这些提示通常是问题、说明、描述或其他一些文本序列。
RT-2论文翻译: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
机器学习实战
01-26 1213
在广泛的Web规模数据集上预训练的高容量模型为各种下游任务提供了有效且强大的平台：大型语言模型不仅可以实现流畅的文本生成（Anil等，2023；Brohan等，2022；OpenAI，2023），还能实现新兴的问题解决（Cobbe等，2021；Lewkowycz等，2022；Polu等，2022）以及散文（Brown等，2020；OpenAI，2023）和代码（Chen等，2021）的创造性生成，而视觉语言模型则实现了开放词汇的视觉识别（Kirillov等，2023；Minderer等，2022；
原始的 P-Tuning 和 P-Tuning v2 在实现细节上有哪些不同
ZJQ的博客
06-10 1141
P-Tuning v2（2022） - **改进点**： - 在模型的每一层都添加软提示（类似 Prefix Tuning 的思路），而不只是输入层。 - **引入轻量级 MLP 层**：在预训练模型的输出后添加一个小型的多层感知机，增强分类能力。 - **结构特点**： ``` 输入文本 + 软提示 → 预训练LM → MLP层 → 分类输出 ``` MLP 通常由 1-2 层线性层组成，参数量远小于全量微调。
二维张量dim=1
GHL_17768588743的博客
06-11 666
在PyTorch中处理二维张量（矩阵）时，‌dim=1‌，也就是逐行处理每一行的所有列元素。
扣子开发汽车行业智能客服示例
brucexia的专栏
06-11 1224
在本节中，我们想要创建一个AI客服，用于介绍汽车领域的行业知识，因此需要利用知识库的能力。首先，梳理汽车行业知识，形成FAQ（常见问题解答）。然后，将其上传到知识库中。最后，将知识库配置到AI Agent智能体中，使其能够调用知识库的内容作为回复。完成以上步骤之后，当用户咨询Agent有关汽车领域知识的问题时，Agent将根据FAQ的内容进行回答。传统的机器人客服只能生硬地套用FAQ，缺乏灵活性。
简繁体智能翻译软件
weixin_62784879的博客
06-09 648
以常见物品为例：内地称\"创口贴\"，香港称\"胶布\"，台湾称\"OK绷\"；汽车品牌\"奔驰\"在香港译作\"平治\"、台湾译作\"宾士\"，这类词汇差异需要额外认知成本。该工具内置智能词库系统，能自动识别并转换具有地区特色的用词表达，实现内地、香港、台湾三地语言习惯的精准转换。针对台湾地区使用的注音符号（如ㄅㄆㄇㄈ）及网络流行的火星文等特殊文字形式，提供对应的转换方案。这款工具还有许多功能，我就不一一介绍啦。
大模型Transformer触顶带来的“热潮退去”，稀疏注意力架构创新或是未来
打造全国最全的AI Agent开发知识领域的博客
06-11 1635
大模型狂欢落幕，硬核创新登场！Transformer逼近能力天花板，Agent应用成落地新大陆，而架构层正孕育颠覆性突破。中国团队在云端与终端双轨并进，用稀疏注意力、端侧推理优化打开效率魔盒。告别内卷式数据堆砌，迎接深水区技术创新——这一篇，看懂AI未来十年胜负手！
破局零售挑战！华为云AI+零售峰会聚焦数智转型实践
最新发布
weixin_43735236的博客
06-12 170
该方案面向零售伙伴客户物流、运营、门店、客服和办公等场景，依托华为云最新发布的CloudDevice关键产品和自有AI大模型，在云上服务方面具备一跳入云、一云多端、极低时延、普惠AI等方面的优势，可为零售伙伴客户筑牢算力底座，满足零售伙伴客户“产-供-营-销-服”全链路智能化核心需求。该计划面向全国数智化企业，汇聚华为云及合作伙伴在政策、产品、技术、品牌等方面的资源与能力，向伙伴开放能力共生、商业共赢和数字化服务三大平台，为零售企业的品牌营销与业务运营提供强大技术支撑，加速企业成长。6月13日，鹭岛厦门！
（五）动手学深度学习计算：从数学原理到高效实现的全流程指南
hanyuge的专栏
06-08 896
在实际应用中，我们常常需要自定义层和块来实现特定的功能。PyTorch提供了灵活的API来创建自定义层和块。无参数层：实现不包含可学习参数的层，如激活函数层。return torch.sigmoid(x) # 示例：Sigmoid激活函数含参数层：实现包含可学习参数的层，如自定义的全连接层。组合层：将多个层组合成一个块，实现复杂的功能。return x层是深度学习模型的基本构建块，执行特定的计算任务。块是由多个层组成的模块，提高代码的可读性和可维护性。
CppCon 2015 学习:Algorithmic Differentiation C++ & Extremum Estimation
虾球
06-10 921
浮点数表示法的灵感：科学记数法浮点数的表示方法受到科学记数法的启发。x×baseexponentx×baseexponent6.022×10236.022×1023这种表示法使得我们能够处理非常大的数（如102310^{23}1023）以及非常小的数（如10−2310^{-23}10−23），并且有效地表示各种数值。
钉钉C10圆桌派在北京召开 AI一体机首次签约
weixin_43735236的博客
06-09 139
一体机也提供多种AI助理，覆盖审批、工单、行政、法务等多个高频场景，可广泛应用于零售、连锁、生产制造、教育、法律服务等众多行业，帮助企业进一步提质降本增效，数智化升级。通过部署钉钉AI一体机，杰锐思打造了装配助手、代码助手等AI应用，实现了从知识检索到业务协同的全链路升级，在数据安全的基础上，进一步实现了增效降本和效率提升。6月6日，钉钉在北京举办C10圆桌派-AI专场思享会，会上，钉钉和苏州杰锐思智能科技股份有限公司（以下简称：杰锐思）就AI一体机应用签署合作协议，这是钉钉首次在客户落地AI一体机实践。
Vision Large Language Models
01-10
### 关于视觉大语言模型的概述 视觉大语言模型（Vision Large Language Models, VLLMs）代表了一类先进的多模态人工智能系统，这类系统不仅能够处理自然语言理解的任务，还具备解析图像和其他形式视觉数据的能力。VLLMs通过融合来自不同感官模式的信息来增强其理解和生成复杂内容的能力。 #### 架构特点 这些模型通常基于深度学习框架构建，采用Transformer架构作为核心组件之一[^1]。为了有效捕捉图像特征并与文本表示相结合，许多研究工作探索了多种方法论创新： - **跨模态注意力机制**：允许网络在编码阶段就建立图片区域和单词之间的关联关系； - **预训练策略**：利用大规模无标注图文对数据集进行联合表征学习； #### 应用场景 随着技术进步，VLLMs正在被应用于日益广泛的领域内解决实际问题： - **智能问答系统**：当用户上传一张照片并询问其中物体名称时，该类型的AI可以给出准确的回答； - **辅助诊断工具**：医学影像分析方面发挥重要作用，帮助医生识别疾病迹象； - **自动驾驶汽车感知模块**：提高车辆对外界环境的理解精度，从而做出更安全合理的驾驶决策； ```python import torch from transformers import CLIPProcessor, CLIPModel model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32") processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32") image_url = "https://unsplash.com/photos/some_image.jpg" text_input = ["a photo of a cat", "a photo of a dog"] inputs = processor(text=text_input, images=image_url, return_tensors="pt", padding=True) outputs = model(**inputs) logits_per_image = outputs.logits_per_image # this is the image-text similarity score probs = logits_per_image.softmax(dim=1) # we can take the softmax to get probability print(probs) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值