Tell me the truth: A system to measure the trustworthiness of Large Language Models

最新推荐文章于 2025-06-12 16:50:08 发布
最新推荐文章于 2025-06-12 16:50:08 发布
阅读量67 收藏
点赞数
分类专栏： LLM Daily 文章标签： 语言模型 人工智能 chatgpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/139957513
版权

本文是LLM系列文章，针对《Tell me the truth: A system to measure the trustworthiness of Large Language Models 》的翻译。

告诉我真相：一个衡量大型语言模型可信度的系统

摘要

自2022年11月推出ChatGPT以来，大型语言模型（LLM）一直占据着大多数新闻的首位。一年多以来，公司拒绝采用这些系统的主要原因之一是他们对这些系统的可信度信心有限。在一项研究中，ChatGPT-4在识别网站可用性问题时显示出80.1%的假阳性错误率。《美国医学会杂志儿科学》1月24日的一项研究发现，ChatGPT在诊断儿科医学病例时的准确率为17%。但是，什么是“信任”？信任是一种相对的、主体的条件，它可以根据文化、领域和个人而变化。然后，给定一个域，如何衡量系统的可信度？在本文中，我提出了一种基于预定义的基本事实来测量可信度的系统方法，该基本事实表示为领域的知识图谱。该方法是一个由人在循环中验证域的表示并微调系统的过程。
衡量可信度对于在医疗、国防、金融等关键环境中运营的所有实体都至关重要，但它对LLM的所有用户都非常重要。

引言

整体背景

文献

本文的目标

方法

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Tendermint: Byzantine Fault Tolerance in the Age of Blockchains
bedrock_stable的专栏
10-17 4378
Tendermint: Byzantine Fault Tolerance in the Age of Blockchains by Ethan Buchman A Thesis presented to The University of Guelph In partial fulfilment of requirements for the degree of Master of Applie...
Conceptual Challenges for Interpretable Machine Learning
weixin_42786150的博客
03-01 1572
Conceptual Challenges for Interpretable Machine Learning David S. Watson1 'Department of Statistical Science, University College London, London, UK Email for correspondence: david.watson@ucl.ac.uk §0 Abstract As machine learning has gradually entere..
插件8：拼写检查
热门推荐
dearbaba_1666的博客
06-27 15万+
<?php // Plug-in 8: Spell Check // This is an executable example with additional code supplie
yolo模型精度提升策略
qq_47798402的博客
06-09 980
结合起来，才能最大程度地提升那6种相似BGA的区分能力，从而显著提高整体mAP。持续进行基于难例分析的主动学习是突破瓶颈的可持续方法。使用自适应优化器、学习率热身与余弦退火，进行充分长周期的训练（配合早停）。持续收集模型在相似BGA上的错误样本，优先标注并加入训练集进行迭代。设计模拟BGA实际成像挑战（反光、模糊、视角变化）的增强方案。尝试引入注意力机制，将分类损失替换为。训练数据（2倍以上是合理起点）。（Focal Loss）以及。显著增加6种相似BGA的。（特别是注意力机制）、
原始的 P-Tuning 和 P-Tuning v2 在实现细节上有哪些不同
ZJQ的博客
06-10 1222
P-Tuning v2（2022） - **改进点**： - 在模型的每一层都添加软提示（类似 Prefix Tuning 的思路），而不只是输入层。 - **引入轻量级 MLP 层**：在预训练模型的输出后添加一个小型的多层感知机，增强分类能力。 - **结构特点**： ``` 输入文本 + 软提示 → 预训练LM → MLP层 → 分类输出 ``` MLP 通常由 1-2 层线性层组成，参数量远小于全量微调。
二维张量dim=1
GHL_17768588743的博客
06-11 727
在PyTorch中处理二维张量（矩阵）时，‌dim=1‌，也就是逐行处理每一行的所有列元素。
简繁体智能翻译软件
weixin_62784879的博客
06-09 686
以常见物品为例：内地称\"创口贴\"，香港称\"胶布\"，台湾称\"OK绷\"；汽车品牌\"奔驰\"在香港译作\"平治\"、台湾译作\"宾士\"，这类词汇差异需要额外认知成本。该工具内置智能词库系统，能自动识别并转换具有地区特色的用词表达，实现内地、香港、台湾三地语言习惯的精准转换。针对台湾地区使用的注音符号（如ㄅㄆㄇㄈ）及网络流行的火星文等特殊文字形式，提供对应的转换方案。这款工具还有许多功能，我就不一一介绍啦。
扣子开发汽车行业智能客服示例
brucexia的专栏
06-11 1288
在本节中，我们想要创建一个AI客服，用于介绍汽车领域的行业知识，因此需要利用知识库的能力。首先，梳理汽车行业知识，形成FAQ（常见问题解答）。然后，将其上传到知识库中。最后，将知识库配置到AI Agent智能体中，使其能够调用知识库的内容作为回复。完成以上步骤之后，当用户咨询Agent有关汽车领域知识的问题时，Agent将根据FAQ的内容进行回答。传统的机器人客服只能生硬地套用FAQ，缺乏灵活性。
大模型Transformer触顶带来的“热潮退去”，稀疏注意力架构创新或是未来
打造全国最全的AI Agent开发知识领域的博客
06-11 2087
大模型狂欢落幕，硬核创新登场！Transformer逼近能力天花板，Agent应用成落地新大陆，而架构层正孕育颠覆性突破。中国团队在云端与终端双轨并进，用稀疏注意力、端侧推理优化打开效率魔盒。告别内卷式数据堆砌，迎接深水区技术创新——这一篇，看懂AI未来十年胜负手！
破局零售挑战！华为云AI+零售峰会聚焦数智转型实践
最新发布
weixin_43735236的博客
06-12 170
该方案面向零售伙伴客户物流、运营、门店、客服和办公等场景，依托华为云最新发布的CloudDevice关键产品和自有AI大模型，在云上服务方面具备一跳入云、一云多端、极低时延、普惠AI等方面的优势，可为零售伙伴客户筑牢算力底座，满足零售伙伴客户“产-供-营-销-服”全链路智能化核心需求。该计划面向全国数智化企业，汇聚华为云及合作伙伴在政策、产品、技术、品牌等方面的资源与能力，向伙伴开放能力共生、商业共赢和数字化服务三大平台，为零售企业的品牌营销与业务运营提供强大技术支撑，加速企业成长。6月13日，鹭岛厦门！
（五）动手学深度学习计算：从数学原理到高效实现的全流程指南
hanyuge的专栏
06-08 922
在实际应用中，我们常常需要自定义层和块来实现特定的功能。PyTorch提供了灵活的API来创建自定义层和块。无参数层：实现不包含可学习参数的层，如激活函数层。return torch.sigmoid(x) # 示例：Sigmoid激活函数含参数层：实现包含可学习参数的层，如自定义的全连接层。组合层：将多个层组合成一个块，实现复杂的功能。return x层是深度学习模型的基本构建块，执行特定的计算任务。块是由多个层组成的模块，提高代码的可读性和可维护性。
CppCon 2015 学习:Algorithmic Differentiation C++ & Extremum Estimation
虾球
06-10 954
浮点数表示法的灵感：科学记数法浮点数的表示方法受到科学记数法的启发。x×baseexponentx×baseexponent6.022×10236.022×1023这种表示法使得我们能够处理非常大的数（如102310^{23}1023）以及非常小的数（如10−2310^{-23}10−23），并且有效地表示各种数值。
钉钉C10圆桌派在北京召开 AI一体机首次签约
weixin_43735236的博客
06-09 139
一体机也提供多种AI助理，覆盖审批、工单、行政、法务等多个高频场景，可广泛应用于零售、连锁、生产制造、教育、法律服务等众多行业，帮助企业进一步提质降本增效，数智化升级。通过部署钉钉AI一体机，杰锐思打造了装配助手、代码助手等AI应用，实现了从知识检索到业务协同的全链路升级，在数据安全的基础上，进一步实现了增效降本和效率提升。6月6日，钉钉在北京举办C10圆桌派-AI专场思享会，会上，钉钉和苏州杰锐思智能科技股份有限公司（以下简称：杰锐思）就AI一体机应用签署合作协议，这是钉钉首次在客户落地AI一体机实践。
NLP-数据集介绍（并不全，文本类介绍）
weixin_50285694的博客
06-09 1132
提供一些文本表征领域的公开数据集。
【DAY43】复习日
daomingwu1的博客
06-08 338
kaggle找到一个图像数据集，用cnn网络进行训练并且用grad-cam做可视化。内容来自@浙大疏锦行python打卡训练营。进阶：并拆分成多个文件。
数字人矩阵源码技术开发核心功能，定制化开发
yunluohd181的博客
06-12 432
在人工智能与多媒体技术飞速发展的当下，数字人矩阵凭借其规模化、自动化的内容生产能力，成为短视频营销、虚拟直播、智能客服等领域的热门技术方案。本文将深入剖析数字人矩阵源码开发的核心功能板块，从技术架构到实现细节，为开发者揭开数字人矩阵的神秘面纱。
立足数字人文，深化历史叙事|科学智能赋能人文社科领域研究
ModelWhale的博客
06-10 815
2024年12月，山东大学同智谱、和鲸共同发布“边疆大模型暨综合智能体”，并签署“101 数智领航计划”，助力高校人才培养模式的持续变革，推动人才培养由“知识为主”向“能力为先”转变。其底层接入外挂知识库的大语言模型，具备准确回答边疆历史文化问题的能力。，以前沿数字技术为边疆历史及更广范围的人文研究提供坚实新基建，并在此基础上开发面向研究者与公众的创新应用，确保专业知识的高效、准确传播。，可以将专业知识“注入”大模型，使其成为研究者专属的、更懂行的智能助手，辅助文献研读、事实核查、乃至启发新的研究思路。
【开发工具】matlab
weixin_49199313的博客
06-12 604
​（稀疏矩阵处理、并行计算）。MATLAB的算法选择需结合问题维度、非线性程度及精度需求综合权衡。​：Trust-region dogleg法。​：PDE Toolbox（有限元法）​（如矩阵条件数、函数光滑性）及。​：离散决策问题（如设备选址）MATLAB的算法体系紧密围绕。​：序列二次规划（SQP）​：信号降噪、频域滤波。​：结合二分法与插值。
“十五五”时期智慧城市赋能全国一体化数据市场建设：战略路径与政策建议[ 注：本建议基于公开政策文件与行业实践研究，数据引用截至2025年6月11日。]
qiongfang2008的专栏
06-11 667
我国正处于数字经济与实体经济融合的关键阶段，数据作为新质生产力核心引擎，亟需通过智慧城市建设破解“数据供不出、流不动”等痛点。智慧城市作为数据要素核心载体，其“五个转变”（央地协同、全局优化、用户视角、数据业务化、长效运营）与全国一体化数据市场建设高度契合。2025年数据要素市场规模预计达1990亿元，智慧城市将通过激活公共数据、赋能产业转型、构建可信环境，成为数据价值转化关键节点。本文通过对智慧城市赋能全国一体化数据市场建设现状与挑战分析，提出了一套供参考的智慧城市引领数据市场一体化解决方案。
design a system using Tinkercad to measure distances using an Ultrasonic rangefinder
06-03
Great! Here are the steps to design a system in Tinkercad for measuring distances using an Ultrasonic rangefinder: 1. Open Tinkercad and create a new project. 2. Add an Arduino board to your project by dragging it from the components panel to the workplane. 3. Next, add an Ultrasonic rangefinder sensor to your project. You can find the sensor in the components panel under "Sensors". 4. Connect the Ultrasonic rangefinder to the Arduino board using jumper wires. Connect the VCC pin to the 5V pin on the Arduino board, the GND pin to the GND pin on the Arduino board, the TRIG pin to pin 9 on the Arduino board, and the ECHO pin to pin 10 on the Arduino board. 5. Write the code to measure distances using the Ultrasonic rangefinder and display the results on the Serial Monitor. Here is an example code: ``` const int trigPin = 9; const int echoPin = 10; void setup() { Serial.begin(9600); pinMode(trigPin, OUTPUT); pinMode(echoPin, INPUT); } void loop() { digitalWrite(trigPin, LOW); delayMicroseconds(2); digitalWrite(trigPin, HIGH); delayMicroseconds(10); digitalWrite(trigPin, LOW); long duration = pulseIn(echoPin, HIGH); float distance = duration * 0.034 / 2; Serial.print("Distance: "); Serial.print(distance); Serial.println(" cm"); delay(1000); } ``` 6. Upload the code to the Arduino board by clicking the "Code" button in the top menu and selecting "Upload to Arduino". 7. Open the Serial Monitor by clicking the "Serial Monitor" button in the top menu. You should see the distance measurements displayed in the Serial Monitor. That's it! You have now designed a system in Tinkercad for measuring distances using an Ultrasonic rangefinder.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值