Towards Tracing Trustworthiness Dynamics: Revisiting Pre-training Period of Large Language Models

本文是LLM系列文章，针对《Towards Tracing Trustworthiness Dynamics: Revisiting Pre-training
Period of Large Language Models》的翻译。

摘要

确保大型语言模型（LLM）的可信度至关重要。大多数研究都集中在经过充分预训练的LLM上，以更好地理解和提高LLM的可信度。在本文中，为了揭示预训练尚未开发的潜力，我们在此期间率先探索LLM的可信度，重点关注五个关键维度：可靠性、隐私性、毒性、公平性和稳健性。首先，我们将线性探测应用于LLM。高探测精度表明，早期预训练中的LLM已经可以区分每个可信度维度的概念。因此，为了进一步揭示预训练的隐藏可能性，我们从LLM的预训练检查点中提取引导向量，以增强LLM的可信度。最后，受Choi等人的启发互信息估计受线性探测精度的限制，我们还用互信息探测LLM，以研究预训练期间的可信度动态。我们是第一个观察到类似的两阶段现象：拟合和压缩。这项研究为LLM预训练期间的可信度建模提供了初步探索，旨在揭示新的见解并推动该领域的进一步发展。我们将在https://github.com/ChnQ/TracingLLM上公开我们的代码。

1 引言

2 LLM预训练可信度动态探究

3 通过预训练检查点的指导向量控制可信度

4 使用互信息探测