DeepSeek LLM : 使用长期主义扩展开源语言模型 | Scaling Open-Source Language Models with Longtermism

DeepSeek LLM Scaling Open-Source Language Models with Longtermism
DeepSeek LLM 使用长期主义扩展开源语言模型

目录

DeepSeek LLM Scaling Open-Source Language Models with LongtermismDeepSeek LLM 使用长期主义扩展开源语言模型

Abstract  摘要

Contents  内容

1Introduction  1 简介

2Pre-Training  2 预训练

2.1Data  2.1 数据

2.2Architecture  2.2 架构

2.3Hyperparameters  2.3 超参数

2.4Infrastructures  2.4 基础设施

3Scaling Laws  3 倍缩放定律

3.1Scaling Laws for Hyperparameters3.1 超参数的缩放定律

3.2Estimating Optimal Model and Data Scaling3.2 估算最佳模型和数据缩放

3.3Scaling Laws with Different Data3.3 不同数据的缩放定律

4Alignment  4 对齐

5Evaluation  5 评估

5.1Public Benchmark Evaluation5.1 公共基准评估

5.1.1Base Model  5.1.1 基础模型

5.1.2Chat Model  5.1.2 聊天模型

5.2Open-Ended Evaluation

5.2.1Chinese Open-Ended Evaluation

5.2.2English Open-Ended Evaluation

5.3Held-Out Evaluation

5.4Safety Evaluation

5.5Discussion