DeepSeek V3.1 严重Bug,“极”或“extreme”被随机插入输出~~~

👇我的小册 45章教程:(小白零基础用Python量化股票分析小册) ,原价299,限时特价2杯咖啡,满100人涨10元。

👇我的小册 AI工具100个实战小案例:(100个AI工具实战小案例) ,原价299,限时早鸟价29,满100人涨10元。

在 Reddit 有用户发布了一个帖子,大概意思是 DeepSeek V3.1 模型有严重 bug:模型在生成内容时会在输出中随机插入“extreme”“极”或“極” 这些字词。

有用户猜测“极”字对应的 token ID 为2577,与省略号(...)的 token ID 2576 相邻,推测该异常可能源于训练数据污染或模型在推理时误选了相邻 token 路径。

其他博主在第三方 API 上碰到了同样的问题:

在官网测试存在同样问题:

某乎上也有人讨论随机替换“极”的问题:

知乎用户 hzwer(黄哲威) 分享了他的经历,在用小模型 + 开源数据蒸馏 R1 的实验里也遇到过。

“极”被模型当成了一种“结束语”,在卡壳或重复时就会蹦出来。

原文地址:https://www.zhihu.com/question/1942934856603505597/answer/1943085955868267791

图片

最后推荐一下我们团队写的量化小册的内容(600人+订阅),53篇内容!从Python安装,入门,数据分析,爬取股票基金的历史+实时数据,以及如何写一个简单量化策略,策略回测,如何看资金曲线统统都有介绍,非常超值!

欢迎订阅:原价299 早鸟价49,即可永久阅读,终身有效。现在的价格非常非常低,只要2杯奶茶,就可以终身订阅+课程源码,还有永久陪伴群,火速来吧!

图片

<think> 嗯,用户想了解DeepSeek-V3.1的数据集相关信息。根据站内引用内容,我需要仔细梳理相关线索。 用户提供的引用[1]提到DeepSeek-V3.1是在Base版本基础上后训练的,而Base版本又是通过两阶段长上下文扩展方法构建的。这里明确说明了数据集的扩展情况:32K阶段扩展到630B tokens,128K阶段扩展到209B tokens。这个token量级相当大,说明训练数据非常丰富。 注意到引用中特别提到"收集更多的长文档",暗示数据集可能包含大量完整文档而非片段。但具体文档来源没有说明,学术论文?技术文档?还是网页数据?这些细节都未披露。引用[3]提到"迈向Agent时代",可能暗示数据中包含交互式任务相关的语料。 关于下载问题,所有引用都未提供原始数据集下载渠道。Hugging Face链接和OpenRouter链接应该都是模型下载入口,魔塔社区可能提供API访问而非数据集下载。这符合行业惯例——大模型研发方通常不会公开原始训练数据。 用户可能需要特别关注使用方式部分。虽然无法直接下载数据集,但可以通过Hugging FaceDeepSeek API间接调用模型能力。Fine-tuning可能需要申请权限,文档中提到的"Function Calling指南"可能是关键参考资料。 考虑到用户可能的研究目的,补充建议关注数据格式部分:使用UE8M0 FP8格式训练,支持多种权重格式。对于复现研究可能有帮助,但原始数据清洗和预处理方法仍是未公开的黑箱。 </think> 根据站内引用信息和公开资料,DeepSeek-V3.1 的数据集信息如下(注:原始训练数据集通常不公开,以下为可确认的官方信息): --- ### **DeepSeek-V3.1 数据集关键信息** 1. **数据构成** - 基于 **两阶段长上下文扩展方法** 构建: - **第一阶段(32K上下文)**:扩展至 **630B tokens**(较原始 V3 增加 10 倍)[^1] - **第二阶段(128K上下文)**:扩展至 **209B tokens**(较原始 V3 增加 3.3 倍)[^1] - 新增大量 **长文档数据**,优化模型处理超长文本能力[^1]。 2. **数据特性** - 使用 **UE8M0 FP8 数据格式** 训练,确保与微缩放格式兼容[^1] - 强化 **多轮对话、代码、数学推理** 等任务数据(结合 Agent 能力设计)[^3]。 3. **数据类型** 虽未公开详细来源,但行业惯例包含: - 多语言网页文本(中英文为主) - 开源代码库(如 GitHub) - 学术论文与技术文档 - 人工构造的指令微调数据 --- ### **数据集获取与使用** ❌ **原始训练数据集未公开** - 研发方通常不会开放原始训练数据(涉及版权与安全)[^1][^3]。 ✅ **替代使用方案**: 1. **模型调用** - 通过 API 间接使用数据训练成果: - 🤗 Hugging Face 模型库:[deepseek-ai/DeepSeek-V3.1](https://huggingface.co/deepseek-ai/DeepSeek-V3.1)[^1] - ⚡ OpenRouter 接口:[DeepSeek-V3.1 API](https://openrouter.ai/deepseek/deepseek-chat-v3.1)[^2] 2. **微调自定义数据** - 支持 **SafeTensors 格式权重**(BF16/FP8/FP32)[^1] - 可在官方模型基础上注入领域数据(需自备数据集) 3. **文档参考** - 查阅技术细节: - [DeepSeek-V3.1 官方文档](https://api-docs.deepseek.com/news/news250821)[^3] - [Function Calling 指南](https://api-docs.deepseek.com/guides/function-calling)[^3] --- ### **相关疑问解答** > ▶️ **为何不公开数据集?** > 大模型训练数据常含非公开授权内容,开放原始数据可能引发法律风险[^4]。 > ▶️ **如何验证数据效果?** > 可通过 **长文本理解测试**(如 100K+ token 文档摘要) **Agent 任务评测**(如工具调用)评估[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值