DeepSeek回应网信办AI内容标识要求，承诺对AI生成内容添加"AI生成"标识。文章详细解析了DeepSeek V3/R1模型的训练过程，包括预训练和优化训练两个阶段，介绍了训练数据的来源和处理方式，以及模型推理过程。同时，讨论了AI的局限性和风险，以及DeepSeek的应对措施，强调了模型的开源特性和用户权利保护。
前排提示，文末有大模型AGI-优快云独家资料包哦！
Datawhale分享 最新：DeepSeek V3/R1训练细节 来源：新智元
今天，网信办《人工智能生成合成内容标识办法》正式生效。
其中，第四条要求：对符合要求的AI生成合成内容添加显式标识。
刚刚，DeepSeek 官微发布了最新回应公告——凡是 AI 生成的内容，都会清楚标注「AI 生成」。
它还郑重提醒，用户严禁恶意删除、篡改、隐匿标识，更别提用 AI 传播、制作虚假信息。
此外，这次还发布了《模型原理与训练方法说明》，可以一瞥 DeepSeek 的技术路径。
接下来，深入探索一下 DeepSeek V3/R1 的一些训练细节。
文档链接：https://cdn.deepseek.com/policies/zh-CN/model-algorithm-disclosure.html
一、回应新要求，DeepSeek公开技术说明
DeepSeek 主要介绍了大模型的训练和推理阶段，包括预训练、优化训练（微调）以及训练数据等。
不同大模型的神经网络架构
1. 模型训练
模型训练阶段即模型的开发阶段：通过设计好的深度神经网络架构和训练方法，开发人员开发出可被部署使用的模型。
模型由多层神经网络组成，不同的架构直接影响模型的性能。此外，模型性能也受参数规模的制约，而训练的目的就是找到具体的参数值。
目前，大模型的参数规模数以亿计。最新的 DeepSeek-V3-0324，参数总量为 6850 亿。
在训练过程中，这些参数通过梯度下降算法迭代优化。
这次，DeepSeek 把模型训练分为预训练和优化训练两个环节。
预训练：预训练目标是通过数据训练模型，使模型掌握通用的语言理解与生成能力。
优化训练：也称为微调，是在预训练模型的基础上通过特定任务的数据进一步调整模型参数，使模型适应实际应用场景。
在预训练阶段，模型通过大规模自监督学习，从文本数据中学习语言模式与知识关联。预训练完成后，模型能理解并生成连贯的文本，但还不会精准地回答问题或执行任务，因此需要进一步的训练微调。
在优化训练阶段，模型一般通过 SFT、RL 等方法，学会根据指令回答问题，符合人类的偏好和需求，并激发在特定领域的专业能力。
经过优化训练的模型能更好地满足实际需求，可被部署使用。
二、DeepSeek的训练过程
DeepSeek 模型的能力，是建立在高质量、大规模、多样化的数据之上。
在「预训练阶段」和「优化训练阶段」，各有不同。
1. 预训练阶段
在预训练阶段，主要使用了两类数据：
互联网公开可用的信息，比如网页、公开文档等。
需要强调的是，在此阶段，根本无需获取个人信息用于训练，DeepSeek 不会有意关联至任何特定账户和个人，更不会主动将其用于训练模型。
不过，预训练数据规模过于庞大，可能偶然包含了一些个人信息。
对此，DeepSeek 会通过技术手段，尽力筛查并移除这些信息，确保数据「干干净净」。
为了保证数据质量、安全、多样，他们还打造了一套硬核数据治理流程——
首先，通过「过滤器」自动剔除仇恨言论、色情低俗、暴力、垃圾信息，以及可能侵权的原始数据。
其次，通过算法+人工审核，识别并降低数据中的统计性偏见，让模型更公平、更客观。
2. 优化训练阶段
到了优化训练阶段，一般需要通过人工或自动化的方式构造、标注一批问答对数据来对模型进行训练。
DeepSeek 这次表示：这些问答对数据是由研究团队生成提供的，其中少部分数据的构造可能会基于用户的输入**。**
在 DeepSeek-R1 训练中，研究人员直接提示模型生成包含反思和验证的详细答案；收集并整理 DeepSeek-R1-Zero 的输出，使其具有可读性；以及通过人工注释者的后期处理来提高数据质量
如涉及利用用户的输入构造训练数据，DeepSeek 会对数据进行安全加密技术处理、严格的去标识化和匿名化处理，从而尽可能避免训练数据关联到任何特定个人，且不会在模型给其他用户的输出中带有个人信息，更不会将其用于用户画像或个性化推荐。
同时，DeepSeek 为用户提供了选择退出的权利。
为了确保模型的安全性，在模型优化训练阶段，DeepSeek 构造了专门的安全数据对模型进行安全对齐，教会模型的回复符合人类的价值观，增强模型内生的安全能力。
3. 模型推理
模型的推理阶段即模型被部署提供服务。
模型训练完成并被部署后，可以通过对输入信息进行编码和计算来预测下一个 token，从而具备文本生成和对话等能力。
部署后的模型能够熟练执行基于文本生成的广泛多样的任务，并可以集成到各种下游系统或应用中。
具体到 DeepSeek 的产品服务，基于用户的输入，模型采用自回归生成方式，基于输入的上下文内容，通过概率计算预测最可能的接续词汇序列。
推理完成后，模型输出相应的内容作为响应，包括文字、表格和代码等。
此并非简单检索或「复制粘贴」训练数据中的原始文本，模型也并未存储用于训练的原始文本数据副本，而是基于对语言结构和语义关系的深度理解，动态生成符合语境的回答。
DeepSeek 这次还强调模型开源。
我们通过开源平台对外公开发布了所有模型的权重、参数以及推理工具代码等，并采用宽松的 MIT 协议，供使用者自由、免费下载部署使用。
同时，DeepSeek 发布各模型的完整技术报告，供社区和研究人员参考，并帮助公众更深入地了解每个模型的技术原理和细节。
三、全周期对抗LLM的局限性和风险
毋庸置疑，当前 AI 发展还在早期阶段，存在无法避免的局限性。
若是再被加以滥用，将会带来严重的后果。
1. 局限性
AI 往往会生成错误、遗漏，或不符合事实的内容，这种现象统一称之为「幻觉」。
这个问题，是整个 AI 行业面临的挑战。
对此，DeepSeek 正通过一些技术手段降低幻觉率，包括高质量的训练数据、优化对齐策略、RAG等，但现阶段依无法完全消灭。
同时，他们还在欢迎页、生成文本的末尾，以及交互界面底部，添加显著的提示标识。
特别提醒用户——内容由人工智能生成，可能不准确。
因此，AI 生成的内容仅供参考，所有人不应将输出的内容作为专业建议。
尤其是，在医疗、法律、金融等专业领域，DeepSeek 不提供任何建议或承诺，专业的事儿还得找专业的人。
滥用风险
AI 技术本身是中立的，但滥用可能带来隐私保护、版权、数据安全、内容安全、偏见歧视等风险。
DeepSeek 对此也是高度重视，采取了一系列硬核措施，贯穿了模型研发、训练、部署的全生命周期。
制定内部风险管理制度
开展模型安全性评估
进行红队测试
增强模型和服务透明度等
更重要的是，DeepSeek 还赋予了用户知情权、选择权、控制权——
你可以查询服务的基本信息、拒绝其数据用于模型训练、删除其历史数据等。
读者福利：倘若大家对大模型感兴趣，那么这套大模型学习资料一定对你有用。
针对0基础小白：
如果你是零基础小白，快速入门大模型是可行的。
大模型学习流程较短，学习内容全面，需要理论与实践结合
学习计划和方向能根据资料进行归纳总结
包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
👉AI大模型学习路线汇总👈
大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）
第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；
第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；
第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
👉大模型实战案例👈
光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
👉大模型视频和PDF合集👈
这里我们能提供零基础学习书籍和视频。作为最快捷也是最有效的方式之一，跟着老师的思路，由浅入深，从理论到实操，其实大模型并不难。
👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；
• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；
• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
扫一扫
1357
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
