- 博客(5)
- 收藏
- 关注
RSS订阅原创 认识python
两个版本，一个是社区版（免费且提供源程序），另一个是专业版（免费试用），用户可以根据需要的选择下载版本。因为吉多·范罗苏姆是BBC电视剧-《蒙提·派森的飞行马戏团》(Monty Python's Flying Circus) 的爱好者，故以 Python 命名。Python 是一种功能强大、简单易学的编程语言，其应用范围广泛，备受好评。被称为“胶水语言”的Python是一种面向对象的解释型高级编程语言，具有简单易学、易操作等特点，可以将其他语言(尤其是C/C++)编写的程序进行集成和封装。
2025-03-15 19:17:10
307
原创 deepseek核心架构一
MLA与英伟达Hopper架构GPU深度协同，通过FlashMLA解码内核实现每秒4000 token的吞吐量，相比传统MHA提升3.2倍。传统多头注意力（MHA）在长序列处理中面临KV缓存爆炸（每增加1k token，显存占用增长1.5GB）与O(n²)计算复杂度的双重压力。实验数据显示，MLA在arXiv论文摘要测试中，召回率提升至95%的同时，推理时延降低67%。窗口局部注意力：结合滑动窗口机制，在保持长程依赖捕捉能力的同时，将计算复杂度降至O(n)注意力机制革新：多头潜在注意力（MLA）
2025-03-09 13:39:39
368
原创 deepseek三角平衡
DeepSeek却在2023-2024年的技术迭代中，以"架构-训练-应用"三位一体创新，构建起动态平衡的三角体系：在GSM8K数学基准实现98.7%准确率（性能）的同时，将128k长文本推理成本压降至GPT-4的1/5（成本），并通过MoE架构实现每秒处理4000token的高吞吐（效率）。这背后的技术哲学值得深度解构。当行业为"万亿参数"和"通用智能"的宏大叙事狂欢时，DeepSeek选择了一条更朴素的路径：让大模型在现实世界的约束条件下（有限的GPU、有限的预算、有限的物理定律）创造无限价值。
2025-03-08 11:03:30
739
原创 GRPO优化器初步理解
其核心创新在于摒弃价值网络（Critic），转而通过组内多输出对比构建动态奖励基线，这一设计使训练内存消耗降低40%，同时在数学推理任务中实现准确率跃升（如GSM8K从15.6%提升至89.3%）。动态KL约束：将KL散度直接写入损失函数，通过\text{clip}(\frac{\pi_\theta}{\pi_{\text{old}}}, 1-\epsilon, 1+\epsilon)限制策略更新幅度，防止模型偏离参考策略超过±10%；一、技术背景与核心突破。组采样与相对优势计算。
2025-03-07 20:02:45
667
原创 deepseek的算力开源
DeepSeek团队以“高性能+低成本+开源”为核心理念，通过多代模型迭代（如DeepSeek LLM、V系列、R1系列），不仅突破扩展规律（Scaling Law）瓶颈，更在推理能力与工程效率上树立新标杆^2^5^7。- 强化学习驱动推理：基于V3模型，通过GRPO算法（组相对策略优化）实现无监督冷启动，在数学推理（MATH）与代码生成（LiveCodeBench）任务中超越OpenAI O1模型^3^7。3. 安全与伦理：构建多维度评估体系（如2400题安全测试集），抑制模型幻觉与偏见^2^7。
2025-03-01 17:09:41
626
开发人工智能需要什么吗？
2025-06-25
TA创建的收藏夹 TA关注的收藏夹
TA关注的人