- 博客(11)
- 收藏
- 关注
RSS订阅
原创 4090体验DeepSeek啊哈时刻
从V3到R1-Zero只采用来的RL训练，按照DeepSeek-V3 的技术报告预估V3最后训练耗费560万美元左右，R1-Zero RL 后训练过程费用应该10万美元左右，目前看ROI非常高。以下Notebook 是，可以在4090 上体验DeepSeek-R1-Zero的RL训练过程。
2025-02-12 11:38:52
424
原创 云端体验 DeepSeek V3 0324/ Qwen2.5 VL 32B
登录OneThingAI平台，进入镜像中心，选择vLLM推理引擎，点击创建实例（8卡可跑，更好的体验需要2台H20通过【文件管理】查看DeepSeek 相关模型。
2025-03-27 17:40:34
265
原创 【Attention优化重大突破！显存减半效率倍增，大模型长文本处理迎来新时代】
从第二章节不难看出（Decoder-only的attention计算和上面略有不同，不影响计算复杂度讨论），如果不做任何优化，生成每一个token的计算复杂度是O(n^2)，最终生成的序列全局计算复杂度是O(n^3)。对于上下文这个计算复杂度肯定是无法接受的。1，所以，直觉上提升Attention的性能的做法是降低它的计算复杂度.kv caching就是为了解决这个问题将单个token的计算复杂度降低到O(n) （n为当前序列长度），全局的复杂度就下降到O(n^2)极大的提升了性能。
2025-03-13 18:19:24
681
原创 【大模型私有化部署要花多少钱？】一张图看懂你的钱用在哪
DeepSeek 热度持续，大家都在探索DeepSeek的使用场景，拓宽它的使用边界。在一些数据安全敏感的场景私有化部署是企业落地LLM的重要选项。本文将详细的讨论如何才能高性价比的完成DeepSeek的私有化部署，下面将以两个章节来讨论这个问题：第一章节定义一些大模型服务的性能指标，第二个章节评估私有化部署大模型的成本情况。
2025-03-12 10:56:50
749
原创 16元推理成本，DeepSeek动了谁的蛋糕？
1，1-5 篇文章中1，2 估算了EP320 这种部署，到底能可以支持多大的并发。1 认为瓶颈在通信这个判断单台和8卡H100支持600左右的并发请求是很合理的。因为首先H100 FP16 989TFLOPs的算力，FP8 等于989 * 2，以989 T来做Arithmetic intensity的预估也就是295 FLOPs/byte，大体可以理解为只要单卡batch size 不大于295则算力不是瓶颈。
2025-02-19 19:31:45
594
原创 新年AI爆点！DeepSeek R1与Janus模型开启智能新
在模型训练成本高昂的当下，DeepSeek R1以十分之一的成本达到GPT-o1级别的表现，宛如开辟了一条低成本高效能的新赛道。它凭借创新算法，突破传统“大力出奇迹”的高成本训练模式，让更多开发者与企业能以更低门槛投身AI研发，为AI技术的普及铺就道路。开源让开发者能在GitHub等平台自由获取、修改模型代码，极大降低使用门槛，促进全球AI爱好者、研究者与开发者携手合作，共同探索AI技术边界，为行业发展注入源源不断的创新活力。未来，AI将更深入融入生活工作，提升效率、激发创意。DeepSeek采取。
2025-02-14 17:10:59
37
原创 一文读懂DeepSeek-R1私有化部署与本地部署
从上图可以看出，S1-32B模型在数学问题解决（MATH500）、竞赛数学（AIME24）和博士级科学问题（GPQA Diamond）三个任务上的表现。随着思考时间的增加，模型的准确率也有所提升。为了更好的服务企业OneThingAI支持使用vLLM 部署DeepSeek，vLLM版本为DeepSeek官方推荐的vLLM 版本0.6.6。下面会以部署一个32B的蒸馏版本为例，更多Ollama官方量化的DeepSeek-R1 模型参考 Ollama 官方的模型中心。Qwen 14B 为例，创建2卡实例。
2025-02-14 17:08:01
658
原创 ComfyLink全面内测：轻松实现工作流部署与托管
输出项，提示：只支持文本、图片和视频输出节点，图片和视频节点只支持 SaveImage、Image Save、easy imageSave、LayerUtility: SaveImagePlus 和 VHS_VideoCombine。输入项提示：加载图片节点目前只支持LoadImage、Image Load、LoadImagesFromPath 这三个节点，其他推荐使用 LoadImagesFromURL 节点、标签、工作流的介绍。，查看密钥的token，点击。选择工作流，点击工作流右侧的。
2025-02-14 16:47:43
502
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人