weixin_46880696的博客

比如，在句子“The animal didn't cross the street because it was too tired.”中，当他们看到“it”时，就会特别关注“animal”，因为“it”指的就是“animal”。当“自注意力”员工处理完一个词的信息后，他们就会对每个词的信息进行独立的、统一的加工，就像给每个词的信息做个“标准化处理”，让它们更容易被下一步使用。“透明度”更高（能看到它在看什么）： 我们可以通过一些方法，看到模型在处理某个词时，它的“注意力”集中在输入句子的哪些词上。

它们也学得最快。谈及 OpenAI 企业业务的爆发式增长，他透露：「与一年前相比，我们与深度合作的头部企业交流时发现，促使它们加速落地的关键不再是『适应时间』，而是。

蓝色的线是电力的成本，绿色的线是计算机内存的成本，红色的线是 AI 推理的成本，很明显， AI 推理的成本降得最快，短短的两年就降了90%，直接跌到了地板上。不仅越来越多的公司在业绩电话会里讨论AI，而且，越来越多的公司实实在在地在使用AI，这张图描述的是微软云的 AI 使用量，在过去的一年， AI 的使用量翻了 5 倍。要知道Waymo的打车成本跟传统的网约车差不多，这说明哪怕价格一样，消费者也更喜欢无人驾驶的出租车，大家可以想一想为什么，把可能的原因写到本文的评论区里。这篇报告都有哪些内容值得关注呢？

你是否梦想用一张照片和一段音频，快速生成一个“会说话的数字人”？腾讯开源的项目正是为此而生。，通过输入一张人物照片和一段语音音频，就能自动生成嘴型精准、表情自然的视频片段，广泛适用于虚拟数字人、虚拟主播、AI 视频解说等场景。先给大家看看效果：👇，时长00:31数字人视频效果。

最近香港科技大学团队在最新论文系统梳理了大语言模型（LLM）在科研各阶段的角色和价值，为理解 AI 从 “效率工具” 到 “自主代理” 的质变提供了理论框架，其提出的三层自主性模型（工具层→分析师层→科学家层）与全球顶尖实验室的实践形成呼应，勾勒出 AI 驱动科学革命的未来图景。在论文中，香港科技大学团队基于科学研究的六个核心阶段（观察与问题定义、假设发展、实验设计与执行、数据分析、结论验证、迭代完善），系统梳理了LLM在科研中从工具到自主代理的角色演进，揭示其在不同自主性层级的典型应用与挑战。

Cosmos 赋予 AI “物理直觉”，Omniverse 为这种 “直觉” 提供了可以施展的舞台，使 AI 能够在虚拟环境中观察、分析和预测各种物理现象，进行各种尝试，不用担心造成损失，还能创造出大量带有物理规律的模拟数据，有助于提高 AI 的学习效率，让 AI 更好地理解物理世界中的物体关系、运动规律以及各种物理交互。这些数据来自于专有视频数据集和公开的互联网视频，通过精心筛选和处理，为模型提供了广泛的视觉体验，使其能够学习到不同场景下的物理规律和视觉特征。要实现AGI，需要先在“世界模型”取得突破。

同时，我们具备大模型全栈技术能力，可协助您完成从模型训练、微调、部署、调优的全过程，助力构建安全、高效的AI系统。配置“模型供应商”，选择 “OpenAI-API-compatible”，输入申请到的 “API Key” 和 “URL” 后点击“保存”，如下图示例完成 “AlayaNew/DeepSeek-R1” LLM的配置。通过精心设计的提示词，可以激活模型中与特定任务相关的知识，使其在无需大规模微调的情况下，直接应用于下游任务。，任何技术都有局限性，审慎的态度和科学的投资框架始终是风险管理的核心。

这将意味着模型不再是“买来的”，而是“炼出来的”，开源模型的最大优势不再是参数量和GPU数量，而在可定制能力，只有少数人能玩的大模型将从“神坛”走向“普罗大众”，如果说基模型是油田，那么“蒸馏工厂”就是炼油厂，蒸馏出来的各种各样的模型就是千家万户的储油桶。2.释放协同潜力：实现一个老师模型到多个蒸馏模型之间的"一对多"以及多个老师模型蒸馏至一个模型的"多对一"的关系，这些蒸馏模型可与GitHub Copilot等工具或其他工作流组合，通过 MCP 服务器调用其他 AI Agent，释放大小模型协同的潜力。

关注问题本质，关注如何解决问题，关注如何创造价值选择通过分层设计，实现高效内容生产。每一层都针对内容创作流程中的关键环节进行优化，形成完整的智能化解决方案。1.1 需求分析层作为系统的首要环节，采用NLP技术对用户输入进行深度解析。通过意图识别自动区分写作类型（如技术文档、营销文案、社交媒体内容等），并结合用户画像分析目标受众特征（年龄层、专业背景等）。系统内置需求模板，包含多类常见写作场景的标准化需求描述，确保输出精准匹配核心需求。

总体而言，vLLM 在模型支持和应用生态方面具有优势，而 SGLang 在推理性能优化表现相对出色。性能上，SGLang 在顺序请求和并发请求场景中始终优于 vLLM。在并发负载下，差异尤其明显，SGLang 保持稳定吞吐量的能力凸显了其卓越的可扩展性和鲁棒性。这些发现表明，对于需要高并发和高效处理大量请求的应用程序来说，SGLang 是更好的选择。目前vLLM和SGLang的代码库已开始互相借鉴（如vLLM计划引入RadixAttention），但短期内仍是差异化竞争。

Ollama是一个旨在简化在本地运行大型语言模型（LLM） 的轻量级推理工具，强调隐私保护、高性能和本地控制权。Xinference 支持多种推理引擎，Xinference需要单独安装支持的推理引擎，当满足模型格式为pytorch、gptq或者awq等条件时，Xinference 会自动选择 vLLM 作为引擎来达到更高的吞吐量。此外，Xinference 也支持 SGLang 后端，可根据具体的模型和应用需求，灵活选择使用 SGLang 进行推理，以充分发挥其在集群部署、大规模模型推理等方面的优势。

通过在 L2 Cache 中缓存常用数据，可以减少 GPU 与主内存之间的数据传输量，提高数据访问效率，特别是在处理大规模数据和复杂计算任务时，L2 Cache 能够显著提高 GPU 的性能和响应速度，有助于提升整个图形处理和计算过程的流畅性。由于GPU利用率只是判断是不是有SM在执行状态，不考虑在执行状态的SM的数量，类似判断一个杯子中是不是有水，有一滴水也作数，十滴水也是一样，这样就不能精确到各个SM，无法在GPU内部实现优化，这样看，GPU利用率不太准，只是从GPU层面（宏观）笼统判断。

Alaya NeW平台推出的DingoSpeed自托管镜像服务，旨在解决从Hugging Face下载模型和数据集速度缓慢的问题。通过本地化存储、智能分块调度和高效缓存，DingoSpeed显著提升了下载速度，优化了AI资源的全生命周期管理。用户只需设置环境变量并选择镜像站点，即可享受极速下载体验。实测数据显示，DingoSpeed在小模型和大模型下载速度上分别比传统方式快30%和100%以上，且内存占用更低、稳定性更高。DingoSpeed的核心技术包括本地镜像加速、并行分块下载和智能缓存复用，有效突破了

例如，当我们尝试使用 DeepSeek 上传一份原始文档并通过提示词让模型生成QA数据集时，可以观察到上述缺陷的存在：即使重复操作，基于相同输入文件生成的结果依旧保持一致且质量有限。项目创建完成后，进行模型配置，这一步可以根据各自情况配置，配置也非常简单，选择“项目设置” -> “模型配置”，如下图。在某些专业性强的领域，如医疗健康或法律服务中，由于严格的隐私保护法规限制，公开可用的数据集相对稀缺，获取难度较大。选择“问题管理”，勾选生成的问题，选择“批量构造数据集”，过程仍需等待一段时间。

训练过程中，数据质量与多样性至关重要。像是在图 2 展示的科学推理（GPQA Diamond）、指令遵循（IFEval）、工具调用（BFCLv2）等测试场景下，LN-Ultra 的准确率远超同类开源模型，甚至比一些需要更高硬件配置的模型表现还要出色，彰显了它强大的实力。在 Puzzle 框架去除部分注意力层后，模型中会出现连续的 FFN 块，FFN Fusion 技术会将这些连续的 FFN 块替换为更少但更宽的 FFN 层，这些层可以并行执行，从而减少了顺序步骤，提高了计算利用率，显著降低了推理延迟。

摘要：一提到计量计费，相信大家第一时间想到了应该是生活中的水、电、燃气、通信费用，因为这些是我们习以为常又必不可少的部分，它们都已经有国家统一的标准表计进行计量计费，但算力资源特别是云计算环境下的算力资源算力影响因子颇多，难以用单一表计进行计量，应该如何科学且公平地计量计费，让用户不担心自己花钱租的算力资源被分配给别人使用呢？本文将从技术层面围绕 GPU、CPU、存储、网络四大核心智算资源，深入探讨其计量计费方案，尝试为智算资源的供需双方提供一个公平、合理、高效的资源使用和费用结算体系的建议。

在 Llama2-70B 模型训练中实现秒级故障检测，分钟级定位并处理故障，分钟级训练恢复，减少了因故障导致的算力浪费，保障了 GPU 在训练过程中的持续高效运行，间接提升了 MFU。自DeepSeek R1问世后，让人们认识到了，不堆GPU资源，也可以通过各种优化手段训练出优秀的大模型，这些优化手段涉及到整个大模型训练技术体系的各个层面，如通信、AI平台、训练框架、算法等，这之中很多最终是落实到提高GPU浮点计算利用率上，本文深度解析一下如何提升GPU浮点计算利用率。

随着大语言模型（LLM）技术的广泛应用，从AI写作助手到智能客服、再到生成式内容平台（AIGC），AI 正以前所未有的速度深入人类社会的各个角落。然而，随之而来的内容安全问题也日益凸显：模型可能生成色情、暴力、歧视、谣言、政治敏感等不当内容，严重时甚至会引发法律与社会层面的风险。大模型的核心能力在于对语言的建模与生成，它并没有对“内容好坏”的本体认知。大模型的输出是概率驱动的，哪怕使用相同 Prompt，每次生成的内容也可能不同，极大增加了检测和预判的难度。

从实践来看，这也是掉卡最容易导致的原因，它会触发GPU发生各种XID故障，需要重置后恢复，所以对制冷设备运行状态监控至关重要，要时刻监控机房动环温度数据和服务器温度传感数据，例如采用风冷方案的机房，一般机房长期温度在16℃-25℃，需设置合适的服务器告警温度，另外添加机柜挡板，优化空气流动等都是确保制冷效果有效手段。面对XID 48错误，如果后续又出现XID 63或64错误，为避免影响整个系统的运行，应先排空或隔离相关节点，等待当前任务平稳完成后，再对报错的GPU进行重置操作，尝试恢复其正常工作状态。

从上述微调结果可以明显看出，经过微调的模型在解决用户疑问方面表现更为出色，能够为用户提供更加精准和有效的指导。本实践成功地将先进的大模型技术与Aladdin组件相结合，有效应对了具体的行业挑战，展示了前沿技术在实际场景中的应用实例，实现了从理论到实践的重要跨越。通过这种方式，我们不仅为用户提供了处理复杂问题的新思路，还展示了如何利用这些先进技术解决实际问题，为各行各业带来了创新解决方案。

JavaScript 是目前最流行的编程语言之一，它受欢迎的原因之一是大量框架和库的可用性。与传统的 Vanilla JS 开发相比，它们使开发变得更加容易。下面我们将分享6个实际开发过程中最常用的JS 库 | 框架，供大家学习参考。

很多机器学习框架如都提供了Early Stopping策略，主要用来防止模型过拟合。和模型训练提前停止的目标不同，AutoML的Early Stopping策略更多考虑的是算力消耗和模型质量的平衡。

HyperGBM提供了4种高级特性，专门用来提升模型的泛化能力：Pseudo-labeling半监督学习二阶特征筛选K-fold Cross-validationGreedy ensemble

数据漂移问题近年在机器学习领域来越来越得到关注，成为机器学习模型在实际投产中面对的一个主要挑战。

模型是机器学习的核心组成要素。本文从模型的广义概念出发，引申出机器学习模型的基本定义，并就机器学习中容易混淆的概念——模型和算法，进行了详细对比和关系解读，最后列出了常见的模型评估指标与方法，供大家在学习机器学习的过程中起到一点参考作用。

本文根据2022年GitHub Octoverse年度报告列出的十大编程语言名单，详细介绍了十大编程语言的基本定义、优缺点对照和主要适用场景，希望可以给予开发者一定的参考方向。

鲁棒性，英文为Robustness（承受故障和干扰的能力），是许多复杂系统（包括复杂网络）的关键属性。复杂网络的鲁棒性研究对许多领域都非常重要。本文着重介绍了鲁棒性的基本定义、命名起源、分类区别、提升方法和具体应用，供大家学习参考。

本文从算法的基本定义出发，详细解读了算法的发展历程、主要特征、衡量指标和算法设计的基本方法，供大家学习参考。

本文以特征工程的基本概念为引，着重介绍了特征工程的主要工作流程和实现方法，供大家学习参考。

机器学习的经典模型有很多，篇幅所限，本文将介绍四种常用的机器学习模型的基本概念、模型特点和主要应用场景，供大家学习参考。

本文列出了常用的机器学习算法的基本概念、主要特点和适用场景，希望可以在大家选择合适的机器学习算法解决实际问题时起到一点参考作用。

本文归纳了机器学习的10大算法，并分别整理了各算法的优缺点及主要特征，供大家学习参考。读完本文，你将掌握以下机器学习10大算法的基本概念及主要适用情况，是机器学习过程不可错过的基础概念篇。

本文将神经网络分成三个主要类别，并详细介绍了每个类别的主要神经网络模型，读完本文你将能迅速掌握常用的经典神经网络模型，属于深度学习的基础入门篇。

机器学习的概念及应用

一文读懂大数据，数据挖掘，机器学习的概念和区别

数据额挖掘的定义、工作流程、主要算法、经典案例

详细解析数据挖掘、机器学习、深度学习的概念和区别

数据科学、大数据、人工智能、机器学习的概念和之间的关系

数据科学的定义、简史和工作流程

理清楚机器学习、优化理论、统计分析、数据挖掘、神经网络、人工智能、模式识别每个概念的含义和它们之间的关系