X探员-优快云博客

原创『不废话』之谷歌智能体开发套件小报

中简单梳理了一下MCP，经过这半个月的深度使用，MCP确实极大地助力了大模型飞得越来越好，现在已经离不开了。

2025-04-10 10:06:53 305

原创『不废话』之Llama 4实测小报

2025年4月5日Llama 4一开源，随后OpenRouter等平台就提供免费调用。对于中文社区来，官方的测评结果其实意义不大（原因先按下不表），就看知乎、微博、B站、twitter上的真实感受，最重要的是自己的真实案例测评。

2025-04-06 16:11:22 1002

原创『不废话』之大模型训练并行策略

想象一下，当前最先进的语言模型包含数百亿、数千亿个参数。这些模型实在是太大了，无法在单个GPU上训练，必须分布在多个GPU甚至多个计算节点上。此外，还可以使用ZeRO（零冗余优化器）技术来优化GPU内存使用。工业界通常都是将3者结合起来一起用，也就是3D并行：对于一般企业就只是拿小基模微调的话，其实用不到所有的技术。

2025-04-02 12:43:29 274

原创『不废话』之大模型训练数据中心算力和算效

周末去跟客户开会，客户说：“要建一个300P算力的数据中心。听完我就震惊了，客户是不是H网看多了，还是从哪个土豪那里听来的“P”。不过你是客户，你什么都对，我只能在心里嘀咕：你懂个P。以上案例纯属杜撰，如有雷同，纯属巧合。上一篇。

2025-04-01 12:23:30 757

原创『不废话』之大模型训练硬件相关知识点

同事说在听PPT时，经常听到一些英文缩写，很多知识点学得比较散，有没有一个综合但短小精悍的总结，这不来了么。OEM厂商自由定制（规则范围内）后卖。NVIDIA高端GPU的专用接口。上述三者的比例相差很大，HGX B300 示意图。

2025-04-01 11:38:37 390

原创『不废话』之大模型性能评估

哪些特定功能对您的应用程序最重要？您是否优先考虑准确性、速度、成本或专业知识？你需要定量指标，定性评估，还是两者兼而有之？提示：创建一个简单的评分规则，并加权重要性。与您所在行业相关的特定领域知识测试来自预期用例的真实提示突破模型功能边界的边缘案例跨模型具有相同输入的A/B比较与代表性用户进行用户体验测试提示：包括“预期”场景和挑战模型的“压力测试”场景。

2025-03-27 20:13:28 684

原创『不废话』之大模型性能排行榜

当我们需要一个基准（通用开源）模型进行领域微调时，选择哪个基准模型是非常重要的。不同的模型侧重点不一样，知晓目前开源或闭源模型的性能是我们微调之前应快速了解的，不能浪费太多工作量。今天我们来梳理一些大模型性能斗兽场，以便我们能横向和纵向对比各种指标，

2025-03-27 19:50:46 312

原创『不废话』之大模型推理算力推演

大模型时代，业务拒绝接入大模型应该不存在吧？在接入前对大模型的显存算力所需进行推演就是一件非常值得做的事情。中，我们探索了量化技术，这次我们来探索算力推演。不废话，直接给结论。

2025-03-21 10:19:51 304

原创『不废话』之大模型量化技术

大型语言模型（LLMs）由于其参数量庞大，导致很难在有限资源下运行，所以工业界通常会将模型进行量化后再部署到生产环境，今天我们来不讲理论、定义等，只人话梳理一下这个技术。

2025-03-21 09:52:19 819

原创『不废话』之动手学MCP

如果你还没听过MCP（Model Context Protocol，），不能说明你落伍了，而是技术发展太快，程序员继续卷死自己吧。MCP：Anthropic于2024年11月底提出，旨在统一大型语言模型（LLM）与外部数据源和工具之间的通信协议。

2025-03-20 10:29:09 1570

原创【国外】代理池价格比对器

我们在训练LLM时，用了很多代理爬取了不少网络数据，本来想整理一下分享出来。今天突然看到了这个网站，瞬间感觉没必要了。

2025-03-17 10:04:24 429

原创古籍OCR性能实测小报：当AI遇见千年典籍，我们离“一键识古文“还有多远？

下限通常界定至1912年清帝退改（《古籍定级标准》GB/T 21712-2008），但特殊类别如民国线装书（1912-1949）在版本学中也被纳入广义古籍范畴。通常包括竹简/木牍、帛书、敦煌写卷、雕版印刷品、活字本、手抄本等。使用传统汉字体系（含变体字、异体字、避讳字等），采用古籍专用排版格式：无标点、竖排右起、版心鱼尾、双行小注等。文献价值：保存比较好的善本具备比较高的文物价值，破损或差缺的通常称为普本，文献价值较低。

2025-03-14 22:21:47 376