- 博客(13)
- 收藏
- 关注
原创 MTT S80 跑大模型为什么只有 8 tok/s?—— 10 个优化方向全部实测后的结论
一张16GB显存的摩尔线程MTT S80跑Qwen3-14B Q4_0仅达8.35 tok/s,远低于RTX 4070 Ti Super的40~50 tok/s。实测发现硬件带宽与算力达标,且优化kernel独立测试快1.75倍,但集成后无提升。最终定位瓶颈不在硬件或kernel,而在闭源的用户态运行时调度层——每生成一个token需触发数百个微小算子,调度开销巨大,导致性能被严重拖累。
2026-09-27 13:42:01
368
原创 摩尔线程 MTT S80 本地跑大模型完整教程(llama.cpp + MUSA):从装驱动到 OpenAI 兼容 API
本文详述在摩尔线程MTT S80显卡上运行大模型的完整流程,基于llama.cpp + MUSA生态。实测可成功运行21B MoE模型,最优配置达15.16 tok/s。关键步骤包括:安装MUSA驱动与SDK 4.3.0、编译支持MUSA后端的llama.cpp(启用GGML_MUSA_GRAPHS=ON提升性能)、下载第三方量化模型(如Qwen3-14B Q4_0)。最终部署为systemd服务并提供OpenAI兼容API。结论:硬件可行但软件生态滞后,推理速度受限于生态成熟度。
2026-09-27 13:35:33
1720
原创 超越摩尔定律的幻象?——对三维堆叠芯片“韬定律”的物理与经济审思
华为提出的“韬定律”以电路时间常数τ取代物理尺寸,作为芯片性能的新标尺,试图通过三维堆叠延续后摩尔时代的进步。然而,基于三十年产业经验与物理定律,本文指出:三维堆叠并非无限可扩展的解决方案。垂直互连的物理极限、随层数指数级恶化的散热困境、多物理场设计复杂性的维度爆炸、以及良率乘积效应带来的经济可行性壁垒,共同构成了“韬定律”难以逾越的硬墙。它可能为产业争取十至二十年的缓冲期,但绝非硅基计算的终极答案;真正的出路或许在于跳出堆叠逻辑,拥抱光学计算、量子计算或新材料革命。
2026-05-26 21:43:13
383
原创 Claude Code Windows 安装与使用完全指南
Claude Code 安装与使用指南摘要 Claude Code是Anthropic推出的终端AI编程助手,支持代码编写、调试和项目分析。
2026-04-08 21:12:48
3611
4
原创 Vite 优雅的引入less样式文件
sourcePath:该处是你自己写的公共的less文件目录,该插件会自动去找,默认目录src/assets;lessEnabled:使用less解析,默认是 true;
2023-04-20 11:44:37
3149
1
原创 net.sf.json.JSONException: java.lang.ClassCastException: JSON keys must be strings
我的需求是:在把字符串转成map类型后,放入net.sf.json.JSON。但是在测试的时候,这个地方提示报错。由此在网上各种搜资料,查询出问题的原因图中红框中就是报错的位置。
2023-04-04 17:42:18
496
原创 MySQL安装与Navicat 配置
MySQL安装与Navicat 配置一、Mysql官网下载步骤1.登录Mysql官网2.Mysql8.0.22百度网盘链接二、Mysql解压与安装1.解压路径2.添加文件3.准备安装三、Navicat配置一、Mysql官网下载步骤1.登录Mysql官网下图是2020年12月份的Mysql官网首页点击DOWNLOADS标签点击下图中红标处跳转如下图列表选择MySQL Community Server进入下载页面,点击下载按钮,开始下载。如果操作系统是32位的,就点击Looking for
2020-12-08 01:09:15
956
原创 修复highStorck直接移植到app界面rangeSelector中时间字体重复问题
历史重现:猜想原因:因为手机app的渲染方式不同,当点击开始时间的输入框时,app没有重新渲染输入框里面的内容,导致一开始就有的时间没有刷新掉,然后js把原本的内容放进输入框内,导致字体重叠现象。(以上是我先猜想,但是实际效果确实图片显示一样)。修复思路:只有当点击输入框时才发生这个情况,那就当点击输入框时,使输入框的背景颜色为白色,覆盖原本带有时间的背景。修复代码:1.在high
2018-01-23 21:48:05
382
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅