莱森-优快云博客

原创只听指定的人：小米这款开源 ASR，把参考声音变成识别开关

如果你的目标是生成完整会议纪要，所有发言人都要保留，那么说话人日志、分离或 diarization 仍然更合适。如果你的任务是指定受访者转录、语音唤醒后只识别已登记用户，或者从多人场景中追踪一个固定人，这个模型才真正对题。它当前的门槛也很明确：这是一个约 8B 规模、官方示例使用 CUDA 和 bfloat16 的模型，不是移动端即装即用的小工具。先用一条正样本和一条负样本验证价值，再决定是否值得把它接入你的语音流水线。GitHub 项目Hugging Face 模型技术报告。

2026-09-25 09:15:00 364

原创语音识别前面，先把重叠人声和回声处理掉

语音识别已经很强了，可一旦两个人同时说话，或者音箱播出的声音又被麦克风收回来，后面的模型再聪明也只能在混乱的输入上猜。这也是很多语音项目容易误判的地方。识别错了，第一反应是换 ASR；通话有回音，就一味加强降噪。但重叠人声、环境噪声和扬声器回声是三类不同的信号问题，对应语音分离、降噪和声学回声消除，不能靠一个模型全包。阿里 Qwen Audio 团队新公开的 FLASepformer 和 JAEC，正好把其中两道最难的关卡拆开了，前者处理双人重叠语音，后者处理实时通话里的扬声器回声。

2026-09-24 09:00:00 781

原创实时字幕只出字还不够，它还得知道谁在说

一场三个人以上的会议里，转写错一个词未必致命，把承诺记到错误的人名下才是真的麻烦。普通流式 ASR 解决的是“声音刚进来，文字就出来”。但要把结果直接交给会议纪要、客服质检或语音 Agent，系统还得回答另一个问题：这句话是谁说的？微软新发布的 VibeVoice-ASR-Streaming，就是把这两件事塞进一次流式生成里。

2026-09-23 08:15:00 131

原创语音问答总答偏？真正要补的是这7层

一套语音问答系统，可能每个模块单看都不差，连起来却还是答错。用户说“查一下本月流量”，ASR 先把产品名听错，意图模型再把“查询余额”和“查询账单”混在一起，知识库召回一段语义相近但答非所问的内容，最后大模型把这段内容组织得非常流畅。表面上看，回答完整、语气自然；对用户来说，它就是答错了。这也是垂直行业语音问答最容易误判的地方。问题通常不在某一个模型，而在错误沿着链路向后传递。

2026-09-22 08:00:00 285

原创录音、转写、总结全放本地，Meetily 到底适合谁

一场会真正浪费时间的部分，往往发生在散会以后。录音有了，转写也有了，可当你准备推进工作时，还是要在两小时的文本里重新找结论。谁答应了什么，什么时候交付，哪句话只是讨论，哪句话才是决定，这些信息只要漏掉一个，下一场会就会变成上一场会的复读。更麻烦的是，有些录音根本不适合上传到陌生的云端。客户需求、合同细节、产品路线、招聘决定，甚至内部争议，都可能出现在一场普通会议里。大家想用 AI，又不想把最敏感的上下文交出去，于是只能在效率和隐私之间反复拉扯。我最近翻到的 Meetily，正好在处理这个矛盾。

2026-09-21 08:00:00 132

原创不只克隆声音，Breeze TTS 2开始听懂怎么说

Breeze TTS 2 最容易被记住的是 40 毫秒，最值得看的却不是这个数字。这个数字来自官方在 NVIDIA H100 上预热后的快速路径，确实很亮眼。但我顺着 README 继续往下看，真正让我停住的是另一件事。它不只想把一段声音复制得像，还想让你告诉它，这句话应该用什么声音、什么语气、什么节奏说出来，然后一边生成一边把声音送出去。声音克隆、声音设计、声音导演、实时流式输出，被放进了同一套模型和同一组接口里。这一下，TTS 的问题就变了。以前我们最常问的是，像不像本人。

2026-09-20 09:00:00 272

原创一台树莓派，做出能离线对话的翻译机

官方演示只有七十多秒，最让我停下来看的，是两个人中间那台黄色小盒子。一个人说西班牙语，设备录下声音，屏幕上出现文字。过一会儿，另一边听到中文，再对着同一台设备说回去。没有掏手机，也没有打开常见的翻译 App，桌子中间只有一块小屏幕、几个按键、一只麦克风和一只扬声器。它叫 Gemma Translator，是 Google Creative Lab 的几位成员做出来的一套开源实验。更准确一点，它不是一款可以买回家的消费电子，而是一份把离线语音翻译装进树莓派的完整参考答案。我觉得这两个说法差别挺大的。

2026-08-26 09:00:00 345

原创一个造声音，一个驯声音，两套开源TTS怎么选

最近，两套开源 TTS 前后脚把代码放出来，我把它们的 API 并排摆好，才发现这根本不是一场谁音质更好的擂台。右边边是 B 站 IndexTeam 的 IndexTTS 2.5，左边是小红书 FireRed Team 的 FireRedTTS3。两边都能拿一段参考音频做零样本声音克隆，都支持跨语言，也都在强调可控。看起来，太像了。但顺着接口往下看，味道一下就变了。IndexTTS 2.5 在认真拆一段声音，它把音色、情绪、读音和速度变成几个可以单独拧的旋钮。

2026-08-25 20:55:05 361

原创从声音克隆到双流式对话，dots.tts 值得看在哪里

我在 dots.tts 的仓库里搜了一圈音频，结果一条 wav 都没有。这事有点好笑。一个做语音合成的项目，代码、训练脚本、Web Demo、论文全都摆在那儿，偏偏本地仓库里听不到声音。我只好顺着 README 找到官方演示页，又把几组参考音频和生成结果下载回来。然后我发现，听 demo 当然重要，但 dots.tts 真正值得聊的地方，恰好不是某一句话听起来有多像真人。它想解决的是一个更麻烦的问题。一套 TTS，既要把音色留住，又要长时间不跑偏，还得尽快开口。

2026-08-16 15:31:34 364

原创 Codex App 连接远程服务器后一直重连：代理未继承踩坑记录

↓远程 app-server↓没有继承 HTTP_PROXY↓网络异常最终通过给codex↓↓强制注入 HTTP_PROXY↓真正的 Codex binary↓OpenAI如果代理配置没了，重新生成 wrapper 即可。

2026-08-07 14:19:06 340

原创 40种语言塞进0.6B，实时ASR开始拼成本

我在 NVIDIA 这个新模型的 README 里，盯着一张柱状图看了很久。同一张 H100，同样处理80毫秒一块的流式音频，1.1B 的 Parakeet RNNT 扛住14路实时流，0.6B 的 Nemotron 3.5 ASR 扛住了240路。不是百分之十几的优化，是官方口径里的大约17倍。把音频块放大到1120毫秒，前者是400路，后者是2400路，差距仍然有6倍。说真的，语音模型发布我看过不少。大家通常会把识别率摆在最前面，再放几段听起来很稳的演示。

2026-07-31 08:30:00 368

原创没有显卡，也能把几十种语音模型跑在本地

我在一个 C++ 项目的 README 里，看到了一张有点离谱的模型清单。Whisper、Parakeet、Canary、Qwen3-ASR、SenseVoice、FunASR Nano、Moonshine、Voxtral、MOSS、Granite、MedASR，还有负责多人说话人分离的 Sortformer。往下数，项目方写的是六十多个模型变体，既有批量转写，也有流式识别，还混着翻译、时间戳和说话人相关能力。我第一反应是，这又是一个把各种项目链接收集到一起的模型导航？结果翻了源码才发现，不是。

2026-07-30 08:45:00 384

原创 Agent 干活时，终于不用闭嘴了

一个会说话的 Agent，最尴尬的时刻，是它真正开始干活之后。你让它查一份资料，它很自然地回一句「好，我去看看」。然后工具开始调用，搜索开始转圈，后台开始跑任务，刚才还像个活人的声音突然没了。屏幕上只剩一个转圈。。。你不知道它卡住了，还是忘了你。想追问进度，又怕把正在做的事打断。这种体验特别像打电话给一个助理。前半分钟他有问有答，真正接到任务以后，却啪一下把电话挂了。等十分钟再打过去，对方可能还得重新问一句，你刚才让我做什么来着？我最近翻到一个开源项目，Qwen Audio Agent。

2026-07-29 23:11:14 164

原创用 vLLM 部署大模型，并让它稳定输出 JSON

实际开发中，推荐使用 Pydantic 定义返回结构，再自动生成 JSON Schema。intent: Literal["查询天气", "播放音乐", "其他"]这样做有两个好处：第一，vLLM 可以使用 Schema 约束模型生成；第二，模型输出后还可以继续使用 Pydantic 做解析和校验。vLLM 的结构化输出解决了一个很实际的问题：让大模型输出从“给人看的文本”变成“可以直接被程序使用的数据”。↓语法约束↓计算合法 Token↓屏蔽非法 Token↓生成合法 JSON。

2026-07-29 17:52:50 369

原创一场90分钟会议，AI不仅要听清，还得一直认对人

一份会议转写里，最尴尬的错误往往不是错别字，而是老板的话被记到了实习生头上。字是对的，人是错的。单看每一句都挺像那么回事，真拿去做会议纪要、客服质检或者访谈整理，就会发现这份结果基本没法用。这也是多人语音转写最折磨人的地方。模型不只要听清大家说了什么，还要一直追着问，这句话是谁说的，什么时候开始，什么时候结束。会议一长，中间再来几次插话、抢话、重叠说话，难度就不是多认几个字那么简单了。前几天，OpenMOSS 开源了 MOSS-Transcribe-Diarize 0.9B。

2026-07-13 19:17:31 214

原创普通话听得准之后，ASR真正难的是这些声音

我一直觉得，语音识别真正尴尬的时刻，不是完全听不见，而是听见了但理解错了。你说的是「蔚来适合家用吗」，它给你写成「未来适合家用吗」。你讲一句带口音的方言，它努力了一下，然后生成了一段看起来很流畅、但跟原意没太大关系的普通话。更麻烦的是，有时候它不是错得很离谱，而是错得非常像真的。你如果不回听原音，甚至很难第一时间发现问题。这才是语音识别后半场最有意思的地方。标准普通话、清晰录音、安静环境，这些场景下，主流 ASR 模型其实已经卷了很多年。

2026-06-29 23:10:15 403

原创 X-ASR 把本地语音输入的底座拼出来了

它把模型、流式 chunk、sherpa-onnx 部署、WebSocket 服务端、本地实时 demo、VAD 断句，甚至一个桌面语音输入应用，都放在了同一个项目叙事里。但如果你在做实时字幕、语音输入、会议系统、离线端侧原型，或者想把 ASR 接进自己的应用里，这种 WebSocket server/client 示例就很重要。在这个 README 给出的评测口径里，一个 0.16B 的中英文 ASR 模型，能在公开 benchmark 上做到一个相当能看的位置，同时还把流式部署文件一起放出来。

2026-06-03 22:15:43 600

原创 TTS 又卷起来了，但 PilotTTS 卷的不是更大

这两年语音合成项目越来越像军备竞赛。模型更大，数据更多，语言覆盖更广，延迟更低，项目介绍一个比一个会抓人。你如果隔几个月不看 TTS 这个方向，再回来就会发现，项目名字又换了一批，指标表又往前挤了一点。所以我一开始看到 PilotTTS 的时候，其实没有特别激动。又一个开源 TTS，又一个声音克隆，又一个情感控制。听起来很熟，对吧。但我认真看完 README、论文和项目介绍之后，反而觉得这个项目值得单独写一篇。原因不是它把声音合成这件事一下子推到了什么新高度，也不是它在所有指标上都赢了所有人。

2026-06-01 08:00:00 520

原创真实世界里的语音识别，终于有人开始认真补课了

语音识别最尴尬的时刻，往往不是它完全听不懂，而是它一本正经地听错。这件事你只要用过几次转写工具，应该就能懂。安静房间里，麦克风离嘴很近，普通话或者标准英文，背景没有人说话，风扇也不开。这种条件下，今天很多 ASR 模型已经挺能打了。但你把它丢到真实世界里，情况立刻就不一样了。会议室里有人离麦克风三米远说话，咖啡馆里旁边桌一直聊天，手机录音被衣服蹭到，直播连线里网络一卡一卡的，音箱开得太大又带回声。你以为模型只是少听几个词，结果它可能直接给你编出一段很完整、很流畅、但完全不是那个人说过的话。

2026-05-25 16:06:03 399

原创 Qwen3.5-LiveTranslate，可能是同传模型最该有的样子

语音翻译这件事，最怕的不是翻不出来，而是翻得像一个没在现场的人。这句话听着有点绕，但你稍微想一下就懂了。一个人在泰国餐厅点菜，服务员指着菜单说了一串泰语。你如果只拿到声音，当然也能翻译。但菜单上写着什么，服务员手指着哪一道菜，桌上到底摆着什么，这些东西都会影响翻译。再比如电商直播，主播嘴里说的是一个型号，手里拿的是另一个商品，屏幕上还有一串参数。你只听音频，很容易把数字、规格、品牌名搞混。

2026-05-20 17:06:55 468

原创别只盯着 ElevenLabs，这个开源配音工作台能本地跑

我最近看到一个开源项目，第一反应不是模型又强了，而是这东西终于开始像个真正的工作台了。它叫 OmniVoice Studio。项目自己给自己的定位很直接，开源版 ElevenLabs 替代品。实时听写、零样本声音克隆、电影级视频配音，都在本地桌面里跑。README 里写得更狠一点，开源、不需要 API Key、完全本地，还支持 646 种语言。坦率的讲，看到这种描述，我第一反应一般会先打个折。因为过去这类项目我见得太多了。

2026-05-19 15:00:00 502

原创 31种语言的端侧TTS，树莓派也能跑，网页、电子书、树莓派，都能本地开口了

一个99兆级别的TTS项目，居然把网页、电子书和树莓派都串起来了。我一开始看 Supertonic 3，只以为它又是一个“开源TTS模型更新”。但看完 README 里的几个 demo，我觉得它更像是在回答另一个问题：TTS 到底能不能从云端服务，真正长进设备里？这个问题挺关键。因为很多语音合成项目的 demo 很好听，但你真要把它放进浏览器插件、移动端应用、阅读器、树莓派这种设备里，立刻就会碰到模型太大、部署太重、延迟不稳、平台适配麻烦这些问题。

2026-05-18 08:45:00 334

原创 89ms实时Whisper，显存还降48%

有人把 Whisper 做到了 89ms 中位延迟，还顺手把 GPU 峰值内存砍掉 48%。我第一眼看到这个数据的时候，其实有点不敢太兴奋。因为做实时语音识别的人都知道，Whisper 是一个特别拧巴的存在，它离线转写很好用，效果稳，生态也成熟，但你真想把它塞进实时字幕、会议助手、语音 Agent 这种场景里，它马上就会暴露一堆不舒服的地方。不是它不能用，而是它不是为流式场景长出来的。你给它一段完整音频，它很能打。可一旦音频变成一小块一小块往里进，麻烦就来了。前面刚识别出来的词，后面可能又被模型改掉。

2026-05-16 18:28:04 449

原创一个网页搞定字幕翻译配音，视频工作流终于不用东拼西凑了

README 里写得比较满，Edge-TTS 提供一百多种语言、四百多种声音，F5-TTS、E2-TTS、CosyVoice 主打零样本克隆，kokoro 在 HuggingFace TTS Arena 里排名第 2。你先把视频下下来，转音频，跑字幕，改错字，翻译，找一个中文 TTS，把句子拆好，再重新合成音频。上传视频，提取音频，做人声分离，跑 Whisper 字幕，翻译，再把翻译后的文本重新合成语音。说真的，这种流程最折磨人的地方，不是某一步特别难，而是每一步都不难，但每一步都要你切换上下文。

2026-05-15 11:56:45 402

原创 0.1B、单卡可训、完整开源的多模态语音助手，MiniMind-O 把 Omni 模型拆成了图纸

如果你要给学生或团队讲什么叫 speech-native omni，什么叫 Thinker-Talker 解耦，什么叫流式语音生成，拿一个小而完整的工程，比拿一个巨大的商业系统更适合。一个主干大概 0.1B 的小模型，居然把文本、语音、图像输入，文本和流式语音输出，实时打断，音色条件，电话模式 WebUI，这一整套 Omni 链路都摆出来了。但问题是，如果你不是想调 API，而是想从第一行代码开始，理解一个模型到底怎么听、怎么看、怎么说，事情一下就变难了。不是说它不行，它当然能跑，而且能跑得很稳。

2026-05-15 10:20:23 594

原创 0.4B模型，为什么能听懂更多方言

闽南语这个数字看起来仍然不低，但你把它放到其他模型旁边看，差距就出来了，Qwen3-ASR-0.6B 是 38.64%，FunASR-Nano-2512 是 55.36%。Dolphin-CN-Dialect 把中文改成字符级建模，英文和字母语言继续用 BPE subword，同时加入任务 token、时间戳 token、方言和地区 token，还预留了 80 个方言 token slot。真实中国有方言，有夹杂，有地区口音，有行业黑话，有人名地名，有噪声，有电话压缩，有会议室回声。

2026-05-15 07:45:00 462

原创 Whisper 生态全景：15 个开源项目，我全用过了

说到底，Whisper 生态虽然项目多，但大部分解决的是某一个特定问题——要么快，要么轻，要么有某个特殊能力。如果你的核心需求和我一样，是多语言 + 实时转录 + 线上部署WhisperX：综合能力最强，速度快、显存低、有时间戳，短期方案首选：纯推理加速引擎，轻量高效，适合做底层：长期性价比最高，但需要自己蒸馏多语言模型：LoRA 微调方案成熟，适合先提升中文效果再部署选项目不是选最好的，是选最合适的。你用的是什么方案？评论区聊聊。

2026-05-07 08:15:00 244

原创 0.1B参数跑TTS，8B参数超越30B模型：MOSS这波音频双杀，有点离谱

你敢信吗？一个0.1B参数的TTS模型，能在CPU上跑实时语音合成，MacBook Air单核就能流畅运行。更离谱的是，同一个团队还搞了个8B的音频理解模型，在通用音频理解榜单上直接把一众30B的模型按在地上摩擦。OpenMOSS团队这一波，一个负责"说"，一个负责"听"，配合得也太默契了。

2026-05-06 08:30:00 477

原创掏心窝分享：我做语音项目踩遍坑，整理的全套模型选型方案

英语ASR我首推英伟达开源的Parakeet V2，单纯支持英语，推理速度极快，准确率非常高，还支持时间戳，区分大小写，支持标点。因为语音这个领域吧，模型是真多，场景也是真杂，中文英文多语言，流式非流式，端侧云端，热词标点时间戳……如果你要在端侧部署呢，whisper.cpp是个很好的项目，它把Whisper集成到了安卓和iOS上面，而且给出了demo，你直接把demo拉下来就能构建属于你的APP了。你的场景是什么，你追求速度还是准确率，你部署在云端还是端侧，你需不需要热词标点时间戳，这些决定了你的选择。

2026-05-05 21:15:00 290

原创这个国产 TTS 干了一件以前没人做到的事——把“哪个字读多久、哪儿停几毫秒“塞进了你的命令行

我打开导航，一个温柔的女声告诉我：“前方路口左转。听起来挺自然，对吧？但当我真正开车的时候，我发现一件特别小的事——我每次都要在脑子里再过一遍才能反应过来"左转"两个字到底说了没有。这两个字飘得太轻了，像一片落叶贴在整句话上。我开始留意。儿童跟读 App 在教孩子说"苹果"，可它把"苹果"和前面的"请跟我读"挤成了一团。公众号留言区有人吐槽，验证码朗读把"三七九二一八"念成了一长串没有断句的彩票号码。

2026-05-05 09:45:00 513

原创让Whisper不再瞎编：一招“对比解码“，WER暴降24.3%，速度还快了48%

如果你是做ASR落地的工程师，我强烈建议你把这个方法跑一下。核心代码应该不会超过50行——改改Whisper的解码循环，加一个对比loss，调一下权重，齐活。应用到其他自回归生成任务（LLM、TTS）探索更多"负样本构造"方式和投机采样结合，能不能再提速？这篇论文给我最大的启发是：有时候让模型变聪明，不是教它更多东西，而是教它"什么时候该闭嘴"。Whisper学会了对自己的幻觉说不——这个事情，可能比模型本身更有价值。参考论文。

2026-05-04 22:00:00 473

原创微软把2.47G的语音模型压到670M，准确率几乎没掉，端侧ASR这事真要起飞了

我做了这么多年AI，最常被问的问题是：什么时候端侧大模型能真正用起来？我之前的答案一直是：再等等。但看完这篇论文，我觉得是时候改答案了。端侧ASR这事，不是"未来可期"，而是"现在就能用"。云端ASR厂商，醒醒，护城河该填了。如果你是开发者，建议立刻去Foundry-Local扒一扒这套方案，能省你不少事。如果你是创业者，端侧语音应用的窗口期才刚刚打开。下一波端侧AI浪潮，就从语音识别开始。

2026-05-04 10:45:00 420

原创 FunASR-1.5 方言识别

我自己的感受是，这个功能的商业价值可能没有方言识别那么直接，但它的文化意义是很特别的。官话、吴语、湘语、赣语、客家话、闽语、粤语，全覆盖。团队构建了一套从先秦到近代的古诗词语音-文本对齐语料库，涵盖了《诗经》《楚辞》、李白杜甫的诗集、苏轼辛弃疾的词作，全是真人诵读的录音。就是你在一段录音里先说了句中文，突然蹦了句英文，又切回中文夹了个日语词，Fun-ASR1.5不需要你提前告诉它「接下来是英文」，它自己就能识别出来并且正确切换。开会的人，做会议纪要的人，做新闻采访整理的人，做法律笔录的人。

2026-05-03 23:15:00 285

原创音频降噪的宝藏仓库，12种模型随便用

如果你正在做音频处理相关的工作，或者只是想给自己的录音降个噪，我强烈建议你试试这个项目。12种模型，总有一款适合你。而且，作者说了，这个仓库会持续更新，加入更多新的降噪模型。如果你觉得有用，给个Star吧。毕竟，这样实在的项目，值得被更多人看到。

2026-05-03 13:30:00 459

原创一个完全离线的AI语音助手，体验居然这么好

坦率地讲，我之前一直觉得离线AI是个"玩具"，不如联网的AI实用。但用了这个项目之后，我的想法彻底改变了。离线AI，不是"玩具"，而是"未来"。你的数据，你做主。你不需要把隐私交给大公司，不需要担心服务商倒闭，不需要为每次调用付费。你只需要一台普通电脑，就能拥有一个完全属于自己的AI助手。这才是AI应该有的样子。如果你也对隐私、稳定性、成本有顾虑，如果你也想拥有一个完全属于自己的AI助手，不妨试试这个项目。

2026-05-02 21:30:00 535

原创 VoxCPM2：用一句话设计音色的语音合成革命

VoxCPM2 让我想起了一句话，“技术的进步，不是让专业的事情变得更专业，而是让专业的事情变得更普及。以前做语音合成，你得懂信号处理，得有录音设备，得找配音演员。现在你只需要会写一句话。这种门槛的降低，会释放出巨大的创造力。我不知道接下来会有多少人用 VoxCPM2 做出什么有意思的东西，但我很期待。如果你也对这个项目感兴趣，可以去 GitHub 看看，或者直接在 Hugging Face 上试试 Demo，说不定你会发现一些新的玩法。永远对世界保持好奇。

2026-05-02 14:00:00 893

原创 FishAudioS2-震撼实测

那种自然程度，跟我以前用过的「切换语言就换一个人」的体验完全不同，就像是一个会多国语言的人在用自己的母语自由切换。以前我觉得技术是一种壁垒，你掌握了我没掌握，你就领先我。但现在我越来越觉得，技术其实是一种平权的力量，它会让原本只有少数人能用得起的东西，变成每个人都能唾手可得的基础设施。就是你本来是抱着「又一个开源模型而已」的心态点进去的，结果玩了十分钟，我直接把耳机摘下来，盯着屏幕愣了几秒。我在演示里试了一段，「[whisper] 这是悄悄话，[excited] 现在我很兴奋，[sigh] 然后叹口气」。

2026-05-02 07:45:00 407

空空如也

空空如也