- 博客(17)
- 收藏
- 关注
RSS订阅原创 【NLP不死系列：第五篇】模型里的 Token 不是语言学里的词
本文探讨了NLP中"Token"概念在不同场景下的差异。通过"武汉市长江大桥"的分词实验，展示了词级分词器、BERT和XLM-R三种工具产生的不同切分结果。研究发现，传统词级分词器遵循语言学规范，而模型tokenizer的核心任务是将输入映射到固定词表。文章详细分析了BPE等子词算法的工作原理，指出模型tokenizer的输出质量不能仅凭切分片段判断。最后强调，词级边界与模型token是两套独立系统，新增词汇时需分别处理分词词典和模型词表，并给出了解读tokenizer输出的实用建议。
2026-07-24 13:49:15
315
原创 【NLP不死系列：第四篇】“南京市长江大桥”怎么切分呢
本文探讨中文分词中的候选切分图构建问题。以"南京市长江大桥"为例，展示了同一字符串存在多种切分可能（如"南京市/长江大桥"和"南京/市长/江/大桥"），并阐释了如何通过有向无环图（DAG）模型保存所有候选切分。 文章详细分析了七个字符间的64种理论切分组合，指出实际系统通过词典、规则等约束可将候选缩小为合理片段。通过位置编号和边结构（记录起止点、词面、分数等），系统能高效计算完整路径数量（演示案例含19条路径），而无需枚举所有切分。 文章强调候选召回（确保预期边存在）与路径选择（从已有边中优选）是两类不同错
2026-07-23 17:35:28
309
原创 【NLP不死系列：第三篇】分词没有唯一的答案，先制定分词标准！
中文分词任务需要明确三个关键问题：文本歧义处理、切分规范统一和下游任务适配。以"北京大学生前来应聘"为例，不同切分方式（北京/大学生 vs 北京大学/生）在缺乏上下文时均合理，需区分语义歧义与切分错误。评测指标应基于边界集合计算精确率、召回率和F1值，但需注意不同标注规范（如数字与单位是否合并）会导致结果不可比。此外，完整切分路径与搜索扩展词项是两种不同输出目标，需分别设计评价体系。实际应用中必须明确上下文、切分规范和检索需求，才能给出可验证的标注答案。
2026-07-21 09:45:00
422
原创 【NLP不死系列：第二篇】发现候选词以后：一个字符串怎样进入正式词典
新词”必须带上参照物。“大模型”可能没有出现在一份旧版通用词典中，却早已收录在某个团队的人工智能术语库里。一个药品名对新闻词典很陌生，医院的药品库也许已经用了多年。比较的是哪一份基准词典；观察的是哪个时间段；准备把它加入哪个领域的词典。“大模型是新词”缺少这些参照。较完整的说法是：“在这份旧版科技词典的当前快照中没有‘大模型’，而目标语料和切分规范需要把它作为一个整体。基准词典、时间窗口或应用领域一变，准入结论也可能跟着变。
2026-07-20 15:54:37
325
原创 我把 Cloudflare Drop 做成了一个 AI Agent Skill：一句话部署静态网站
这篇文章介绍了一个名为 CloudflareDrop_Auto 的开源项目，它将 Cloudflare Drop（一个快速部署静态网站的工具）封装成 AI Agent 可调用的本地 Skill。
2026-07-10 18:15:46
385
原创 【NLP不死系列：第一篇】基于PMI与信息熵的无监督新词发现：从原理到代码
大语言模型盛行的时代，传统的NLP算法是不是真的死了，这是很多初学者一直在反复提问的问题，今天我想告诉各位，NLP算法不死，依旧值得学习和深入研究！
2025-07-20 01:36:04
935
原创 Base64 编码算法解析与实现
Base64 是一种将二进制数据转换为可打印字符的编码方案，广泛应用于电子邮件、网页传输等场景。它通过将每 3 个字节的二进制数据编码为 4 个 ASCII 字符，确保数据在文本环境中可靠传输。之前都是用Python实现，很久没用C语言了，今天复习一下（RFC 文档读起来像说明书，但是核心思路就两个词：分组映射Base64 编码遵循 RFC 4648 标准，核心原理如下：将输入数据按 3 字节分组；将每组 24 位拆分为 4 个 6 位片段；将每个 6 位片段映射到 Base64 字符表；
2025-05-05 18:35:05
1291
原创 HOTP 算法与实现解析
HOTP（HMAC-based One-Time Password，基于 HMAC 的一次性密码）是一种广泛应用于身份验证的安全机制，是许多双因素认证系统的基础。与 TOTP（基于时间）不同，HOTP 是基于计数器的一次性密码算法。本文将详细解析HOTP类的实现，包括 HOTP 验证码的生成和密钥验证过程。HOTP 是 RFC 4226 定义的标准算法，其核心原理是基于一个共享密钥和递增的计数器值，通过 HMAC 算法生成一次性密码。
2025-04-27 20:39:42
745
原创 【Rust代码实践】在NCEI逐日数据处理当中使用的Rust代码及其数据分享
这个代码的作用是将逐日数据首先进行简单的判断，数据是否合理，太过于离谱的数据会被筛选掉，另外这个温度应该是华氏度，为了便于理解，我也把代码写上了详细的注释，我把数据库导出为sql，需要的朋友可以自行探索一下。这次处理的是NCEI的1929年至2024年的逐日数据，数据量很大，我写了一些代码顺利将数据写入到mysql当中，Rust的学习断断续续,希望各位朋友能批判我工作当中不到位的地方，共同进步！我的工作和气象没有任何关系，但是对于怀揣着这份热爱希望能交到更多的好朋友，无论是气象分析还是Rust的。
2025-02-07 14:13:42
422
原创 TOTP 算法与实现解析
离线2FA验证器当中核心的算法实现是基于代码实现，其中一个用于生成和验证 TOTP（Time-based One-Time Password，基于时间的一次性密码）的类。TOTP 是一种动态口令认证方式，常见于双重认证（2FA）中。TOTP（Time-based One-Time Password）是一种广泛应用于身份验证的安全机制，常见于 Google Authenticator、Microsoft Authenticator 等认证工具中。
2025-01-21 15:07:23
2042
2
原创 【Docker 问题】Docker 与 Node.js 冲突问题
运行docker指令出现如下输出怎么办Saved file tree to doc-filelist.jsCopied JS to doc-script.jsCompiled CSS to do
2024-07-13 10:18:32
582
原创 使用 Harbor 自动化管理 Docker 镜像
为了应对网络连接速度慢的问题，我们可以将一些常用的 Docker 镜像存储在本地，方便需要时快速拉取。这里选择的工具是 Harbor。以下是一个示例脚本，使用 Bash 编写，用于自动化拉取镜像并将其推送到本地部署的 Harbor。
2024-07-09 11:29:15
1407
1
原创 [Python] 对于decimal库当中的舍入方式的学习
decimal模块当中是使用Context对象用于控制精度、舍入方式。这些都是通过设置不同的“模式”来实现的。下面是详细讲解decimal。
2024-02-28 12:53:52
1505
原创 最详细多版本Node.js的安装与管理
使用在 Windows 系统中管理 Node.js 是一个高效的方法。是 Node Version Manager 的一个 Windows 版本，它允许用户在同一台机器上安装和切换不同版本的 Node.js。
2023-12-12 22:53:35
440
原创 最详细的 Quasar Framework 的安装与配置
如果想要更快的构建速度和较新的构建技术，选择Vite。如果需要更成熟的生态系统和更细粒度的配置，选择Webpack。对于大多数新项目来说，“Quasar App CLI with Vite” 通常是推荐的选择，因为它提供了更现代和快速的开发体验。?这里在询问包的名字，直接回车确认，因为上面上面的名字会直接平移到下面?这里需要填写的是展示给用户的名称，如果这里还没有确定就使用代号，可以在后面再进行修改?这里需要填写的是项目描述，随便写就可以了?
2023-12-12 22:51:53
3725
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人