- 博客(47)
- 收藏
- 关注
原创 工程化:配置驱动、导出格式与可扩展设计
本文是大模型数据处理流水线系列的最后一篇,聚焦工程化实现的关键设计。全文围绕三个核心工程问题展开: 配置驱动:通过YAML文件集中管理所有可调参数(数据源、清洗规则、过滤阈值等),实现行为变更无需修改代码,支持多套配置复用同一套代码。 数据导出:提供Parquet(列式存储,适合分布式训练)和JSONL(人类可读)两种格式输出,预留Megatron格式接口,通过统一的Writer抽象实现格式切换零成本。 可扩展性:配置文件已预留三类高级功能的接口:ML质量分类器(GPU过滤)、语义去重(embedding聚
2026-08-21 09:24:15
302
原创 去重:从 MD5 精确去重到 MinHash + LSH 模糊去重
系列第五篇,也是算法含量最高的一篇。如果一篇文档在训练集里出现了几十次,模型就不再「理解」它,而是「背诵」它——浪费算力,还伤害泛化。的重复用哈希一眼看穿,的重复则要动用 MinHash + LSH 这套概率算法。我们沿着代码,把这套算法的每一步都拆开。
2026-08-20 09:11:08
196
原创 质量过滤:七个启发式过滤器如何剔除「文字垃圾」
本文介绍了文本过滤阶段的7个启发式过滤器设计。这些过滤器通过统计特征(如词数、符号密度、URL占比等)评估文本质量,采用「打分与判定分离」的架构,形成串联过滤漏斗。每个过滤器针对特定噪声类型(如代码片段、链接农场、重复段落等),通过阈值判定保留优质文本。这种基于规则的方法虽简单,但高效且可解释,适合大规模语料清洗的初期阶段。
2026-08-20 09:10:08
227
原创 文本清洗:Unicode 修复、换行规范化与 C4 清洗
本文介绍了数据清洗流程中的修饰器链设计,通过抽象基类DocumentModifier统一清洗动作,实现优雅的流水线处理。具体包含三个修饰器:1) UnicodeReformatter使用ftfy库修复编码乱码;2) NewlineNormalizer用正则表达式压缩多余空行(保留段落分隔);3) C4Cleaner实现行业标准的C4数据集清洗规则,包括删除样板句、过滤短行等。文章强调清洗的克制性原则——去噪同时保留文本结构信息,并展示了通过链式调用组合清洗步骤的工程实践。
2026-08-20 09:08:57
339
原创 数据采集:从 Common Crawl 的 WARC 文件到一篇篇文本
本文介绍了数据流水线中的数据采集阶段,重点讲解了两种数据来源的处理方式:本地文件和Common Crawl公开网页语料。最终统一输出为带text列的pandas DataFrame,实现"约定优于配置"的设计理念。 对于本地文件加载,通过LocalFileLoader类实现JSONL/Parquet文件的读取,具有通配符扫描、顺序稳定、容错处理等工程优化。而Common Crawl下载则更为复杂,采用三跳寻址结构获取数据:先获取快照列表,再定位WARC文件路径,最后解析WARC文件提取HTML正文内容。
2026-08-19 11:49:49
572
原创 总览-LLM数据清洗流水线架构
本文是系列文章的开篇,介绍了一个仿NVIDIA NeMo Curator实现的端到端文本清洗流水线项目。文章首先强调数据质量对大模型性能的决定性作用,指出互联网原始文本存在编码错误、样板文本、低质量内容和重复等问题,必须通过自动化流水线处理。该项目将流程分为五个阶段:数据采集、文本清洗、质量过滤、去重和导出,每个阶段独立封装且可配置。代码结构采用分层设计,分离算法实现与流程编排,并通过统一抽象基类(DocumentModifier和DocumentFilter)实现模块化。后续文章将深入讲解各阶段的具体实现
2026-08-19 11:47:56
297
原创 LLM 地基:自回归生成(Autoregressive Generation)
自回归生成是大型语言模型生成文本的核心机制,通过逐步预测下一个Token并循环迭代完成序列生成。其核心特点包括:1)训练时采用Teacher Forcing和因果掩码实现高效并行;2)推理时通过KV Cache优化计算效率;3)提供多种解码策略(如温度采样、Top-p)平衡生成质量与多样性。该方式虽简单高效,但存在错误累积、缺乏全局规划等局限。自回归与Tokenizer紧密耦合,Token化粒度直接影响生成效率,二者共同构成LLM文本生成的基础架构。
2026-08-18 10:47:19
357
原创 Tokenization(分词算法):一切大语言模型的地基
本文深入解析了Tokenization(分词算法)这一大语言模型的基础技术。Tokenization将原始文本切分为模型可处理的子词单元并映射为数字ID,是模型理解文本的第一步。
2026-08-18 10:33:37
243
原创 现代 AI Agent 全栈核心概念详解:从提示词工程到模型部署
本文系统拆解了大模型应用开发的核心技术栈,从基础交互到行业前沿共分为四个阶段:1)基础能力构建,涵盖Prompt工程、思维链、智能体框架等交互技术;2)功能扩展,深入解析函数调用、RAG检索增强等核心机制;3)工程化实践,包括AI编程范式、流程管理等开发方法;4)模型优化,详细介绍蒸馏、微调等前沿技术。文章通过"概念定义-原理剖析-关联对比"的三层解析框架,揭示了提示词设计如何激活预训练知识、RAG如何实现动态知识更新、LoRA如何低成本微调等关键技术逻辑,并厘清了Function Call、Skill与M
2026-08-17 16:16:13
690
原创 FreeRTOS 中断配置和临界段
摘要:FreeRTOS中断管理与临界段保护机制解析 本文从Cortex-M硬件架构出发,深入剖析了FreeRTOS的中断配置与临界段保护实现原理。主要内容包括: 硬件基础:详解NVIC优先级机制,强调FreeRTOS必须使用优先级分组4,并重点解析BASEPRI寄存器选择性屏蔽中断的特性。 软件配置:通过FreeRTOSConfig.h关键宏(如configMAX_SYSCALL_INTERRUPT_PRIORITY)实现中断分层管理,将中断分为不受屏蔽的高优先级(0-4)和可调API的低优先级(5-1
2026-08-11 22:51:13
487
原创 复位异常(Cortex-M处理器)
摘要:复位异常(Reset Exception)是Cortex-M处理器启动时的核心机制,优先级最高(-3),负责系统初始化。硬件自动加载栈指针(0x00000000)和复位处理程序地址(0x00000004)后,软件完成:1)通过SystemInit()配置时钟/存储器;2)由__main初始化数据段/堆栈;3)跳转至main()。复位处理程序还支持Bootloader切换、软件复位(AIRC寄存器)及异常处理准备,是处理器从通电到稳定运行C程序的必经之路,缺失将导致启动失败或内存错误。(150字)
2026-08-11 22:33:20
241
原创 Cortex-M的中断设计——基于《Cortex-M处理器设计指南》
Cortex-M处理器的中断系统是其核心设计,通过嵌套向量中断控制器(NVIC)实现高效中断管理。NVIC支持多达240个中断源,采用硬件自动化的向量表取指和栈帧处理(32字节自动压栈),确保中断响应延迟低至12-16时钟周期。其独特机制包括优先级分组(抢占/亚优先级)、三种硬件优化(尾链/迟到/POP抢占)大幅提升吞吐量,以及深度睡眠下的WIC唤醒功能。关键设计思想是通过完全硬件化的中断处理流程(包括自动清除挂起标志和异常返回机制)实现确定性的实时响应,同时避免传统软件处理的开销问题。开发者需特别注意电平
2026-08-11 22:23:07
343
原创 FreeRTOS 任务相关 API 函数
本文详细介绍了FreeRTOS任务管理的核心API及使用场景,重点涵盖任务创建(动态/静态)、删除、挂起与恢复机制。动态创建通过xTaskCreate()自动分配内存,需注意堆栈单位换算;静态创建xTaskCreateStatic()由用户预分配内存,适用于资源敏感场景。删除任务需确保内存回收,挂起/恢复可保留任务状态。实验部分展示标准工程结构模式及API调用范例,强调中断安全操作需检查返回值并处理上下文切换。最佳实践推荐"起始任务+动态创建"模式,注意内存管理和调试手段,为后续任务通信机制奠定基础。全文提
2026-08-08 23:37:53
326
原创 FreeRTOS 系统配置
FreeRTOSConfig.h是FreeRTOS的核心配置文件,通过宏定义实现内核裁剪与功能配置。主要包含两类宏:1)以INCLUDE_开头的功能开关宏,控制特定API函数的编译;2)以config开头的内核行为宏,管理内存、任务调度、定时器等系统参数。配置时需注意宏间的依赖关系,如定时器功能需同时开启多个相关宏。合理配置可优化资源占用,建议开发阶段启用调试功能(如堆栈检测),发布时关闭非必要功能。该文件提供了高度可定制性,用户可根据应用需求灵活调整各项参数。
2026-08-08 23:27:25
508
原创 STM32 SPI的5种方向模式
本文深入解析了STM32的SPI通信方向模式,从物理层本质出发,揭示了SPI作为"环形移位寄存器"的工作机制。文章系统阐述了5种SPI方向模式的特点和应用场景:全双工主机模式(高速Flash)、半双工主机模式(SPI屏幕)、仅发送主机模式(LED驱动)、仅接收主机模式(音频采集)以及从机特例模式。通过对比分析各模式的优缺点,并配以外设匹配建议表,为工程师提供了实用的模式选择指南。SPI方向模式的选择本质上是根据引脚资源和通信需求做出的权衡,理解其底层原理有助于在实际项目中做出合理决策。
2026-07-29 11:13:48
393
原创 STM32嵌入式常用数字滤波算法详解与实战
嵌入式系统数字滤波算法应用指南 本文针对STM32嵌入式系统中的AD采集噪声问题,详细分析了10种经典数字滤波算法的原理、实现与适用场景。从限幅滤波、中位值滤波到滑动平均、一阶滞后等算法,每种方法均配有优化代码示例,并指出常见实现误区(如限幅滤波的逻辑错误)。文章强调根据噪声类型选择算法:脉冲干扰适用限幅/中位值滤波,随机噪声适合平均滤波,周期性干扰推荐滑动平均或一阶滞后。这些软件滤波方案相比硬件滤波更灵活高效,特别适合Cortex-M平台在资源受限环境下实现信号优化。
2026-07-21 13:26:47
329
原创 USART通信
串口通讯(Serial Communication)是一种设备间非常常用的串行通讯方式,因为它简单便捷,因此大部分电子设备都支持该通讯方式,电子工程师在调试设备时也经常使用该通讯方式输出调试信息。
2026-07-14 22:15:39
177
原创 C语言位域完全指南:把内存用到极致
本文介绍了C语言中的位域(bit-field)特性,它允许以位为单位定义结构体成员,实现数据紧凑打包和直观操作。位域适用于嵌入式系统、硬件寄存器操作、网络协议解析等场景,能显著提升内存利用率和代码可读性。文章详细讲解了位域的基本语法、无名位域的使用、联合体配合技巧,并列举了典型应用场景。同时提醒位域存在平台依赖性,跨平台开发需谨慎。合理使用位域可以写出高效紧凑的代码,尤其适合资源受限的环境。
2026-07-14 21:12:55
324
1
原创 从裸机到多任务:FreeRTOS 启动第一个任务的汇编“点火仪式”全解析
在 FreeRTOS 的启动序列中,有一个函数虽然短小,却肩负着将 CPU 从单线程裸机环境平稳移交给多任务调度器的终极使命——它就是 `prvStartFirstTask()`。这个由纯汇编编写的函数,是整个调度器启动流程的“最后一级推进器”。理解它的每一行指令,不仅能让你看清 RTOS 如何接管硬件,更能深刻领悟 Cortex-M 处理器底层机制在实时系统中的精妙运用。
2026-06-21 20:45:20
208
原创 Cortex-M 高级架构特性详解(MSP/PSP、SVC、PendSV)
如果说操作系统是软件的骨架,那对于运行在单片机上的 FreeRTOS 而言,**Cortex-M 处理器的高级架构特性就是骨架得以站立的神经与韧带**。当你翻开处理器手册的对应章节,会发现特权级、双堆栈、系统调用等概念扑面而来,而这些正是 FreeRTOS 内核稳定运行的基础。
2026-06-21 20:14:47
646
原创 Cortex-M DMB / DSB / ISB 内存屏障完整梳理(结合FreeRTOS场景)
在嵌入式开发中,我们经常和中断、共享变量、寄存器打交道。但为什么有时代码逻辑明明正确,却会出现一些难以复现的Bug,比如任务切换卡死、中断异常抢占甚至神秘的HardFault?这背后往往和CPU为了提升效率而引入的"乱序"行为有关。Cortex-M处理器提供了三条关键的内存屏障指令——DMB、DSB、ISB,理解它们是写出健壮RTOS及裸机代码的必修课。
2026-06-19 23:05:45
226
原创 STM32位带操作完整深度解析(原理+硬件+编程+本质)
位带操作(Bit-Banding)是Cortex-M3/M4/M7内核专属的硬件特性,全系搭载该内核的STM32单片机均支持,而Cortex-M0/M0+内核无此功能。
2026-06-19 21:28:02
643
原创 STM32 Bootloader与OTA升级
STM32 Bootloader与OTA升级摘要 本文深入探讨了STM32微控制器的固件升级机制,涵盖三种程序下载方式(ICP、ISP、IAP)及其应用场景。重点解析了STM32的启动架构原理,包括BOOT引脚配置、中断向量表映射关系,以及Bootloader必须放置在Flash起始地址的原因。文章详细介绍了系统存储器自举模式(ISP)的工作流程,并给出了APP安全跳转的关键代码实现。最后提出了一种经典的两段式Bootloader设计方案,结合外部SPI Flash作为固件中转存储,配合EEPROM记录升级
2026-06-04 10:17:29
863
原创 ZigBee无线传感网
摘要:本文系统介绍了ZigBee无线通信技术的原理与架构,基于《ZigBee技术与实训教程(第2版)》知识体系,聚焦理论层面。内容分为五部分:首先阐述无线传感器网络(WSN)的基础特性与关键技术;其次解析IEEE802.15.4标准的物理层、MAC层机制及数据传输方式;接着详述ZigBee协议栈的网络层路由算法、应用层服务及安全机制;然后概述CC2530芯片的硬件功能;最后分析Z-Stack协议栈的软件架构与任务调度原理。全文通过分层解析,构建了从底层通信到上层应用的完整理论框架,突出ZigBee低功耗、自
2026-06-02 11:02:33
453
原创 嵌入式C设计模式完全指南(基于《C嵌入式编程设计模式》)
本文介绍了如何使用C语言实现面向对象编程和状态机,为嵌入式系统开发提供基础模式。主要内容包括: 用C模拟面向对象: 使用struct封装数据成员,函数指针实现方法 通过不透明指针隐藏实现细节 用me指针模拟this关键字 提供_Init和_Create两种初始化方式 实现多态与虚函数: 在struct中定义函数指针作为虚函数 构造函数中设置默认实现 子类可通过覆盖函数指针实现多态 模拟继承机制: 将基类作为子类结构体的第一个成员 支持基类指针指向子类对象 子类可重写虚函数指针 完整代码示例: 提供Senso
2026-06-02 10:50:07
519
1
原创 STM32软件加密完全指南:从入门到精通的固件防护实战
本文全面介绍STM32固件加密防护技术,涵盖UID绑定、MD5/AES加密、RDP保护等核心方法。首先分析嵌入式系统面临的安全威胁和攻击手段,包括调试接口读取、Bootloader漏洞等。重点讲解STM32芯片的硬件安全特性,如96位唯一ID和读保护(RDP)机制,提供详细的代码实现示例。文章对比软件加密与硬件加密芯片的优缺点,给出适用于不同场景的防护方案。最后强调量产流程中的安全注意事项,包括两阶段烧录和调试接口禁用等实践建议,帮助开发者构建可靠的固件保护体系。
2026-05-26 20:24:10
769
原创 MQTT 协议深度理论解析(上)
MQTT协议深度理论解析:专为物联网设计的轻量级消息传输协议,采用发布/订阅模式实现通信解耦。核心组件包括发布者、订阅者和消息代理(Broker),通过主题路由实现空间和时间解耦。协议特性包括:极简二进制报文设计、遗嘱消息机制、三种QoS等级(0-至多一次、1-至少一次、2-恰好一次)、保留消息和持久会话。特别适合带宽受限、设备资源有限的物联网场景,支持动态组网、多对多通信和故障隔离,成为物联网通信的事实标准。
2026-04-29 20:55:18
601
原创 FreeRTOS 内存管理:一行代码背后的对齐智慧
硬件内存对齐要求的深刻理解;编译器优化与运行效率的极致追求;数学上“向上取整”算法的巧妙转化。这种写法在嵌入式系统中随处可见,它是 C 语言在资源受限环境下用空间换时间、用位运算替代算术运算的典型范例。下次再看到这样的表达式时,你便可以会心一笑:哦,原来它正在默默地向上对齐,准备为后面的数据铺平道路。
2026-04-16 21:46:21
657
原创 微信发一条“Hello”,竟走完了 OSI 七层模型的完整流程
微信发一条“Hello”消息,竟完整走完了OSI七层模型的旅程。从应用层生成原始数据,到表示层加密编码,会话层维护连接,传输层分段传输,网络层路由寻址,数据链路层物理寻址,最后物理层转换为信号。接收端则逆向解封装,最终在对方屏幕上显示消息。整个过程展现了网络分层如何像接力赛一样协同工作,让抽象的网络模型变得生动可感。
2026-04-11 12:29:13
698
原创 W5500 9大应用场景
MCU 资源受限(RAM < 64KB,Flash < 256KB),无力运行 LwIP 或 Linux 网络栈。追求开发效率,不想花几个月调试软件协议栈的内存泄漏和死锁。对网络稳定性要求高,需在恶劣电磁环境和弱网条件下保持 TCP 长连接不中断。W5500 用硬件逻辑承担了 OSI 模型中传输层和网络层的绝大部分工作,让嵌入式工程师能够将精力聚焦于应用层业务逻辑(如解析 Modbus 指令、控制电机、采集传感器),这正是它经久不衰的原因。
2026-04-11 12:14:57
656
原创 FreeRTOS 启动流程详解:从复位到任务调度
上电 → Reset_Handler → __main → main()│├─ xTaskCreate() → 自动调用 prvHeapInit() 初始化堆├─ 创建空闲任务├─ 创建定时器任务(可选)├─ 关闭中断│ ├─ 配置 SysTick 和 PendSV│ └─ 触发 SVC → 启动第一个任务└─ 调度器运行,永不返回核心要点FreeRTOS 不需要用户显式初始化内核,创建第一个任务时自动完成。空闲任务是系统运行的最低保障,优先级最低。
2026-04-02 23:45:15
673
原创 FreeRTOS 内存管理核心:深入解析 heap_4 实现原理
摘要: FreeRTOS的heap_4内存管理方案通过首次适应算法分配内存,并采用自动合并相邻空闲块的策略减少碎片。其核心是单向链表组织空闲块,每个块包含头部信息用于状态标记。初始化时堆空间布局为单个大空闲块,分配时分割大块,释放时按地址顺序插入并合并相邻块。通过挂起调度器保证操作原子性,提供内存统计功能监控使用情况。相比其他heap方案,heap_4在支持动态分配的同时优化了碎片问题,成为通用嵌入式场景的推荐选择。实际应用中需合理预估堆大小,避免高频分配,并谨慎处理中断中的内存操作。
2026-04-01 23:39:00
820
原创 为什么 SysTick 中断可以直接关中断而不保存状态
SysTick 中断的写法是内核在特定条件下的优化,不是通用规则。用户在写自己的中断服务函数时,仍然必须使用中断版临界段 API,以确保嵌套安全。
2026-03-26 20:43:47
541
原创 FreeRTOS 临界段终极解惑:从零讲起,一次搞懂两个版本
先想象一个场景:你和室友合用一个厨房(共享资源)。你正在切菜(操作数据),突然室友冲进来开始炒菜(任务切换/中断),你的手可能被锅铲碰到,或者他把你切好的菜弄乱了(数据错乱)。进门锁门 → 安心干活 → 开门出去关中断 → 执行关键代码 → 开中断为什么要关中断?因为 FreeRTOS 的任务切换靠中断(SysTick 定时器中断、PendSV 异常)触发。关掉中断,任务切换就被禁了,当前任务可以放心独占 CPU。
2026-03-26 20:06:42
399
原创 FreeRTOS进阶之路:深入理解临界段保护机制
简单来说,临界段就是一段在执行时不能被中断的代码。想象一个全局变量,它就像一个公共靶子。如果多个人(多个任务或中断)同时向它“开枪”(写入数据),我们就无法确定最终是谁命中了靶心(数据最终状态)。为了避免这种混乱,我们必须确保在同一时间,只有一个人能操作这个靶子。在FreeRTOS中,临界段通常用于保护对全局变量的操作。那么,临界段可能被什么打断呢?系统调度:任务切换。外部中断:硬件中断。有趣的是,在Cortex-M内核中,系统调度最终也是通过触发PendSV中断来实现的。因此,
2026-03-25 20:57:11
557
原创 嵌入式必知 | 一张图看懂 Cortex‑M 寄存器组(附汇编实战)
Cortex‑M 的寄存器设计非常规整,每类寄存器都有明确分工。看懂反汇编调试 HardFault编写 RTOS 任务切换优化中断响应编写裸机启动代码有任何疑问或想深入探讨的话题,欢迎在评论区留言!
2026-03-25 18:07:59
745
原创 深挖FreeRTOS任务切换:那些你必须掌握的ARM汇编指令
在定义任务控制块(TCB)或初始化任务堆栈时,会用到一些伪指令和内存操作指令。指令/伪指令作用在FreeRTOS中的应用场景EQU给数字常量设置符号名,类似C语言的#define。用于定义常量,如任务优先级、堆栈大小等。在汇编中可用表示。AREA汇编一个新的代码段或数据段。将汇编代码组织在不同的段中。例如,.text段存放代码,.data段存放数据。EXPORT声明一个标号具有全局属性,可被外部文件使用。汇编函数需要被C文件调用时,必须用EXPORT导出函数名。例如。
2026-03-24 21:17:32
205
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅