BrailleLLM: Braille Instruction Tuning with Large Language Models for Braille Domain Tasks

一、文章主要内容总结

本文针对盲文信息处理中存在的数据稀缺、混合文本语境歧义等问题，提出了面向盲文领域任务的大语言模型框架BrailleLLM。核心内容包括：

1. 数据集构建：创建了中英双语盲文混合数据集（CBMD/EBMD），涵盖纯文本、含数学公式的混合文本等场景，同时设计了多任务指令模板，解决盲文研究数据匮乏的痛点。
2. 数据增强方法：提出基于成分句法树和依存句法树的盲文数据增强策略，在保证数据有效性的前提下提升数据集多样性，适配盲文语义构成特点。
3. 微调方法创新：提出盲文知识基微调（BKFT），针对中英盲文差异设计CBKFT（中文盲文-拼音音节映射）和EBKFT（英文盲文-单词直接映射），将盲文先验知识注入模型，避免模型低效学习底层规则。
4. 模型与实验：基于Qwen2.5 7B模型，通过指令微调实现盲文翻译、公式转盲文、混合文本翻译等统一任务。实验表明，BrailleLLM在低资源场景下显著优于传统微调方法及GPT-4等通用大模型，且对含书写错误的盲文具有鲁棒性。

二、文章创新点

1. 首个多任务盲文大模型框架：首次实现盲文与含公式混合文本的双向转换，突破传统盲文研究仅聚焦单一任务的局限。
2. 高质量多语言盲文数据集：开源中英双语混合盲文数据集，包含数学公式场景，填补盲文领域混合内容数据集的空白。