越开源越幸运

格式改写Jsonl格式统计词条数目与长度分布重复性检测Topic去重Content元素去重句子去重n-gram去重去除content中空字符串低质内容检测多语言检测content统计时先拼接多换行标题检测读取label图形展示分层抽样1. 转换成dataframe格式2.分层抽样content文字长度中文比例多语言分词Magpie

目录千问 qwq32环境配置代码部署生成内容清洗已生成内容清洗生成过程优化Failed to initialize the HCCP process问题assistant 的历史回答丢失推理执行失败

综述汇总Dataset Distillation Background and Related Works​编辑DD相关工作DD定义DD方法优化目标性能匹配（Performance Matching）参数匹配（Parameter Matching）分布匹配（Distribution Matching）网络更新过程合成数据参数化学习标签的方式代表算法​SmallToLarge (S2L): Scalable Data Selection for Fi

Extractive QA任务评估Extractive QA评测指标precision, recall, f1ROUGE划分训练与评估数据集token位置评估单个token位置评估输入label的token位置预测token位置评估Wandb共享机器同时登录样本类别平衡标记token label时对窗口进行筛选训练输入json数据格式调整GPU内存不足服务器远程连接断开后进程停止运行

滑动窗口例子(提取开始结束点任务)滑动窗口代码实现tokenize() 默认添加问题每个滑窗添加标题和摘要训练label跨滑窗情况token匹配Token匹配忽略固定标题摘要输出结果拼接根据样本论文标号拼接预测结果滑窗重复token位置处理

GPU运行从文本label生成输入token label多样本输出文本保存训练过程损失和模型部署到服务器训练集构建

LongformerForTokenClassification调通将7分类的预训练模型改为2分类利用分类标签取出token对应子词将token转换为完整单词取出

3.2、右键“计算机”->“属性”->“高级系统设置”->“环境变量”->在下方的“系统变量”中找到“path”->选中“path”并选择“编辑”->将 3.1中找到的bin和git-core路径复制到其中->保存并退出。注："D:\Program Files\Git\"是安装路径，可能与你的安装路径不一样，要按照你自己的路径替换"D:\Program Files\Git\"3.1、找到git安装路径中bin的位置，如：D:\Program Files\Git\bin。