- 博客(29)
- 收藏
- 关注
RSS订阅原创 【论文笔记•（蒸馏）】QCRD: Quality-guided Contrastive Rationale Distillation for Large Language Models
预处理：用 CoT 提示词引导 LLM 生成多轮理据，通过温度采样和自一致性筛选正、负知识集。初始化：初始化学生模型（T5-base/small）、判别器（基于 T5-base 编码器），预训练判别器。迭代训练学生模型：在双任务框架下，用总损失 Ltotal 优化，学习正知识、规避负知识。判别器：每间隔固定 epoch 在线更新，动态评估理据质量。负知识更新：每批数据从学生模型历史迭代版本中采样生成新的负理据，保持负知识的针对性。推理：训练完成后，学生模型可通过前缀<Predict>
2025-12-24 11:03:45
806
原创 【论文笔记•（多智能体）】Ask Patients with Patience
本文提出Ask Patients with Patience（APP）医疗助手模型，旨在解决现有大语言模型在医疗对话中缺乏以患者为中心的交互和透明诊断依据的问题。APP基于权威医学指南和贝叶斯主动学习，通过多轮共情对话引导患者清晰表达症状，动态更新疾病概率分布以提升诊断准确性。实验表明，APP在诊断准确率、不确定性降低和人文关怀维度上显著优于现有模型，为AI医疗对话与临床应用搭建了桥梁。
2025-12-18 21:03:48
685
原创 【论文笔记•（多智能体）】A Knowledge-driven Adaptive Collaboration of LLMs for Enhancing Medical Decision-making
本文提出KAMAC（知识驱动的自适应多智能体协作框架），旨在解决现有大语言模型（LLMs）多智能体协作在医疗决策中存在的静态预分配角色局限，通过初始咨询、知识驱动协作讨论（动态检测知识缺口并招募专家）和最终决策三阶段，实现灵活可扩展的跨专科协作；
2025-12-15 13:55:03
824
原创 【论文笔记•（自蒸馏）】SELF-TUNING: Instructing LLMs to Effectively Acquire New Knowledge through Self-Teachin
本文提出SELF-TUNING框架，通过三阶段自教学策略增强大语言模型获取新知识的能力。该框架受费曼技巧启发，首先让模型掌握知识吸收方法，再自主学习新知识，最后巩固知识记忆。实验表明，在LLAMA2-7B等模型上，该方法显著提升了知识获取和保留能力，训练效率优于持续预训练等传统方法。同时构建了涵盖单域、多域、跨域的Wiki-Newpages-2023-QA数据集用于评估。该工作为大模型知识更新提供了有效解决方案。
2025-12-10 21:16:04
661
原创 【论文笔记•（智能体）】BAR: A Backward Reasoning based Agent for Complex Minecraft Tasks
BAR: 基于反向推理的Minecraft复杂任务智能体 摘要：本文提出BAR智能体，通过反向推理解决Minecraft复杂任务规划问题。针对正向推理在初始与目标状态间存在的感知鸿沟，BAR采用三模块架构：1)递归目标分解模块从目标状态逆向分解任务；2)状态一致性维护模块融合正反向推理解决状态冲突；3)阶段记忆模块复用高成功率分解结果提升效率。实验表明，BAR在静态与动态规划任务中均显著优于现有SOTA方法，验证了其在复杂任务规划中的优越性。该方法为开放世界环境中的智能体规划提供了新思路。
2025-12-10 21:15:29
1145
原创 【论文笔记•（医学）】AutoMedEval: Harnessing Language Models for Automatic Medical Capability Evaluation
AutoMedEval：基于语言模型的医疗能力自动评估系统 为解决医疗大语言模型评估中传统指标不足、人工成本高等问题，研究者提出AutoMedEval开源评估模型。该系统通过构建高质量医疗指令数据集（经医生双重验证，保留9569条有效数据）和分层训练方法（课程指令微调+迭代知识内省），实现专业评估能力。实验表明，AutoMedEval在评估准确性和人类判断相关性上超越GPT-4等模型，如Accuracy₂₋tuple指标较PandaLM提升10.9%，且更受医疗专业人员认可。该系统为医疗AI评估提供了高效、
2025-11-19 14:55:32
890
原创 [论文笔记•(多智能体)]LLMs Can Simulate Standardized Patients via Agent Coevolution
EvoPatient框架，通过多智能体协同进化模拟标准化病人（SPs），解决传统SP训练成本高、身心健康风险等问题。该框架包含病人与医生智能体，基于检索增强生成和动态记忆机制实现多阶段诊断模拟，并引入注意力库与轨迹库实现无监督协同进化。实验表明，EvoPatient在200个病例训练后，需求对齐度提升超10%，响应时间仅6.69秒，且具备优异泛化性（跨疾病指标提升3.8%-18.1%），代码已开源。
2025-10-27 15:23:10
916
原创 [论文笔记•(智能体)]ChatDoctor: A Medical Chat Model Fine-Tuned ona Large Language Model Meta-AI (LLaMA) Usi
摘要：ChatDoctor是一款基于LLaMA-7B模型微调的医疗对话AI，通过整合10万条真实医患对话和外部医疗知识库，显著提升了医疗问答的准确性。实验显示，在精确率、召回率和F1分数上均优于ChatGPT，能有效处理新医疗主题并生成更接近医生回答的内容。该研究为医疗AI提供了新思路，但临床应用仍需进一步验证安全性。
2025-10-18 21:55:25
1034
原创 [论文笔记•(智能体)]FACT-AUDIT: An Adaptive Multi-Agent Framework for Dynamic
本文提出FACT-AUDIT框架，通过多智能体协作动态评估大语言模型（LLMs）的事实核查能力。该框架采用原型模拟、事实验证与自适应更新三阶段流程，覆盖复杂声明、假新闻等场景，并引入IMR、JFR等指标。实验评估13个主流LLMs，结果显示GPT-4o和Qwen2-72B表现最优，但LLMs在复杂声明场景仍有明显不足。该框架突破了传统静态评估的局限，实现了对LLMs事实核查能力的全面审计。
2025-10-18 11:07:38
1107
原创 如何修改PPT输出图片的分辨率，提高清晰度
本文介绍了如何通过修改注册表设置，让PPT导出高分辨率图片的方法。具体步骤包括：1）使用注册表编辑器在PowerPoint选项中添加"ExportBitmapResolution"键值，设置导出DPI（如600）；2）在PPT中通过"另存为"功能将文件导出为TIF/JPG/PNG等图片格式。该方法能有效解决PPT导出图片画质压缩的问题，获得清晰的高分辨率图片，适合需要高质量配图的场景。
2025-10-12 17:38:41
1167
原创 [论文笔记•(智能体)]AgentCourt: Simulating Court with Adversarial Evolvable Lawyer Agents
本文提出AgentCourt框架，通过对抗进化方法（AdvEvol）实现律师智能体在模拟法庭中的动态学习，构建法律条文、辩论策略和先例分析三大知识库。经1000个真实案例训练后，该框架在新提出的CourtBench基准测试中表现优异，性能提升12.1%，在认知敏捷性、专业知识和逻辑严谨性维度显著优于现有法律模型。研究填补了法律AI在动态交互评估的空白，但也存在效率、适配性和伦理等局限性。
2025-09-27 16:48:08
1199
原创 把md中的图片推送到gitee云仓库中
本文介绍了如何利用Gitee搭建图床来解决本地Markdown文档上传后图片失效的问题。主要内容包括：1）在Gitee创建仓库并设置开源；2）配置PicGo工具，包括安装gitee-uploader插件和填写仓库信息；3）在Typora中设置PicGo为图片上传服务。通过这一套方案，可以实现Markdown文档中的图片自动上传到云端，确保本地和网络平台都能正常显示，避免手动上传图片的繁琐操作。
2025-09-26 16:06:31
278
原创 [论文笔记•(多模态蒸馏)]ClinKD: Cross-Modal Clinical Knowledge Distiller For Multi-Task Medical Images
ClinKD：跨模态临床知识蒸馏框架提升医学多任务图像处理性能 本文提出了ClinKD框架，旨在解决多模态大语言模型在医学视觉问答（Med-VQA）中的两大核心问题：图像-文本对齐不足和医学专业知识缺乏。该框架创新性地采用Med-CLIP引导旋转位置嵌入(MCG-RoPE)实现更精准的跨模态对齐，并通过临床知识蒸馏器(ClinKD)注入先验医学知识。ClinKD包含自适应置信度课程伪知识蒸馏和反思纠正训练机制，显著提升模型性能。实验表明，在Med-GRIT-Test30k数据集上，ClinKD平均性能优于现
2025-09-24 10:11:56
1125
原创 [论文笔记•(数据集)]AfriMed-QA: A Pan-African, Multi-Specialty, Medical Question-Answering Benchmark Dataset
AfriMed-QA是首个大型泛非英语多专业医学问答数据集，包含来自16个国家60多所医学院的15,275个问题，涵盖32个医学专业。该数据集包含选择题、开放式问答题和消费者查询，旨在弥补非洲医疗数据在大模型训练中的不足。研究人员评估了30个大模型在数据集上的表现，使用BERTScore、QuestEval和ROUGE-Lsum等指标。结果表明，现有模型在非洲医疗问题上的表现仍有提升空间，凸显了开发更具包容性AI解决方案的必要性。该数据集为改进以非洲为中心的医疗AI应用提供了重要基准。
2025-09-21 15:51:44
575
原创 [论文笔记•(蒸馏)] Distilling Step-by-Step! Outperforming Larger Language Models
本文提出了一种新的知识蒸馏方法"Distilling Step-by-Step"，通过利用大语言模型生成推理路径作为监督信号，在减少训练数据量和缩小模型规模的同时，使小模型性能超越大模型。该方法采用多任务学习框架，让小模型同时预测标签和生成推理步骤，在e-SNLI等数据集上的实验表明，仅需12.5%的数据和缩小45-2000倍的模型尺寸即可超越540B参数的PaLM模型。消融研究验证了多任务设计的必要性，展示了一种高效的小模型训练新范式。
2025-09-21 14:22:12
519
原创 从零训练一个我的世界小助手
作为一个MC老玩家，每次查阅相关百科的时候都需要去浏览器搜索大量网页才能得到想要的网站，而且有时候由于版本不同，遇到的问题还没有解决方法。同时，我作为一个从事大模型相关研究的人员，想着能不能利用有关我的世界的数据去微调一个拥有丰富知识的我的世界的小助手呢，这样每次有疑问直接去问小助手就可以了。说干就干，我首先调研了网络上是否存在有关我的世界的数据集，结果还真有我的世界QA数据集，超过390,000条指令，语言为英文。数据集格式：“input”:我的世界QA数据集，700k，语言为英文。
2025-04-11 09:41:06
943
原创 如何从GitHub上下载指定文件夹中的内容
GitHub中拥有众多优质的开源项目，我们在找到自己感兴趣的项目之后，总想着动手复现，这时就需要将GitHub上的项目下载下来。如果我们要下载其中某一个文件夹中的内容，而不想下载其他文件夹中的内容，使用上述方法就显得无能为例了。如，我们要下载上图中的llma文件夹中的内容，我们只需打开这个文件夹，复制其网址。如果我们下载整个项目，那么很简单。直接下载ZIP文件即可。，输入网址后即可开始下载。
2025-03-11 15:45:57
1154
原创 大模型token的通俗解释
分词器统计了大量我们会用到的词，并将这些词进行编号，放进一个表中，下次需要分词时直接根据表中的编号，将一个句子转变为编号，传给大模型进行处理。当然，大模型输出的也是编号，再由分词器将编号转变为我们看得懂的文字。就是这句话，一个字可以是一个token，一个词可以是一个token，甚至一个字母、一个标点符号也可以是一个token。这样组成词语我们大脑就会比较轻易的认识，当然，既然大脑可以这么做，人工智能当然也可以这么做。，专门帮助大模型把句子或者段落分解成长短不一的词，称为token。我们先来看一个例子。
2025-03-04 20:09:52
312
原创 neo4j console 无反应
本人在前几天使用neo4j console启动neo4j的时候还能正常启动，但是突然今天使用该命令结果如下图。本人也尝试过网上的一些方法，包括重装jdk，重装neo4j，删除python环境，重新配置环境变量等。既没有报错也没有继续往下执行。查询网络发现有这类问题的不多，并且没有解决方法。因为之前能正常启动，所以本人的环境配置的没有问题。最后无奈之下，本人决定重装系统。再重装系统之后，问题解决。这些方法均宣告无效。
2024-12-10 09:49:43
458
原创 基于RNN的文本分类
输出当前的隐藏状态。通过一个全连接层和激活函数将隐藏状态转换为情感标签（积极）。具有循环连接，使得网络能够在处理当前输入时考虑先前的输入，从而捕捉序列中的时序信息。最终隐藏状态包含整个句子的综合信息，通过全连接层和激活函数判断情感。逐步读取每个单词向量，通过一个激活函数计算新的隐藏状态。词向量表示：每个单词通过词嵌入转换为向量表示，作为。词向量表示：每个单词通过词嵌入转换为向量表示，作为。输入门：决定哪些新信息将被添加到单元状态中。遗忘门：决定从单元状态中丢弃哪些信息。输出门：决定当前隐藏状态的输出。
2024-11-04 21:54:23
556
原创 NLP-Beginner 任务四：基于LSTM+CRF的序列标注
本次使用的数据集为CONLI2003。数据集文件有train.txt dev.txt text.txt数据集共有4列，第一列为单词，第二列为词性标签，第三列为句法组块标签，第四列为命名实体标签。每行为一个单词。只有当同一类型的两个短语紧跟在一起时，第二个短语的第一个单词才会有标记B-type，以显示它开始了一个新短语。标记为O的表示不属于词组。. . O O。
2024-10-23 10:12:59
1726
原创 大模型LoRa微调训练曲线图分析：train_acc出现剧烈抖动
如图，在训练集上，train_acc出现剧烈抖动，原因是训练的batch_size太小。我这里的batch_size为1，如果调高一些，acc曲线图震荡的情况将会得到改善。
2024-09-06 20:37:13
585
原创 神经网络训练曲线分析：loss与val_loss 先上升后下降
其原因是：带momentum的方法训练，可看作在参数值和momentum组成的二元组上，每步乘一个矩阵，然后加一个噪音。不发散，要求这个矩阵的特征值范数小于1.但是，可能有复特征值和复特征向量。所以，虽然系数在衰减，但复的部分可能被变换到实的部分来，就出现初期loss上升的情况，直到模最大的系数被衰减到1以下。综上，初期loss上升，不一定发散，是正常的。在不带momentum的情况下，一般不应该出现这种情况。如图，对于val_loss和train_loss在训练初期出现上升，而后逐渐下降的情况是。
2024-09-06 20:30:44
1575
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人