- 博客(7)
- 收藏
- 关注
RSS订阅原创 Conditional Memory via Scalable Lookup: ANewAxisofSparsity for Large Language Models
混合专家模型（MoE）通过条件计算来扩展模型容量，但transformer缺乏原生的知识检索机制，只能通过计算低效地模拟检索过程（transformer可以看做是一个简化版的IR information retrievel）。为了解决这个问题，我们提出条件内存（conditional memory）作为补充性稀疏维度，并通过Engram可实现O(1)复杂度的检索。通过构建 稀疏分配(Sparsity allocation)问题，本文发现了一种U型缩放定律，能优化MoE和Engram之间的权衡。基于此，我们
2026-02-02 17:47:58
131
1
原创 MeNTi: Bridging Medical Calculator and LLM Agent with Nested Tool Calling
将大语言模型（Large Language Models, LLMs）与外部工具相结合，为复杂任务提供了一种极具潜力的解决范式。然而，在某些特定下游任务中，仅依赖工具调用仍难以应对真实世界的复杂性。本文聚焦于医疗计算这一典型下游任务——医疗计算器（medical calculators），该任务通常通过标准化测试对患者健康风险进行量化评估。我们提出 MeNTi，一种面向医疗计算场景的智能体框架，通过引入：元工具机制（Meta-Tool）嵌套调用机制（Nested Calling Mechanism）
2026-01-13 13:53:09
632
原创 构建RAG系统的7个失败的点
从整个步骤中我们回想一下 RAG出现错误的地切分错误，切分容易出现语义丢失的情况embedding跟LLM融合的不够好，内部知识和外部知识权重很难定义检索返回的信息太多，导致LLM噪声多相似度计算过程中，rank top-k返回的结果不符合期望RAG本质是在通过检索来增强生成，考虑一下其中的一些关键问题检索是在检索什么，或者说检索的粒度是什么？（字、词、实体、句子、段落、文章、知识图谱、图片，视频、音频、数据库表等）什么时候触发检索？
2025-08-05 15:00:43
860
原创 GEMeX-系列文章 GEMeX, GEMeX-ThinkVG
数据集构建步骤：首先通过Chest ImaGenome构建数据对。然后利用GPT-4o产生多样的回答；之后用OpenBioLLM-70B 对报告重构（aaditya/Llama3-OpenBioLLM-70B 是公认在医疗LLM上表现良好）数据集评估质量：抽取300个样本用GPT-4o去验证数据集评价指标：回答的准确率， 推理能力，定位能力，利用BLEU和ROUGE来评价文本部分。
2025-07-10 21:53:07
846
原创 RAFT: Adapting Language Model to Domain Specific RAG
2024年6月 UC Berkeley CoML2024。
2025-07-07 22:40:28
1146
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人